Повышение объективности процедур педагогического диагностирования на основе квалиметрического анализа тема диссертации и автореферата по ВАК РФ 13.00.01, кандидат педагогических наук Шамильян, Ольга Ивановна

• Шамильян, Ольга Ивановна
• кандидат педагогических наук
• 2007

Оглавление диссертации кандидат педагогических наук Шамильян, Ольга Ивановна

ВВЕДЕНИЕ

ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПРИМЕНЕНИЯ КВАЛИ-МЕТРИЧЕСКИХ МЕТОДОВ В ПЕДАГОГИЧЕСКОЙ ДИАГНОСТИКЕ

1.1. Современное состояние педагогической диагностики

1.2. Основные процедуры педагогического диагностирования и 44 возможности повышения их объективности

1.3. Квалиметрическая модель универсальной диагностической процедуры

Выводы по первой главе

ГЛАВА 2. ТЕХНОЛОГИЯ КВАЛИМЕТРИЧЕСКОГО АНКЕТИРОВАНИЯ

2.1. Разработка квалиметрической анкеты

2.2. Конкордация суждений экспертной группы

2.3. Влияние состава экспертной группы на объективность результатов квалиметрического анкетирования

Выводы по второй главе

Введение диссертации (часть автореферата) на тему «Повышение объективности процедур педагогического диагностирования на основе квалиметрического анализа»

Актуальность исследования.

В современных условиях развития отечественного образования заметно возросла роль педагогического диагностирования как важнейшего фактора обеспечения эффективности процесса обучения. Широкое внедрение в образовательную практику диагностических процедур объясняется использованием квалиметрических методов, позволяющих повысить точность педагогического анализа. Недавно созданная общероссийская система оценки качества образования (ОСОКО), включающая в себя разветвленную сеть региональных моделей (РСОКО), предполагает продолжение эксперимента по внедрению технологии единого государственного экзамена на различных уровнях общего образования, систематическое участие в международных исследованиях гуманитарной, математической, естественнонаучной грамотности учащихся (PISA, TIMSS) [29, 30, 31], а также создание систем оценки качества образования в учреждениях различного профиля [66].

В контексте основных направлений модернизации отечественного образования востребованы квалиметрические методы педагогической диагностики. В рамках конкурсного отбора образовательных учреждений и учителей по национальному проекту «Образование» широко используется рейтинговая оценка критериальных показателей. Аналогическая процедура используется в процессе экспертного оценивания инновационных образовательных проектов. Квалимет-рический анализ диагностических процедур открывает широкие перспективы сопоставления качества отечественного образования с общепризнанными мировыми стандартами.

Используя современные диагностические методики, можно существенно увеличить объективность результатов мониторинговых исследований, что существенно скажется на качестве образования. Перспективы внедрения в педагогическую практику теории образовательной квалиметрии непосредственно связаны с совершенствованием методологической базы научно-педагогических исследований, так как объективная диагностика состояния образовательной среды позволяет проводить экспериментальные исследования, гарантирующие достоверность получаемых результатов. Современная школа остро нуждается в продуктивных образовательных технологиях, позволяющих достигать заранее запланированных результатов с необходимой степенью надежности.

Комплексное решение задач педагогического диагностирования требует совершенствования системы профессиональной переподготовки и повышения квалификации работников образования. В программы дополнительного профессионального педагогического образования активно включаются разделы, связанные с изучением теоретических основ дидактической тестологии и образовательной квалиметрии [81]. Руководители образовательных учреждений не только требуют от преподавателей оснащения рабочих программ дидактическими тестами, но и систематическое отслеживание состояния процесса обучения посредством мониторинговых исследований [38]. Кроме педагогических измерителей входного, рубежного и итогового контроля мониторинг процесса обучения предполагает активное использование критериально ориентированных тестов, а также средств диагностирования состояния образовательной среды (опросники, анкеты, экспертные бланки и т.п.).

Вопрос о соответствии уровня компетентности педагогических кадров требованиях квалификационных характеристик в современной школе стоит достаточно остро. Наибольшие затруднения в системе повышения квалификации работников образования вызывает именно диагностический и квалиметри-ческий компоненты педагогической науки. Необходимость оптимизации процесса обучения с помощью качественных педагогических измерителей затронула не только сферу предметного тестирования, но и состояния образовательной среды в целом. Для этой цели приходится применять наиболее тонкие диагностические процедуры, разработанные на стыке психологии и педагогики, которые вобрали в себя все наиболее ценные методы измерения латентных характеристик исследуемых объектов.

Используя педагогические опросы, анкетирования и экспертизы, можно оценить степень доступности качественного образования, выявить отношение членов местного сообщества к данному образовательному учреждению, определить уровень обеспечения безопасности процесса обучения и эффективность использования здоровьесберегающих технологий. Кроме того, процедуры педагогического диагностирования используются при осуществлении экспертной оценки образовательных программ, инновационных проектов, программ развития, а также результатов работы отдельных преподавателей и учреждения в целом. Все эти диагностические процедуры должны быть подвергнуты квалимет-рическому анализу, позволяющему обеспечить их объективность и соответствие действующим образовательным стандартам.

Диагностические процедуры способны охватить все составляющие образовательной среды, выявив степень выраженности критериальных показателей с помощью процентных соотношений или рейтинговых баллов. Наиболее совершенные диагностические средства носят экспертный характер и нуждаются в отборе респондентов для организации процедуры оценивания состояния образовательного процесса. Именно эта направленность современной педагогической диагностики определяет востребованность квалиметрических методов, позволяющих обеспечить отбор квалифицированных специалистов и согласовать их индивидуальные суждения по поводу предмета исследования.

Педагогическая диагностика оперирует преимущественно качественными оценками критериальных показателей исследуемого объекта. Даже количественные характеристики, полученные в результате применения педагогических измерителей, в рамках педагогической диагностики приобретают содержательную форму представления. Современное определение сущности педагогической диагностики можно сформулировать так: процесс установления и изучения признаков, характеризующих состояние различных элементов педагогической системы и условий ее функционирования для прогнозирования возможных тенденций развития, отклонений, предотвращения мерами педагогической коррекции нежелательных тенденций и стимулирования позитивных элементов развития (личности, группы, педагогических явлений) [45]. В качестве альтернативного определения педагогической диагностики можно рассматривать следующее утверждение: «Относительно самостоятельная отрасль педагогического знания, отражающая теорию и практику педагогического диагностирования и выступающая в структуре педагогики как сервисная, вспомогательная дисциплина (аналогично педагогической прогностике, педагогической этике)» [46].

Качественный характер педагогической диагностики определяет ее ценность в процессе содержательной характеристики состояния образовательного процесса. Формулируя заключения, сделанные по заранее определенным критериям, диагност способен охватить практически все аспекты исследуемого объекта. При этом возникает затруднение в количественной оценке целостного состояния образовательного процесса, а также оценке отдельных компонентов. Измерения латентных характеристик не могут быть осуществлены в рамках педагогической диагностики.

Первоосновой педагогической диагностики является психологическое тестирование [6]. До сих пор в мониторинговых исследованиях, связанных с совершенствованием структуры и содержания общего образования, широко используются опросники, построенные на основе классической методики Г.Айзенка [57], а также педагогические анкеты, результаты применения которых подвергаются статистической обработке. Это позволяет организовать солидный педагогический эксперимент, оперирующий такими понятиями, как «точность», «статистическая значимость», «ошибки измерений», «доверительная вероятность» и т.п.

Отличительной особенностью психологических опросников является использование индикаторных методик, позволяющих установить степень ситуа-тивности суждений респондентов. В рамках педагогической диагностики peaлизовать данные методики, основанные на сиюминутности ответов на провоцирующие вопросы, невозможно, так как диагностирование образовательного процесса предполагает обдумывание предмета исследования. Не решает эту проблему и статистическая обработка результатов анкетирования, основанная на необходимости получения совокупно суждения группы респондентов, а не личностных характеристик индивида как в случае психологического тестирования. Дело в том, что среднестатистический результат зависит от состава и внутренней установки опрашиваемой совокупности респондентов.

Методы математической статистики стали неотъемлемым элементов диагностики, начиная с пионерских работ Ф.Гальтона [104]. Справедливо и обратное утверждение: совершенствование статистических методов привело к возникновению наиболее эффективных способов содержательного анализа рассматриваемых объектов. Характерным примером столь продуктивного взаимодействия является факторный анализ Ч.Спирмена [110] созданный на основе теории корреляции К.Пирсона [107].

Совершенствуя корреляционный метод Ф.Гальтона, его ученик К.Пирсон сумел вывести математически корректную формулу подсчета степени соответствия двух множеств, представляющих собою индивидуальные отклонения от среднестатистических значений. В результате появилась возможность количественной оценки согласованности тех или иных факторов влияния на предмет исследования. Например, с помощью факторного анализа Ч.Спирмена было выявлено, что наиболее существенными факторами влияния на интеллект испытуемого являются логическое, вербальное, математической мышление, а также объемное представление рассматриваемых объектов.

Наиболее совершенной процедурой педагогического диагностирования является педагогическая экспертиза, органично использующая современные квалиметрические методики. Основоположником экспертного метода в нашей стране является В.С.Черепанов [95]. В применении к вопросам педагогической диагностики проблемы экспертизы образовательных программ, возникающие при разработке дидактических тестов, были проанализированы в докторской диссертации Е.А.Михайлычева [45]. Данное направление экспериментальных педагогических исследований получило развитие в работах Н.А.Кулемина по управлению общеобразовательным учреждением на основе квалиметрического подхода [34] и С.А.Сафонцева по технологии стандартизации дидактических тестов [67]. Наиболее интересные работы, связанные с организацией педагогической экспертизы в условиях автоматизации контроля знаний учащихся, опубликованы И.Д.Рудинским [63, 64, 65]. В них поднимаются актуальные вопросы согласованности суждений участников экспертной группы и их профессиональной компетентности.

Перечисленные направления развития экспертного метода были использования при разработке универсальной диагностической процедуры. С помощью метода корреляционных вопросов [72], фактически, осуществляется стандартизация педагогического измерителя, что позволяет с его помощью присваивать статус эксперта. Особую роль в квалиметрическом анкетировании играет конкордация суждений экспертной группы с целью согласования индивидуальных эталонов исследуемого объекта отдельных экспертов.

Проведение исследований в области совершенствования диагностических процедур потребовало использования широкой методологической базы. Системам управления качеством процесса обучения посвящено множество научных исследований [Бабанский Ю.К., 1977; Бермус А.Г., 2003; Гороховатская Н.В., 1998; Ефремова Н.Ф., 2003; Кошелева Е.А., 1992; Монахов В.М., 1995; Талызина Н.Ф., 1975 и др.]. При этом особое внимание всегда уделялось проблемам педагогической диагностики [Аванесов B.C., 1994; Гершунский Б.С., 1986; Ин-генкамп К., 1991; Майоров А.Н., 2000 и др.]. Поскольку вопрос о критериях, индикаторах, показателях и способах измерения в педагогической науке всегда стоял достаточно остро, следует подчеркнуть высокую значимость целого ряда современных квалиметрических теорий [Акинфиева Н.В., 1998; Нейман Ю.М., 2000; Сафонцев С.А., 2005; Субетто А.И., 1999; Татур Ю.Г., 1998; Челышкова

М.Б., 2001; Яковлев Е.В., 1998 и др.]. Методы образовательной квалиметрии, позволяющие количественно оценить степень соответствия исследуемого объекта требованиям существующих стандартов, активно проникают в содержательный анализ результатов диагностических процедур, обеспечивая эмпирическую составляющую педагогической науки.

Создание универсальной диагностической процедуры, позволяющей повысить объективность педагогического эксперимента, базировалось на теории образовательной квалиметрии С.А.Сафонцева, которая основывается на методологии современной натуральной философии, выраженной в принципах инвариантности и дискретности, утверждающих, что процесс обучения не зависит от точки зрения диагноста, а педагогическое действие включает в себя целое число структурных элементов [76]. Следствиями этих принципов является особая роль независимого диагноста, не являющегося специалистом в данной области знаний и владеющего основами образовательной квалиметрии, а также передача информации на всех этапах усвоения структурных элементов образовательной программы с наибольшей допустимой скоростью.

Поскольку квалиметрические теории уделяют особое внимание оценке качества результатов обучения, существует особое ответвление педагогической диагностики, предметом исследования которой является использование предметных тестов, а также способы обеспечения надежности и валидности педагогических измерителей. При этом дидактическую тестологию можно рассматривать как специфическую теорию среднего ранга [48]. В нашем исследовании данное направление педагогической науки было оставлено в стороне, так как дидактическим тестам посвящено множество работ как в области педагогической диагностики, так и образовательной квалиметрии. Нас, прежде всего, интересовало состояние образовательной среды как интегральное понятие, выражающее воспитательный аспект образовательного процесса, эффективность использования педагогических технологий, доступность качественного образования, а также методы управления образовательным учреждением и обеспечения безопасности учащихся.

Большим недостатком существующих теорий контроля качества образовательного процесса является отсутствие должного внимания к отдельным составляющим образовательной среды и ее совершенствованию в целом. Несмотря на то, что именно образовательная среда обеспечивает качественное обучения и воспитание подрастающего поколения. Большое значение для обеспечения эффективности образовательной среды имеет реализация демократических принципов управления образовательным учреждением, а также способы выявления мнений членов местного сообщества относительно деятельности педагогического коллектива. В условиях традиционалистского подхода к передаче учащимся знаний, умений и навыков принципиально невозможно осуществить оптимизацию процесса обучения и добиться высокого качества образования.

Рассматривая различные факторы влияния на состояние образовательной среды, каждому из них следует поставить в соответствие критериальные показатели и оценить степень их выраженности. Данная процедура предполагает сравнение исследуемого объекта с определенным эталоном. Поэтому весь спектр диагностических процедур, в том числе и дидактическое тестирование, следует отнести к сфере интересов образовательной квалиметрии.

Только с помощью теории образовательной квалиметрии можно добиться существенного повышения качества диагностических процедур, а значит и совершенствования процесса обучения в целом. Именно поэтому в качестве важнейшей задачи современной образовательной политики рассматривается овладение работниками образования современными диагностическими методиками, позволяющими осуществить всесторонний мониторинг процесса обучения и добиться высокого качества обучения и воспитания.

Актуальность исследования проблемы повышения объективности процедур педагогического диагностирования с помощью квалиметрического анализа основывается на существующих противоречиях между: и

• уровнем развития дидактической тестологии, который позволяет обеспечить объективную оценку качества обучения, и отсутствием технологий квали-метрического анализа диагностических процедур, оценивающих состояние образовательной среды;

• содержательной формулировкой педагогического диагноза и количественным представлением квалиметрических показателей;

• оснащением психологических опросников индикаторными методами выявления ситуативных ответов и отсутствием подобных методик в педагогических опросниках, анкетах и экспертных бланках.

Прямым следствием перечисленных противоречий является более высокая точность оценивания результатов обучения в сравнении с эмпирически подтвержденной информацией о состоянии образовательной среды, включающей в себя качество воспитания, использование современных педагогических технологий, доступность качественного образования, стиль управленческой деятельности, отношение местного сообщества к образовательному учреждению, сохранение здоровья и обеспечение безопасности учащихся [3]. С одной стороны, перечисленные составляющие образовательной среды являются факторами влияния на результативность процесса обучения, но, с другой стороны, они выполняют самостоятельные функции при формировании гармонично развитой личности. Разработка технологии квалиметрического анкетирования позволит осуществить объективные педагогические измерения латентных переменных образовательной среды и интегрального показателя эффективности образовательного процесса в целом.

Таким образом, мы попытались разрешить противоречие между отработанными методами дидактической тестологии и несовершенством соответствующих методов педагогической диагностики. Основываясь на теории образовательной квалиметрии и используя аналогичные методологические принципы, а также способы осуществления стандартизации диагностические процедур, удалось получить качественные педагогические измерители для исследования состояния образовательной среды. Эффективность применения квалиметриче-ских анкет была доказана в ходе полноценного педагогического эксперимента.

Конструктивные истоки анализа процедур педагогического диагностирования заложены в противоречии между содержательной формой представления педагогического диагноза и количественным способом представления квали-метрических показателей. Во-первых, диагностический и квалиметрический подходы взаимно дополняют друг друга, а во-вторых, различные интерпретации эмпирических данных позволяют повысить точность результатов исследования. Педагогический диагноз требует поэлементного анализа составляющих образовательного пространства, позволяющего сопоставить их содержательную значимость. Именно для этой цели количественные показатели, полученные в результате опроса, анкетирования или экспертизы, превращаются в содержательные оценки. В отличие от методологии педагогической диагностики, квалиметрический подход предполагает определение интегрального показателя, характеризующего эффективность образовательного процесса, обеспечивая этим необходимую точность педагогических измерений. Поэтому для квали-метрии характерен перевод содержательных оценок в количественные показатели.

Количественные оценки как отдельных критериальных показателей, так и эффективности образовательного процесса ни в коей мере не отрицают возможность содержательного анализа процесса обучения и состояния образовательной среды. Поэтому образовательная квалиметрия является лишь средством более точного выражения результатов педагогического диагностирования и предоставляет возможность сравнительной оценки деятельности образовательного учреждения или отдельного преподавателя. Именно возможность ранжирования исследуемых объектов позволила нам разработать на основе квалимет-рического анкетирования методику конкурсного отбора школ и учителей для национальной программы «Образование».

Опыт использования психологических методик подтверждает правомерность исключения из рассмотрения ситуативных суждений респондентов, что позволяет получить объективный вывод о личностных характеристиках обследуемого. Процедуры педагогического диагностирования, проводимые с целью получения объективной информации о состоянии образовательной среды, также используют суждения респондентов. Поэтому применение индикаторных методов выявления ситуативных или некомпетентных суждений позволят существенно повысить объективность диагностических процедур. Но при этом не следует забывать о квалиметрическом характере производимых измерений. Диагностическая процедура должна позволять получить количественный интегральный показатель состояния предмета исследования.

Создание встроенной индикаторной методики для квалиметрической анкеты позволило разрешить противоречие между психологическим и педагогическим диагностированием. Оказалось возможным не только установить степень ситуативности суждений респондентов, но и определение их профессиональной квалификации. В результате наиболее компетентным из них присваивался статус экспертов, и осуществлялась процедура согласования суждений группы экспертов с помощью нормировки коэффициентов профессиональной квалификации.

Таким образом, актуальность проведенного исследования определяется необходимостью разработки универсальной диагностической процедуры, позволяющей существенно повысить объективность педагогического эксперимента. Для этой цели следует использовать методологическую и технологическую базу теории образовательной квалиметрии, позволяющей осуществить количественную оценку латентных характеристик предмета исследования путем сравнения с существующими эталонами.

Целью данного исследования является выявление условий существенного увеличения точности и объективности информации, полученной в результате проведения диагностических процедур (опросов, анкетирований, экспертиз) на основе квалиметрического анализа.

Объектом исследования является педагогическое оценивание качества образования.

Предметом исследования является квалиметрический анализ процедур педагогического диагностирования.

В соответствии с поставленной целью, объектом и предметом исследования выдвигается гипотеза о том, что объективность процедур педагогического диагностирования существенно повышается в результате квалиметрического анализа, который включает в себя:

- исследование современного состояния педагогической диагностики с целью выявления возможности применения эффективных количественных методов;

- сопоставление принципиальных особенностей педагогических опросов, анкетирований и экспертиз;

- создание квалиметрической модели универсальной диагностической процедуры, позволяющей оценивать состояние образовательного процесса;

- разработку технологии квалиметрического анкетирования, включающей в себя корреляционный метод определения коэффициентов профессиональной квалификации респондентов и их нормирование с целью оценивания конкордации суждений экспертной группы.

Для реализации цели исследования и проверки гипотезы были поставлены следующие задачи:

- освоить источниковедческую базу применения квалиметрических методов в педагогической диагностике;

- составить опросник, анкету, экспертный бланк на основе одних и тех же критериальных показателей, а также произвести сравнение данных репрезентации;

- используя методологию образовательной квалиметрии, выявить ключевые особенности, которыми должна обладать универсальная диагностическая процедура, позволяющая оценить состояние образовательного процесса;

- разработать на основе корреляционного метода квалиметрическую анкету, обеспечивающую формулировку объективного педагогического диагноза и определение интегрального показателя образовательного процесса;

- осуществить экспериментальную апробацию технологии квалиметри-ческого анкетирования и сравнить полученные результаты с данными традиционного анкетирования.

Методологическими и теоретическими основами исследования стали следующие работы: современная натуральная философия М.Борна, А.Пуанкаре, Р.Фейнмана и др.; личностно-ориентированное и развивающее образование Е.В.Бондаревской, В.В.Серикова, В.Т.Фоменко и др.; теории структуры и качества образования А.А.Аветисова, Ю.К.Бабанского, А.И.Субетто, Н.Ф.Талызиной и др.; основы психологического тестирования А.Анастази, П.Клайна и др.; теории педагогической диагностики В.С.Аванесова, К.Ингенкампа, Е.А.Михайлычева, Дж.Равена, В.С.Черепанова и др.; теории дидактической тестологии А.Н.Майорова, Е.А.Михайлычева, В.И.Нардюжева, Ю.М.Неймана, М.Б.Челышковой и др.; теории образовательной квалиметрии Л.Б.Ительсона, К.Пирсона, Дж.Раша, С.А.Сафонцева и др.

Концепция исследования основана на принципах инвариантности и дискретности образовательной квалиметрии, а также модели универсальной диагностической процедуры, включающей в себя две теоремы: 1) в процессе педагогического диагностирования независимым респондентом должен быть обретен статус эксперта на основе индикаторной методики, позволяющей определить его профессиональную квалификацию, а также оценить конкордацию суждений группы экспертов; 2) содержательно значимые структурные элементы образовательной среды должны обладать максимально возможной степенью выраженности.

В процессе реализации поставленной цели и решения задач использовались общенаучные и специальные методы теоретического и эмпирического исследования: анализ и синтез основных принципов современной натуральной философии; квалиметрическое моделирование закономерностей образовательного процесса; статистическая обработка результатов диагностических процедур; выявление количественных показателей состояния образовательной среды.

Этапы исследования по разработке универсальной диагностической процедуры для оценивания состояния образовательной среды:

1. Изучение методов педагогической диагностики и образовательной ква-лиметрии параллельно с преподавательской деятельностью на почасовой основе в Северо-Кавказской академии государственной службы. (2004-2005 гг.)

2. Проблемно-ориентированный анализ первоисточников с целью выявления особенностей различных диагностических процедур, а также экспериментальное сопоставление результатов опросов, анкетирований и экспертиз. (2005-2006 гг.)

3. Создание квалиметрической модели универсальной диагностической процедуры и разработка технологии квалиметрического анкетирования. Апробация результатов исследования на репрезентативной выборке слушателей курсов повышения квалификации и применение квалиметрического анкетирования для конкурсного отбора образовательных учреждений и учителей. (2006 г.)

Достоверность и обоснованность основных положений и выводов диссертации обеспечиваются четкой проработанностью методологических и теоретических основ проведенного исследования; внутренней непротиворечивостью и логической обоснованностью рассматриваемых проблем; комплексным характером используемых принципов и методов научного исследования; опорой на широкий круг первоисточников классиков педагогической диагностики и образовательной квалиметрии; совершенством проведенных эмпирических исследований, позволяющих оценить статистическую значимость полученных результатов.

Научная новизна и теоретическая значимость.

Впервые проведен сравнительный анализ методологических основ педагогической диагностики и образовательной квалиметрии. Выявлены характерные особенности процедур педагогического диагностирования. Создана квали-метрическая модель универсальной диагностической процедуры. Доказано, что в качестве универсальной процедуры педагогического диагностирования необходимо рассматривать квалиметрическое анкетирование.

Практическую значимость исследования подтверждают данные экспериментальной апробации технологии квалиметрического анкетирования, в котором приняли участие сотрудники и слушатели курсов повышения квалификации Ростовского областного ИПК и ПРО, а также использование материалов диссертации для разработки методики конкурсного отбора образовательных учреждений и учителей в рамках национального проекта «Образование».

Основанием говорить о теоретической и практической значимости проведенного исследования является апробация результатов на репрезентативной выборке работников образования Ростовской области. В процессе проведения констатирующего эксперимента по сопоставлению характерных особенностей процедур педагогического диагностирования были использованы результаты стратификации показателей состояния образовательного процесса, проведенной с помощью группы экспертов. На основе теории корреляции была определена степень согласованности результатов обследований, проведенных с использованием различных диагностических материалов. Репрезентации опросника и анкеты для конкурсного отбора образовательных учреждений проводились на представительной выборке работников образования объемом 200 человек.

В основу формирующего эксперимента по обоснованию квалиметриче-ской модели универсальной диагностической процедуры была положена методология образовательной квалиметрии, позволившая разработать технологию квалиметрического анкетирования. В процессе формирующего и по данным контрольного экспериментов была доказана высокая точность и статистическая значимость результатов квалиметрического анкетирования, а, следовательно, непротиворечивость теоретической модели и обоснованность выдвижения гипотезы данного исследования.

Положения, выносимые на защиту:

1. Основным фактором влияния на объективность диагностических процедур является эффективность индикаторных методик, позволяющих отсеять ситуативные и некомпетентные суждения респондентов. В качестве универсальной диагностической процедуры следует рассматривать квалиметрическое анкетирование, которое включает в себя определение профессиональной квалификации респондентов и конкордации суждений экспертной группы.

2. В основу технологии квалиметрического анкетирования положена методология образовательной квалиметрии, которая применительно к процедурам педагогического диагностирования приводит к следующим выводам:

1) поскольку условия реализации образовательного процесса не должны зависеть от точки зрения эксперта, респонденту в процессе диагностирования следует приобрести статус эксперта;

2) педагогическое действие содержит целое число структурных элементов образовательного процесса, обладающих максимально возможной степенью выраженности.

3. Технология квалиметрического анкетирования качества образовательного процесса включает в себя:

1) отбор критериев и показателей на основе выборочного метода;

2) начисление респондентами рейтинговых баллов по каждому критериальному показателю;

3) определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта;

4) формулировку педагогического диагноза на основе экспертных суждений;

5) оценку конкордацин суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса.

Опытно-экспериментальной базой исследования является Ростовский областной институт повышения квалификации и переподготовки работников образования (РО ИПК и ПРО) с филиалами в городах Волгодонске, Каменске-Шахтинском, Таганроге и Шахтах, а также муниципальные органы управления образованием и методические центры Ростовской области. Результаты исследования используются в работе сотрудников кафедр РО ИПК и ПРО, а также кафедр общей педагогики Таганрогского государственного педагогического института, педагогики и педагогической психологии Ростовского государственного университета.

Обсуждение результатов диссертации было проведено на секционных заседаниях пятой научно-практической конференции «Информационные технологии в образовании» (Ростов-на-Дону, 2005), на шестой научно-практической конференции «Информационные технологи в образовании» (Ростов-на-Дону, 2006), проводившихся в рамках международного конгресса конференций (Москва, 2005, 2006), а также на страницах регионального научно-методического журнала «Практические советы учителю» №4 за 2006 год. По материалам диссертационного исследования опубликована статья в журнале «Стандарты и мониторинг в образовании» № 2 за 2006 год: «Критерии и показатели конкурсного отбора образовательных учреждений», и 2 статьи в журнале «Гуманитарные и социально-экономические науки» №4 и №5 за 2006 год: «Квалиметрический эксперимент в педагогических исследованиях» и «Критерии и показатели конкурсного отбора образовательных учреждений». Опубликована монография по теме диссертации, которая используется в системе дополнительного профессионального педагогического образования.

Структура и объем диссертации. Диссертация состоит из введения; 2-х глав; заключения, включающего основные теоретические и экспериментальные выводы, практические рекомендации и перспективы дальнейшего исследования

Заключение диссертации по теме «Общая педагогика, история педагогики и образования», Шамильян, Ольга Ивановна

ЗАКЛЮЧЕНИЕ. ВЫВОДЫ. ПРАКТИЧЕСКИЕ РЕКОМЕНДАЦИИ. ПЕРСПЕКТИВЫ

1. Педагогическая диагностика обладает особой методологической функцией, которая подтверждается согласованностью составляющих мониторинга с основными этапами научного исследования. Данная функция способна реализоваться только при условии сочетания классических диагностических подходов с квалиметрическими методами. Универсальная диагностическая процедура должна не только обеспечивать формулировку содержательного педагогического диагноза, но и определение интегрального количественного показателя, характеризующего состояние предмета исследования.

2. Традиционными процедурами педагогической диагностики являются: тестирование, опрос, анкетирование, экспертиза. Соответственно принципиальными особенностями диагностических процедур являются: 1) в случае опроса -быстрый темп подачи и оценивания простых утверждений, позволяющий выявить ситуативные суждения респондентов; 2) в случае анкетирования - логическая обоснованность суждений респондентов, которые подвергаются статистической обработке; 3) в случае экспертизы - опережающий характер отбора специалистов, приводящий к контаминации критерия и снижению объективности диагностической процедуры. В результате сравнительного эксперимента было установлено, что данные традиционного анкетирования были подверженными смещению в результате контаминации критерия.

3. Основным фактором влияния на объективность диагностических процедур является эффективность индикаторных методик, позволяющих отсеять ситуативные и некомпетентные суждения респондентов. В качестве универсальной диагностической процедуры следует рассматривать квалиметрическое анкетирование, которое включает в себя определение профессиональной квалификации респондентов и конкордации суждений экспертной группы.

4. В процессе создания технологии квалиметрического анкетирования использовалась методология теории образовательной квалиметрии, в основу которой положены принципы инвариантности и дискретности. Поскольку условия реализации образовательного процесса не должны зависеть от точки зрения эксперта, респонденту следует приобрести в процессе диагностирования статус эксперта. Педагогическое действие содержит целое число структурных элементов образовательного процесса, обладающих максимально возможной степенью выраженности.

5. Технология квалиметрического анкетирования включает в себя: 1) отбор критериев и показателей на основе выборочного метода; 2) начисление респондентами рейтинговых баллов по каждому критериальному показателю; 3) определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта; 4) формулировку педагогического диагноза на основе экспертных суждений; 5) оценку конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса.

6. Подбор критериев определяется факторами влияния на предмет исследования, что позволяет гарантировать высокую содержательную валидность квалиметрической анкеты. Конструктные свойства диагностического материала зависят от особенностей интегральной характеристики, которую предполагается измерять с помощью квалиметрической анкеты. Экспертная оценка относительной весомости критериев, произведенная в ходе констатирующего эксперимента, гарантирует высокую конструктную валидность диагностического материала.

7. В процессе подбора критериальных показателей в квалиметрическую анкету встраивается индикаторная методика, которая представляет собой две параллельные группы показателей, отражающих одни и те же свойства предмета исследования и образующих корреляционные пары. Согласованность суждений респондента по поводу концептуальных и прикладных утверждений, входящих в соответствующие пары критериальных показателей, характеризует его профессиональную квалификацию.

8. Поскольку в основу определения профессиональной квалификации респондента положена внутренняя конкордация его суждений, минимально допустимое значение коэффициента корреляции, соответствующее экспертному уровню профессиональной квалификации респондента, совпадает с экстремальным коэффициентом конкордации суждений экспертной группы.

9. Каждый эксперт обладает индивидуальным эталоном предмета исследования, который характеризуется индивидуальный коэффициент конкордации, полученным в процессе нормирования коэффициентов профессиональной квалификации членов экспертной группы. Трансформация экспертной группы приводит к изменению коэффициентов конкордации, отражающих не столько индивидуальные качества специалиста, сколько их согласованность с соответствующим показателем других экспертов.

10. Повышение объективности процедур педагогического диагностирования обеспечивается базирующейся на методологии образовательной квалиметрии технологии квалиметрического анкетирования, включающей в себя корреляционный метод определения коэффициентов профессиональной квалификации респондентов и их нормирование с целью оценивания конкордации суждений экспертной группы.

Использование технологии квалиметрического анкетирования предполагает овладение основами образовательной квалиметрии, что позволяет добиться повышения объективности процедур педагогического диагностирования. Дальнейшие исследования в данной области предполагают разработку адекватной процедуры вычисления весовых коэффициентов, характеризующих профессиональную квалификацию респондентов и позволяющих вычислить средневзвешенный рейтинговый балл. Это позволит упростить подбор критериев и показателей для квалиметрической анкеты, а также добиться большей достоверности результатов обследования.

Список литературы диссертационного исследования кандидат педагогических наук Шамильян, Ольга Ивановна, 2007 год

1. Аванесов B.C. Методологические и теоретические основы тестового педагогического контроля: Автореф. дисс. . д-ра пед. наук. СПб., 1994. 50 с.

2. Аванесов B.C. Композиция тестовых заданий. М.: Центр тестирования, 2002. 240 с.

3. Аветисов А.А. О системологическом подходе в теории оценки и управления качеством образования / Квалиметрия человека и образования: методология и практика. М.: Центр тестирования, 1996. 145 с.

4. Айзенк Г. Узнай свой собственный коэффициент интеллекта. М.: Наука, 1995. 125 с.

5. Акинфиева Н.В. Квалиметрический инструментарий педагогических исследований // Педагогика. 1998. № 4. С. 30-35.

6. Анастази А. Психологическое тестирование: В 2 т. М.: Педагогика, 1982. 613 с.

7. Анисимова Т.С., Маслак А.А., Осипов С.А., Пушечкин Н.П., Хлебников В.А. Исследование дифференцирующей способности модели Раша на основе имитационного эксперимента // Педагогическая диагностика. 2003. № 1. С. 103-117.

8. Бабанский Ю.К. Оптимизация процесса обучения. М.: Педагогика, 1977. 256 с.

9. Бермус А.Г. Управление качеством профессионально-педагогического образования: Автореф. дисс. . д-ра пед. наук. Ростов-на-Дону, 2003. 50 с.

10. Беспалько В.П. Слагаемые педагогической технологии. М.: Педагогика, 1989.192 с.

11. Боев Г.П. Теория вероятностей. М.; JL: Наука; 1950. 368 с.

12. Бондаревская Е.В. Теория и практика личностио-ориентированного образования. Ростов-на-Дону: Изд-во РГПУ, 2000. 352 с.

13. Борн М. Эйнштейновская теория относительности. М.: Мир, 1972. 368 с.

14. Вильман О. Дидактика как история образования в ее отношениях к социологии и истории образования. М.: Педагогика, 1904. 471 с.

15. Геллерштейн С.Г. Проблемы тестирования // Психология труда. 1969. 4.2. С.З.

16. Гербарт И.Ф. Избранные педагогические сочинения. М.: Педагогика, 1940. 142 с.

17. Гершунский Б.С. Педагогическая прогностика: методология, теория, практика. Киев: Думка, 1986. 200 с.

18. Гильбух Ю.З. Актуальные проблемы валидизации психологических тестов // Вопросы психологии. 1978. № 5. С. 108-118.

19. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Наука, 1978. 496 с.

20. Горбачева Е.И. Психологический анализ критериального задания // Вопросы психологии. 1991. № 2. С. 75-76.

21. Гороховатская Н.В. Оценка качества в образовании: цели и средство? // Контроль качества и оценка в образовании. СПб., 1998. С. 133-137.

22. Ефремова Н.Ф. Тестовый контроль качества учебных достижений в образовании: Автореф. дисс. . д-ра пед. наук. Ростов-на-Дону, 2003. 50 с.

23. Ермаков М.Е. Выборочный метод в научно-педагогических исследованиях и педагогической диагностике. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2004. 88 с.

24. Ингенкамп К. Педагогическая диагностика. М.: Наука, 1991. 240 с.

25. Ительсон Л.Б. Математические методы в педагогике: Автореф. дисс. . д-ра пед. наук. М., 1965. 50 с.

26. Кантор И.М. Понятийно-терминологическая система педагогики. М.: Педагогика, 1980. 245 с.

27. Каплан В.Е., Каплан М.В. К основам статистической обработки успеваемости в системе мониторинга качества образования // Стандарты и мониторинг в образовании. 1999. № 5. С. 32-39.

28. Клайн П. Справочное руководство по конструированию тестов. Введение в психометрическое проектирование. Киев: Думка, 1994. 283 с.

29. Ковалева Г.С., Красновская Э.А., Краснокутская Л.П., Краснянская К.А. Оценки знаний и умений. Международная программа PISA // Педагогическая диагностика. 2002. № 1. С. 119-140.

30. Ковалева Г.С. Состояние Российского образования (по результатам международных исследований) // Педагогическая диагностика. 2003. № 4. С. 128-142.

31. Ковалева Г.С. Международное исследование TIMSS // Педагогическая диагностика. 2005. № 6. С. 125-138.

32. Кошелева Е.А. Диагностика результатов обучения в условиях нового содержания образования. М.: Педагогика, 1992. С. 160-169.

33. Кувандиков O.K., Ким B.C. Методические указания по составлению тестовых заданий. Самарканд: Восток, 1992.

34. Кулемин Н.А. Управление общеобразовательными учреждениями на основе квалиметрического подхода: Теоретико-методологический аспект: Автореф. дисс. канд. пед. наук. Ижевск, 1997.24 с.

35. Куписевич Ч. Основы общей дидактики. М.: Педагогика, 1985. 318 с.

36. Левитес Д.Г. Школа для профессионалов, или Семь уроков для тех, кто учит. М.; Воронеж: Изд-во ВГУ, 2001. 256 с.

37. Майоров А.Н. Теория и практика создания тестов для системы образования. М.:Интеллект-центр, 2000. 352 с.

38. Майоров А.Н. Мониторинг в образовании. М.: Интеллект-центр, 2005. 424 с.

39. Марев И.В. Методологические основы дидактики. М.: Педагогика, 1987. 224 с.

40. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения. М.: Наука, 1988. 192 с.

41. Методика и техника статистической обработки первичной социологической информации. М.: Наука, 1968. 89 с.

42. Методология педагогического исследования / Под ред. М.Н. Скаткина. М.: Педагогика, 1986. 28 с.

43. Методы психологического исследования / Под ред. В.И. Журавлева. М.: Наука, 1972.159 с.

44. Михайлов С.А. Эмпирическое социологическое исследование. М.: Наука, 1975. 383 с.

45. Михайлычев Е.А. Теоретические основы педагогической диагностики: Автореф. дисс. д-ра пед. наук. Екатеринбург, 1991. 50 с.

46. Михайлычев Е.А. Терминология педагогической диагностики. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 1997. 86 с.

47. Михайлычев Е.А. Конструирование дидактических тестов. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2000. 102 с.

48. Михайлычев Е.А. Дидактическая тестология. М.: Народное образование, 2001.432 с.

49. Михеев В.И. Моделирование и методы теории измерения в педагогике. М.: Педагогика, 1987. 128 с.

50. Монахов В.М. Технологические основы проектирования и конструирования учебного процесса. Волгоград: Изд-во ВГПУ, 1995. 432 с.

51. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Центр тестирования, 2000.168 с.

52. Нурминский И.И., Гладышев Н.К. Статистические закономерности формирования знаний и умений учащихся. М.: Наука, 1991. 224 с.

53. Общая психодиагностика. М.: Наука, 1987. 304 с.

54. Овакимян В.О. Опыт применения вероятностной модели обучения // Педагогика. 1993. № 2. С. 24-26.

55. Окунь В.И. Введение в общую дидактику. М.: Педагогика, 1990. 382 с.

56. Орлов А.И. Теория измерений и педагогическая диагностика // Педагогическая диагностика. 2004. № 2. С. 20-32.

57. Психология личности: тесты, опросники, методики. М.: Народное образование, 1995.220 с.

58. Пуанкаре А. О науке. М.: Наука, 1990. 736 с.

59. Равен Дж. Педагогическое тестирование. М.: Наука, 1999. 142 с.

60. Розенберг Н.М. Проблемы измерений в дидактике. Киев: Думка, 1979. 128 с.

61. Руденко В.А. Технология конструирования педагогической анкеты // Педагогическая диагностика. 2002. № 1. С. 81-88.

62. Руденко В.А. Интервью в педагогическом исследовании // Педагогическая диагностика. 2002. № 2. С. 87-95.

63. Рудинский И.Д. Принципы автоматизации педагогического контроля знаний // Педагогическая диагностика. 2003. № 1. С. 54-60.

64. Рудинский И.Д., Клеандрова И.А. Как оценить объективность контроля знаний? // Педагогическая диагностика. 2003. № 3. С. 107-116.

65. Рудинский И.Д. Основы формально-структурного моделирования систем обучения и автоматизации тестирования знаний. М.: Горячая линия-Телеком, 2004.204 с.

66. Сафонцев С.А. Система контроля качества образовательного процесса. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2002. 68 с.

67. Сафонцев С.А. Технология критериально ориентированного тестирования потенциальных возможностей учащихся: Автореф. дисс. . канд. пед. наук. Ростов-на-Дону, 2002. 24 с.

68. Сафонцев С.А. Контроль качества образовательного процесса на основе тестовой диагностики // Школьные технологии. 2002. № 5. С. 169-180.

69. Сафонцев С.А. Конструктная валидность теста потенциальных возможностей школьников // Педагогическая диагностика. 2002. № 2. С. 83-87.

70. Сафонцев С.А. Инвариантность образовательного процесса. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2002. 83 с.

71. Сафонцев С.А. Дискретность образовательного процесса. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2003. 102 с.

72. Сафонцев С.А. Обеспечение объективности результатов педагогического анкетирования // Педагогическая диагностика. 2003. № 1. С. 76-83.

73. Сафонцев С.А. Методология образовательной квалиметрии // Педагогическая диагностика. 2003. № 3. С. 86-101.

74. Сафонцев С.А. Образовательная квалиметрия // Педагогическая диагностика. 2003. № 4. С. 24-43.

75. Сафонцев С.А., Раскина Е.А., Попов С.В. К вопросу стандартизации критериально ориентированного теста // Стандарты и мониторинг в образовании. 2003. № 3. С. 27-37.

76. Сафонцев С.А. Образовательная квалиметрия в системе повышения квалификации. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2003.160 с.

77. Сафонцев С.А. Процедура стандартизации дидактического теста // Педагогическая диагностика. 2004. № 1. С. 114-129.

78. Сафонцев С.А. Образовательная квалиметрия как фактор повышения эффективности контроля качества процесса обучения: Автореф. дисс. . д-ра пед. наук. Ростов-на-Дону, 2005. 50 с.

79. Сафонцев С.А., Попов С.В., Сафонцева Н.Ю. Квалиметрические измерения в процессе мониторинга структуры и содержания образовательных программ // Стандарты и мониторинг в образовании. 2005. № 4. С. 20-23.

80. Сафонцев С.А., Стрюков М.Б., Кравченко В.Ф. Образовательная квалиметрия. Ростов-на-Дону: Изд-во РКСИ, 2006. 36 с.

81. Сафонцев С.А., Коновалова И.С. Технология разработки и оценивания программ дополнительного профессионального образования. Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2006. 100 с.

82. Сафонцев С.А., Шамильян О.И. Как организовать педагогический эксперимент // Практические советы учителю. 2006. № 4. С. 3-11.

83. Селевко Т.К. Современные образовательные технологии. М.: Педагогика, 1998.256 с.

84. Сериков В.В. Образование и личность: Теория и практика проектирования подсистем. М.: Народное образование, 1999. 276 с.

85. Субетто А.И. Качество человека как объект квалиметрии образования // Квалиметрия человека и образования. Ч. I. М.: Наука, 1999.435 с.

86. Талызина Н.Ф. Управление процессом усвоения знаний. М.: Народное образование, 1975. 343 с.

87. Татур Ю.Г. О проблемах измеримости образовательных стандартов и мониторинга качества образования / Квалиметрия человека и образования: методология и практика. М.: Педагогика, 1998. 377 с.

88. Фарберман Б.Л. Составление дидактических тестов. Ташкент: Средняя Азия, 1993.80 с.

89. Фоменко В.Т. Исходные логические структуры процесса обучения. Ростов-на-Дону: Изд-во Рост, ун-та, 1985. 216 с.

90. Хрестоматия по истории зарубежной педагогики и школы / Под ред. А.И.Пискунова. М.: Народное образование, 1981. 520 с.

91. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. М.: Центр тестирования, 1995. 32 с.

92. Челышкова М.Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании: Автореф. дисс. . д-ра пед. наук. СПб., 2001. 50 с.

93. Черепанов B.C. Экспертные оценки в педагогических исследованиях. М.: Педагогика, 1989. 152 с.

94. Черепанов B.C. Теоретические основы педагогической экспертизы: Авто-реф. дисс. д-ра пед. наук. Глазов, 1990. 50 с.

95. Черепанов B.C., Кулемин И.Н. Рейтинговые системы в образовании // Педагогическая диагностика. 2003. № 4. С. 79-84.

96. Шляпентох В.Э. Проблемы репрезентативности социологической информации. М.: Наука, 1976. 214 с.

97. Эльконин Д.Б. Избранные психологические труды. М.: Наука, 1989. 560 с.

98. Эльконин Д.Б. Психолого-педагогическая диагностика: проблемы и задачи / Психодиагностика и школа. Таллин, 1980. 142 с.

99. Яковлев Е.В. Квалиметрический подход в педагогическом исследовании: новое видение // Педагогика. 1998. № 3. С. 49-54.

100. Cattell J. McK. Mental tests and measurements. Mind, 1890,15 p.

101. Ebel R.L. Content standard test scores. Educational and Psychological Measurement. 1962, 22 p.

102. Ebel R.L. Measuring Educational Achievement. Englewood Cliffs, N. J. 1965. 204 p.

103. Galton F. Psychometric experiments. Brain. 1879, 2 p.

104. Glaser R. Instructional technology and the measurement of learning outcomes. American Psychologist. 1963,18 p.

105. Kuder G.F., Richardson M.W. The theory of the estimation of test reliability. Psychometric, v. 2, No 3, September, 1937, 36 p.

106. Pearson K. On lines and planes of closest fit to systems of points in space. Philosophical Magazine, Series 6.1901. 2 p.

107. Rasch G. Probabilistic Models for Some Intelligence and Attainment Test, 1960, Copenhagen, Denmark: Danish Institute for Educational Research. 45 p.

108. Rulon P.J. A simplified procedure for determining the reliability of a test of split-halves. Harvard Educational Review. 1939, 9. P. 25-35.

109. Spearman С. General intelligence objectively determined and measured. American Journal of Psychology, 1904,15 p.