Единый государственный экзамен как современная форма оценки учебных достижений: дидактическая характеристика тема диссертации и автореферата по ВАК РФ 13.00.01, кандидат педагогических наук Караваева, Любовь Викторовна

• Караваева, Любовь Викторовна
• кандидат педагогических наук
• 2007

Оглавление диссертации кандидат педагогических наук Караваева, Любовь Викторовна

ВВЕДЕНИЕ

Глава I. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ, ФОРМЫ И СРЕДСТВА ОЦЕНКИ 12 УЧЕБНЫХ ДОСТИЖЕНИЙ В СИСТЕМЕ ОБЩЕГО ОБРАЗОВАНИЯ

1.1. Краткая истории развития оценки в России

1.2. Теория педагогических измерений как научный базис оценочных 18 процессов в образовании

1.3. Оценка (оценивание), её функции в системе общего образования. 23 Единый государственный экзамен как форма оценки учебных достижении.

1.4. Инновационные формы и средства оценки учебных достижений, 32 требования к качеству контрольных измерительных материалов

1.5. Надежность педагогических измерений, её связь с объективностью

1.6. Валидность педагогических измерений, её виды 45 Выводы по I главе

Глава И. РЕЗУЛЬТАТЫ ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА 50 КАК ИНФОРМАЦИОННАЯ ОСНОВА СИСТЕМЫ ОБЩЕГО ОБРАЗОВАНИЯ

2.1. Модель мониторинга ЕГЭ, дидактические и технологические 50 требования к ее реализации

2.2. Роль мониторинга ЕГЭ в управлении качеством общего образовании 67 на региональном и федеральном уровнях

2.3. Методики оценивания надежности и валидности результатов ЕГЭ

2.4. Методики шкалирования и выравнивания данных ЕГЭ в условиях 99 сопоставимости по вариантам и по годам

2.5. Анализ и интерпретация данных ЕГЭ в управлении качеством 96 образования

Выводы по II главе

Введение диссертации (часть автореферата) на тему «Единый государственный экзамен как современная форма оценки учебных достижений: дидактическая характеристика»

Актуальность исследования.

Необходимость и актуальность объективного контроля качества образования является одной из важнейших задач, зафиксированных в Федеральной целевой программе развития образования на 2006 - 2010 годы и Концепции модернизации российского образования на период до 2010 года. Формирование национальной системы обеспечения качества образования, разработка и совершенствование государственных образовательных стандартов, внедрение в учебный процесс новых образовательных технологий и другие процессы, протекающие в образовании в настоящее время, вызывают потребность в повышении точности и обоснованности оценок подготовленности обучающихся в силу того, что педагогическая оценка является не только одним из показателей качества образования, но одним из факторов, влияющих на повышение этого качества.

В связи с этим, особую важность приобретают исследования, направленные на совершенствование контрольно-оценочных процессов на основе аппарата и методов теории педагогических измерений с целью обеспечения высокой объективности данных о качестве учебных достижений, их сопоставимости в сравнительном и прогностическом анализе при проведении мониторинга и накоплении информации о качестве образования. Актуальны также исследования, нацеленные на разработку научных подходов к интерпретации результатов педагогических измерений, поскольку в период проведения эксперимента по введению единого государственного экзамена (ЕГЭ) у руководителей образовательных учреждений, органов управления образованием разных уровней, у учителей и самих учащихся сформировалась потребность в объективной информации о качестве образования.

ЕГЭ является одним из основных механизмов функционирования общероссийской системы оценки качества образования (ОСОКО), создание которой согласно решению Государственного Совета Российской Федерации в марте 2006 года входит в число ключевых направлений образовательной политики в стране. Эксперимент по введению ЕГЭ проводится в России с 2001 года в соответствии с утвержденным правительством Российской Федерации Планом действий в области социальной политики и модернизации экономики на 2000-2001 годы и соответствующими постановлениями Правительства Российской Федерации. Основной его целью является введение формы независимой оценки уровня учебных достижений обучающихся с использованием заданий стандартизированной формы (контрольные измерительные материалы), выполнение которых позволит установить уровень учебных достижений обучающихся по освоению федерального компонента государственного образовательного стандарта среднего (полного) общего образования.

Анализ результатов эксперимента показывает, что ЕГЭ оказывает существенное влияние на систему образования, выполняя роль связующего и регулирующего звена между общеобразовательными учреждениями и профессиональными учебными заведениями, обеспечивая единство требований к качеству подготовки выпускников системы общего образования. Результаты ЕГЭ закладывают информационную базу, которая может использоваться для сравнительных оценок качества образования (на федеральном и региональном уровнях и на уровне отдельного образовательного учреждения) и прогнозирования тенденций для повышения обоснованности принятия оперативных и стратегических управленческих решений.

Эксперимент по введению ЕГЭ переходит в завершающую фазу. Правительством Российской Федерации внесен на рассмотрение Государственной Думы Федерального Собрания Российской Федерации проект федерального закона «О внесении изменений в Закон Российской Федерации "Об образовании" и Федеральный закон "О высшем и послевузовском профессиональном образовании" в части введения единого государственного экзамена», принятый Государственной Думой в первом чтении 20 октября 2006 г.

Такая постановка вопроса вызывает необходимость проведения глубокого анализа и теоретического обоснования ЕГЭ как современной формы оценки учебных достижений в условиях высокой объективности (надежности) и валидности. В частности, в развернутом научном обосновании нуждаются процедуры оценивания качества эмпирических данных (оценка надежности и валидности), шкалирования результатов, требования к инструментарию ЕГЭ (контрольным измерительным материалам), анализу и интерпретации данных ЕГЭ в режиме мониторинга для управления качеством образования. Таким образом, актуальность проведения данного диссертационного исследования обусловлена необходимостью решения современных образовательных и социальных проблем, непосредственно связанных с проведением государственной политики в области образования.

Многие аспекты оценочной деятельности уже освещены в педагогической науке - среди них: история развития педагогической оценки знаний в России и ее современное состояние (В.М.Полонский, С.А.Стинова и др.); развитие оценочной деятельности учителя и учащихся в учебно-воспитательном процессе (Н.В.Селезнев и др.); методика контроля готовности к профессиональной деятельности студентов средних специальных учебных заведений (Л.Г.Семушина и др.) и многие другие. Однако проблема оценки учебных достижений в форме ЕГЭ ранее не выступала в качестве специального самостоятельного предмета исследования.

В данном исследовании ЕГЭ рассматривается как современная форма оценки учебных достижений, основанная на использовании инновационных измерителей - КИМ. В отличие от традиционных средств контроля и оценки учебных достижений КИМ разрабатываются по специальной технологии, опирающейся на теорию педагогических измерений, и отвечают научно обоснованным критериям качества, выдвигаемым теорией педагогических измерений и обеспечивающим высокую объективность и обоснованность результатов выпускников.

Таким образом, основу научных подходов к созданию КИМ и их применению в ЕГЭ закладывает теория педагогических измерений, систематические исследования в области которой ведутся В.С.Аванесовым, В.А.Болотовым, Н.Ф.Ефремовой, В.И.Звонниковым, Г.С.Ковалевой, В.Ж.Куклиным, В.Г.Наводновым, Н.Н.Найденовой, Ю.М.Нейманом, А.О.Татуром, В.А.Хлебниковым, М.Б.Челышковой, А.Г.Шмелевым и др., а также многочисленными учеными за рубежом.

Несмотря на многолетние исследования в области педагогических измерений по направлениям, связанным с научным обоснованием подходов к созданию КИМ и использованию результатов ЕГЭ в режиме мониторинга, на сегодняшний день все еще существуют не решенные вопросы, проблемный характер которых усугубляется рядом противоречий между:

- расширением масштабов использования научно-обоснованных методов педагогического измерения в ЕГЭ и преобладанием практики традиционного субъективного контроля в школах; современными подходами к трактовке качества образования и традиционными методиками разработки тестов с выбором ответов, ориентированных на приоритет проверки умений репродуктивного уровня;

- введением инновационных форм заданий в практику ЕГЭ, увеличивающих разброс результатов измерений за счет экспертных методов, и требованиями теории педагогических измерений, обуславливающими необходимость обеспечения высокой надежности измерений и максимальной стандартизации оценочных процедур;

- потребностью в повышении качества процесса и результатов обучения и недостаточностью разработки научных подходов к получению объективной информации о качестве образования, отвечающей требованиям теории педагогических измерений (в т.ч. высокой надежности, валидности и сопоставимости);

- потребностью в накоплении и использовании статистической информации, полученной по данным ЕГЭ, для управления качеством образования и отсутствием разработанных в достаточной степени методик её сбора, обработки, шкалирования, анализа и интерпретации в условиях сопоставимости данных в рамках систем мониторинга качества образования.

Разрешение данных противоречий, заключающиеся в выявлении сущностной основы единого государственного экзамена как современной формы оценки учебных достижений и определило основную проблему настоящего исследования.

Объект исследования: оценка в системе образования.

Предмет исследования: единый государственный экзамен как современная форма оценки учебных достижений.

Цель исследования: на основе обобщения и систематизации эмпирических данных, полученных в ходе проведения ЕГЭ, теоретически обосновать ЕГЭ в качестве современной формы итоговой оценки учебных достижений, обеспечивающей высокую надежность и валидность результатов измерения.

Гипотеза исследования единый государственный экзамен обеспечивает оценку учебных достижений выпускников с высокой надежностью и валидностью, если его научная организация строится в парадигме сочетания количественных и качественных уровней измерения; для измерений в ЕГЭ используется научно-обоснованный инструментарий, эффективные методы шкалирования и выравнивания; обработка, анализ и интерпретация результатов ЕГЭ основывается на современной методологии педагогических измерений (теории ШТ), а получаемая информация позволяет проводить лонгитюдные исследования в режиме мониторинга.

Цель исследования и выдвинутая гипотеза определили следующие задачи исследования:

- проанализировать и обобщить основную литературу по проблеме исследования, выявить основные тенденции совершенствования оценки учебных достижений и определить место единого государственного экзамена в системе современных оценочных средств и методов, интегрирующих количественные и качественные оценки подготовленности учащихся;

- обобщить эмпирические данные, полученные в ходе проведения единого государственного экзамена и дать дидактическую характеристику ЕГЭ как современной формы оценки учебных достижений; обобщить и систематизировать дидактические требования к инструментарию, процедурам шкалирования, анализа и интерпретации результатов ЕГЭ;

- спроектировать модель мониторинга, обеспечивающую эффективное использование информации для управления качеством образования.

Методологическую основу исследования составили:

- фундаментальные исследования по проблемам качества образования и его сущности (В.И.Байденко, В.П.Беспалько, В.А.Караковский, В.А.Качалова, В.С.Лазарев, О.Е.Лебедева, А.М.Моисеев, В.В.Николина, П.И.Пидкасистый, М.М.Поташник, Н.А.Селезнева, В.М.Соколов, А.И.Субетто, О.Г.Хомерики, В.Д.Шадрикова, Е.А.Ямбург и др.);

- современная методология конструирования и применения тестов в образовании - Item Response Theory (В.И.Звонников, Г.С.Ковалева,

B.Г.Наводнов, Н.Н.Найденова, Ю.М.Нейман, А.О.Татур, М.Б.Челышкова, А.Г.Шмелев, A.Birnbaum, R.Hambleton, J.Keeves, F.Lord, G.Rasch, D.Weiss и др-);

- научные исследования по проблемам единого государственного экзамена (В.А.Болотов, Н.Ф.Ефремова В.И.Звонников, Г.С.Ковалева, В.Ж.Куклин, М.Б.Челышкова, А.Г.Шмелев и др.);

-исследования по проблемам оценки и контроля (В.С.Аванесов, Ю.Ф.Гущин, В.А.Кальней, Г.С.Ковалева, А.С.Королев, В.Ф.Одоевский, Н.И.Пирогов, В.М.Полонский, К.Д.Ушинский, С.Е.Шишов и др.);

- исследования в области мониторинга качества образования (Т.И.Алексеева, В.И.Андреев, В.А.Кальней, В.Ж.Куклин, А.Н.Майоров,

C.Е.Шишов и др.);

- методологические основы управления образовательными системами

В.П.Беспалько, В.Н.Бураков, Э.М.Коротков, В.С.Лазарев, А.А.Макаров, Н.Д.Малахов, Д.А.Новиков, М.В.Рыжаков, П.И.Третьяков и др.);

В соответствии с логикой диссертационного исследования для решения поставленных задач и проверки гипотезы использованы следующие методы исследования: анализ литературы, обобщение, моделирование, статистические методы анализа данных, сравнение, индукция и дедукция, научное доказательство, абстрагирование.

На защиту выносятся следующие положения:

1. Единый государственный экзамен является современной формой государственной (итоговой) аттестации, обеспечивающей высокую надежность (по Кронбаху), валидность (прогностическую и содержательную) результатов оценивания учебных достижений при выполнении требований теории педагогических измерений (репрезентативность отображения требований ГОС в содержании КИМ, высокая дифференцирующая способность заданий КИМ, адекватность трудности заданий КИМ подготовленности выборки выпускников, оптимальная длина КИМ, высокая гомогенность содержания заданий и т.д.).

2. Модель мониторинга учебных достижений, предложенная в работе, обеспечивает эффективное использование данных в управлении качеством образования, если используемые результаты педагогических измерений (единого государственного экзамена и иных оценочных процедур) удовлетворяют условиям комплексности и сопоставимости, что достигается в случае выполнения приведенных в работе дидактических и технологических требований к процедурам шкалирования и выравнивания, структурирования информации в соответствии с уровнями управления образованием, учету дополнительных факторов социально-экономического характера и стандартизации методик интерпретации полученных результатов.

Научная новизна и теоретическая значимость исследования состоит в следующем:

- показано, что оценки уровня учебных достижений выпускников в ЕГЭ могут быть интерпретированы в контексте современных дидактических требований к содержанию среднего (полного) общего образования, поскольку задания КИМ ориентированы на проверку различных уровней деятельности, в том числе, на проверку творческих умений выпускников;

- получены оценки надежности и валидности результатов ЕГЭ, установлено их соответствие требованиям теории педагогических измерений;

- показано, что оценки учебных достижений, получаемые в процессе государственной (итоговой) аттестации в форме ЕГЭ, закладывают информационную базу ОСОКО в форме образовательной статистики, отвечающей требованиям объективности, сопоставимости и прогностичности;

- предложена модель мониторинга данных ЕГЭ с учетом информационных потребностей различных уровней управления качеством образования;

- обоснована целесообразность совместного использования данных ЕГЭ и результатов, полученных при проведении иных измерительных процедур (портфолио, тестов практических умений, кейс-измерителей).

Практическая значимость исследования заключается в разработке совокупности методик для оценивания надежности и валидности данных ЕГЭ, шкалирования баллов выпускников в условиях сопоставимости данных по вариантам КИМ одного года и по годам. Разработаны практические рекомендации по анализу и интерпретации результатов ЕГЭ для работников органов управления образованием, методистов и школьных преподавателей в режиме мониторинга данных ЕГЭ.

Апробация результатов

Результаты проведенного исследования обсуждались на заседаниях кафедры педагогических измерений Исследовательского центра и докладывались на научных конференциях, совещаниях, семинарах и симпозиумах: межрегиональных совещаниях- семинарах по подготовке и проведению эксперимента по введению единого государственного экзамена (гг. Краснодар, Великий Новгород, 2002 г., г.Хабаровск, 2005 г.); региональной научно-практической конференции «Единый государственный экзамен в региональной системе управления качеством образования» (г.Ростов-на-Дону, 2003 г.); региональных конференциях и семинарах (гг.Якутск, 2005 г., Волгоград, 2002 г.); на XI Симпозиуме «Квалиметрия в образовании: методология, методика, практика» (г.Москва, 2006 г.); Всероссийском совещании-семинаре ответственных секретарей приемных комиссий высших учебных заведений по вопросам организации приема в вузы (г.Москва, 2006 г.); на VII Региональной научно-практической конференции «Профессиональная ориентация и методики преподавания в системе школа-вуз в условиях перехода к единой форме государственной аттестации выпускников общеобразовательных учреждений» (г.Москва, 2006 г.); на II международной конференции «Оценка качества образовательных достижений в системе общего образования» (г.Москва, 2006 г.).

Основные этапы исследования

На первом этапе (2002 - 2003 гг.) проводился теоретический анализ литературы по проблемам контроля и оценивания учебных достижений, в том числе методами теории педагогических измерений, изучался отечественный опыт по созданию систем мониторинга качества образования. Этап носил аналитико-поисковый и научно-исследовательский характер, на нем осуществлялась подготовка теоретической базы исследования, формулировалась проблема, определялись цели и задачи исследовательской работы, исследовался опыт первых лет эксперимента по введению ЕГЭ для выявления возможностей использования данных ЕГЭ в управлении качеством образования, фиксировались позитивные и негативные последствия применения данных тестирования при выработке решений на различных уровнях управления образованием.

На втором этапе исследования (2004 - 2005 гг.), имеющем аналитико-синтетический характер, интегрировался и обобщался практический опыт, были получены основные теоретические результаты (с использованием системного подхода), анализировался банк эмпирических данных и данных анкетирования, проводилась разработка и апробация методик для использования данных ЕГЭ в управлении качеством образования.

На третьем этапе (2006 г.) выполнялась работа по определению направлений практического использования полученных результатов, их апробации, подведению итогов исследования и их оформлению в виде диссертационной работы.

Структура диссертации: Диссертация состоит из введения, двух глав, заключения, списка литературы, приложений.

Список литературы диссертационного исследования кандидат педагогических наук Караваева, Любовь Викторовна, 2007 год

1.89 42 47 59i Надежность теста вычисляется по формуле коэффициента альфа (Стоп эасЬ).