Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования тема диссертации и автореферата по ВАК РФ 13.00.08, кандидат педагогических наук Максимова, Оксана Александровна

• Максимова, Оксана Александровна
• кандидат педагогических наук
• 2010

Оглавление диссертации кандидат педагогических наук Максимова, Оксана Александровна

Введение.

Глава 1. проблемы применения тестовых технологий для контроля учебных достижений обучающихся в системе профессионального образования.

§1.1. Общие проблемы применения тестовых технологий в системе профессионального образования.

§1.2. Характеристика педагогических тестов, применяемых для контроля и диагностики учебных достижений обучающихся в системе профессионального образования.

§1.3. Основы методологии экспертизы качества тестовых материалов.

§1.4. Модели экспертизы качества тестов в современной дидактической тестологии.

Введение диссертации (часть автореферата) на тему «Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования»

Актуальность темы исследования. Современное социально-экономическое и политическое развитие России формирует новые требования к качеству подготовки специалистов. Согласно «Концепции модернизации российского образования на период до 2010 года» основной целью профессионального образования является «подготовка квалифицированного работника соответствующего уровня и профиля, конкурентоспособного на рынке труда, компетентного, ответственного, свободно владеющего профессией и ориентированного в смежных областях деятельности, способного к эффективной работе по специальной и профессиональной мобильности, удовлетворению потребностей личности в получении соответствующего образования» [79].

Процесс повышения качества профессионального образования затрагивает все уровни образовательной деятельности. В контексте мировых тенденций к обеспечению качества высшего профессионального образования особую значимость приобрела проблема разработки и внедрения внутривузовских систем оценки качества образования.

Как следствие преобразований в системе профессионального образования, возникает проблема формирования принципиально новых подходов к педагогическому контролю учебных достижений обучающихся. В новой парадигме педагогической науки акцент ставится, прежде всего, на многомерном и многоэтапном измерении качества учебных достижений обучающихся. Необходимость в достоверной оценке актуализировала проблему поиска эффективных научно обоснованных методов и средств контроля качества результатов профессионального образования. Одним из эффективных средств педагогического контроля качества обучения является педагогическое тестирование.

Современное педагогическое тестирование представляет собой комплекс стандартизованных методов измерения учебных достижений обучающихся. Эффективность применяемой системы контроля зависит не только от объективных и надежных технологий, но и от качества применяемых тестовых материалов. В этой связи проблема обеспечения систем контроля качества образования надежными и валидными тестами приобрела особую актуальность.

В научных исследованиях зарубежных (К. Ингенкамп, Б. Немерко, К. Денек, Ю. Кеттел, В. Оконь, Б. Блум и др.) и отечественных (В С. Аванесов, В.П. Беспалько, Н.Ф. Ефремова, М. В. Кларин, Г.С. Ковалева, А.Н. Майоров, А.О. Татур, B.C. Черепанов, М.Б. Челышкова и др.) ученых доказано, что педагогические тесты обладают рядом преимущественных свойств перед другими средствами педагогического контроля: технологичность, оперативность, объективность, систематичность, комплексность, полифункциональность, универсальность и т.д. В системе профессионального образования дидактические тесты являются основным средством оценки качества и мониторинга профессионального образования: в процедурах оценки результатов образовательной деятельности, аккредитации образовательных учреждений и т.д.

Одной из важнейших задач применения тестовых технологий для контроля в учебном процессе является разработка и совершенствование педагогических тестов как максимально объективного и точного измерительного инструмента.

В настоящее время в практике применения тестовых технологий в системе профессионального образования существуют противоречия между: S потребностью в достоверной и оперативной информации о качестве учебных достижений обучающихся и невозможностью ее получения из-за отсутствия стандартизированных фондов оценочных средств; S необходимостью в повышении качества тестов и используемыми методами экспертизы, которые не позволяют получить объективную оценку их качества;

S целями экспертизы и невозможной их полной реализации из-за отсутствия комплексного подхода в применении релевантных методов оценивания качества тестовых материалов; S потребностью в технологии комплексной экспертизы качества тестовых материалов, применение которой позволит обеспечить контроль надежными и валидными тестами, и отсутствием соответствующей технологии.

Проблема исследования заключается в необходимости разработки и апробации технологии комплексной экспертизы качества тестовых материалов для системы профессионального образования.

Практика применения тестовых технологий выявила важнейшую проблему: использование некачественных тестов для педагогического контроля качества обучения. Как возможное решение этой проблемы Министерством образования России был подписан Приказ «О сертификации качества педагогических тестовых материалов» (Приказ от 17.04.2000 №1122). В это же время начались активные научные разработки моделей экспертизы качества тестовых материалов и процедур сертификации тестов с разных позиций: на основе формальных правил конструирования тестовых заданий (Н.А. Гулюкина, В.Ю. Переверзев, С.В. Клишина), формально-содержательных правил (М.Б. Челышкова, B.C. Аванесов, E.JI. Михайлычев, В.И. Васильев, А.В. Никитин) и методологических основ (Е.Д. Попова, Д.М. Узденов). Несмотря на накопленный научно-педагогический опыт в области дидактической тестологии, вопрос об оценивании качества тестовых материалов до сих пор остается актуальным.

Значимость данной проблемы определила тему исследования: «Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования».

В данном диссертационном исследовании термин «тестовый материал» используется применительно к педагогическим тестам, не прошедшим процедуру стандартизации и сертификации. 1

Объект исследования: качество тестовых материалов.

Предмет исследования: модель и технология комплексной экспертизы качества тестов, используемых в системе профессионального образования.

Под технологией понимается «система условий, форм, методов, средств и критериев решения поставленной педагогической задачи» (A.M. Новиков, 2009).

Цель исследования: разработка модели оценки качества тестовых материалов и технологии комплексной экспертизы тестовых материалов как фактора обеспечения достоверности оценки учебных достижений обучающихся в учреждениях профессионального образования.

Гипотеза исследования состоит в предположении о том, что качество тестов может быть обеспечено, если: качество тестов рассматривать как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов; оценка качества тестов будет проводиться с использованием методов комплексного оценивания на основе критериев и показателей качества тестовых материалов; технология комплексной экспертизы качества тестов будет разработана на основе модели оценки тестовых материалов.

В соответствии с целью и гипотезой исследования были определены следующие задачи:

1. Провести теоретический обзор научной литературы по проблемам разработки и применения тестовых материалов для контроля учебных достижений обучающихся в системе профессионального образования.

2. Проанализировать опыт применения существующих моделей оценки качества тестовых материалов.

3. Обосновать необходимость комплексного оценивания качества тестовых материалов.

4. Обосновать систему критериев и показателей качества тестовых материалов.

5. Разработать модель оценки качества тестовых материалов на основе комплексного оценивания.

6. Разработать технологию комплексной экспертизы качества тестовых материалов для системы профессионального образования.

7. Провести апробацию технологии комплексной экспертизы качества тестовых материалов.

Теоретико-методологическую основу исследования составили ведущие положения:

S теории и методологии профессионального образования (В.И. Байденко,

B.И.Блинов, А.Т. Глазунов, А.Н. Лейбович, М.В. Никитин, A.M. Новиков, П.Н. Новиков, Е.А. Рыкова, Д.В. Чернилевский, и др.);

S методологии системного анализа (Ф.П. Тарасенко, Ф.И. Перегудов, И.В.

Прангишвили, Я. Такахара); S общей, образовательной и педагогической квалиметрии (Г.Г. Азгальдов,

C.И. Архангельский, В.И. Байденко, К. Ингенкамп, А.Н. Майоров, Е.А. Михайлычев, В.И. Огорелков, С.А. Сафонцев, А.И. Субетто, и др.);

S в области формирования систем оценки качества образовательных достижений обучающихся (В.П. Беспалысо, В.И. Блинов, К. Ингенкамп, А.Н. Лейбович, А.Н. Майоров, A.M. Новиков, О.Е. Пермяков, А.И. Субетто и др.);

S разработки технологий компьютерного тестирования (В.И. Васильев, Т.Н. Тягунова и др.);

S таксономии уровней усвоения учебного материала (В.П. Беспалько, Г.К.

Селевко, Д. Толлингерова, К. Денек); S теории и технологии обучения (С.И. Архангельский, Ю.К. Бабанский, В.П. Беспалько и др.);

S дидактической тестологии (B.C. Аванесов, Т.М. Балыхина, Н.А. Гулюкина, Н.Ф. Ефремова, С.В. Клишина, В.Ю. Переверзев, М.Б. Челышкова, и др.);

S работы в области экспертного оценивания (А.И. Орлов, Б.Г. Литвак, B.C.

Черепанов).

Методы исследования: при решении поставленных задач были использованы теоретические методы (теоретико-информационный анализ научной литературы; понятийно-терминологический анализ философских и - педагогических источников; проектирование и моделирование технологических процессов комплексной экспертизы с помощью программного обеспечения BP Win 4.1); эмпирические методы (анкетирование; тестирование, сбор и обработка данных с использованием программ Statistica, Exel, Winsteps, SPSS Statistics 17.0; методы экспертных оценок, примененные при апробации технологии комплексной экспертизы качества тестовых материалов); методы математической статистики и статистики качеств, примененные при обработке экспериментальных данных.

База исследования:

Опытно-экспериментальная работа проводилась на базе ГОУ ВПО «Томский политехнический университет» (ТПУ). В эксперименте приняли участие обучающиеся I и II курсов (было проведено свыше 30 тыс. человеко-экзаменов в период с 2003 по 2005 гг.), преподаватели общеобразовательных дисциплин, разработчики и эксперты тестовых материалов, организаторы тестирования, слушатели курсов повышения квалификации Томского областного института повышения квалификации и переподготовки работников образования.

Этапы диссертационного исследования. Исследование проводилось в три этапа.

На первом этапе (2002-2003 гг.) изучалось состояние проблемы в теории и практике контроля и мониторинга качества учебных достижений студентов технического вуза, осуществлялся ее всесторонний анализ, разрабатывались и проверялись отдельные подходы и процедуры, впоследствии составившие основу модели комплексной экспертизы качества тестовых материалов, определялась гипотеза исследования.

На втором этапе (2003—2005 гг.) были уточнены предмет и задачи исследования, разработана модель оценки качества тестовых материалов с позиций комплексного оценивания, проведена опытно-экспериментальная работа по проведению апробации отдельных элементов технологии комплексной экспертизы качества тестовых материалов при проведении массового тестирования обучающихся ТПУ.

На третьем этапе (2005—2008 гг.) осуществлялась обработка и анализ эмпирических данных, полученных в ходе опытно-экспериментальных работ, проверка гипотезы диссертационного исследования, обобщение и систематизация результатов исследования.

Научная новизна диссертационного исследования.

1. Обоснован комплексный подход к оцениванию качества тестовых материалов, выступающий методологическим регулятивом в процедурах экспертизы качества и обеспечивающий интегральную оценку качества тестовых материалов.

2. Разработана модель системы оценки качества тестовых материалов, состоящая из системной совокупности четырех основных подсистем (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы, позволяющая получить достоверную оценку качества тестовых материалов за счет:

S того, что категория «качество тестовых материалов» рассматривается как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов;

S реализации комплексного подхода к оцениванию качества тестовых материалов;

•S применения релевантных методов оценивания интегрального качества;

S реализации последовательности этапов экспертизы;

S использования системы критериев и показателей для оценки интегрального качества тестовых материалов.

3. Разработана и апробирована технология комплексной экспертизы через реализацию последовательности алгоритмов организации и оценивания интегрального качества тестовых материалов.

Теоретическая значимость заключается в том, что: определена роль педагогических тестов как средства, обеспечивающего достоверную оценку учебных достижений обучающихся в учреждениях профессионального образования;

•S разработаны методологические подходы к формированию фондов стандартизированных оценочных средств для контроля и оценки учебных достижений обучающихся;

•S на основе анализа категории «качество тестовых материалов» определена специфика тестовых материалов для системы профессионального образования как педагогического измерительного инструментария оценки качества подготовки обучающихся;

S обогащен понятийный аппарат тестовой квалиметрии путем уточнения понятия «качество тестовых материалов», дано определение «комплексная экспертиза качества тестовых материалов» и «интегральный показатель качества тестовых материалов»;

S научно обоснован комплексный подход в оценивании качества тестовых материалов и предложены релевантные методы оценивания интегрального качества тестовых материалов;

S предложена модель оценки качества тестовых материалов и апробирована, разработанная на ее основе, технология комплексной экспертизы;

S предложена иерархическая система критериев и показателей качества тестов и тестовых заданий, основанная на теории важности критериев.

Предложенные подходы в рамках технологии комплексной экспертизы качества тестовых материалов обогащают теорию и практику тестовой квалиметрии релевантными методами оценивания интегрального качества тестовых материалов.

Практическая значимость определяется возможностью использования технологии комплексной экспертизы качества тестовых материалов в образовательных учреждениях и организациях, занимающихся независимой оценкой качества образования, при формировании фондов стандартизированных оценочных средств, обеспечивающих достоверную оценку учебных достижений обучающихся в учреждениях профессионального образования, в части:

1) использования разработанной иерархической системы критериев и показателей качества тестов и тестовых заданий;

2) применения комплекса мер по организации и проведению комплексной экспертизы качества тестовых материалов;

3) применения алгоритмов определения комплексного (интегрального) показателя качества тестовых материалов для формирования фонда стандартизированных педагогических тестов.

Применение технологии комплексной экспертизы качества тестовых материалов позволяет повысить качество тестовых материалов за счет реализации комплексного подхода.

По материалам диссертационного исследования разработана программа курсов повышения квалификации работников образования по теме: «Технология разработки и комплексной экспертизы качества тестовых материалов для мониторинга и оценки качества образования».

Технология комплексной экспертизы качества тестовых материалов применяется при разработке педагогических тестов для мониторинга качества образования в Томском политехническом университете.

Материалы диссертационного исследования реализованы в «Методических рекомендациях по конструированию педагогических тестов для мониторинга качества образования», учебно-методическом комплексе «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования».

Апробация и внедрение результатов исследования. Основные результаты диссертационного исследования обсуждались на международных и всероссийских конференциях «Информационные технологии в повышении качества образования», г. Омск, 2006 г.; «Актуальные проблемы качества образования и пути их решения», г. Уфа, 2006 г.; «Наука. Технологии. Инновации», г. Новосибирск, 2006 г.; «Образование и наука без границ-2006», г. Днепропетровск, 2006 г.; «Новые информационные технологии в образовании», г. Екатеринбург, 2007 г., «Развитие тестовых технологий в России», г. Москва, 2007 г. и др.

Технология комплексной экспертизы качества тестовых материалов апробирована и применяется в Томском политехническом университете, что подтверждается актом использования результатов научных исследований. На базе Томского областного института повышения квалификации и переподготовки работников образования осуществляется повышение квалификации по теме «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования».

Достоверность и обоснованность результатов исследования обеспечиваются комплексным рассмотрением изучаемой проблемы в рамках концепции построения общероссийской системы оценки качества образования; применением методов системного анализа, квалиметрии, математической статистики; положительными результатами опытноэкспериментальной работы, апробацией в условиях конкретных образовательных систем региона.

На защиту выносятся следующие положения:

1. Качество тестовых материалов — это интегральное свойство их содержательных, формальных, функциональных и структурно-логических характеристик, обусловливающих достоверность оценки учебных достижений обучающихся.

2. Экспертиза качества тестовых материалов должна отвечать общеметодологическим принципам системности, объективности, комплексности, профессиональной компетентности экспертов, преемственности всех этапов экспертизы, и необходимости контроля за соблюдением процедур экспертизы.

3. Модель оценки качества тестовых материалов представлена системной совокупностью четырех основных подсистем — (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы.

4. Комплексное оценивание качества тестовых материалов реализуется посредством применения многокритериального иерархически взаимосвязанного оценивания качественных и количественных показателей качества тестовых материалов и выражается через значение интегрального показателя качества.

Структура диссертационного исследования определяется логикой исследования и поставленными задачами. Диссертация состоит из введения, трех глав, заключения, списка использованной литературы, включающего 169 наименований, 4 приложений. В диссертации 27 таблиц, 12 рисунков. Общий объем работы составляет 192 страницы.

Заключение диссертации по теме «Теория и методика профессионального образования», Максимова, Оксана Александровна

§ 3.8. Основные выводы

В результате практической апробации модели комплексной экспертизы качества тестовых материалов были сделаны следующие выводы:

1. предложенная и апробированная модель комплексной экспертизы качества тестовых материалов, состоящая из четырех основных технологических этапов: предварительная экспертиза, формально—содержательная экспертиза, тестологическая экспертиза и интегральная экспертиза, позволяет реализовать комплексное оценивание качества тестового материала;

2. сформированная система квалиметрических показателей качества тестовых материалов обладает полнотой и комплексностью оцениваемых формальных, содержательных и структурных характеристик;

3. специальная подготовка специалистов, участвующих в проведении и организации комплексной экспертизы, позволяет повысить достоверность получаемой в ходе оценивания информации о качественных характеристиках тестового материала.

4. в процедуре комплексной экспертизы необходимо учитывать информационные риски: избыточность, недостоверность, неполноту, различную степень значимости информации о характеристиках оцениваемого материала.

5. апробированная технология комплексной экспертизы обладает адаптивностью и гибкостью, что позволит вводить новые критерии и показатели качества тестовых материалов в зависимости от типов заданий и их целевого предназначения без нарушения общих алгоритмов процедуры оценки качества материалов в целом.

ЗАКЛЮЧЕНИЕ

Современный этап формирования систем оценки качества образования характеризуется активным использованием педагогических тестов для контроля и оценки образовательных достижений обучающихся на разных уровнях системы образования. При этом актуальной становится Анализ проблем использования тестовых технологий в образовании выявил потребность в формирования фонда качественных педагогических тестов, обеспечивающих высокую степень достоверности процедур оценки качества образования. В этой связи особую значимость приобретает процедуры экспертизы качества тестовых материалов как главное средство оценки качества тестов на этапе их разработки. Для решения этой проблемы в данном диссертационном исследовании был предпринята попытка комплексного изучения качества тестовых материалов с целью разработки эффективной модели экспертизы, позволяющей на стадии разработки сформировать банк стандартизированных тестовых заданий и тестов. На основании полученных результатов можно сделать следующие выводы:

В результате данного диссертационного исследования была достигнута поставленная цель: разработать модель оценки качества тестовых материалов и технологию комплексной экспертизы тестовых материалов как фактора обеспечения достоверности оценки учебных достижений обучающихся в учреждениях профессионального образования. На основании полученных результатов можно сделать следующие выводы:

1. Проблемы повышения качества профессионального образования требуют формирования новых подходов к реализации контрольно-оценочной деятельности обучающихся, основанной на использовании объективных, надежных и валидных тестов, которые позволяют технологично и оперативно получить достоверную информацию о качестве учебных достижений.

2. Аналитический обзор и сравнение существующих моделей экспертизы качества тестовых материалов позволил выявить их главные недостатки — изолированность этапов экспертизы и отсутствие комплексного оценивания качества тестовых материалов.

3. С позиций системного подхода доказано, что тесты обладают рядом специфических свойств: целостность, неаддитивность, эмерджентность, синергизм, обособленность, совместимость и адаптивность, рассмотрение которых обуславливает необходимость применения комплексного подхода в экспертизе качества тестовых материалов как интегрального свойства, оцениваемого через соответствие требованиям к качеству их содержательных, формальных, функциональных и структурно-логических характеристик.

4. Установлено, что категория «качество тестовых материалов» обладает дуальной сущностью, когда качество, проявляемое при их использовании, внутренне обусловлено качеством элементов и их системной организацией. При этом свойства, характеризующие качество тестов и тестовых заданий, являются основой для определения критериев и показателей качества тестовых материалов и их оценки.

5. Определено, что экспертиза качества тестовых материалов должна отвечать общеметодологическим принципам системности, объективности и комплексности, соблюдение которых гарантирует получение достоверных результатов.

6. Разработана модель оценки качества качества тестовых материалов, состоящая из четырех основных этапов: предварительной, формально-содержательной, тестологической и интегральной экспертизы, которой как системе присущи: целостность, комплексность, иерархичность, функциональность и интегрированность в систему оценки качества учебных достижений. Последовательность этапов комплексной экспертизы обусловлена логикой перехода от оценивания единичных, частных свойств к оцениванию интегрального качества тестовых материалов.

7. Разработанная на основе модели технология комплексной экспертизы качества тестовых материалов реализует комплексный подход и позволяет получить достоверные результаты за счет многокритериального иерархически взаимосвязанного оценивания качественных и количественных показателей качества тестовых материалов на разных этапах экспертизы.

8. Обработка результатов апробации технологии комплексной экспертизы качества тестовых материалов методами математической статистики и статистики качеств показала ее преимущества (эффективность) в сравнении с традиционной, состоящей из двух основных этапов: экспертное оценивание качества содержания теста и статистическое обоснование качества теста. Полученное значение коэффициента Кохена (d=0,79) подтверждает гипотезу исследования об эффективности разработанной технологии.

9. Описанные модели и технологии комплексной экспертизы качества тестовых материалов легли в основу учебно-методического обеспечения курсов повышения квалификации ТОИПКРО по темам: «Формирование системы оценки качества образования», «Мониторинг и статистика в образовании», «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования» в период с 2006 по 2009гг. подготовлено свыше 400 чел.

Вместе с тем, данное диссертационное исследование не исчерпывает всех аспектов технологии комплексной экспертизы качества тестовых материалов для диагностики и контроля образовательных достижений обучающихся. Необходимо продолжение исследований, в частности, в оценивании компетентности экспертов и выявлении наиболее эффективных методов организации работы с предметными комиссиями, разработка механизмов интеграции комплексной экспертизы в технологии сертификации тестовых материалов, создание автоматизированных компьютерных технологий со встроенными экспертными модулями оценки качества тестовых материалов.

Список литературы диссертационного исследования кандидат педагогических наук Максимова, Оксана Александровна, 2010 год

1. Аванесов B.C. Математические модели педагогического измерения. М.: Исслед. центр, 1994.— 23 с.

2. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе. М.: МИСиС, 1989.— 167 с.

3. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. М.: МГТА, 1995.- 95 с.

4. Аванесов B.C. Тесты в социологическом исследовании. М.: Наука, 1982 199 с.

5. Аванесов B.C. Форма тестовых заданий: Учеб. пособие. М.: Исслед. центр, 1991.-50 с.

6. Аванесов В. С. Композиция тестовых заданий. М.: Ассоциация инженеров-педагогов г. Москвы, 1996.— 191 с.

7. Аванесов В. С. Методологические и теоретические основы тестового и педагогического контроля: автореф. дис. . докт. пед. наук. СПб.: Гос. ун-т, 1994 32 с.

8. Авдулов П.В. Введение в теорию принятия решений. М., 1977.— 107 с.

9. Азгальдов Г.Г. О квалиметрии. М.: Издательство стандартов, 1973.— 171 с.

10. Акинфиева Н.В. Квалиметрический инструментарий педагогических исследований // Педагогика. 1998. -.№4. - С. 30-35.

11. Акофф Р., Эмери Ф. О целеустремленных системах. М.,1974.— 107 с.

12. Анастази А. Психологическое тестирование. -7-е изд. — СПб.: Питер, 2005 688 с.

13. Андронникова Н.Г., Бурков В.Н., Леонтьев С.В. Комплексное оценивание в задачах регионального управления. М.: РИГУ РАН, 2002.— 58 с.

14. Архангельский С.И. Учебный процесс в высшей школе, его закономерные основы и методы. М.: Высшая школа, 1980.— 198 с.

15. Бабанский Ю.К. Педагогика: Учеб пособие для вузов. М.: Просвещение, 1983.— 608 с.

16. Байденко В.И. Выявление состава компетенций выпускников вузов как необходимый этап проектирования ГОС ВПО нового поколения: Методическое пособие.—М.: Исследовательский центр проблем качества подготовки специалистов, 2006. — 72 с.

17. Балыхина Т.М.Словарь терминов и понятий тестологии. — М.: Изд— во. РУДН, 2000.-164 с.

18. Беспалько В. П. Основы теории педагогических систем //Проблемы и методы психолого-педагогического обучения техн. обуч. систем. — Воронеж: Изд-во Воронеж, ун-та, 1977. 304 с.

19. Беспалько В.П. Слагаемые педагогической технологии. -М.: Педагогика, 1989. 191 с.

20. Беспалько В.П., Татур Ю.Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов. — М.: Высшая школа, 1989. — 114 с.

21. Беспалько В. П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). М.: Издательство Московского психолого-социального института; Воронеж: Издательство НПО «МОДЭК», 2002. -352 с.

22. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. — 2-е изд., пер. и доп. М.: Статистика, 1980. -263 с.

23. Бодров В.И., Т.Я. Лазарева, Ю.Ф. Мартемьянов. Математические методы принятия решений. Тамбов.: Издательство ТГТУ, 2004 — 124 с.

24. Блинов В.И. Национальная рамка квалификаций в Российской Федерации // Высшее образование в России.— 2008 № 1.

25. Васильев В. И., В.В. Глухов, Тягунова Т. Н. Культура компьютерного тестирования. Ч. 5. Оптимальная оценка уровня учебных достижений тестируемых-М.: МГУП, 2002.-75 с.

26. Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования. Ч.

27. Содержательность и логичность тестовых суждений. М.: МГУП, 2002. — 65 с.

28. Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования. Ч. 1. Философия адаптивного тестирования. М.: МГУП, 2002. 55 с.

29. Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования. Ч.

30. Форма тестовой ситуации и формирование теста. М.: МГУП, 2002. 83 с.

31. Васильев В.И., Красильников В.В. и др. Статистический анализ многомерных объектов произвольной природы. Введение в статистику качества—М.: Издательство ИКАР, 2004.-382 с.

32. Васильев В.И., Тягунова Т.Н. Теория и практика формирования программно-дидактических тестов. М.: МЭСИ, 2001. — 54 с.

33. Винокуров Б.Б., Караушев В.Ф., Лисицын В.М. Итоговая аттестация выкускников ТПУ: Сборник документов—Томск: Издательство ТПУ, 2000.-74 с.

34. Волков В.И. Методология комплексной экспертизы инвестиционных программ и проектов.-М.: РИНКЦЭ, 2004.-370 с.

35. Волков В.И. Основы теории и практики экспертной деятельности—М.: АМИ, 2003.-192 с.

36. Гальперин П.Я. Лекции по психологии.-М.: Высшая школа, 2002.-400 с.

37. Гершунский Б.С. Педагогическая прогностика: методология, теория, практика. —Киев: Вища школа, 1986 159 с.

38. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1978. - 494 с.

39. Горбачева Е. Л. Психологический анализ критериального задания // Вопросы психологии, 1991. 2 — С.22-25.

40. Горелов В.Е., Кудрявцев А.В., Одинцов М.Н. Методы экспертных оценок. -М., 1987.-28 с.

41. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь. М.: Изд-во стандартов, 2001. 26 с.

42. ГОСТ Р ИСО 9001-2001. Системы менеджмента качества. Требования. М.: Изд-во стандартов, 2001. — 21 с.

43. ГОСТ Р ИСО 9004-2001. Системы менеджмента качества. Рекомендации по улучшению деятельности. М.: Изд-во стандартов, 2001. 45 с.

44. Гребенюк О.С., Гребенюк Т.Б. Основы педагогики индивидуальности: учебное пособие — Калининград: Янтарный сказ, 2000. 400 с.

45. Гузеев В.В. Оценка, рейтинг, тест М.: Знание. —1999. — 69 с.

46. Гузеев В.В. Планирование результатов образования и образовательная технология. М.: Народное образование, 2000. -215 с.

47. Гулюкина Н. А., Клишина С. В. Педагогический тест: этапы и особенности конструирования и использования. Пособие для преподавателей. -Новосибирск: Изд-во НГТУ, 2001. 130 с.

48. Гулюкина Н.А. Тестовые технологии в системе интенсивной адаптации первокурсников: Дис. . канд. пед. наук. — Новосибирск.: СИОТ РАО, 2000. 320 с.

49. Гусев А.Н., А.Ч. Измайлов. Измерения в психологии. Общий психологический практикум. — М.: Смысл, 1987.—281с.

50. Диагностика как фактор развития образовательной системы. Учебное пособие. /Авторский коллектив: Г.А. Деминова, Т.И. Дормидонова, А.В. Кулев, В.Н. Максимова, А.Д. Храмцова. СПб., 1995. - 52 с.

51. Дружинин В.Н. Экспериментальная психология.— СПб.: Издательство «Питер», 2000. 320 с.

52. Дятлова К. Д. Система разработки и анализа педагогических тестов по биологии: Автореф. дисс. . док. фил. наук.: — СПб.: РГПУ им. А.И. Герцена, 2007. — 41 с.

53. Елисеева И.И., Юзбашев М.М.Общая теория статистики М.: «Финансы и статистика», 2002. — 480 с.

54. Ефремова Н.Ф.Современные тестовые технологии в образовании. Учеб. пособие. — М.: Логос, 2003, — 176 с.

55. Иванов Б.С. Основы педагогической диагностики и мониторинг образовательной деятельности в техническом вузе. СПб.: Изд-во СПбГПУ, 2003. 120 с.

56. Ингекамп К. Педагогическая диагностика. — М.: Педагогика, 1991. —127 с.

57. Кабардин О.Ф., Земляков А.Н. Тестирование знаний и умений учащихся // Советская педагогика, 1991. — № 12. — С. 27—33.

58. Каплан Р., Нортон Д. Сбалансированная система показателей. От стратегии к действию/ Пер. с англ.— М.: ЗАО «Олимп- Бизнес», 2003. —304 с.

59. Качество высшего образования в современной России. Концептуально-программный подход. — М.: Исследовательский центр проблем качества подготовки специалистов, 1995. — 51 с.

60. Клайн П. Справочное руководство по конструированию тестов. Введение в психометрическое проектирование. — Киев.: ПАН Лтд., 1994. — 288 с.

61. Ковалева Г.С. Зарубежный опыт построения и актуальные проблемы развития образовательного тестирования. — М., 2001. 120 с.

62. Короткое Э.М. Управление качеством образования. 2-е изд. - М.: Академический проспект, 2007. — 320 с.

63. Ларичев О.И. Наука и искусство принятия решений. М.: Наука, 1979 -78 с.

64. Левина М. М. Технологии профессионального педагогического образования: Учеб. пособие для студ. высш. пед. учеб. заведений. — М.: Издательский центр «Академия», 2001. — 272 с.

65. Леднев B.C. Содержание образования М.: Высшая школа, 1989-205 с.

66. Лисичкин В. А. Экспертные методы // Теория прогнозирования и принятия решений — М.: Высшая школа, 1977. — С. 149-155.

67. Литвак Б.Г. Экспертные оценки и принятие решений. — М.: Патент, 1996271 с.

68. Люсин Д.В. Основы разработки и применения критериально-ориентированных педагогических тестов. — М.: Исслед. центр, 1993—50 с.

69. Майоров А. Н. Тесты школьных достижений: конструирование, проведение, использование. — М., 2000 — 352с.

70. Майоров А. Н. Мониторинг в образовании. М.: Интеллект-Центр, 2005. — 424 с.

71. Майоров А.И. Тесты школьных достижений: конструирование, проведение, использование. — СПб.: Образование и культура, 1997.-304 с.

72. Максимова О. А. Технология комплексной экспертизы качества тестовых материалов для контроля учебных достижений обучающихся // Известия РГПУ им. А.И.Герцена. № 29 (65) Аспирантские тетради: научный журнал. СПб., 2008 - С. 424- 427.

73. Максимова О.А., Пермяков О.Е. Формализация экспертного оценивания качества тестовых материалов с позиций системного подхода // Вестник педагогических инноваций. № 3 (7). — Новосибирск, 2006. — С. 158— 176.

74. Максимова О.А., Пермяков О.Е., Менькова С.В., Смирнова А.С. Как работают эксперты ЕГЭ: результаты социологических исследований в Томской области // ОКО. Оценка качества образования / Научно-методический журнал. — М., 2007. — № 1. — С 16 — 21.

75. Максимова О.А., Пермяков О.Е., Медведев И.И. Использование тестовых технологий в Томском политехническом университете // «Образование и наука без границ-2006» / Материалы Междунар. науч.-практ. конф. в 4 т., 2006 С.72 - 74.

76. Миркин Б.Г. Анализ признаков и структур. -М.: Статистика, 1980—318 с.

77. Миронова М. В. Квалиметрический подход к разработке системы педагогического мониторинга в вузе : Автореф. дис. . канд. пед. наук: Удм. гос. ун-т. — Ижевск, 1999. 22 с.

78. Михайлычев Е.А. Дидактическая тестология- М., 2001.- 432 с.

79. Михайлычев Е.А., Кравченко В.Ф., Сафонцев С.А. Интервальная шкала оценок потенциальных возможностей учащихся // Стандарты и мониторинг в образовании. —2001. — №3. — С. 51—54.

80. Михеев BJI. Моделирование и методы теории измерения в педагогике. М.: Высшая школа, 1987. — 81 с.

81. Международный стандарт ISO 8402. Управление качеством и обеспечение качества: Словарь/Пер. с англ. 2-е издание, 1994. 50 с.

82. Месарович М., Тахакара Н. Общая теория систем: Математические основы. М.: Мир, 1978. 312 с.

83. Месарович М., Мако Д., Тахакара Н. Теория иерархических многоуровневых систем: Пер. с англ. — М.: Мир, 1973 — 402 с.

84. Морев И.А. Образовательные информационные технологии. Часть 4. Развивающий измерительный процесс в вузе: Монография. — Владивосток: Изд-во Дальневост. ун-та, 2004. — 148 с.

85. Найденова Н.Н.Формирование репрезентативной выборки: Учеб. пособие. М.: Логос, 2003. - 152 с.

86. Нардюжев В.И., Нардюжев И.В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования: Монография.-М.: Прометей, 2000. -148 с.

87. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов — М, 2000—169 с.

88. Нейман Ю.М.Как оценивается уровень подготовленности учащихся по результатам единого государственного экзамена М.: Центр тестирования Минобразования России. 2002 — 32 с.

89. Новейший философский словарь — Минск.: Книжный Дом, 2003.-1279 с.

90. О сертификации педагогических испытательных материалов / Куклин В.Ж., Масленников А.С., Наводнов В.Г., Савельев Б.А. // Квалиметрия человека и образование: методология и практика: Тез. докл. М., 1996 — с.134—135.

91. Овчинников В.В. Оценивание учебных достижений учащихся при введении централизованного тестирования—М.: Центр тестирования МО РФ, 2001.-27 с.

92. Орлов А.И. Нечисловая статистика — М.: МЗ-Пресс, 2004. 513 с.

93. Орлов А.И. Экспертные оценки. Учебное пособие. М., 2002. - 214 с.

94. Оценка качества профессионального образования. Доклад 5, май 2001/ Под общей редакцией В.И. Байденко, Дж. ванн Зантворта. — М.: Исследовательский центр проблем качества подготовки специалистов, 2001.-186с.

95. Павлов С.Н. Теория систем и системный анализ: Учебное пособие. — Томск.: Томский межвузовский центр дистанционного образования, 2003. -134 с.

96. Переверзев В. Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов М.: НМЦ СПО Минобразования РФ, 1999.-152 с.

97. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа-Томск: Изд-во НТЛ, 2001.-396 с.

98. Пермяков О.Е. Исследование успешности обучения и прогностической валидности контрольно-измерительных материалов единого государственного экзамена // Вопросы тестирования в образовании:

99. Всероссийский научно-методический журнал—М.: Федеральный центр тестирования, 2005.

100. Пермяков О.Е. Методологические подходы к проектированию систем оценки качества образования // Известия Томского политехнического университета.-2005.-Т. 308.-№ 1.

101. Пермяков О.Е. Мониторинг качества профессионального образования с позиций кибернетики и системного анализа // Известия Томского политехнического университета—2006—Т. 309 — № 6.

102. Пермяков О.Е. Совершенствование системы качества образовательного учреждения высшего профессионального образования в контексте требований ENQA // Университетское управление: Практика и анализ — 2007.-№ 3(49).

103. Пермяков О.Е., Максимова О.А. Процедуры комплексной экспертизы качества тестовых заданий и тестов при формировании банка данных // Журнал научных публикаций аспирантов и докторантов. Курск, 2008. -№4.-110-114.

104. Пермяков О.Е., Максимова О.А. Основы технологии комплексной экспертизы качества педагогических тестов: монография — Томск: ТОИПКРО, 2008.- 100 с.

105. Пермяков О.Е. Методологические основы и технологии оценки индивидуальных образовательных достижений в системе профессионального образования: монография —М.: Федеральный институт развития образования, 2008 — 422 с.

106. Поддубная JI. М., Татур А. О., Челышкова М. Б. Задания в тестовой форме для автоматизированного контроля знаний студентов. М.: МИФИ, 1995. -132 с.

107. Поддубная JI.M., Татур А. О., Челышкова М.Б. Задания в тестовой форме для автоматизированного контроля знаний студентов (математика, физика): Учеб. пособие. М.: ИЦПКПС, 1995. - 56 с.

108. Подиновский В.В. Введение в теорию важности критериев. — М.: Физматлит, 2007— 66 с.

109. Попова Е.Д. Разработка моделей и алгоритмов оценки качества тестовых материалов: автореф. дисс. канд. техн. наук. — М, 2005. — 17 с.

110. Поташник М. М. Качество образования: проблемы и технология управления — М.: Педагогическое общество России, 2002. — 352 с.

111. Портнова И.М. Совершенствование системы оценивания качества продукции: автореф. дисс. канд. техн. наук. Пенза, 2005. — 17 с.

112. Родионов Б. У., Татур А. О. Инструкция для составителя тестов. Центр тестирования МИФИ. М.: МИФИ, 1995. - 10 с.

113. Родионов Б. У., Татур А. О. Стандарты и тесты в образовании. -М.: Исслед. центр, 1995. 48 с.

114. Саркисян С. А., Лисичкин В. А., Каспин В. И. Введение в теорию принятия решений // Теория прогнозирования и принятия решений. — М.: Высшая школа, 1977. С. 223-269.

115. Сафонцев С.А. Методология образовательной квалиметрии // Педагогическая диагностика, 2003. -№3. — С. 86-101.

116. Сафонцев С.А. Образовательная квалиметрия в системе повышения квалификации.— Ростов н/Д: Изд-во Рост, ун-та, 2004. 155 с.

117. Селянская Г.Н. Роль и место системы менеджмента качества в управлении вузом // Вестник Российской экономической академии им. Г.В. Плеханова, №4(16), 2007. —С.121-129.

118. Селевко В. Г. Современные образовательные технологии. — М.: Народное образование, 1998.-255 с.

119. Селезнева Н. А., Байденко В. И. Проблема качества образования: актуальные аспекты пути решения // Проблемы качества, его нормирования и стандартов в образовании: Сб. науч. статей. М.: ИЦ, 1998.- С.7-20.

120. Селезнева Н. А. Качество высшего образования как объект системного исследования: Лекция-доклад.- М.: ИЦПКПС, 2001- 79 с.

121. Современный словарь по общественным наукам. М.: ЭКСМО, 2005. — 528 с.

122. Современный словарь иностранных слов. М.: Русский язык, 1993. — 740 с.

123. Соколова И.Ю., Кабанов Г.П. Качество подготовки специалистов в техническом вузе и технологии обучения.— Томск: Изд—во ТГПУ, 2002 — 175 с.

124. Стукалова JI.A., Боков С.Н. Справочное руководство по конструированию тестов//Вопросы психологии. 1995. №4. С. 136—138.

125. Субетто А.И. Введение в квалиметрию высшей школы. Книга 1. «Общие основания квалиметрии высшей школы.»/ Учеб. пособие. — М.: Исследовательский центр по проблемам управления качеством подготовки специалистов, 1990.-95 с.

126. Субетто А.И. Введение в квалиметрию высшей школы. Книга 2. «Концепция квалиметрии. Система категорий и понятий.»/ Учеб. пособие. М.: Исследовательский центр по проблемам управления качеством подготовки специалистов, 1990 - 117 с.

127. Субетто А.И. Введение в квалиметрию высшей школы. Книга 3. «Общая квалиметрия и специальные методы квалиметрии»/ Учеб. пособие. — М.: Исследовательский центр по проблемам управления качеством подготовки специалистов, 1990.- 171 с.

128. Субетто А.И. Введение в квалиметрию высшей школы. Книга 4. «Квалиметрия высшей школы как предметная квалиметрия»/ Учеб. пособие. — М.: Исследовательский центр по проблемам управления качеством подготовки специалистов, 1990 — 163 с.

129. Субетто А.И. Оценочные средства и технологии аттестации качества подготовки специалистов в вузах: методология, методика, практика. / Монография. — СПб.-М.: Исследовательский центр проблем качества подготовки специалистов, 2004. 280 с.

130. Стоуне Э. Психопедагогика. М., 1984. - 267с.

131. Сучкова JI.А. Централизованное тестирование как средство экспертизы качества образования : автореф. дис. . канд. пед. наук . —Ростов н/Д.: Ростовск. пед. ун-т, 2000. — 25 с.

132. Талызина Н. Ф. Теоретические основы контроля в учебном процессе. М.: Знание, 1983.-96 с.

133. Талызина Н. Ф. Теоретические проблемы разработки модели специалиста// Современная высшая школа. -1986.-№ 2(54).— С.75-86.

134. Тарасов К. Е. Общая методология процесса диагностики как специфического вида познания. Автореф. дисс. . док. фил. наук. - М., 1969.-52 с.

135. Татур А.О. и др. Банк тестовых заданий ЛАТ // Развитие тестовых технологий в России: Тез. докл. Всерос. конф., Москва, 1999. — М.: Прометей. — С.23-25.

136. Толлингерова Д., Голоушова Д., Канторкова Г. Психология проектирования умственного развития детей. Москва-Прага, 1994. — 48 с.

137. Трифонов Е.В. Психофизиология человека. Толковый англо-русский словарь. — СПб.: Питер, 2000. — 356 с.

138. Узденов Д.М. Разработка методологических правил проектирования и методов оценки качества тестовых заданий: автореф. дисс. канд. техн. наук. М, 2006. - 21 с.

139. Челышкова М.Б., Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М.: ИЦПКПС, 1995. - 77 с.

140. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002. 432 с.

141. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология). М.: ИЦПКПС, 2001. - 165 с.

142. Чередниченко О.И. Системный подход к диагностике результатов обучения в вузе: автореф. дисс. канд. пед. наук. — Казань, 2000 — 16 с.

143. Черепанов B.C. Экспертные оценки в педагогических исследованиях. — М., 1989.- 152 с.

144. Чернилевский Д.В. Дидактические технологии в высшей школе: Учеб. пособие для вузов. М.: ЮНИТИ-ДАНА, 2002. - 437 с.

145. Шишов С.Е., Кальней В.А. Школа: мониторинг качества образования. -М.: Педагогическое общество России, 2000. 320 с.

146. Шмелев А.Г. Основы психодиагностики. Учебное пособие для студентов педвузов. — Москва, Ростов н/Дону: Феникс, 1996- 535 с.

147. Шкалирование и выравнивание результатов педагогических измерений: Учеб. пособие / В. И. Звонников, Н.Н. Найденова, С. В. Никифоров, М.Б. Челышкова. -М: Логос, 2003. 96с.

148. Шторм Р. Теория вероятностей и математическая статистика. Статистический контроль качества. М.: Мир, 1970 368 с.

149. Эденборо Р. Практическая психометрия. Эффективное интервьюирование.- СПб.: Питер, 2003- 384 с.

150. Экспертиза инновационных процессов в образовании. Подходы к проблеме экспертизы в образовании. Кн. 1./ Под редакцией Г.Н. Прозументовой, С.Г. Баронене —Томск.: Изд-во Томского ун-та, 1999.-164 с.

151. Яковлев Е.В. Квалиметрический подход в педагогическом исследовании: новое видение // Педагогика. №3. С. 49-54.

152. Angoff W.N. Scales, norms and equivalent scores. In Thorndike R.L. (Ed.) Educational measurement (2-nd ed.). Washington, DC: American Council of Education, 1971. -P.508-600.

153. Berk, R. A. Standart setting: the next generation.// Applied Measurement in Education. -№ 9.-1996.-P. 215-235.

154. Bloom B.S. Stability and Change in Human Characteristics. N. Y. 1964.

155. Bloom, B. S. et. al. Taxonomy of Education Objectives: The Classification of Education Goals, Handbook 1: Cognitive Domain. N-Y, David McKay Co., 1956.-P. 187-215.

156. Denek К. Pomiar efektywnosci ksztalcenia w szkole wyzszej. — Warszawa, 1980.

157. Ebel R.L. Measuring Educational Achievement. Englewood Cliffs, N. J., 1965. 204 c.

158. Guttman I. A basic for analyzing test retest reliability // Psychometrika, 1945— №10.

159. Gulliksen H. Theory of mental tests.: J. Wiley. -New York, 1950.

160. Kubielski W. Podsatwy konsruowania I oceny testow dydaktycznych. Slupsk, 1998.

161. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, Denmark: Danish Institute for Educational Research, I960 — 207 P

162. Standarts for Educational and Psychological Tests. -Washington, 1974.- 68 p.

163. Thorndike R.L. (ed.) Educational measurement (2nd ed.) Washington, DC: American Council of Education, 1971.

164. Trevor G. Bond, Christine M. Fox Applying the Rasch Model: Fundamental Measurement in the Human Sciences, 2001— 235 p.

165. Wright B.D., Stone M.H. Best test design, Chicago: Mesa Press, 1979. -220 p.