Конструирование педагогических измерительных материалов в процедурах регламентации деятельности учреждений высшего образования на основе методов оптимизации и экспертного оценивания тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Ельцын, Александр Владимирович

• Ельцын, Александр Владимирович
• кандидат технических наук
• 1999

Оглавление диссертации кандидат технических наук Ельцын, Александр Владимирович

Введение.

1. Повышение эффективности принятия решений в процедурах регламентации деятельности учреждений высшего образования на основе информационных технологий.

1.1. Информационные потоки в системе государственной аккредитации учреждений высшего образования.

1.2. Методы измерения качества обученности.

1.3. Общая схема цикла педагогических измерений.

1.4. Проблема оценки качества педагогических измерительных материалов.

2. Математические модели и алгоритмы в педагогических измерениях.

2.1. Формализованная постановка задачи САПР ПИМ как задачи обобщенного целочисленного математического программирования.

2.2. Применение методов автоматизированного проектирования при создании сильнопараллельных (многовариантных) ПИМ.

2.3. Автоматизированные методы формирования слабопараллельных ПИМ.

2.4. Математические модели и методики, используемые при разработке комплексных ПИМ.

3. Практические аспекты задачи САПР ПИМ.

3.1. Организация базы тестовых заданий.

3.2. Прогноз характеристик ПИМ в процессе конструирования.

3.3. Процедура выравнивания файлов тестовых заданий.

3.4. Граничные условия и целевые функции в задаче САПР ПИМ.

3.5. Библиотека математических моделей САПР ПИМ.

3.6. Алгоритмы решения задачи САПР ПИМ.

4. Программный комплекс автоматизации педагогических измерений Те810епу3.1.

4.1. Обзор программного обеспечения автоматизации цикла тестирования.

4.2. Структура программного комплекса Тез10еп.

4.3. Визуальная среда конструирования ПИМ.

4.4. Система автоматизированного тестирования TGTest.

4.5. Сбор и первичная обработка результатов тестирования. Программа TGGather.

4.6. Реализация САПР ПИМ в программе TGCAD.

Введение диссертации (часть автореферата) на тему «Конструирование педагогических измерительных материалов в процедурах регламентации деятельности учреждений высшего образования на основе методов оптимизации и экспертного оценивания»

В течение последних лет в российской системе образования произошли значитедьные изменения. Появились негосударственные образовательные организации, разработан и законодательно введен в действие новый механизм регламентации деятельности учреждений высшего образования, создается легитимная база государственной аттестации выпускников. Все эти изменения делают актуальной задачу оценки качества обучения. Основой объективной оценки уровня образования и квалификации выпускников, независимо от форм получения образования, является установление его соответствия Государственным образовательным стандартам. Наличие в государственной номенклатуре большого числа образовательных программ делает актуальной задачу разработки новых и повышения эффективности существующих технологий измерения качества обученно-сти.

Традиционно в России ответственность за оценку качества обучения возлагалась на педагога. Используемые при этом методы (собеседование, выполнение контрольных заданий и т.д.) трудно формализуемы, а разрабатываемые методические материалы носят характер авторских. Однако переход к массовым педагогическим измерениям приводит к необходимости формализации этапов цикла педагогических измерений и их последующей автоматизации, что, в свою очередь, требует предварительных теоретических исследований.

За рубежом накоплен значительный опыт проведения массовых тестирований, как одного из возможных методов педагогических измерений. Над созданием теоретической базы современной теории оценки качества обучения работали Adema J.J. [59 - 62], Fisher G.H. [79, 80], Hambleton R.K.[83, 84], Kuder G. [92], Lord F.M. [93 - 95], Novick M.R. [98] Popham W.J. [99], Rasch G. [100], Samejima F.A. [102], van der Linden W.J. [108 -110], Wright B.D. [Ill, 112] и другие. На сегодняшний день можно выделить два основных подхода к данной проблеме: классическая теория тестирования (Classical Test Theory) и современная теория тестирования (Item

Response Theory). В нашей стране проблемы теоретического обоснования и практической реализации цикла педагогических измерений привлекли внимание исследователей лишь в последние годы (Аванесов B.C. [11- 14], Беспалько В.П.[19], Дюк В.А. [23], Куклин В.Ж., Наводнов В.Г., Масленников A.C. [37 - 40], Савельев Б.А., Майоров А.И. [34], Татур А.О.[44], Че-лышкова М.Б. [53, 54], Шмелев А.Г. [55, 56] и другие.). Толчком к началу развития средств автоматизации педагогических измерений послужило бурное расширение парка персональных компьютеров и их качественное развитие (возрастание быстродействия, увеличение объема хранимых данных, появление средств мультимедиа). На зарубежном рынке появились фирмы (например Assessment System Corporation), предлагающие программы, автоматизирующие наиболее трудоемкие этапы подготовки тестов и анализа результатов тестирования (такие, как программы MicroCAT, BICAL, BILOG, LOGIST, MICROTEST) и, как правило, имеющих узкоспециализированное назначение. Среди наиболее известных программных систем, созданных в нашей стране можно назвать "Адонис", "Дельфин". Большинство отечественных программных разработок предназначены для автоматизации самого этапа тестирования (компьютерное тестирование) и ориентированы на развитие его выразительных возможностей и анализ результатов, оставляя в стороне другие не менее важные этапы.

В сложившейся ситуации зарубежный опыт требует внимательного исследования. Однако при этом следует учитывать особенности, присущие массовым педагогическим измерениям в российской системе образования:

1. За рубежом целью тестирования, как правило ставится ранжирование, призванное способствовать социальной ориентации тестируемого, а его результаты носят рекомендационный характер. В России педагогические измерения носят преимущественно критериальный характер и ориентированы на "отбор" тестируемых (выпускные экзамены после 9 класса в школе, вступительные экзамены в вуз).

2. Проведение педагогических измерений часто возлагается на проводившего обучение педагога, заинтересованного в получении положительной оценки результатов своего труда. Всё это стимулирует попытки "обойти" результаты тестирования, приводя к необходимости применения специальных методов повышения объективности, таких, как использование многовариантных тестов.

3. Административные меры, направленные на обеспечение актуальности тестовых материалов (запрет на размножение и публикацию) оказываются недейственными, затрудняя получение объективной оценки при повторном использовании тестовых материалов.

4. Разнообразие форм обучения и учебных программ приводят к необходимости создания большого количества специализированных тестовых материалов.

Разработка информационной технологии оценки уровня обученности требует привлечения современных средств автоматизации. Более того, задача создания большого количества разнообразных педагогических измерительных материалов (ПИМ) требует разработки специализированных САПР ПИМ, не привязанных к конкретным предметным областям или методикам обучения. Все это явилось причиной выбора темы проводимых исследований.

Цель исследования заключается в разработке теоретического обоснования и практической реализации компонентов программной среды автоматизации цикла измерения качества обученности. Задачи исследования:

1. Построение модели информационных потоков в процедурах регламентации деятельности учреждений высшего образования.

2. Формализация описания процедур проектирования ПИМ с целью создания обобщенной математической модели САПР ПИМ и исследование методов решения поставленной задачи.

3. Формирование библиотеки математических моделей САПР ПИМ, ориентированных на достижение часто ставящихся целей педагогических измерений.

4. Алгоритмическая и программная реализация компонентов интегрированной среды автоматизации цикла педагогических измерений Тез10еп у3.1.

Предметом исследования является замкнутый цикл педагогических измерений, основанный на разработке и использовании педагогических измерительных материалов в электронной или бумажной форме представления.

В качестве объекта исследования рассматриваются процедуры ведения баз тестовых заданий, разработки ПИМ и проведения тестирования.

Методы исследования - классическая и современная теория тестирования, статистические методы анализа информации, теория систем автоматизированного проектирования, аппарат математического программирования.

Научная новизна. В результате проведенного диссертационного исследования получены и выносятся на защиту следующие результаты, характеризующиеся научной новизной:

1. Общая схема педагогических измерений, отличающаяся наличием обратной связи, что позволяет разрабатывать средства автоматизации, реализующие накопление статистики использования и уточнение характеристик ПИМ при повторном использовании.

2. Формализованная модель задачи САПР ПИМ как задачи обобщенного целочисленного математического программирования, полученной заменой скалярной целевой функции на вектор-функцию оценок характеристик ПИМ и интерпретации "оптимальности" решения в терминах функций выбора, порожденных бинарными отношениями между значениями вектор-функции, что позволяет более гибко описывать требуемые характеристики ПИМ при автоматизированном конструировании.

3. Библиотека математических моделей и алгоритмов САПР ПИМ, ориентированных на достижение наиболее часто ставящихся целей педагогических измерений, позволяет сократить время проектирования ПИМ на этапе спецификации требуемых характеристик.

4. Методы и программные алгоритмы формирования сильнопараллельных, слабопараллельных и комплексных ПИМ которые могут быть использованы для конструирования ПИМ при различных постановках цели педагогических измерений, в том числе для оценки результатов обучения в образовательном учреждении в целом.

5. Методы проведения массовых педагогических измерений, основанные на применении программного комплекса TestGen и позволяющие повысить точность и объективность оценки уровня обученности, сократить расходы на подготовку и проведение педагогических измерений.

Практическая значимость проведенной работы выражается в том, что предложенные математические модели САПР ПИМ могут быть использованы при реализации программных продуктов автоматизации конструирования ПИМ. Разработанный программный комплекс ТеБ10еп позволяет повысить точность и объективность оценки уровня обученности и сократить расходы на подготовку и проведение педагогических измерений.

Внедрение результатов. Разработанные в ходе работы версии программного обеспечения с 1993 года используются в учебном процессе Марийского государственного технического университета, а с 1995 года - при проведении Единого экзамена в республике Марий Эл. С 1996 года программный комплекс Тез10еп используется в работе государственной инспекции по аттестации учебных заведений России при проведении внешней экспертизы образовательных организаций. ПК TestGen передан для внедрения в более чем 50 образовательных организаций и органов управления образованием, среди которых Кисловодский институт экономики и права, Московская государственная академия печати, Международный университет в г. Москве, Кубанский государственный технический университет, Хабаровский государственный технический университет, Самарский муниципальный комплекс непрерывного образования "Университет На-яновой", Сочинское управление образованием, Ростовское областное управление образованием, Тюменский международный институт экономики и права, Южно-сахалинский институт экономики, права и информатики и другие.

Внедрение результатов работы подтверждается соответствующими актами.

Апробация результатов исследования. Результаты исследований докладывались на следующих конференциях и семинарах: Семинар-Совещание "Технологии государственной регламентации образовательных организаций" (Йошкар-Ола, 1996 - 1998 г.); "Диалог наук на рубеже XX-XXI веков и глобальные проблемы современности" (Вавиловские чтения) (г. Йошкар-Ола, 1996 и 1998г); I Российско-Американская региональная конференция «Образование и перспективы развития» (г. Йошкар-Ола, 9-11 октября 1997); конференция по итогам научно-исследовательских работ МарГТУ (Йошкар-Ола, 20-22 апреля 1998); Международная научно-техническая конференция "Интеллектуальные САПР-98" (Геленджик, 1-6 сентября 1998 г.); Школа-семинар "Создание единого информационного пространства системы образования" (г. Москва, 3-5 ноября 1998 г.); Российско-американская научно-практическая конференция "Негосударственное высшее образование на рубеже веков: психолого-педагогические основы активизации познавательной деятельности студентов" (г. Йошкар-Ола, 22-24 апреля 1999 г.); Международный семинар "Система управления качеством подготовки специалистов в вузе. Оценка учебных достижений студентов при аттестации образовательных программ" (г. Москва, 11-13 мая 1999г.)

На проведение исследований совместно с Петропавловским М. В. в 1997 году был получен грант 97-28-3.9-155 по теме "Информационная технология оценки качества обученности и определения его соответствия Государственным образовательным стандартам".

Публикация результатов работы. По теме диссертации автором опубликовано 8 печатных работ, в том числе одно учебное пособие с грифом Госкомвуза России.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка литературы и приложений. Список цитируемой литературы содержит 112 наименований.

Заключение диссертации по теме «Управление в социальных и экономических системах», Ельцын, Александр Владимирович

Заключение

В ходе работы над темой диссертации были получены следующие результаты:

1. Предложена общая схема цикла педагогических измерений и в результате анализа выделены этапы, автоматизация которых позволит повысить точность и объективность оценки уровня обученности и сократить усилия на подготовку и проведение педагогических измерений.

2. Сформулирована задача автоматизированного проектирования ПИМ как обобщенная задача целочисленного математического программирования. Рассмотрены подходы к конструированию целевых функций и функций выбора в контексте САПР ПИМ.

3. Сформирована библиотека математических моделей и алгоритмов САПР ПИМ, ориентированных на достижение наиболее часто ставящихся целей педагогических измерений.

4. Разработаны методы и программные алгоритмы автоматического формирования сильнопараллельных, слабопараллельных и комплексных структур ПИМ.

5. Предложены методы прогноза результатов тестирования и классического коэффициента надежности с использованием математического аппарата Item Response Theory.

6. Создан программный комплекс автоматизации этапов цикла педагогических измерений TestGen v3.1.

7. Разработана технология использования ПК TestGen при проведении массовых педагогических измерений, позволяющая повысить точность и объективность оценки уровня обученности, сократить расходы на подготовку и проведение педагогических измерений.

Разработанные в ходе работы версии программного обеспечения с 1993 года используются в учебном процессе Марийского государственного технического университета, а с 1995 года - при проведении Единого экзамена в республике Марий Эл. С 1996 года программный комплекс TestGen используется в работе аттестационных комиссий при проведении внешней экспертизы образовательных организаций. ПК Тез!Оеп был передан для внедрения в более чем 50 образовательных организаций и органов управления образованием, среди которых Кисловодский институт экономики и права, Московская государственная академия печати, Международный университет в г. Москва, Кубанский государственный технический университет, Хабаровский государственный технический университет, Самарский муниципальный комплекс непрерывного образования "Университет На-яновой", Сочинское управление образованием, Ростовское областное управление образованием, Тюменский международный институт экономики и права, Южно-сахалинский институт экономики, права и информатики и другие.

По тематике диссертационной работы автором или в соавторстве опубликовано 8 печатных работ.

Список литературы диссертационного исследования кандидат технических наук Ельцын, Александр Владимирович, 1999 год

1. Публикации по теме диссертации, опубликованные автором или в соавторстве

2. Ельцын A.B., Куклин В.Ж., Масленников A.C., Наводнов В.Г. Система формирования испытательных материалов TestGen: Учебное пособие. (Гриф госкомитета РФ по высшему образованию) Йошкар-Ола, Мар-ГТУ. 1995-84 с.

3. Участие в написании частей I (стр. 5-16) и II (стр. 17-34)

4. Ельцын A.B. Создание мультимедиа-тестов в среде TestGen for Windows // Диалог наук на рубеже XX-XXI веков и глобальные проблемы современности (Йошкар-Ола, 1996): Тез. докл. Йошкар-Ола, 1996. - С. 523524.

5. Ельцын A.B., Наводнов В.Г., Петропавловский М.В. Автоматизированное проектирование педагогических измерительных материалов: Препринт № 2/97. Научно-информационный центр государственной аккредитации, 1997 - 28 с.

6. Ельцын A.B. Об одном алгоритме прогнозирования результатов педагогических измерений // Восьмая международная научно-методическая конференция "Проблемы качества образования" (Уфа, 1998): Тез. докл. -Уфа, 1998-С. 84-85.

7. П.Аванесов B.C. Математические модели педагогического измерения. -М.: Исследовательский Центр, 1994, 26 с.

8. Аванесов B.C. Научные проблемы тестового контроля знаний. М.: 1994, 135 с.

9. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе. М.: 1969, 167 с.

10. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме.-М.: 1995, 95 с.

11. Анастази А. Психологическое тестирование, т. 1,2. -М.: Педагогика, 1982.

12. Батшцев Д.И. Генетические алгоритмы решения экстремальных задач, Учебное пособие, Воронеж, 1995.

13. Беспалько В.П. Общая теория педагогических систем. Воронеж. 1975, 304с.

14. Беспалько В.П. Педагогика и прогрессивные технологии обучения. М., 1995.

15. Беспалько В.П. Проблема образовательных стандартов в США и России. -Педагогика, 1995, № 1, 89-94.

16. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. Москва, "Мир", 1985

17. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. -М.; 1976, 495 с.

18. Горбунов В.Г., Львович Я.Е. Модели, алгоритмы и программные средства принятия решений САПР. Воронеж. Гос. Техн. ун-т. Воронеж, 1995 -79 с.

19. ДюкВ.А. Компьютерная психодиагностика. СПб. Братство, 1994, 364 с.

20. Ингенкамп К. Педагогическая диагностика. М., Педагогика, 1991,239 с.

21. Кини P.JI., Райфа X. Принятие решений при многих критериях предпочтения и замещения. Радио и связь. М., 1981, 560 с.

22. Крамер Г. Математические методы статистики. -М.: Мир, 1975, 648 с.

23. Коломиец Б.К. Комплексная оценочная система самообследования, аттестации и аккредитации высших учебных заведений / Исследовательский центр проблем качества подготовки специалистов. М.: Изд-во МИСиС. 1993.

24. Курейчик В.М. Генетические алгоритмы и их применение в САПР, Интеллектуальные САПР. Межведомственный тематический научный сборник, Таганрог, 1995, С. 7-11.

25. Литвак Б.Г. Автоматизированные системы экспертного оценивания и аккредитация. Труды исследовательского центра проблем качества подготовки специалистов. -М., 1993, 144 с.

26. Литвак Б.Г. Экспертная информация. Методы получения и анализа. -М.: Радио и связь, 1982, 184 с.

27. Лорьер Ж.-Д. Системы искусственного интеллекта: М.: Мир, 1991, 568 с.

28. Львович Я.Е., Жуковская З.Д., Чулкова С.Э. Автоматизированная подсистема диагностики качества подготовки специалистов и автоматизации преподавательской деятельности. Воронеж, Воронеж, политех, ин-т, 1992, 28 с.

29. Люсин Д. В. Основы разработки и применения критериально-ориентированных педагогических тестов. Учебное пособие для слушателей курсов повышения педагогической квалификации. Москва, Исследовательский центр проблем качества подготовки специалистов, 1993.

30. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. СПб: Образование и культура, 1996. - 304 с.

31. Мину М. Математическое программирование. -М.: Наука, 1990.

32. Михеев В.И. Моделирование и методы теории измерений в педагогике. М., Высшая школа, 1987, - 199 с.

33. Мотова Т.Н., Наводнов В.Г., Проектирование системы аккредитации образовательных организаций: Препринт №1/99. Йошкар-Ола: Научно-информационный центр государственной аккредитации, 1999. - 71с.

34. Мотова Т.Н., Наводнов В.Г., Куклин В.Ж., Савельев Б.А.: Аккредитация образовательных организаций за рубежом: Препринт №5/97. Йошкар-Ола: Научно-информационный центр государственной аккредитации, 1997.-32с.

35. Наводнов В.Г. Математические модели САПР ПИМ: Препринт № 4/97. -Йошкар-Ола, 1997. 72 с.

36. Наводнов В.Г., Куклин В.Ж. Петропавловский М.В. КАМЕРТОН технология проведения тестирования и анализа результатов. - Йошкар-Ола, 1995.- 84 с.

37. Немировский A.C., Юдин Д.Б. М.: Наука. Главная редакция физико-математической литературы, 1979. - 384 с

38. Половинкин А.И. (ред.) Алгоритмы оптимизации проектных решений. -М.: Энергия.

39. Пфангцагль И. Теория измерения. М.: Мир, 1976.

40. Радионов Б.У. Стандарты и тесты обученности. В "Научные проблемы тестового контроля знаний". -М., 1994. стр. 8-11.

41. Радионов Б.У., Татур А.О. Стандарты и тесты в образовании. М.: 1995. -48 с.

42. Селезнева Н.А., Субетто А.И., Прудковский Б.А., Дзегеленок И.И. Проблема оценки качества подготовки специалистов на базе компьютерных технологий М.: ИЦ, 1993.

43. Соболь И.М., Статников Р.В. Выбор оптимальных параметров в задачах со многими критериями. -М.: Наука, 1983. 117с.

44. Суппес П., Зинес Дж. Основы теории измерений. В кн.: Психологические измерения. -М.: Мир, 1967.

45. Субетто А.И., Введение в квалиметрию высшей школы. М.: Исследовательский центр проблем качества подготовки специалистов, 1991.

46. Субетто А.И., Системологические основы образовательных систем, (в 2-х кн.) М.: Исследовательский центр проблем качества подготовки специалистов, 1991.

47. Тюрин Ю.Н., Макаров А.А. Анализ данных на компьютере. М.: Финансы и статистика, 1995. - 384 с.

48. Хитоси Куме. Статистические методы повышения качества М.: "Финансы и Статистика", 1990.

49. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. М.: Исследовательский Центр, 1995. 32 с.

50. Челышкова М.Б., Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М., 1995, - 78 с.

51. Шмелев А.Г. Психодиагностика и новые информационные технологии. В "Компьютеры и познания". М.: Наука, 1990. - С. 87-105

52. Шмелев А.Г., Похилько В.И. Анализ пунктов при конструировании и применении тест-опросников: ручные и компьютерные алгоритмы. Вопросы психологии, 1985. -№4. С. 126-134.

53. Щербаков Э.Л. Оценка знаний. Эволюция и современное состояние. -Краснодар, 1985. 161 с.

54. Юдин Д.Б. Вычислительные методы теории принятия решений. М: Наука, 1989.

55. Adema J.J. Models and Algorithms for the Construction of Achievement Test. Sl.l.:s.n., 1990.- 165 p.

56. Adema J.J. A Note on Solving Large-scale Zero-one Programming Problems. (Research Report 88-4) Enschede, The Netherlands, University of Twente.

57. Adema J.J. Toetsconstructic met klassicke item- en test parameters. Test Construction Using Classical Item and Test Parameters. (Rapport 87-1) Enschede, The Netherlands, University of Twente.

58. Adema J.J., van der Linden W.J. Algorithms for Computerized Test Construction Using Classical Item Parameters. Journal of Educational Statistics, 1989, VI 4, No 3, 279-290.

59. Allen M., Yen W. Introduction to Measurement Theory. Monterey, 1979.

60. Andrich D. A Binomial Latent Trait Model for the Study of Likert-style Attitude Questionnaires. British Journal of Mathematical and Statistical Psychology, 1978, 31, 84-98.

61. Andrich D. Applications of Measurements Models for Constructing Educational Tests. Psychometricka, 1982, V47, 147-162.

62. Assessment System Corporation, http://www.assess.com

63. Backed F.B., (1971). Automation of test scoring, reporting and analysis. In R.L.Thoradike (Ed.), Educational Measurement, (2nd ed., pp. 202-234). Washington DC: American Council on Education.

64. Baker F.B. Item Response Theory. Parameter Estimation Techniques. New York, 1992, 439 p.

65. Berk R.D. (ed.) A Guide to Criterion-Referenced Test Construction and Use. Baltimore, Maryland, 1984.

66. Birnbaum A. Some Latent Trait Models. In Lord F.M., Novic M.R. Statistical Thoeries of Mental Test Scores. Reading, Mass.: Addison -Wesley, 1968.

67. Boekkooi-Timminga E. Algorithms for the Construction of Parallel Tests by Zero-one Programming (Research Report 86-7). Enschede, The Netherlands, University of Twente.

68. Boekkooi-Timminga E. Simultaneous Test Construction by Zero-one Programming. Methodika, 1987, 1, 101-112.

69. Boekkooi-Timminga E. The Construction of Parallel Test From IRT-Based Item Banks. Journal of Educational Syatistics-Vol.15, No.2,1990, 129-145.

70. Choppin B. Item Banking and the Monitoring of Achievement. Slongh, England: National Foundation for Educational Research, 1978.

71. Cohen L. A Modified Logistic Response Model for Item Analysis, Manuscript, 1976.

72. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. New York, 1986.- 527 p.

73. Ebel R.L. The relation of item discrimination to the test reliability. Journal of Educational Measurement, 1967, 4, 125-128.

74. Fergusson R.A. Item selection by the constant process. Psychometrica, 1942, v. VII, p.p. 19-29.

75. Fisher G.H. The Linear Logistic Test Model as an Instrument in Educational Research. Acta Psychologica, v. 36, 1972, 207-220.

76. Fisher G.H., Molenaar I.W. (Eds) Rasch models. Foundations, Recent Developments and Applications. New York, Springer-Vorlag, 1995.

77. Frederikson N., Mislevy R., Bejar J. Test Theory for a New Generation of Tests. Hillsdale, New Jersey, 1993. 404 p.

78. Gruijter D.N.M., van der Kamp L. Item Theory. Statistical Models in Psychological and Educational Testing. Holland, 1984, 300 p.

79. Hambleton R.K., Swamimathan H. Item Response Theory. Principles and Applications. Boston, 1985, 332 p.

80. Hambleton R.K., Swamimathan H., Rogers H.J. Fundamentals of Item Response Theory. SAGE Publications, 1991,174 p.

81. Holland J. Adaptation in natural and artificial systems University of Michigan Press Ann Arbor, USA, 1975.

82. Holland P.W. On the sampling theory foundations of item response theory models. Psychometrica-Vol.55,No.4,1990, 577-601

83. Holland P.W., Rulin D.B. (ed) Test Equating. Academic Press, 1982.

84. Hutchinson T.R. Ability, Partial Information, Guessing: Statistical modeling Applied to Multiple-Choice Tests. Rumsby Scientific Publishing, 1991.

85. Isaac S., Michael W. Handbook in Research and Evaluation (2-th ed), 1981.

86. Jackson P.H., Agunwamber C.C. Lower bounds for the reliability of the total score on a test composed on non-homogeneous items: 1. Algebraic lower bounds. Psychometrica, 1977, 42, 567-578.

87. Kelderman H. Loglinear Rasch Model Tests. Psychometrica, Vol. 49, 1984, 223-245.

88. Kuder G., Richardson M., The Theory of Test Reliability. Psychometrica, 2,1937, 151-160.

89. Lord F.M. A theory of test scores. Psychometrica Monograph No.7,17,1952

90. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J.Lawrence Erlbaum Ass.,Publ. 1980.

91. Lord F.M., Novick M.R. Statistical Theories of Mental Test Scores. Reading, Mass.: Addison -Wesley, 1968.

92. Mislevy R.J. Estimating Latent Distributions. Psychometrica, 1984, N49, 359381.

93. Mislevy R.J., Stoching M. A Consumer's Guide to LOGIST and BILOG. Applied Psychological Measurement, 1989, 13, 57-75.

94. Novick M.R. The Axioms and Principle Results of Classical Test Theory. Journal of Mathematical Psychology, 1966, N3, 1-18.

95. Popham W.J. Criterion-Referenced Measurement. Englewood Cliffs (N.J.), 1978.

96. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. The Univ. Press. Chicago, 1980, 199 p.

97. Ree M.J. Estimating Item Characteristics Curves. Applied Psychological Measurement, 1979, 3, 371-385.

98. Samejima F.A. Weekly parallel test in latent trait theory with some criticisms of classical test theoiy. Psychometrica, 1977, V42, 193-198.

99. Stont W. A New Item Response Theory Modeling Approach with Applications to Unidimensionality Assessment and Ability Estimation. Psychometrica, 1990, v. 55, 293-325.

100. Theunissen T.J.J.M. Combinatorial Issues in Test Construction. University ofTwente, 1996.

101. Theunissen T.J.J. Binary programming and test design. Psychometrica, 1985, 50,411-420.

102. Theunissen T.J.J. Optimization Algorithms in Test Design. Applied Psychological Measurement, 1986, 10, 381-390.

103. Wright B.D. Solving Measurement Problems with the Rasch Model. Journal of Educational Measurement, 1977, 14,97-116.

104. Wright B.D., Stone M.H. Best Test Design. Rasch Measurement. Chicago, 1979, 222 p.