Адаптивная нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Данилова, Соелма Доржигушаевна

• Данилова, Соелма Доржигушаевна
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Данилова, Соелма Доржигушаевна

ВВЕДЕНИЕ.

1 ОПИСАНИЕ ПРОБЛЕМЫ И ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ.

1.1 Основные понятия.

1.2 Описание проблемы.

1.3 Обзор методик и моделей оценивания знаний.

1.3.1 Методики оценивания знаний в традиционном тестировании.

1.3.2 Модели оценивания знаний в системах автоматизированного тестирования

1.3.1.1 Модели оценки знаний с использованием четких тестов.

1.3.1.2 Модели оценки знаний с использованием «нечетких» тестов.

1.4 Постановка задачи.

1.5 Четкие и нечеткие понятия и отношения предметной области.

1.6 Подход к решению поставленной задачи.

1.7 Выводы по первой главе.

2 ОЦЕНИВАНИЕ ТЕСТОВЫХ ЗАДАНИЙ С РАЗДЕЛЕНИЕМ ПО УРОВНЯМ УСВОЕНИЯ.

2.1 формальное представление результатов тестирования и их шкалирование

2.1.1 Формальное представление вопросно-ответных отношений в тесте.

2.1.1.1 Формализация закрытых по форме вопросов в тестовом задании.

2.1.1.2 Формализация открытых по форме вопросов в тестовом задании.

2.2 шкалирование стоимостных оценок тестового задания.

2.3 Модель оценивания тестовых заданий.

2.3.1 Оценивание тестовых заданий Iуровня усвоения.

2.3.2 Оценивание тестовых заданий II и IIIуровней усвоения.

2.4 Модель адаптивного тестирования.

2.5 Модель интегральной оценки результатов тестирования.

2.6 Выводы по второй главе.

3 НЕЧЕТКИЙ ЛОГИЧЕСКИЙ ВЫВОД ПРИ ОЦЕНИВАНИИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

3.1 Базы правил нечетких продукций в задаче оценивания результатов тестирования.

3.2 Фаззификация.!.

3.3 Нечеткий логический вывод.

3.3.1 Агрегирование.

3.3.2 Активизация.

3.3.3 Аккумуляция.1.

3.4 Дефаззификация.

3.5 Выводы по третьей главе.

4 ОПИСАНИЕ ВЫЧИСЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ.

4.1 Описание программного обеспечения.

4.1.1 Архитектура нечеткого регулятора.

4.1.2 Компонент «Интерфейсная часть» нечеткого регулятора.

4.1.3 Компонент «База правил» нечеткого регулятора.

4.1.4 Компонент «Аппарат нечёткого вывода» нечеткого регулятора.

4.2 Анализ результатов вычислительных экспериментов.

4.2.1 Определение согласованности мнений экспертов.

4.4.2 Экспертный анализ результатов.

4.6 Выводы по четвертой главе.

Введение диссертации (часть автореферата) на тему «Адаптивная нечеткая модель оценивания результатов автоматизированного тестирования с разделением заданий по уровням усвоения»

Широкое внедрение информационных и коммуникационных технологий в сферу образования и решение проблемы качества обучения обуславливают необходимость разработки моделей, адекватных процессам учебной деятельности.

Повышение качества обучения является приоритетным направлением развития системы образования. Одной из основных задач управления качеством образования в учебном заведении является задача контроля качества обучения. В условиях современного информационного общества автоматизированное тестирование может стать основным инструментом для контроля качества [33, 42].

К настоящему времени разработаны разнообразные среды, предназначенные как для подготовки автоматизированного тестирования, так и его проведения: UniTest System [77], Конструктор тестов [56], Инспектор [87], Экспресс-тест [103], SunRav TestOfficePro [79], Тест [96], УПАТ [97], Система проверки знаний [89], HyperTest [88], Open TEST [58], Прометей [29], АСТ-ТЕСТ [73], Neyron [100], СДТ Ната (md-77) [86] и др. По типу доступа они классифицируются как автономные, сетевые и удаленные. В этих средах в основном поддерживаются пять типов заданий, вопросы в которых требуют следующих типов ответов: выбор единственно правильного ответа; выбор нескольких возможных правильных ответов; установка последовательности правильных ответов; установка соответствий ответов; ввод ответа вручную с клавиатуры. Согласно теории усвоения Беспалько В.П. первые четыре типа заданий относятся к тестам первого уровня усвоения знаний (опознание, различение, классификация), пятый тип - ко второму уровню (подстановка) [19]. При этом на оценку выполнения тестового задания не влияет, к какому уровню усвоения и какому типу одноуровневых заданий оно относится. Оценивание задания во всех этих средах зависит от составителя теста, т.е. баллы за выполнение тестовых заданий назначаются им на основе его компетентности. В данном случае составитель теста выступает как эксперт в своей предметной области, и оценка, полученная тестируемым за выполнение теста, не лишена субъективизма. Кроме этого, способы вычисления интегральной оценки результатов тестирования отличаются простотой расчета: в основном используется аддитивный способ оценки правильно выполненных тестовых заданий. При дихотомичности и одноуровневости заданий в тесте каждое правильно выполненное задание оценивается в один балл. При политамичности и многоуровневости на этапе формирования теста каждому заданию в зависимости от его сложности назначается определенный балл или весовой коэффициент. Интегральная оценка выполнения теста вычисляется как сумма полученных баллов за правильно выполненные задания.

Анализ систем контроля знаний студентов показал, что разработка этих систем преимущественно идет на эмпирической основе без должного научно-методического обоснования, без опоры на теоретические модели готовности специалиста к профессиональной деятельности, без привлечения методов педагогической квалиметрии. Слабая концептуальная разработанность технологии контроля все более приходит в противоречие с объективными потребностями вузовской практики по реализации программы повышения качества подготовки специалистов, и в связи с этим возникает необходимость разработки научно-обоснованной системы контроля знаний студентов.

Таким образом, существует техническая проблема, заключающаяся в совершенствовании процесса автоматизированной оценки результатов тестирования студентов, решение которой позволит повысить эффективность выполнения контроля знаний студентов, обеспечить объективность оценки выполнения теста как по уровням усвоения знаний тестовых заданий, так и по тесту в целом.

Предметная область задачи оценивания знаний учащихся относится к интеллектуальным задачам, решение которой зависит от субъективных критериев оценки тестового задания преподавателем, которым свойственна расплывчатость границ оценивания. Поэтому для решения технической проблемы была поставлена научная проблема, которая заключается в создании модели оценивания знаний студентов на основе применения аппарата нечеткой логики и теории вопросно-ответных отношений.

Объект исследования - система контроля знаний студентов.

Предмет исследования - оценивание результатов автоматизированного тестирования.

Цель работы - исследование и разработка модели оценивания знаний студентов, адекватно отражающей процесс оценки результатов автоматизированного тестирования.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Выполнить анализ существующих методик и моделей оценивания результатов тестирования и определить подход к решению поставленной задачи.

2. Разработать математический аппарат реализации вопросно-ответных отношений в тестовых заданиях для распознавания ответов тестируемого и шкалирования стоимостных оценок тестовых заданий.

3. Разработать модель оценивания результатов автоматизированного тестирования на основе применения правил нечетких продукций.

4. Разработать программное обеспечение для реализации модели оценивания результатов тестирования и выполнить вычислительные эксперименты, осуществляющие проверку корректности модели.

Методы исследования базируются на математическом аппарате теории множеств, нечеткой, эротетической и математической логик, теории принятий решений, системного анализа.

Для описания понятий и отношений проблемной области использован теоретико-множественный подход. Разработка адаптивной модели оценивания результатов тестирования основана на методах нечеткого регулирования. Для I формализации вопросно-ответных отношений в тестовых заданиях использован аппарат эротетической логики Н. Белнапа, базирующейся на логике предикатов первого порядка. Метод групповых экспертных оценок использован для проверки корректности модели. Системный анализ использован при исследовании предметной области, выработке подхода к решению задачи, определении методов решения задачи [53, 83]. Методы объектно-ориентированного программирования и разработки интеллектуальных систем использованы для разработки программного обеспечения в виде нечеткого регулятора оценивания результатов тестирования.

Достоверность научных выводов и практических рекомендаций основывается на теоретических и методологических положениях, сформулированных в исследованиях российских и зарубежных ученых, таких как JI.A. Заде [4-6], Е. Мамдани [16], Н. Белнап [18], Осипов [75] и других.

Построение модели осуществлялось также на базе научных трудов по педагогике В.С.Аванесова, С.И.Архангельского, В.П.Беспалько, И.Я.Лернера,

В.И.Михеева, М.Н.Скаткина, А.О.Татура, В.С.Черепанова, М.Б.Челышковой, А.И. Субетто и др. [1, 2, 13-15,19-22, 7-9, 61-63, 90-95,101].

Наиболее существенные результаты и научная новизна:

1. Разработаны базы правил нечетких продукций для оценивания тестовых заданий, отражающих каузальные рассуждения компетентных преподавателей при оценивании результатов тестирования и обеспечивающие условия адаптивного тестирования с учетом степени трудоемкости выполнения тестовых заданий и степени значимости содержащихся в них понятий.

2. Выполнена унификация представления тестовых заданий, что позволило применить для их формализации единый аппарат вопросно-ответных отношений, основанный на эротетической логике.

Практическая значимость исследования состоит в том, что полученные результаты могут быть применены при разработке систем автоматизированного тестирования, предназначенных для оценки знаний студентов по отдельным темам дисциплины, дисциплине в целом, организации междисциплинарного экзамена. Результаты тестирования могут быть использованы для определения уровня подготовленности студентов в различных разрезах: раздела дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости учащихся.

Апробация результатов исследования. Основные положения диссертационной работы докладывались и обсуждались на Международной научно-методической конференции «Роль инфокоммуникационных технологий в совершенствовании системы управления качеством образования» (Санкт-Петербург, 2005 г.), Девятой Всероссийской научно-практической конференции «Проблемы информатизации региона» (Красноярск, 2005 г.), Четвертой Всероссийской научно-практической конференции «Единая образовательная информационная среда: проблемы и пути развития» (Барнаул, 2005 г.), Первой, Третьей и Шестой Всероссийских научно-технических конференциях «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2000, 2002, 2005 гг.), Второй Всероссийской научно-практической конференции «Российская школа и Интернет» (Санкт-Петербург, 2002 г.), научно-методической конференции «Методологические проблемы контроля качества учебного процесса при переходе к инновационному образованию» (Улан-Удэ, 2000 г.). Результаты диссертации используются в учебной и производственной деятельностях Восточно-Сибирского государственного технологического университета и включены в программу учебной дисциплины «Системы искусственного интеллекта» специальности 010503 «Математическое обеспечение и администрирование информационных систем» в виде методических указаний к лабораторным работам по дисциплине «Системы искусственного интеллекта»; методик по созданию подсистемы нечеткого логического вывода и модуля оценивания результатов тестирования при разработке системы удаленного тестирования. Также они используются в дистанционном обучении центра информационно-методической поддержки образования Омского государственного университета для составления методики оценивания знаний обучаемых при удаленном тестировании.

Публикации. По теме диссертации опубликовано 14 работ общим объемом 12,1 п.л., из которых 11 статей, 1 учебное пособие и 2 свидетельства об официальной регистрации программы для ЭВМ.

Структура и объем диссертации. Диссертация изложена на 123 страницах, состоит из введения, четырех глав, заключения, списка использованной литературы и семи приложений. Работа содержит 30 рисунков и 20 таблиц. Список литературы содержит 105 наименований. Объем приложений составляет 30 страниц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Данилова, Соелма Доржигушаевна

4.6 Выводы по четвертой главе

В четвертой главе приведено описание программного обеспечения, представляющего собой систему нечеткого логического вывода в виде нечеткого регулятора, разработанного с целью проверки корректности разработанной нечеткой модели; вычислительных экспериментов, проведенных методом групповой экспертной оценки для проверки объективности полученных нечетким регулятором результатов.

Разработка программного обеспечения выполнена на основе применения объектно-ориентированного подхода. Все компоненты программы (база правил, переменная, терм, правило, функция принадлежности, агрегирование, активизация и др.) оформлены в виде отдельных единиц с целью максимального разграничения всех возможных функций по группам. Интерфейсная часть программы также абстрагирована от самого нечёткого регулятора, благодаря чему нечёткий регулятор может работать и без пользовательского интерфейса. Все член-данные в каждом классе скрыты или защищены, и для работы с ними имеются открытые член-функции. Также, открытый доступ имеется и к константам.

На основе свойств наследования и полиморфизма реализованы различные методы активизации, аккумуляции, дефаззификации; многоуровневые иерархии предикатов и функций принадлежности. 1

Экспертная оценка результатов исследования заключалась в проверке корректности полученных нечетким регулятором результатов оценивания тестовых заданий. Для анализа результатов выбран групповой экспертной оценки.

Оценка согласованности мнений экспертов по оцениванию результатов тестирования выполнена на основе определения коэффициентов вариабельности, степень согласованности экспертов определена с помощью коэффициента конкордации Кендалла. Полученные значения коэффициентов вариабельности и конкордации показали корректность результатов нечеткого регулирования.

Заключение

В работе получены следующие основные результаты:

1. Разработаны базы правил нечетких продукций для оценивания тестовых заданий, отражающих каузальные рассуждения компетентных преподавателей при оценивании результатов тестирования и обеспечивающие условия адаптивного тестирования с учетом степени трудоемкости выполнения тестовых заданий и степени значимости содержащихся в них понятий.

2. Выполнена унификация представления тестовых заданий, что позволило применить для их формализации единый аппарат вопросно-ответных отношений, основанный на эротетической логике.

Кроме того, в процессе диссертационного исследования получены следующие сопутствующие результаты:

1. Выполнен системный анализ предметной области задачи оценивания результатов тестирования, в результате которого классифицированы на четкие и нечеткие понятия и отношения задачи, что позволило выбрать аппарат нечеткой логики как основной формализм решения задачи.

2. Выполнено шкалирование для всех лингвистических переменных задачи, что позволило обоснованно определить их терм-множество, определены критерии выбора функций принадлежности, на основе которых осуществлен их выбор.

3. Определен на основе вычислительных экспериментов метод центра тяжести для дефаззификации выходных лингвистических переменных.

4. Предложен способ оценивания результатов тестирования для построения нечеткой модели, базирующийся на теории уровней усвоения знаний и учитывающий количество дистракторов в ответе тестируемого, что позволило увеличить дифференцируемость итоговой оценки за тестовое задание.

5. Предложены схема адаптивного тестирования и способ оценивания результатов адаптивного тестирования, позволяющие адекватно оценить знания тестируемого.

6. Разработана система нечеткого логического вывода на основе методов нечеткого регулирования, которая позволила выполнить вычислительные эксперименты и апробировать разработанные базы нечетких продукционных правил.

7. Доказана достоверность основных положений работы методом экспертной оценки результатов вычислительных экспериментов, согласованность экспертной оценки определена на основе коэффициента вариабельности и метода конкордации Кендалла.

Полученные результаты могут быть применены при разработке систем автоматизированного тестирования, предназначенных для оценки знаний студентов по отдельным темам дисциплины, дисциплине в целом, организации междисциплинарного экзамена. Результаты тестирования могут быть использованы для определения уровня подготовленности студентов в различных разрезах: раздела дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости студентов.

Список литературы диссертационного исследования кандидат технических наук Данилова, Соелма Доржигушаевна, 2006 год

1. Astanin, S. The Behavior Model of Strategic Controlling. Текст. / S.Astanin // 5th European Congress on Intelligent Techniques & Soft Computing, Aachen. V.I.Germany. - September 8. 11. 1997.

2. Choppin, B.H. Correction for Guessing. Encyclopedia of Educational Evaluation Текст. / B.H. Choppin New York - Toronto - London. - 1996.

3. Miller, G.A. The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information / G.A. Miller. // Psychological Review. 1956. -V. 63.-No 2.

4. Zadeh, L.A. A computational approach to fuzzy quantifiers in natural languages. Текст. / L.A. Zadeh // Computational linguistics / Ed. by Cercone N. Oxford etc. - 1983.-P.149-184.

5. Zadeh, L.A. Fuzzy sets as a basis for a theory of possibility. Текст. / L.A. Zadeh // Fuzzy sets and systems. Berkeley (California). - 1978. - P.3-28.

6. Zadeh, L.A. Test-scope semantics for natural languages and meaning-representation via PRUF. Текст. / L.A. Zadeh // Empirical semantics. Bochum. - 1981- P.281-349.

7. Аванесов, B.C. Текст. / B.C. Аванесов Основы научной организации педагогического контроля в высшей школе. - М.: Исслед. Центр. - 1989. -167с.

8. Аванесов, B.C. Научные проблемы тестового контроля знаний. Текст. / B.C. Аванесов М.:Исслед. Центр. - 1994. - 123с.

9. Аванесов, B.C. Теоретические основы разработки заданий в тестовой форме. Текст. / B.C. Аванесов-М.: МИСиС. 1989. - 167с.

10. Ю.Алтунин, А.Е. Оптимизация многоуровневых иерархических систем на основе теории размытых множеств и методов самоорганизации. Текст. / А.Е. Алтунин, Н.Н. Востров// Проблемы нефти и газа Тюмени. Сборник. Вып. 42. -Тюмень. - 1979. - С.68-72.

11. Ананченко, И.В. Компьютерные тесты. Обратная сторона медали. Текст. / И.В. Ананченко // Магия ПК. -№10 (22). 1999. - С. 36-38.

12. Ананченко, И.В. Тестирование знаний студентов с использованием современных сетевых технологий. Текст. / И.В. Ананченко // Биотехнология в

13. B.С.Черепанова. Свердловск: Изд-во СГПИ. - 1989. - С.40-49.

14. Архангельский, С.И. Лекции по теории обучения в высшей школе. Текст. /

15. C.И. Архангельский -М.: Высшая школа. 1974.

16. Архангельский, С.И. Учебный процесс в высшей школе, его закономерные основы и методы. Текст. / С.И. Архангельский -М.: Высш. шк. 1980. - 368 с.

17. Асаи, К. Прикладные нечеткие системы. Текст. / К. Асаи, Д. Ватага, С. Иван и др./ Под ред. Тэрано Т. М.: Мир. - 1993. - 344 с.

18. Астанин, С.В. Нечеткая автоматная модель стратегического управления. Изв. ТРТУ. Интеллектуальные САПР. Текст. / С.В. Астанин Таганрог: ТРТУ. -1997.

19. Белнап, Н. Логика вопросов и ответов. Текст. / Н. Белнап, Т. Стил М.: Прогресс. - 1981.-288 с.

20. Беспалько, В.П. Текст. / В.П. Беспалько, Ю.Г. Татур Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов: Учеб.-метод. пособие. - М.: Высш.шк. - 1989. - 144 с.

21. Беспалько, В.П. Основы теории педагогических систем. Текст. / В.П. Беспалько Воронеж: Изд-во ВГУ. - 1977. - 304 с.

22. Беспалько, В.П. Педагогика и прогрессивная технология обучения. Текст. / В.П. Беспалько-М.: Изд-во института профобразования мин-ва обр-ия. 1995. -336 с.

23. Беспалько, В.П. Слагаемые педагогической технологии. Текст. / В.П. Беспалько М.: Педагогика. - 1989. - 192 с.

24. Бешелев, С.Д. Математико-статистические методы экспертных оценок. Текст. / С.Д. Бешелев, С.Д. Гурвич М.: «Статистика». - 1980. - 263 с.

25. Борисов, А.Н. Обработка нечеткой информации в системах принятия решений. / А.Н. Борисов, А.В. Алексеев, Г.В. Меркурьева, Н.Н. Слядзь, В.И. Глушков

26. М.: Радио и связь. 1989. - 304 с.

27. Борщевич, В.И. Нечеткое моделирование и проблемы его интерпретации. Текст. / В.И. Борщевич, В.И. Ботнарь // Рукопись депонирована в МолдНИИНТИ, N 462М-84 Деп. от 14.09.1984. Кишинев: КПИ. - 1984. - 13с.

28. Васильев, В.И. Культура компьютерного тестирования. Текст. / В.И. Васильев, Т.Н. Тягунова // Философия адаптивного тестирования. 4.1. - М.: МГУП. -2002.-200с.

29. Гаркуша В.З., Богомолов О.А. Система дистанционного обучения «Прометей», версия 4.0. Электронный ресурс. http://tm.ifmo.ru/tm2002/db/doc/ getthes.php?id=l 1.

30. Глас, Дж. Статистические методы в педагогике и психологии. Текст. / Дж. Глас, Дж. Стэнли М.: Прогресс. - 1976. - 495 с.

31. Глас, Дж., Стэнли Дж. Статистические методы в педагогике и психологии. Текст. / Дж. Глас, Дж. Стэнли М.: Прогресс. - 1976. - 495с.

32. Гласе, Дж. Статистические методы в педагогике и психологии Текст. / Дж. Гласе, Дж. Стенли М.: Прогресс. - 1976.

33. Данилова, С.Д. Управление учебной деятельностью на кафедре. Текст. / JT.B. Найханова, С.Д. Данилова, С.В. Тумашов, Е.Ю. Ангаева. // Сборник научно-методических статей. Вып.8. - Улан-Удэ: ВСГТУ. - 2002. - С.114-120.

34. Данилова, С.Д. Модель данных компонента «Управление учебной деятельностью». Текст. / J1.B. Найханова, С.Д. Данилова // Сб. науч. тр. -Серия: Технические науки. Вып.7. - Т.1. -Улан-Удэ: ВСГТУ. - 2000. - С. 916.

35. Данилова, С.Д. Некоторые возможности редактора Dreamweaver: методические указания. Текст. / J1.B. Найханова, В.В. Найханов, С.Д. Данилова // Улан-Удэ: ВСГТУ.-2005.-45с.

36. Данилова, С.Д. Рейтинговая система успеваемости студентов Текст. / J1.B.

37. Найханова, С.Д. Данилова // Теоретические и прикладные вопросы современных информационных технологий: Материалы Третьей Всероссийской научно-технической конференции. Улан-Удэ. - 2002. - С. 170173.

38. Данилова, С.Д., Система удаленного тестирования и контроля знаний учащихся Текст. / С.Д. Данилова, Ц.Ц. Шайдоров // Российская школа и Интернет: Сборник трудов Второй Всероссийской научно-практической конференции. -СПб.-2002.-С.20-21.

39. Дуплик, С.В. Классификация моделей тестирования. Электронный ресурс. / С.В. Дуплик // Интернет-форум «Проблемы и перспективы открытого образования». http://www.tisbi.ru/science/forum/default.php?p=l&s=5.

40. Дуплик, С.В. Модель адаптивного тестирования на нечеткой математике. Текст. / С.В. Дуплик // Информатика и образование. 2004. - № 11. - С. 57-65.

41. Заде, JI. Понятие лингвистической переменной и ее применение к принятию приближенных решений. Текст. / JI. Заде М.: Мир. - 1976. - 167 с.

42. Казаринов, А.С. Методы и модели экспериментальной педагогики / А.С. Казаринов. Глазов: Глазовский государственный педагогический институт, 1997.-89с.

43. Казаринов, А.С. Методы и модели экспериментальной педагогики. Текст. / А.С. Казаринов Глазов: Глазовский государственный педагогический институт. - 1997. - 89 с.

44. Карпов, В.Э. Язык описания системы контроля знаний. Текст. / В.Э. Карпов,

45. И.П. Карпова // Компьютеры в учебном процессе. № 4. - М - 2000. - С. 147155.

46. Карпова, И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах. Текст. / И.П. Карпова М: Изд-во Московского Государственного института электроники и математики. - 2002. - 200 с.

47. Кириличев, Б.В. Системный анализ проблемы создания интеллектуальных компьютерных обучающих комплексов. Текст. / Б.В. Кириличев, JI.A. Широков, П.Д. Рабинович // Сб. научных трудов МГИУ. М.: МГИУ. - 1996. -С. 166-171.

48. Кириличев, Б.В. Фундаментальный подход к созданию системы моделей оценивания результатов тестирования в интеллектуальных компьютерных обучающих комплексах. Текст. / Б.В. Кириличев, JI.A. Широков // Сб. научных трудов МГИУ-М.: МГИУ.- 1996.-С. 166-171.

49. Кнут, Д. Искусство программирования для ЭВМ. Текст. / Д. Кнут. т. 3. - / Под ред. Баяковского и Штаркмана. - М.: Мир. - 1978. - 848 с.

50. Конструктор тестов, версия 2.5. Электронный ресурс. http://www.keepsoft.ru /simu1ator.htm.

51. Контрольно-тестовая система. Электронный ресурс. -http://omm2002.chat.ru/textl.htm

52. Краткое руководство пользователя системы тестирования знаний Open Test. Электронный ресурс. http://www.opentest.com.ua.

53. Ксензова, Г.Ю. Оценочная деятельность учителя. Текст./ Г.Ю. Ксензова // Уч-мет. пос. М.: Пед. общество России. - 1999. - 28с.

54. Леоненков, А.В. Нечеткое моделирование в среде MATLAB и fuzzy TECH. Текст. / А.В. Леоненков СПб: БХВ-Петербург. - 2003. - 736с.

55. Лернер, И.Я. Дидактические основы методов обучения. Текст. / И.Я. Лериер -М.: Педагогика. 1981.

56. Лернер, И.Я. Задачи и содержание общего и политехнического образования Текст. / И.Я. Лериер, М.Н. Скаткин // Дидактика средней школы: Некоторые проблемы современной дидактики: Учебное пособие. М.: Просвещение. -1982. -С.90-129.

57. Лернер, И.Я. Качества знаний учащихся. Какими они должны быть? Текст. / И .Я. Лернер М.: Знания. - 1978. - 112 с.

58. Майоров, А.Н. Теория и практика создания тестов для системы образования. Текст. / А.Н. Майоров М. - 2000.

59. Майоров, А.Н. Теория и практика создания тестов для системы образования. Текст. / А.Н. Майоров М.: Интеллект-центр. - 2001. - 296с.

60. Мельникова, М.Б. Теория и практика конструирования педагогических тестов. Текст. / М.Б. Мельникова М. - 2002.

61. Методика многоуровневой агрегированной оценки и прогнозирования финансового состояния предприятий. Электронный ресурс. -http://www.optim.ru/fin/2003/1/fin 2003 01 rus 02 04 Ahromeyko/fin 2003 01 rus 02 04 Ahromevko.a sp.

62. Нардюжев, В.И. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. Текст. / В.И. Нардюжев, И.В. Нардгожев М. - 2000.

63. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов. Текст. / Нейман Ю.М., Хлебников В.А. М : Прометей. - 2000. - 169 с.

64. Нечеткие множества в моделях управления и искусственного интеллекта. Текст. / Под ред. Д.А.Поспелова. М.:Наука. - 1986. - 312с.

65. Никитина, Т.П. Опыт тестирования в среде ACT. Электронный ресурс. -http://mvw.bitpro.ru/ito/2002/Vl/Vl-0-72.html.

66. Осипов, Г.В. Методы измерения в социологии. Текст. / Г.В. Осипов, Э.П. Андреев М.: Наука. - 1977. - 183 с.

67. Оценка согласованности мнений экспертов с применением коэффициента конкордации. Электронный ресурс. http://www.biostat.kiev.ua/konkord.htrnl.

68. Пакет программ UniTest System. Электронный ресурс. -http://sight2k.com/rus/unitest. 1.

69. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. Электронный ресурс. -http://www.ege.ru/dict/dictl .htm.

70. Программа для автоматизированного тестирования SunRav TestOfficePro. Электронный ресурс. -http://www.softkey.ru/catalog/program.php?printable=yes&ID =43 66.

71. Психолого-педагогический словарь для учителей и руководителей общеобразовательных учреждений. Текст. Ростов-н/Д. - 1998. -446с.

72. Пфанцагль И. Теория измерений. Текст. / И. Пфанцагль М: Мир. - 1976. -166с.

73. Родионов, Б.У. Стандарты и тесты в образовании. / Б.У. Родионов, А.О. Татур -М. 1995.

74. Рудинский, И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования. Текст. / И.Д. Рудинский // Информационные технологии. 2003. - № 9. - С. 46 - 51.

75. Селезнева, Н.А. Качество высшего образования как объект системного исследования. Лекция-доклад. Текст. / Н.А. Селезнева- М.: Исследовательский центр проблем качества подготовки специалистов. — 2003. -95с.

76. Сергеева, B.C. НИТ для педагогического контроля в подготовке студентов педвузов. Электронный ресурс. / B.C. Сергеева // Информационныетехнологии в образовании: Сб. науч. тр.- http://www.om gpu.omsk.edu/libdocs/ it sb2/sergeeva.htm.

77. Система дистанционного тестирования СДТ Ната (md-77). Электронный ресурс. http://www.programms.ru/products/P00000790001690.shtml.

78. Система интерактивного контроля "Инспектор" PRO 2.2. Электронный ресурс.- http://softsearch.ru/programs/49-906-sistema-interaktivnogo-kontrolia-inspektor-pro-download.shtml

79. Система контроля знаний HyperTest 1.1. Электронный ресурс. -http://softsearch.ru/programs/60-088-hvpertest-download.shtml.

80. Система проверки знаний 2.5. Электронный ресурс. http://maup.chat.ru

81. Скаткин, М.Н. Проблемы современной дидактики. Текст. / М.Н. Скаткин М.: Педагогика. - 1980. - 96с.

82. Субетто, А.И. Введение в квалитологию высшей школы. Текст. / А.И. Субетто- М.: Исследовательский центр проблем качества подготовки специалистов -Кн. 1.-1991.-96 е., кн. 2-я-122 е., кн. 3-я 171 с. кн. 4-я . 163 с.

83. Субетто, А.И. Введение в квалитологию высшей школы. Текст. / А.И. Субетто- М.: Исследовательский центр проблем качества подготовки специалистов -Кн. 2. 1991 .—122с.

84. Субетто, А.И. Введение в квалитологию высшей школы. Текст. / А.И. Субетто- М.: Исследовательский центр проблем качества подготовки специалистов -Кн. 3.-1991.-171с.

85. Субетто, А.И. Введение в квалитологию высшей школы. Текст. / А.И. Субетто- М.: Исследовательский центр проблем качества подготовки специалистов -Кн. 4. 1991.—163с.

86. Субетто, А.И. Квалитология образования (основания и синтез). Текст. / А.И. Субетто СПб., М.: Исследовательский центр проблем качества подготовки специалистов. - 2000. - 220с.

87. Универсальная автоматизированная система тестирования знаний Polytest vl.O. Электронный ресурс. http://edu.of.ru/volipc/default.asp?obno=3009.

88. Универсальный пакет автоматизированного тестирования УПАТ. Электронный ресурс. http://altim.narod.ru/Testlnfo/TestInfo.htm.

89. Фокин, Ю.Г. Основы интенсификации обучения в вузе. Курс лекций. Текст. /

90. Ю.Г. Фокин, М.М. Корзун М.: В А им. Ф.Э.Дзержинского. - 1987. - 160 с. 32.

91. Фор, А. Восприятие и распознавание образов. Текст. / А. Фор М.: Машиностроение. - 1989. - 272 с.

92. ЮО.Чангли, А.Н. Автоматизация контроля знаний на базе инфраструктуры Интернет. Электронный ресурс. http://www.publ.donntu.edu.ua.

93. Ю1.Челышкова, М.Б. Применение математических моделей для разработки педагогических тестов. Текст. / М.Б. Челышкова Учебное пособие. - М.: Исследовательский центр. - 1995. - 48 с.

94. Челышкова, М.Б. Теория и практика конструирования педагогических тестов. Текст. / М.Б. Челышкова М.:Логос. - 2002. - 432 с.

95. Экспресс-тест. Электронный ресурс. http://www.bitpro.aha.ru/ITO/ITQ98-99/k/lukma.html/.

96. Свидетельство об официальной регистрации программы для ЭВМ № 2003612186. «Модель данных по учебной деятельности ВУЗа» / Л.В. Найханова, С.Д. Данилова, М.: Всероссийское агентство по патентам и товарным знакам. -2003.