Разработка и исследование модели для оценки эффективности банков тестовых заданий в компьютерных системах обучения тема диссертации и автореферата по ВАК РФ 05.25.05, кандидат технических наук Бойченко, Михаил Михайлович

• Бойченко, Михаил Михайлович
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Бойченко, Михаил Михайлович

ВВЕДЕНИЕ.

ГЛАВА I. ОБЗОР И АНАЛИЗ ОСНОВНЫХ ЭЛЕМЕНТОВ МОДЕЛЕЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ В

КОМПЬЮТЕРНЫХ СИСТЕМАХ ОБУЧЕНИЯ.

Введение.

1.1. Анализ подходов к измерению латентных свойств личности.

1.2. Обзор вероятностных моделей теории педагогических измерений

1.3. Анализ методов формализации интегральных характеристик эффективности банков тестовых заданий.

1.4. Сравнительный анализ моделей организации процесса обучения в компьютерных обучающих системах.

1.5. Обзор компьютерных средств поддержки педагогической деятельности.

Выводы по главе.

ГЛАВА И. РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ МОДЕЛИ ОЦЕНКИ ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ В

КОМПЬЮТЕРНЫХ СИСТЕМАХ ОБУЧЕНИЯ.

Введение.

2.1. Формализация модели педагогических измерений в задаче оценки эффективности банков тестовых заданий.

2.2. Разработка кибернетической модели латентного пространства заданий теста для оценки числовых характеристик тестовых заданий.

2.3. Исследование и оптимизация информационных характеристик моделей банков тестовых заданий на основе модели латентного пространства.

2.4. Разработка обобщенных кибернетических моделей характеристических функций для задач педагогических измерений.

2.5. Разработка и исследование информационных функций банков тестовых заданий.

2.6. Разработка инфологической модели данных для банков тестовых заданий.

Выводы по главе.

ГЛАВА III. РАЗРАБОТКА АЛГОРИТМОВ ПРОЕКТИРОВАНИЯ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ КОМПЬЮТЕРНЫХ СИСТЕМ ОБУЧЕНИЯ И

ОЦЕНКИ ИХ ЭФФЕКТИВНОСТИ.

Введение.

3.1. Алгоритм статистической калибровки банков тестовых заданий с помощью метода максимального правдоподобия.

3.2. Алгоритм статистической калибровки банков тестовых заданий с помощью метода наименьших квадратов.

3.3. Разработка метода калибровки банков тестовых заданий с помощью экспертных оценок.

3.4. Разработка алгоритма калибровки обобщенных моделей банков тестовых заданий с помощью экспертных оценок.

3.5. Разработка общего алгоритма проектирования банков тестовых заданий для компьютерных систем обучения.

Выводы по главе.

ГЛАВА IV. РАЗРАБОТКА И ИССЛЕДОВАНИЕ КОМПЬЮТЕРНЫХ СРЕДСТВ ДЛЯ АНАЛИЗА ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ

ЗАДАНИЙ.

Введение.

4.1 Разработка функциональной структуры компьютерной системы оценки эффективности банков тестовых заданий.

4.2. Разработка алгоритмов использования оценок эффективности банков тестовых заданий.

4.2. Исследование вычислительной сложности новых алгоритмов проектирования и оценки эффективности банков тестовых заданий

4.3. Исследование надежности оценок, получаемых с помощью моделей педагогических измерений.

4.4. Сравнительный анализ характеристик компьютерных систем обучения и контроля эффективности банков тестовых заданий.

Выводы по главе.

Введение диссертации (часть автореферата) на тему «Разработка и исследование модели для оценки эффективности банков тестовых заданий в компьютерных системах обучения»

Начало XXI века ознаменовано новой технологической революцией -созданием и всемерным развитием информационного общества, продолжающего развитие предыдущего этапа - общества тотальной индустриализации. Основой перехода от индустриального этапа развития общества к информационному являются информационные технологии. Начальным и важнейшим этапом массового внедрения информационных технологий является сфера образования. Современные информационные технологии открывают обучаемым доступ к новым общедоступным источникам информации, повышают эффективность самостоятельной работы, дают совершенно новые возможности для творчества, обретения и закрепления различных профессиональных навыков, позволяют реализовать принципиально новые формы и методы обучения с применением средств концептуального и математического моделирования явлений и процессов [1-7].

Информационные технологии обучения открывают преподавателю возможность автоматизации как отдельных видов учебной работы [8,9], так и любого их набора, то есть проектирования обучающей среды [10,11]. Ориентированные на преподавателя инструментальные средства позволяют оперативно обновлять содержание автоматизированных учебных и контролирующих программ в соответствии с появлением новых знаний и технологий [12-16].

Осуществление информатизации образования требует особой информационной политики, основные положения которой применительно к системе образования России концептуально осознаны и сформулированы. Разработан и осуществляется ряд государственных, межотраслевых научно-технических программ (Федеральные целевые программы (ФЦП): "Электронная Россия (2002-2010 годы)" и "Развитие единой образовательной информационной среды (2001-2005 год)"), предусматривающих выполнение широкомасштабных проектов информатизации образования по следующим основным направлениям:

- совершенствование базовой подготовки учащихся по информатике и информационным технологиям;

- совершенствование системы подготовки и переподготовки преподавательских кадров в области информационных технологий;

- информатизация процесса обучения и воспитания;

- оснащение системы образования техническими средствами информатизации;

- создание современной национальной информационной среды и интеграция в нее учреждений образования;

- создание на базе информационных технологий единой системы дистанционного образования в России;

- участие России в международных программах, связанных с информационными технологиями в образовании.

В связи с нарастающим широкомасштабным применением информационно-коммуникационных технологий в учебном процессе сформировался ряд актуальных проблем в развитии современных методов обучения [6]. Практика и многочисленные исследования показали, что попытки прямого внедрения данных технологий в учебный процесс оказались малоэффективными [22]. Освоив вычислительную технику на уровне пользователей, основная масса преподавателей крайне неэффективно используют ее в учебном процессе. В связи с этим стала очевидной потребность в создании теоретически обоснованных оптимальных подходов к производству новых образовательных средств, в обучении преподавательского состава навыкам и приемам, которыми традиционные преподаватели не владеют [6, 7]. Классические образовательные формы предполагают обязательное наличие в учебном процессе преподавателя. В связи с конечными временными ресурсами последних, приходящимися на одного обучаемого, существует устойчивая необходимость автоматизации процесса обучения.

В современной педагогике под обучением понимают совместную деятельность учащегося и преподавателя, направленную на достижение учебных целей, овладение знаниями, умениями и навыками, заданными учебными планами и программами [25]. Бурное развитие вычислительной техники привело к появлению компьютерных систем обучения (КСО) [1,2,9], использующих в качестве основного инструмента обширные базы заданий. Основной целью использования КСО является поддержка качества необходимого образовательного компонента, как средства эффективного решения некоторых педагогических проблем.

Совершенствование процесса обучения при применении КСО подтверждается рядом исследований [6,8,11,12]. Этому способствуют факторы индивидуализации обучения, интенсификация обучения [21,22], использования дополнительных выразительных средств вычислительной техники, таких как наглядность, наличие средств моделирования объектов и процессов, постоянный контроль степени усвоения знаний.

Кроме этого, КСО способствуют развитию умений и навыков самостоятельной работы [22], уменьшению времени, затрачиваемого преподавателем на трудоемкие и часто повторяющихся операции - подготовку актуального конспекта лекций, контроль знаний и т.д., появлению возможности применения средств дистанционного обучения [26-28].

В исследовании РосНИИ Информационных Систем [22] указываются следующие типовые КСО для поддержки различных форм занятий:

- лекции - демонстрация выполнения простейших заданий в ходе получения учебной информации на лекции способствует достижению определенной «прочности» знаний, необходимой при выполнении лабораторных или практических работ;

- семинары, для которых используются не столько демонстрационные, сколько исследовательские примеры, с помощью которых обучаемые в интерактивном режиме могут изучать какую-либо проблему или вид задачи;

- лабораторные работы, в процессе выполнения которых обучаемые должны закреплять новые знания, приобрести навыки и умения для будущей научно-исследовательской работы. Наиболее важным применением КСО в этих случаях является возможность выполнения на ЭВМ математических экспериментов;

- упражнения, а также контрольные процедуры, при выполнении которых совершенствуются умения и навыки. Компьютеризованная поддержка упражнений позволяет не только проводить допуск к работе, проверять уровень знаний, но и обеспечивать, во время их выполнения, упражнений доступ к дополнительным теоретическим сведениям, приводить примеры задач и упражнений, давать методические рекомендации по их выполнению.

Для улучшения управления процессами обучения и повышения качества знаний с помощью КСО организуется непрерывная обратная связь в виде предварительного, текущего и рубежного контроля, приводя в процессе исторического развития КСО к идеологии адаптивного обучения [22].

История разработки КСО имеет ярко выраженные этапы, связанные с совершенствованием и ростом возможностей компьютерной техники. В 1950-1960-е годы были предложены первые обучающие системы - системы программированного обучения [2,5]. Они базировались на теории, в которой для повышения эффективности управления учебным процессом предлагалось строить учебную траекторию в соответствии с психологическими знаниями об обучаемом [7,8]. Эти системы строились с использованием обучающих и контролирующих модулей, при этом имеющих очень ограниченные возможности. Применение таких модулей, по сути, не давало сколько бы то ни было значимых результатов [3].

В 1970-х - начале 1980-х компьютерными обучающими системами принято было называть любые программы, предназначенные для информационной или функциональной поддержки процесса обучения: тесты, электронные учебники, лабораторные практикумы и т.п. [2,5]. Далее продолжались исследования возможности применения методов представления знаний, разработанных в области искусственного интеллекта и практическая реализация таких систем. При этом для решения двух других проблем - управления обучением и контроля знаний - требовались более сложные методы и средства. Именно эти проблемы все еще являются предметом современных исследований в области обучающих программ [6-8,12]. В это же время появляются модели обучения на основе когнитивной психологии и обучающие системы продуцирующего типа, где обучающие воздействия выбираются не педагогом, а определяются алгоритмом функционирования системы и генерируются в зависимости от целей обучения и текущей ситуации. При этом предполагается, что в обучающей системе представлены знания о том, чему обучать, как обучать и знания о самом обучаемом [18-20].

Следующий этап (конец 1980-х и начало 90-х годов) характеризуется широким распространением персональных компьютеров, развитием вычислительных сетей, усилением аппаратных возможности. Это привело к необходимости создания обучающих систем, ориентированных на работу в локальной и глобальной сети, с применением стандартов представления и передачи данных, а также внедрением в процесс обучения средств мультимедиа [17,27].

Переход от локальных обучающих систем к сетевым позволяет значительно расширить круг пользователей системы. Более того, при организации работы через компьютерную сеть, общение между обучаемыми и преподавателем может быть даже более интенсивным, чем при традиционном обучении в высшей школе. Преподаватель получает возможность постоянного контроля состояния процесса обучения (в первую очередь, с использованием средств автоматического контроля), а обучаемый - возможность консультации в режиме on-line или по электронной почте [4,6].

В дальнейшем развитие КСО было направлено на создание обучающих систем, основанных на использовании элементов искусственного интеллекта с целью частичной или полной замены преподавателя. Была разработана структура интеллектуальных обучающих систем и предложены некоторые методы решения этой проблемы [29-31]. Применение этих методов и технологий, при создании КСО, позволяет говорить о создании адаптирующихся обучающих систем, позволяющих в зависимости от параметров обучаемого и результатов контроля знаний генерировать новые последовательности управляющих воздействий [12,23,28].

Совместное использование сетевых технологий и достижений в области искусственного интеллекта дает возможность создания перспективных обучающих систем, которые позволят адаптировать учебный процесс к конкретному обучаемому [11,23]. В связи с нарастающим широкомасштабным применением информационно-коммуникационных технологий в учебном процессе сформировался ряд актуальных проблем в развитии теоретических основ построения КСО [6]. Практика и многочисленные исследования показали, что попытки прямого внедрения данных технологий в учебный процесс оказались малоэффективными [22]. Освоив вычислительную технику на уровне пользователей, основная масса преподавателей крайне неэффективно использует ее в учебном процессе. В связи с этим стала очевидной потребность в создании теоретически обоснованных оптимальных подходов к производству новых образовательных средств, в обучении преподавательского состава навыкам и приемам, которыми традиционные преподаватели не владеют [6,7]. Причиной подобных трудностей в частности, является значительная степень неопределенности как в исходной информации об уровне подготовленности обучаемого, так и в информации об уровне ответов на тестовые задания [3,26]. Именно то, в какой форме представить содержание учебного предмета, его место в образовательном процессе, практическую значимость, оцениваемую с точки зрения перспектив профессиональной карьеры и личностного роста, а также организовать учебный процесс, задают общее направление совершенствования КСО [2,3,5,17,24]. Подводя итог можно заметить, что построение новых педагогических программных средств следует проводить с учетом современных подходов к учету неопределенностей в исходной информации, поступающей в виде обратной связи в КСО или непосредственно к тестологу в случае автоматизированного обучения [137].

Несмотря на указанные выше значительные успехи в совершенствовании методов и средств компьютерного обучения и, особенно, компьютерного тестирования как его важнейшего элемента [10,55], в настоящее время в области проектирования, оценки и применения банков тестовых заданий существует ряд нерешенных задач.

Прежде всего, необходимо дальнейшее развитие теоретической базы проектирования банков тестовых заданий в сторону разработки новых информационных характеристик банков, позволяющих получать адекватные оценки их эффективности. Они должны позволять дифференцировать контингент тестируемых по уровню знаний в выбранной предметной области или обеспечивать адаптацию заданий к уровню знаний отдельных обучаемых [28].

С точки зрения практической применимости методов теории педагогических измерений необходимо дальнейшее развитие алгоритмической базы компьютерных средств создания банков калиброванных тестовых и заданий с заданными характеристиками [99,101], что позволит оперативно реагировать на изменения в современных требованиях к проектируемым компьютерным курсам обучения [77]. Необходимо также создание алгоритмов обработки тестовых данных, позволяющих уменьшить влияние изначально присущей педагогическим измерениям неопределенности [37,41,43] на результаты тестирования.

Возможные пути получения новых теоретических и практических результатов связаны с введением в арсенал теории педагогических измерений, являющейся основным инструментом тестологии [37-40], элементов кибернетики и теории передачи информации, связанных с анализом информации в условиях неопределенности [43,81], органически присущей педагогическим и психологическим измерениям [36]. На теоретической базе кибернетики возможно дальнейшее развитие методов моделирования педагогических измерений с использованием неклассических вероятностей и теории случайных множеств [82,86,90]. Это позволит существенно повысить эффективность оценок знаний, получаемых с помощью баз тестовых заданий, спроектированных с применением новых моделей измерений. Наконец, введение новых методов оценки тестовых заданий может позволить значительно улучшить временные и качественные показатели процесса проектирования и применения банков тестовых заданий [55].

Целью диссертационной работы является разработка и исследование теоретической и методологической базы применения новых моделей педагогических измерений для оценки эффективности банков тестовых заданий в компьютерных системах обучения.

Для достижения поставленной цели необходимо решить следующие задачи:

- разработать методики оценки информационного содержания банков тестовых заданий;

- разработать модель оценки эффективности банков тестовых заданий в педагогических измерениях;

- разработать алгоритмы применения предложенной модели оценки эффективности при проектировании и использовании банков тестовых заданий;

- провести теоретическое и практическое изучение полученной методологии оценки эффективности банков тестовых заданий.

Практическая ценность результатов исследований определена их применением для решения задач проектирования и разработки банков тестовых заданий в компьютерных системах обучения общего назначения, которые могут применяться в широком спектре предметных областей обучения.

Диссертационная работа состоит из введения, четырех глав, заключения, списка источников и приложений.

Заключение диссертации по теме «Информационные системы и процессы, правовые аспекты информатики», Бойченко, Михаил Михайлович

Выводы по главе

В Главе IV рассмотрены вопросы структурной организации и программной реализации компьютерных систем проектирования и анализа эффективности банков тестовых заданий на основе математических моделей, разработанных в Главе II и алгоритмов проектирования и калибровки банков тестовых заданий, разработанных в Главе III.

В силу использования новых теоретических результатов, полученных в предыдущих главах диссертационной работы, удалось свести исходный классический алгоритм проектирования и оценки эффективности банков тестовых заданий, имеющий экспоненциальную сложность, к новому алгоритму, имеющему полиномиальную сложность.

Полученные результаты позволили перейти к вопросам программной реализации инструментального средства, основные интерфейсы которого описаны в приложении 2, а основные программные модули - в приложении 3.

С использованием созданной в процессе работы над диссертационном исследованием компьютерной системы были проведены исследования достоверности теоретических оценок разработанных алгоритмов проектирования и калибровки банков тестовых заданий. Исследования проводились как на модельных примерах, так и на данных по контингенту обучаемых различных категорий. Результаты исследования подтвердили корректность и эффективность разработанных алгоритмов и правильность программной реализации.

С целью сравнительного анализа разработанной программной системы был осуществлен поиск информации по имеющимся на рынке аналогам, разработанным как в России, так и в ряде других стран. Выполненный анализ подтвердил высокие показатели разработанной программной системы, а также ее конкурентоспособность в сравнении с аналогами.

ЗАКЛЮЧЕНИЕ

В соответствии с поставленной целью в диссертационной работе были разработаны и исследованы вопросы теоретической и методологической базы применения новых моделей педагогических измерений для оценки эффективности банков тестовых заданий в компьютерных системах обучения.

Для достижения поставленной цели в работе был решен ряд актуальных теоретических и практических задач: разработана методика оценки информационного содержания банков тестовых заданий; разработана модель оценки эффективности банков тестовых заданий в педагогических измерениях; разработаны алгоритмы применения предложенной модели оценки эффективности банков тестовых заданий при их проектировании и использовании; проведено теоретическое и практическое изучение полученной методологии оценки эффективности банков тестовых заданий.

В результате получены следующие новые научные результаты: создана концепция кибернетической модели латентного пространства для педагогических измерений и на ее основе введены критерии оптимальности для банков тестовых заданий; разработано математическое представление обобщенной модели информационной функции банков тестовых заданий; разработаны, изучены и применены в разработке программного обеспечения алгоритмы калибровки и проектирования банков тестовых заданий с помощью оценок эффективности, получаемых на основе теоретических результатов работы.

Научные и практические результаты, полученные в диссертации, были апробированы на ряде всероссийских и международных научных конференций.

Практическая ценность результатов исследований определена их применением для решения задач проектирования и разработки автоматизированных систем компьютерного обучения общего назначения, которые могут применяться в широком спектре проблемных областей обучения.

Практическая ценность результатов работы подтверждается документами о внедрении результатов диссертационной работы в учебном процессе профессиональной подготовки специалистов в Администрации Таганрогского морского порта, а также в учебном процессе Таганрогского Государственного Педагогического Института и Таганрогского Государственного Радиотехнического Университета.

Список литературы диссертационного исследования кандидат технических наук Бойченко, Михаил Михайлович, 2007 год

1. Анализ исследований и разработок в области информатизации образования М.: ИНИНФО, 1993.

2. Беспалько В.П. Педагогика и прогрессивные технологии обучения. -М., 1995.

3. Булыгин В.Г. Основы автоматизации процесса обучения.- Йошкар-Ола, 2003.

4. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конкурирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000.

5. Агеев В.Н. Электронные учебники и автоматизированные обучающие системы.- М., 2001. 79 с.

6. Гиркин И.В. Новые подходы к организации учебного процесса с использованием современных компьютерных технологий //Информационные технологии, 1998, № 6. с. 44-47.

7. Астанин C.B., Захаревич В.Г., Попов Д.И. Интеллектуальные средства обучения в Интернет // Сборник докладов Всероссийской научной конференции "Управление и информационные технологии". СПб. 2003. Т. 2. С. 278-282.

8. Оцуки С. Приобретение знаний и обучение в диалоге //Приобретение знаний: Пер. с япон. /Под ред. С. Осуги, Ю. Саэки. М.: Мир, 1990. -304 с.

9. Астанин C.B., Курейчик В.М., Попов Д.И, Кузьмицкий А.А. Интеллектуальная образовательная среда дистанционного обучения // Новости искусственного интеллекта. М. 2003. № 1.03 (55). С. 7-14.

10. Соловов A.B. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: Изд-во СГАУ, 1995. - 137 с.

11. Intelligent Tutoring Systems: Proceedings of Second International Conference //University de Montreal. Montreal, Canada, 1992. - 422 p.

12. Каинова Э. Стандартизация труда учителя // Народное образование, 1993, N1.

13. Куклин В.Ж., Наводнов В.Г., Петропавловский М.В. КАМЕРТОН-технология проведения тестирования и анализа результатов. Йошкар-Ола, 1995.

14. Куклин В.Ж., Масленников A.C., Наводнов В.Г. Технология разработки педагогических испытательных материалов // Прикладные исследования в электронике и новые технологии в обучении студентов. Йошкар-Ола, 1996. С. 44-46.

15. Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. О компьютерной технологии оценки качества знаний // Высшее образование в России. 1993, N 3. С. 146-153.

16. Вишняков Ю.М., Родзин С.И. Проблемы интеграции интеллектуальных гипермедийных обучающих сред в виртуальные образовательные структуры //Новости искуственного интреллекта. Таганрог: Изд-во Таганрогского гос. радиотех. ун-та, 2000. - С. 89-101.

17. Жуковская Н.К. Применение экспертных систем в дистанционном обучении //Труды X Всероссийской науч.-метод. конф. "Телематика-2003". СПб., 2003. - С. 395-396.

18. Zaitseva L., John D. Zakis. Course Development for Tutoring and TrainingSystems in Engineering Education /Global J. of Engng. Educ., 1991, vol. 1, № 3.Printed in Australia.- P. 21-27.

19. Аванесов B.C. Образовательные стратегии Российского государства. Доклад. Сб. «Россия в современном мире. Т.4 . Под. Ред. Ю.С.Пивоварова. М.: ИНИОН, РАН, 2005. Депонировано.

20. Аванесов B.C. Форма тестовых заданий . М.: Центр тестирования, 2005г.

21. Оценка образовательных достижений в рамках национальных экзаменов. Материалы и тезисы докладов Международной конференции. 13-15 декабря 2004г.С.11-12. М.: Изд-во «Уникум-центр», 2005. -279с.

22. Беспалько В.П. Педагогика. М., 1995.

23. Аванесов B.C. Научные проблемы тестового контроля знаний /Монография. М.: Исследовательский центр проблем качества подготовки специалистов, 1994. - 135 с.

24. Агеев В.Н. Электронные учебники и автоматизированные обучающие системы. М., 2001. - 79 с.

25. Березин Н.В. Перспективы создания системы адаптивного тестирования как элемента централизованного тестирования /Научный вестник МГТУ ГА, серия "Информатика", 2001, № 38. С. 26-30.

26. Жуковская Н.К. Исследование и разработка моделей рассуждений в интелектуальных обучающих системах: Дисс. канд. техн. наук. Таганрог, 2004. -161 с.

27. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989. - 388 с.

28. Буш Р., Мостселлер Ф. Стохастические модели обучаемости.-М.:Физматлит, 1962. 485 с.

29. McArthur D.L. Educational Assessment: A Brief History /McArthur D.L. (Ed). Alternative Approaches to the Assessment of Achievement. Kluver Academic Publishers, Boston, 1987.

30. Аванесов B.C. Из глубины веков // Педагогическая диагностика №1,2003 г. с.3-7.

31. Гнеденко Б.В. Курс теории вероятностей.- М.:Наука, 1988,446 с.

32. Феллер В. Введение в теорию вероятностей и ее приложения.-М.:Мир, 1964, 498 с.

33. Andrich D. Rasch Models for measurement. Newbury Park, CA, 1988.

34. Аванесов B.C. Педагогическое измерение латентных качеств. «Педагогическая диагностика» № 4, 2003, с. 69-78.

35. Rasch G. On specific objectivity: An attempt at formalizing the request for generality and validity of scientific statements. Danish Yearbook of Philosophy, 1977, 16, pp. 58-94.

36. Karabatsos G. Axiomatic measurement theory as a basis for model selection in item response theory. Paper presented at 32nd annual conference of the Society for Mathematical Psychology, Santa Cruz, CA. 1999, July.

37. Frank В., Baker T. Item response Theory: parameter estimation techniques. New York.:Marcel Dekker, 1992.

38. Анастази А. Психологическое тестирование. Т. 1,2. М.: Педагогика, 1982.

39. Романов А.В. Методика подготовки и проведения тестового контроля в учебном процессе. Чебоксары: Клио, 1998. 47с.

40. Shafer G. Mathematical theory of evidence. Princeton University Press, Princeton, NJ, 1976.

41. Peral J. Bayesian decision methods. Enc. Of Artificial Intelligence, John Wiley, 1986, pp. 48-56.

42. Lord P.M., Novic M.R. Statistical Teories of Mental Test Scores. Reading, Mass.: Addison-Wesley, 1968.

43. Lord P.M. Application of Item Response Theory to Practical Testing Problems. Hillsdate, 1954.

44. Bimbaum A. Some Latent Trait Models. In 76. Lord F.M., Novic M.R. Statistical Teories of Mental Test Scores. Reading, Mass.: Addison-Wesley, 1968.

45. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright. The Univ. of Chicago Press. Chicago & London, 1980. -199 pp.

46. Guttman L. A basis for analizing test-retest reliability. Psychometrika. -1945, 10.-P. 255-282.

47. Guttman L. The quantification of a class of attributes: A theory and method of scale construction. The prediction of personal adjustment. New York: Social Science Research Council. 1941.-P. 319-348.

48. Binet A., Simon Т.Н. The Development of Intellegence in Young Children. Vineland, N-Y: The Training School, 1916.

49. Наводнов В.Г. Математические модели САПР ПИМ: Препринт N 4/97.- Йошкар-Ола. Научно-информационный центр государственной аккредитации. 1997.

50. Наводнов В.Г., Петропавловский М.В., Ельцын A.B. Автоматизированное проектирование педагогических измерительных материалов: Препринт N 2/97. Йошкар-Ола. Научно-информационный центр государственной аккредитации, 1997.

51. Челышкова М.Б. Разработка педагогических тестов на основе современных моделей. Исследовательский Центр, 1995.

52. Челышкова М.Б., Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М., 1995.

53. Кузьмина Н.В. Методы исследования педагогической деятельности. -Л., 1970.

54. Пак Н.И., Филиппов В.В. О технологии создания компьютерных тестов // Информатика и образование, 1997, N5, с. 19-24.

55. Бухараев Р.Г., Сулейманов Д.Ш. Семантический анализ в вопросно-ответных системах. Казань: Из-во Казан, ун-та, 1990. - 123 с.

56. Кузнецов И.П. Семантические представления. М.: Наука, 1986.

57. Петрова Е.Г. Функционально-семантическое поле познания в современном русском языке //Дисс. канд. фил. наук. Таганрог, 2004. -200с.

58. Эльгаров A.A. Семантический анализ текста. Нальчик: Изд-во Ка-бард.-Балкар. гос. ун-та., 1989 - 124 с.

59. Михеев В.И. Моделирование и методы теории измерений в педагогике. М.: Высшая школа, 1987.

60. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. С-Пб: Образование и культура, 1996.

61. Беспалько В.П. Элементы теории управления процессом обучения (в 3 частях). М.: Знание, 1970.

62. Варенова Л.И. Куклин В.Ж., Наводнов В.Г. Рейтинговая Интенсивная Технология Модульного обучения.-1993.

63. Аванесов B.C. Композиция тестовых заданий. М. Центр тестирования, 2002.

64. Основы информатики и вычислительной техники для работников народного образования. Методические рекомендации для преподавателей / Сапрыкина Г.А., Шанин И.В., Дудкина Н.М. и др. / Под редакцией И.М. Бобко. -Новосибирск, 1987, с. 155.

65. Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных процессов.- М.: Высшая школа, 1987, 247 с.

66. Thurstone L.L. A law of comparative judgement. Psyhological Review, 1927, 34, pp. 273-286.

67. Thurstone L.L. Theory of attitude measurement. Psyhological Review, 1929, 36, pp. 222-241.

68. Rasch G. On general laws and the meaning of measurement in psychology. Proc. Of the Fourth Berkley Symp. On Math. Statistics and Probability, 1961, pp.321-333.

69. Росс Эшби У. Введение в кибернетику.- М.: Издательство иностранной литературы, 1959., 430 с.

70. Четвериков В.Н., Ревунков Г.И., Самохвалов Э.Н. Базы и банки данных.- М.: высшая школа, 1987., 252 с.

71. Сэлтон Г. Автоматическая обработка, хранение и поиск информации.- М.:Сов. Радио, 1973.

72. Корнеев В.В. и др. Базы данных (интеллектуальная обработка информации).- М.:Нолидж, 2000.

73. Гайнетдинов M.JI., Иванов Ю.С. Компьютеризация управления к системе образования: совершенствование учебно-воспитательного процесса с помощью ЭВМ.- Казань, "Инкора-пресс", 1994.

74. Педагогические тесты. Термины и определения. Отраслевой стандарт Министерства Образования РФ. Москва, 2001 г.

75. Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение. Москва, 2002.

76. Винер Н. Кибернетика.- М.: 1958, Сов. Радио.

77. Броневич А.Г., Каркищенко А.Н. "Вероятностные и возможностные модели классификации случайных последовательностей".- Таган-рог:ТРТУ, 1996.

78. Литвак Б.Г. "Экспертная информация: методы получения и анализа". М.: Радио и связь, 1981.

79. Кини Р.Л., Райфа X. "Принятие решений при многих критериях: предпочтения и замещения". -М.: Радио и связь, 1981.

80. Ларичев О.И., Мошкович Е.М. "Качественные методы принятия решений". М.: Физматлит, 1996.

81. Хлебников В.А. Вводная статья, ж. "Вопросы тестирования в образовании", №2, 2002.

82. Wright P.D., Stone М.Н. Best test design. Chicago: MEAS Press, 1979.

83. Wright P.D., Masters G.N. Rating scale analysis. Chicago: MEAS Press, 1982.

84. Rasch G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. The Danish Institute of Educational Research, Copenhagen

85. Rasch G. (1977). On specific objectivity. An attempt at formalizing the request for generality and validity of scientific statements. In Blegvad, M. (ed.). The Danish Yearbook of Philosophy, 58-94. Munksgaard, Copenhagen

86. Нариньяни A.C. НЕ-факторы 2004. В сб. трудов IX Национальной конференции по ИИ КИИ-2004, М.:Физматлит, 2004, т.1, с. 420-432.

87. King J., Bond Т. "Parents' and Students' Satisfaction with the Use of Information Technology in Government Schools. Computers in Education 2001: Australian Topics, Volume 8. Sydney: Australian Computer Society Inc

88. Wilson M., Pirelli, P. (1995). The relationship between the Rasch model and conjoint measurement structures (Tech. Rep. Berkeley, CA: University of California.

89. Junker B. W., Sijtsma K. (2001). Nonparametric item response theory in action: An overview of the special issue. Applied Psychological Measurement, 25,211-220.

90. Lauritzen S.L., Bernardo J.M., et al "Rasch Models with Exchangeable rows and columns. Bayesian Statistics 7". eds. J. M. Bernardo et al. pp 215-232. Oxford University Press, Oxford, 2003.

91. Linardakis M., Deilaportas P. "An Approach to Multidimensional Item Response Modeling", The Sixth World Meeting of the International Society for Bayesian Analysis ISBA 2000, pp. 331-340.

92. Junker B. W. et al., "On the interplay between nonparametric and parametric IRT, with some thoughts about the future". 2001. Essays on item response theory, pp. 247-276. New York: Springer-Verlag.

93. Kreiner S., Christensen К. Graphical Rash Models. Population Health Research, 116-159. Sage Publications, London. 1998.

94. Kreiner S., Christensen К. Graphical Rash Models. Population Health Research, 116-159. Sage Publications, London. 1998.

95. Beck J. Е., Stern М.К., and WoolfB.P. (1997). "Using the Student Model to Control Problem Difficulty". Proceedings of Seventh International Conference on User Modeling, 277-288.

96. Rudner L. (2001). "Informed test component weighting". Educational Measurement: Issues and Practice, 20(1), pp. 16-20.

97. Collins J. "Adaptive Testing with Granularity". University of Saskatchewan, Dep. of CS, Saskatchewan, 1999.

98. Yao J.T., Yao Y.Y. "Induction of Classification Rules by Granular Computing. Rough Sets and Current Trends". In: Computing. 2002: 331-338.

99. Dempster A. Upper and Lower Probabilities induced by a multivalued mapping. Ann. Math. Stat., 1967, v.38, pp.325-339.

100. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления (в 3-х томах).- М.:Физматлит, 1969.

101. Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных процессов.- М.:Высшая школа, 1987.

102. Бойченко М.М. Автоматизированная мультимедийная система контроля знаний обучаемых для Windows.- В кн.: Материалы XXVVII Межвузовской военно-научной курсантской (студенческой) конференции, Новочеркасск: НВИС, 2000, с. 55-56.

103. Бойченко М.М. Современная система контроля знаний обучаемых.- В кн.: Материалы международной конференции "Динамика процессов в природе, обществе и технике: информационные аспекты", часть I, Та-ганрог:ТРТУ, 2003, с. 12-13.

104. Бойченко М.М., Бойченко О.В. Роль самостоятельной работы в дистанционном обучении.- В кн.: Материалы конференции "Информационные технологии, системный анализ и управление", Таганрог:ТРТУ, 2003, с. 103-105.

105. Бойченко М.М. Современная система поддержки самостоятельной работы студентов.- В сб.: Механизмы реализации образовательных потенциалов текста, Таганрог:ТГПИ, 2004, с. 12-17.

106. Бойченко М.М., Бойченко О.В. Информационная система поддержки обучения студентов.- В кн.: Материалы международной конференции "Информационный подход в естественных, гуманитарных и технических науках", Таганрог:ТРТУ, 2004, с. 22-23.

107. Бойченко М.М., Бойченко O.B. Контроль знаний обучаемых как объект автоматизации.- Известия ТРТУ, №8, 2004, с. 79-80.

108. Бойченко М.М., Бойченко О.В. Информатизация самостоятельной учебной работы.- В кн.: Материалы конференции "Информационные технологии, системный анализ и управление", Таганрог:ТРТУ, 2004, с. 96-97.

109. Бойченко М.М., Бойченко О.В., Петрова Е.Г. Роль функционально-семантических полей в систем компьютерного обученияах.- В сб.: Проблемы образования в современной России и на постсоветском пространстве, ред. В.И. Левин, Пенза:ПГТА, 2005, с. 350-352.

110. Бойченко М.М., Бойченко О.В. Роль индивидуально-типологических свойств личности в процессе контроля знаний.- В кн.: Материалы международной конференции "Оптимальные методы решения научных и практических задач", ТаганропИзд. "Антон", 2005, с. 26-29.

111. Ермаков М.Г. Андреева Л.Е. Вопросы разработки тестирующих программ // Информатика и образование, 1997, N 3, с. 87-89.

112. Педагогический словарь. М.: ЛПН РСФСР, 1960.

113. Прокофьев A.B. Программированное обучение. Программированные учебники. Машины для обучения. М.: Военное издательство Министерства обороны СССР, 1965, с. 66-69.

114. Нивергельт Ю. и др. Машинный подход к решению математических задач.-М.:Мир, 1977.

115. Тиори Т., Фрай Дж. Проектирование структур баз данных.-М.:Мир, 1985.

116. Грэй П. Логика, алгебра и базы данных.-М.:Машиностроение, 1989.

117. Озакарахан Э. Машины баз данных.-М.:Мир, 1989.

118. Ильин В.А., Садовничий В.А., Сендов Бл.Х. Математический анализ.-М.:Физматлит, 1979.

119. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа.- М.:Наука, 1989.

120. Dobesch H.I., Sulanke Н. Zeit functionen. Theorie und Awendund. Berlin, 1966.

121. Гельфанд И.М., Шилов Г.Е. Обобщенные функции и действия над ними.- М.:Физматгиз, 1959.

122. Хаусхолдер А.С. Основы численного анализа.- М.:Издательство иностранной литературы, 1956.

123. Львов B.C. Создание систем поддержки принятия решений на основе хранилищ данных. СУБД, 1997, №2, с. 30-40

124. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация.- М.: Мир, 1985.

125. Поляк Б.Т. Введение в оптимизацию.-М.: Наука, 1983.

126. Фиакко А., Мак-Кормик Г. Нелинейное программирование. Методы последовательной безусловной оптимизации.- М.: Мир, 1972.

127. Язенин А.В. Нечеткое математическое программирование. Калининский государственный университет, 1986.

128. Barnett J. A. Computational methods for a mathematical theory of evidence // In Proc. of 7th Int. Joint Conf. on AI, Los Altos, USA, 1981, pp. 868-875.

129. Gordon J. Shortliff E.H. A metod for managing evidential reasoning in a hierachical hypotesis space. Artificial Intelligence, 26:323-357, 1985.

130. Shafer G., Logan R. Implementing Dempster's rule for hierarchical evidence. Artificial Intelligence, 33:271-298, 1987.