Использование нейросетевых технологий в адаптивном тестировании по информатике в вузе тема диссертации и автореферата по ВАК РФ 13.00.02, кандидат педагогических наук Горюшкин, Евгений Игоревич

• Горюшкин, Евгений Игоревич
• кандидат педагогических наук
• 2009

Оглавление диссертации кандидат педагогических наук Горюшкин, Евгений Игоревич

ВВЕДЕНИЕ.

ГЛАВА I. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ИСПОЛЬЗОВАНИЯ ПЕДАГОГИЧЕСКОГО ТЕСТОВОГО КОНТРОЛЯ ПРИ ОБУЧЕНИИ ИНФОРМАТИКЕ.

1.1. Педагогические тесты: содержание, структура, виды, формы и области применения.

1.2. Методологические аспекты использования тестовых технологий в обучении информатике.

1.3. Педагогические тесты с варьирующейся сложностью заданий по информатике.

ГЛАВА II. НЕЙРОСЕТЕВЫЕ СИСТЕМЫ И ВОЗМОЖНОСТИ ИХ ИСПОЛЬЗОВАНИЯ ДЛЯ АНАЛИЗА РЕЗУЛЬТАТОВ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ И СОВЕРШЕНСТВОВАНИЯ ТЕСТОВ.

2.1. Методы и системы интеллектуального анализа данных.

2.2. Модели и структура искусственных нейронных сетей.

2.3. Функционирование нейронных сетей и их использование в педагогических измерениях.

ГЛАВА III. ИСПОЛЬЗОВАНИЕ НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ В ФОРМИРОВАНИИ СИСТЕМЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ ПО ИНФОРМАТИКЕ.,.

3.1. Разработка контрольно-измерительных материалов, предназначенных для использования в адаптивном тестировании по информатике.

3.2. Создание нейронной сети для совершенствования контрольно-измерительных материалов по информатике.

3.3. Компьютерное программное обеспечение, необходимое для адаптивного тестирования по информатике.

3.4.Применение адаптивного тестирования в обучении информатике в вузе.

3.5. Экспериментальная работа по обоснованию эффективности адаптивного тестирования по информатике.

Введение диссертации (часть автореферата) на тему «Использование нейросетевых технологий в адаптивном тестировании по информатике в вузе»

Актуальность исследования. В настоящее время информатика является неотъемлемой составляющей системы подготовки специалистов в вузах. Это обусловлено многими причинами, в числе которых глобальная информатизация общества, невозможность осуществления профессиональной деятельности без эффективного использования преимуществ информационных и телекоммуникационных технологий, необходимость критического осмысления все возрастающих объемов информации, с которыми приходится иметь дело современному специалисту. Неслучайно информатика и подходы к обучению студентов особенностям работы с информационными технологиями оказываются в центре внимания многих педагогических исследований.

В частности, вопросам методики обучения информатике в вузе посвящены работы Т.А. Бороненко [18], И.Б. Готской, С.Г. Григорьева [32, 33], А.Р. Есаяна [41], В.Е. Жужжалова [42], А.А. Кузнецова [59], М.П. Лапчика [62], Д.Ш. Матроса [71], Н.И. Пака [85, 86], И .Г. Семакина [101], А .Я. Фридланда [116], Е.К. Хеннера [101] и др.

Наряду с этим немаловажной проблемой, характерной для системы высшего профессионального образования, является выработка подходов к повышению эффективности обучения, формированию у выпускников способности применять полученные знания, умения и навыки в профессиональной деятельности. Это, в свою очередь, делает актуальной задачу создания и внедрения технологий и средств измерения уровня эффективности образования вообще и обучения информатике в частности.

Анализ методов педагогических измерений позволяет сделать вывод о том, что одним из объективных и эффективных методов контроля качества знаний учащихся образовательных учреждений является тестовый метод, основанный на использовании педагогических тестовых материалов. В настоящее время трудно назвать дисциплину, в обучении которой так или иначе не применялась бы тестовая форма контроля знаний.

Разработкой и исследованием тестовых технологий начали заниматься еще в начале прошлого века такие исследователи-педагоги, как А.П. Болтунов, Г.И. Россолимо, М.Ю. Сыркин и др. Начиная с 60-х годов XX века и по сегодняшний день, данная тематика нашла отражение в работах B.C. Аванесова [2-7], А. Анастази [8, 9], С.И. Архангельского [12], В.П. Беспалько [13-16], JI.C. Выготского [21], Т.А. Ильиной, Г.С. Ковалевой, А.Н. Майорова [67, 68], В.М. Полонского [88], В.А. Садовничего [98], И.А. Цатуровой [119], М.Б. Челышковой [120, 121, 122] и др. [39, 69, 74, 92, 93, 94, 112, 114], а также зарубежных ученых А. Бине, Б. Блума [140], К. Гилберта, Р. Йеркса, Дж. Кеттелла, В.А. Макколла, Э. Торндайка и др. [20, 67]. В последнее время появились диссертационные исследования, связанные с различными проблемами тестирования, в том числе и по информатике (Т.Н. Зайчикова [44], H.JI. Майорова [69], А.В. Паволоцкий [84], Н.Н. Самылкина [100], М.Б. Челышкова, В.А. Шухардина [128] и др. [81, 105, 110]).

Педагогический тест представляет собой систему заданий возрастающей трудности специфической формы, позволяющей качественно оценить структуру знаний и эффективно измерить уровень знаний испытуемых по различным дисциплинам. В системе образования существует несколько подходов к классификации педагогических тестов.

Исследования показали, что, несмотря на большое количество разработанных тестов по информатике, они обладают рядом недостатков, в числе которых необъективность весов тестовых заданий, малое или большое количество тестовых заданий или одновариантность теста, присутствие связи между последовательными заданиями.

На практике очень часто возникает ситуация, когда одна и та же группа студентов без особого труда справляется со всеми тестовыми заданиями или, наоборот, не может справиться с большей частью тестовых заданий. Тем самым, существует проблема корректности подбора сложности тестовых заданий с целью наибольшей адекватной оценки уровня знаний студентов. В связи с увеличением количества и недостаточным качеством тестов, применяемых в обучении информатике в вузе, не всегда представляется возможным качественно определить уровень учебных достижений учащегося, основываясь только на тестах, в которых количество заданий фиксировано (так называемые тесты фиксированной длины). Устранение этого недостатка возможно за счет применения такого вида тестирования, которое способно «подстраиваться» под уровень знаний студентов, варьировать сложность и количество заданий в зависимости от правильности ответов на них. Таким образом, процесс тестирования адаптируется к уровню знаний тестируемого, что позволяет получить более достоверные результаты, сократить время, затрачиваемое на прохождение теста, не снижает мотивацию студентов к обучению и тестированию. Подобные подходы принято называть адаптивным тестированием.

При компьютерном адаптивном тестировании по информатике тестовые задания формируются индивидуально для каждого экзаменующегося с учетом результатов выполнения предыдущих заданий. Типы заданий, их количество и порядок следования индивидуальны. Таким образом, адаптивное тестирование не только дает более объективную оценку знаниям, умениям и навыкам обучаемых, но и позволяет выявлять, какие знания ошибочны или неполны, а также позволяет формировать дальнейшую траекторию обучения.

Благодаря развитию теории адаптивного тестирования стала возможной адаптация не только тестовых заданий, но и тестирующих систем. Эта адаптация может быть направлена на приспособление к предметной области, выбранной для тестирования, а также к текущим потребностям и характеристикам конкретного испытуемого.

Начиная с 90-х годов, компьютерное адаптивное тестирование получило широкое признание за рубежом. Этот факт прослеживается в научных работах Р.К. Хамблетона [147], Дж. Кингсбури [154], Дж. Спрея [167], Д. Вейсса [169] и др.[162, 168]. В России этой теме посвящены работы

С.С. Андреева [10], Г.Ю. Ксензовой [58], В.И. Нардюжева [79], М.Б. Челышковой, А.Г. Шмелева [127], Е.А. Ямбурга [130] и др.

Несмотря на все свои преимущества и проведенные педагогические исследования, адаптивное тестирование имеет ряд недостатков и нерешенных проблем: недостаточно разработаны подходы к оцениванию личностных параметров испытуемых, неполностью исследовано введение аналитических зависимостей между уровнем подготовленности студентов и сложностью заданий при дифференциации режимов адаптивного обучения и адаптивного контроля, имеет место несоответствие запланированной сложности заданий реальной. В последнем случае, как правило, все задания имеют фиксированные веса (оценка сложности задания). При многократном тестировании складывается ситуация, когда самые сложные задания (по мнению разработчика теста) на самом деле могут иметь сложность не выше среднего. Для решения этой проблемы необходимо провести переоценивание сложности заданий на основе ответов, данных студентами на них. Как показывают исследования по интеллектуальному анализу и обработке данных (ИАД), такой тип задач характерен для кибернетического метода ИАД, основанного на технологии нейросетевого анализа данных. Целью ИАД является создание алгоритмического и программного обеспечения для компьютерной техники, позволяющего решать различные интеллектуальные задачи, в число которых можно включить и проблему определения реальной сложности тестовых заданий, необходимых для адаптивного тестирования.

На сегодняшний день искусственные нейронные сети (ИНС) широко применяются в разных областях науки и производства, однако в образовании подобные сети использовались крайне редко. Обладание такими свойствами, как сбор информации или анализ и принятие решения, если оно требуется, позволяет применять аппарат искусственных нейронных сетей в тестировании для решения проблем, связанных с совершенствованием контрольно-измерительных материалов (КИМ) тестов по информатике, способствуя повышению достоверности результатов тестирования.

Исследованиям в области искусственных нейронных сетей посвящены работы ряда зарубежных (Р. Земел [107], Т. Кохонен [156, 157], У. Маккалох [159], У. Питтс [159], Ф. Розенблатг [96, 97, 165], Д. Хинтон [107], Дж. Холанд [150] и др.[135, 136, 139, 144, 162]) и отечественных (Н.А. Горбач [29], А.Н. Горбань [24-28], П.П. Кольцов [51], С. Короткий [52, 53], В.А. Крисилов [55], В.Г. Царегородцев [118] и др.[61]) авторов.

Искусственные нейронные сети представляют собой информационные структуры, лежащие в основе функционирования некоторых компьютерных программ. Такие сети состоят из простых однотипных элементов (нейронов), связанных между собой определенным образом, функциональные возможности которых аналогичны большинству элементарных функций биологического нейрона. Каждый нейрон характеризуется своим текущим состоянием (возбужден или заторможен). Наглядно ИНС можно представить в виде ориентированного графа, вершины которого будут соответствовать нейронам, а дуги, соединяющие вершины, - синаптическим связям или весам. ИНС обладают рядом ценных свойств, в числе которых способность обучаться, дообучаться, анализировать поступающую информацию, обрабатывать большой объем данных, представленных в разных шкалах, отсеивать ненужную информацию, осуществлять прогноз, параллельно обрабатывать сигналы, благодаря объединению большого числа нейронов в слои. В связи с этим выделяют различные классификации ИНС, модели которых способны решать различные задачи.

Большинство моделей искусственных нейронных сетей при решении любой задачи необходимо обучить, то есть настроить определенным образом весовые коэффициенты. В общем случае, обучение — такой выбор параметров сети, при котором сеть лучше всего справляется с поставленной проблемой. Обучение нейронной сети - это задача многомерной оптимизации, и для ее решения существует множество алгоритмов. После обучения ИНС способна решать поставленные задачи, такие, например, как анализ КИМ на предмет их соответствия заявленной тематике и уровню сложности. Таким образом, нейросетевые технологии могут быть использованы для совершенствования КИМ тестов по информатике и, как следствие, — повышения достоверности измерения уровня знаний студентов.

Можно предположить, что использование разработанных подобным образом адаптивных тестов в рамках обучения информатике студентов вузов положительно скажется на эффективности такой подготовки будущих специалистов.

Налицо противоречие между недостаточной эффективностью существующих подходов к измерению результативности обучения информатике в вузе и отсутствием технологий, позволяющих адаптировать содержание контрольно-измерительных материалов с учетом специфики контингента обучающихся, способствующих повышению достоверности определения уровня знаний и умений по информатике студентов вузов.

Разрешение этого противоречия возможно на основе разработки тестов, направленных на достоверные контроль и оценку учебных достижений студентов по информатике, за счет применения адаптивного тестирования с последующей возможностью усовершенствования КИМ при помощи искусственных нейронных сетей. Это свидетельствует об актуальности темы, выбранной для исследования.

Проблема исследования заключается в отсутствии подходов, основанных на использовании нейросетей, к разработке эффективных адаптивных тестов и методов использования таких тестов при измерении эффективности обучения информатике в вузе.

Объект исследования — система измерения эффективности обучения информатике в вузе.

Предмет исследования — совершенствование системы контроля учебных достижений по информатике за счет использования нейросетевых технологий в адаптивном тестировании.

Цель исследования — обосновать эффективность использования адаптивного тестирования по информатике в вузе, разработав систему адаптивного тестирования на основе применения аппарата искусственных нейронных сетей.

Гипотеза исследования: если провести совершенствование адаптивных тестов за счет применения аппарата искусственных нейронных сетей, то это позволит повысить достоверность (валидность) оценивания результатов обучения информатике и, как следствие, повысит эффективность подготовки студентов.

В соответствии с поставленной целью и выдвинутой гипотезой определены следующие задачи:

• выявить теоретико-методологические аспекты использования тестовых технологий в обучении информатике;

• определить специфику функционирования искусственных нейронных сетей и возможность их использования при разработке педагогических тестов с варьирующейся сложностью заданий по информатике;

• разработать контрольно-измерительные материалы для адаптивного тестирования по информатике;

• усовершенствовать разработанные контрольно-измерительные материалы ■ по информатике за счет использования искусственных нейронных сетей, создав необходимое программное обеспечение и осуществив опытное тестирование студентов;

• разработать методику применения результатов, полученных в ходе адаптивного тестирования, для определения путей совершенствования системы обучения студентов информатике;

• экспериментально обосновать эффективность адаптивного тестирования по информатике.

Методологической основой исследования являются подходы к созданию, классификации и применению тестов и заданий в тестовой форме (B.C. Аванесов, К. Ингенкамп [47], А.Н. Майоров), современные подходы к формированию и использованию искусственных нейронных сетей (Т. Кохонен, У. Маккалох, У. Питтс, Ф. Розенблатт, Дж. Холанд, А.Н. Горбань,

Н.А. Горбач, ГШ. Кольцов,' С. Короткий, В.А. Крисилов), методы обучения информатике в вузе (Ю.А. Горшеин [193], Н.П. Коваленко [189], А.А. Кузнецов, М.П. Лапчик, Н.И. Пак, И.Г. Семакин, И.А. Соловьева [193]). Научная новизна исследования заключается в:

• обосновании эффективности использования адаптивного тестирования при измерении результатов обучения информатике в вузе и целесообразности применения искусственных нейронных сетей для совершенствования педагогических тестовых материалов;

• определении структуры искусственной нейронной сети, необходимой для совершенствования адаптивного теста по информатике;

• разработке технологии формирования и совершенствования педагогических тестовых материалов, а также методики их использования при обучении информатике в вузе.

Теоретическая значимость заключается в обосновании целесообразности применения тестов с варьирующейся сложностью заданий при обучении информатике в вузе, а также необходимости использования аппарата искусственных нейронных сетей для совершенствования педагогических тестовых материалов, применяемых в адаптивном тестировании по информатике, в определении вида и структуры требуемых для этого нейронных сетей.

Практическая значимость исследования заключается в разработке педагогических тестовых материалов по дисциплинам «Языки и методы программирования» и «Вводный курс информатики», создании искусственной нейронной сети и ее применении в определении сложности тестовых заданий, формировании адаптивного теста и разработке методики его применения при обучении информатике. Создано компьютерное программное обеспечение, необходимое для адаптивного тестирования по информатике.

Методы исследования. Для решения поставленных в исследовании задач использовались следующие методы: общенаучные методы теоретического исследования (анализ, синтез, формализация, моделирование, классификация, обобщение); методы эмпирического исследования (изучение педагогического опыта, изучение литературы, наблюдение, тестирование); методы объектно-ориентированного проектирования и программирования.

Достоверность и обоснованность основных положений исследования обусловлены тем, что их основы формировались с учетом потребностей современной системы обучения информатике в вузе, а само исследование строилось на общепризнанных в отечественной и мировой практике тенденциях в технологии оценки образовательных достижений, а также опыте создания и применения искусственных нейронных сетей.

Этапы исследования. Исследование по теме проводилось в течение четырех лет и условно может быть разделено на три взаимосвязанных этапа.

На первом этапе (2005 — 2006 гг.) осуществлялся теоретический анализ научных работ и литературы, имеющих отношение к проблеме исследования. Определялись теоретические аспекты применения тестовых технологий в обучении информатике. Обосновывалось применение искусственных нейронных сетей для совершенствования тестовых заданий.

На втором этапе (2006 — 2007 гг.) осуществлялось моделирование теста по информатике, велась разработка компьютерной версии адаптивного тестирования, отбиралась искусственная нейронная сеть, необходимая для совершенствования тестовых заданий. Осуществлялась программная реализация выбранной искусственной нейронной сети.

На третьем этапе (2007 - 2009 гг.) определялась эффективность использования адаптивного тестирования для выявления уровня знаний студентов по информатике в вузе, осуществлялось совершенствование адаптивного теста с помощью аппарата искусственных нейронных сетей, разрабатывалась методика применения результатов адаптивного тестирования для совершенствования системы обучения информатике в вузе. Результаты исследования оформлялись в виде диссертационной работы.

На защиту выносятся следующие основные положения:

1) Разработка педагогических тестовых материалов по информатике и их последующее совершенствование на основе создания и применения искусственных нейронных сетей способствует адаптации тестирования к особенностям контингента студентов.

2) Применение разработанной искусственной нейронной сети позволяет усовершенствовать педагогические тестовые материалы по информатике, повысив объективность и достоверность результатов педагогических измерений.

3) Использование адаптивного тестирования, разработанных педагогических тестовых материалов, компьютерных программных средств и методов применения результатов тестирования способствует повышению эффективности обучения информатике в вузе. Апробация и внедрение результатов диссертационного исследования. Достоверность результатов исследования обеспечивается адекватностью используемых методов задачам исследования и подтверждается результатами проведенного педагогического эксперимента.

Результаты исследования, разработанные контрольно-измерительные материалы для двух дисциплин «Языки и методы программирования» и «Вводный курс информатики», а также средства тестирования внедрены в учебный процесс Курского государственного университета.

Основные положения и результаты исследования докладывались на III Международной научно-практической конференции «Интеллектуальные технологии в образовании, экономике и управлении - 2006», Международной научно-практической конференции «Информационные технологии в образовании» («ИТО-Черноземье-2006»), семинаре «Компьютерные образовательные программы для курса информатики средней школы» (Курск 2006), очном методическом семинаре по обмену опытом и обеспечению результатов поддержки педагогических инициатив (Курск, 2008), научных и научно-методических конференциях и семинарах Курского государственного университета (2005 - 2008), Международной научно-практической конференции «Информационные технологии в образовании» («ИТО-Черноземье-2008»).

Структура работы определена целью и логикой исследования. Диссертация состоит из введения, трех глав, заключения, списка литературы и двух приложений.

Заключение диссертации по теме «Теория и методика обучения и воспитания (по областям и уровням образования)», Горюшкин, Евгений Игоревич

Выводы по главе 3

На основании предложенного алгоритма адаптивного тестирования по информатике выполнена программная реализация адаптивного тестирования по двум темам (см. приложение 1 и приложение 2). В ходе педагогического эксперимента все полученные данные были занесены в базу данных.

Выбранная ИНС была программно реализована и обучена на основе полученных данных при тестировании. Результаты работы ИНС были предоставлены педагогам-экспертам, которые принимали решение об изменении ряда уровней сложности заданий. На основании результатов, полученных после прохождения усовершенствованного адаптивного теста по информатике можно сделать следующие выводы:

1) время, необходимое для прохождения адаптивного теста, уменьшается по сравнению с тестом фиксированной длины;

2) мотивация у студентоЁ не теряется;

3) применение ИНС позволяет более качественно определить уровень сложности заданий;

4) усовершенствованные компьютерные адаптивные тесты по информатике могут быть применены для текущего контроля уровня знаний студентов или для принятия решения об изменении содержания курса по информатике.

ЗАКЛЮЧЕНИЕ

В ходе исследования были получены следующие результаты:

1. Обоснована недостаточная эффективность традиционных тестов фиксированной длины для определения качества обучения студентов информатике. При этом использование адаптивных тестов, длина которых не фиксирована, позволяет повысить достоверность и точность педагогических измерений. Выявлено, что аппарат искусственных нейронных сетей является эффективным инструментом для совершенствования адаптивных тестов по информатике.

2. Произведен анализ существующих нейронных сетей, на основе которого был выбран тип нейронной сети (персептрон Ф. Розенблатта) и алгоритм конкурентного обучения этой сети, а также разработана технология, позволяющая повысить объективность и достоверность адаптивного тестирования по информатике. В частности, предложенная технология позволяет адекватно определять уровень сложности тестовых заданий.

3. Разработаны контрольно-измерительные материалы для разделов учебных курсов «Языки и методы программирования» (36 заданий) и

Вводный курс информатики» (31 задание), рассматриваемые в качестве содержательной основы для создания и совершенствования системы адаптивного тестирования по информатике в вузе.

4. Разработана нейросетевая компьютерная система адаптивного тестирования (НКСАТ), позволяющая усовершенствовать контрольно-измерительные материалы адаптивного теста по информатике. НКСАТ состоит из двух подсистем, первая из которых позволяет осуществить компьютерное адаптивное тестирование по информатике с использованием разработанных контрольно-измерительных материалов. Вторая подсистема НКСАТ обеспечивает совершенствование адаптивного теста по информатике средствами нейросетевых технологий за счет сопоставления запланированной сложности тестовых заданий показателям сложности, выявленным экспериментальным путем.

5. За счет использования НКСАТ и проведения педагогических измерений усовершенствованы разработанные контрольно-измерительные материалы, создан адаптивный тест по информатике.

6. Предложен метод использования разработанных и усовершенствованных адаптивных тестов в обучении информатике, который заключается в том, что результаты, полученные в ходе адаптивного тестирования студентов по информатике, могут быть использованы не только при решении вопросов, связанных с измерением уровня знаний студентов, но и при определении путей совершенствования систем обучения студентов информатике. Результаты, полученные в ходе адаптивного тестирования, могут учитываться при ежегодном корректировании рабочих учебных планов и программ с целью повышения общей эффективности учебного процесса по информатике. Экспериментально доказано, что адаптивное тестирование по информатике позволяет достоверно измерить уровень знаний студентов и является эффективным методом мониторинга качества обучения информатике в вузе.

Список литературы диссертационного исследования кандидат педагогических наук Горюшкин, Евгений Игоревич, 2009 год

1. Аванесов B.C. Вопросы методологии педагогических измерений // Педагогические измерения-2005-№3

2. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе: Пособие для слушателей Учебного центра Гособразования СССР.-М.: МИСиС, -1989. -167 с.

3. Аванесов B.C. Научные проблемы тестового контроля.-М.: Исследовательский центр, -1994. -112 с.

4. Аванесов B.C. Формы тестовых заданий: Учеб. пособие.-М.: МИСиС, -1991.-С. 35.

5. Аванесов B.C. Композиция тестовых заданий: Кн. для преподавателей вузов, техникумов, для студентов и аспирантов пед.вузов / В.С.Аванесов. — 2-е изд., испр. и доп.-М.: Адепт, -1998. -217 с.

6. Аванесов B.C. Композиция тестовых заданий. -М. -1996. -С.20.

7. Анастази А. Психологическое тестирование. / СПб, -2002, перевод с англ. Алексеев А.А., -С. 48.

8. Архангельский С.И. Учебный процесс в высшей школе, его закономерные основы и выводы. М.: Высшая школа, -1980. -368 с.

9. Беспалько В.П. Программное обучение: (Дидакт. основы).-М.: Высш.шк. -1970. -300 с.

10. Беспалько В.П., Татур Ю.Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов.-М: «Высшая школа»,-1989.-С. 50.

11. Беспалько В.П. Основы теории педагогических систем: (Проблемы и методы психолого-педагогического обеспечения технических обучающих систем).-Воронеж: Изд-во Воронежского ун-та, -1997. -304 с.

12. Беспалько В.П. Слагаемые педагогической технологии.-М.:Педагогика, -1989.-192 с.

13. Большая советская энциклопедия.-М.:Советская энциклопедия, —1970— 1976.-Т.25. -600 с.

14. Бороненко Т. А. Теоретическая модель системы методической подготовки учителя информатики: Дис. . д.п.н.-М.: РГБ, -1997. -335 с.

15. Бучацкая В.В. Автоматизация процедур системного анализа на основе нейронных сетей: Дис. . к.т.н.-М.: РГБ, -2005. -188 с.

16. Вилфорд Д. Современная типология педагогических тестов // Тесты в образовании: Информационный научно-методический бюллетень с электронным приложением.-1999.-Вып. 1. -С. 14-29.

17. Выготский JI.C. Избранные психологические исследования.-М.: Акад. Пед.наук РСФСР, -1956. -С. 257-270

18. Гарцев И.Б. Развитие нейросетевых технологий для управления мехатронными системами: Дис. . к.т.н.-М.: РГБ, -2003. -216 с.

19. Горбань А.Н. Обучение нейронных сетей. М.: СП Параграф, -1991. -160 с.

20. Горбань А.Н. Нейронные сети на персональном компьютере / Горбань

21. A.Н., Россиев Д.А. Новосибирск: Наука. -1996.-276 с.

22. Горбань А.Н. Логически прозрачные нейронные сети для производства знаний из данных / Горбань А.Н., Миркес Е.М. Красноярск, -1997. -12 с.

23. Горбань А.Н. Нейроинформатика и ее приложения // Открытые системы, -1998. №04-05, -10 с.

24. Горбань А.Н. Новая игрушка человечества / Горбань А.Н., Фриденберг

25. B.И. // Мир ПК, -1993. №9, 36 с.

26. Горбач Н.А. Интеллектуальный анализ данных в прогнозировании успешности учебной деятельности обучаемых ВУЗов / Горбач Н.А., Павлюк А.А. Информатизация и информационная безопасность правоохранительных органов— М. 2004.-С. 21-26.

27. Григорьев С.Г., Гриншкун В.В., Макаров С.И. Телекоммуникационные средства контроля знаний в электронных учебниках. // Технологии информационного общества. Интернет и современное общество: Материалы Всерос.объед.конф./ СПб.:СпбГУ, -2001. -С.92-93.

28. Григорьев С.Г., Гриншкун В.В., Макаров С.И. Об определении учебных электронных средств. // В Сб. трудов «Информационные технологии в высшем образовании». М.: Академия нефти и газа.—2001. -С. 4.

29. Гронлунд Н. Тесты достижений в конструировании.-Лондон: Прентис-Холл, -1982. -45 с.

30. Гуревич К.М. Психологическая диагностика. Учебное пособие. -М. -1997.-395 с.

31. Гутник Г.В. Информационное обеспечение системы качеством образования в регионе / Гутник Г.В. Информатика и образование. -1999. -№1. -С. 7-12.

32. Денисенко С.И. Особенности использования тестовых методик для контроля учебной деятельности студентов // Инновации в образовании-2001.-№3.-С. 84-94.

33. Джеффри Е. Хинтон. Как обучаются нейронные сети // В мире науки, -1992.-С. 103-107.

34. Диагностика как фактор развития образовательной системы: Учеб. пособие / Под ред. Максимовой В.Н.- СПб.: ЛОИЛРО, -1995. -82 с.

35. Дуплик С.В. Модель адаптивного тестирования на нечеткой математике // «Информатика и образование» -2004. №11* —34 с.

36. Есаян А.Р. Рекурсия информатике: Учеб. пособие для студентов пед. вузов: Ч. 1: Корзина разнообразных задач / Есаян А.Р. Тула: Изд-во ТГПУ им. Л. Н. Толстого, -2000. -90 с.

37. Ильин Е.С. Интеллектуальная система анализа данных на основе нейронных сетей: Дис. . к.т.н. -М.: РГБ, -2005. -177 с.

38. Ильина Т.А. Тестовая методика проведения знаний и программированное обучение / Сов.Педагогика. -1967.-№2. -С. 122-125.

39. Ингенкамп К. Педагогическая диагностика: Пер. с нем.-М.:Педагогика, -1991.-240с.

40. Исаков П.Н. Оптимизация управления слабоформализуемыми объектами в социально-экономических системах на основе нейросетевого моделирования: Дис. . к.т.н.-М.: РГБ, -2005. -139 с.

41. Кларин М.В. Педагогическая технология в учебном процессе: Анализ зарубежного опыта.-М. .'Знание, -1989. -80 с.

42. Короткий С. Нейронные сети: основные положения // М., -1997. -46 с.

43. Короткий С. Нейронные сети: алгоритм обратного распространения // М., -1997. -67 с.

44. Крапивка С.В. Методика обучения информатике, ориентированная на освоение ЭВМ как средства управления объектами: Дис. . к.п.н.-М.: РГБ, -2000.-173с.

45. Крисилов В. А. Применение нейронных сетей в задачах интеллектуального анализа информации / Крисилов В.А., Олешко Д.Н., Трутнев А.В. // Одесский политехнический универсиситет, -1999. -134 с.

46. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, -2001. -382 с.

47. Круглов В.В., Борисов В.В. ИНС. Теория и практика» 2-е изд., -М.: Горячая линия Телеком, -2002. -382 с.

48. Ксенцова Г.Ю. Перспективные школьные технологии: Учеб-метод. Пособие. М.: Педагогическое общество России, -2000. -224 с.

49. Кузнецов А.А., Дяшкина О.А. Требования к результатам обучения как важнейший компонент образовательных стандартов // Стандарты и мониторинг в образовании. — 1999. -№1. С. 39^12.

50. Кузнецов В.Г. Концепция развития тестовой технологии контроля уровня обученности студентов в системе профессионального образования

51. России // Тесты в образовании: Информационный научно-методический бюллетень с электронным приложением.-1999.-Вып.1 -С.30-45.

52. Лапчик М.П. Методика преподавания информатики: учебное пособие для студентов физико-математических факультетов пединститутов -Свердловск, Свердл.пед.институт, —1987. -152 с.

53. Левин В.П., Зиновьев В.В. Методика конструирования педагогических тестов//Дидакт.-2002.-№2.-С.З 0-3 3.

54. Левин В.П., Зиновьев В.В. Методика конструирования педагогических тестов // Дидакт. -2002.-№3.-С. 15-21.

55. Лернер И.Я. Показатели системы учебно-познавательных заданий // Новые исследования в педагогических науках. Вып.2 (56) / Сост. Журавлев И.К., Шубинский B.C., -М.: Педагогика, -1990. -80 с.

56. Лоскутов Ю.А. Введение в синергетику / Лоскутов Ю.А., Михайлов А.С. // М.: Наука, -1990. -272 с.

57. Майоров А.Н. Теория и практика создания тестов для системы образования: Как выбирать и использовать тесты для целей образования.-М.: Народное образование, -2000—351с.

58. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование.- СПб.: Образование и культура, -1997.-304 с.

59. Майорова Н.Л. Тестирование как педагогическое средство измерения успешности обучения: Дис. . к.п.н-М.: РГБ, —2003. -219 с.

60. Маккалох Дж. Логические исчисления идей, относящихся к нервной деятельности / Маккалох Дж., Питтс У. Автоматы.-М.: ИЛ, -1956. -78 с.

61. Матрос Д.Ш., Полев Д.М., Мельникова Н.Н. Управление качеством образования на основе новых информационных технологий иобразовательного мониторинга // Профессиональная культура педагога, Педагогическое общество России, -2001. -128 с.

62. Маслак А.А. Основы планирования и анализа сравнительного эксперимента в педагогике и психологии.-М.:РОСИ,1998. 168 с.

63. Матушанский Г.У. Педагогическое тестирование в России // Педагогика-2002.-№2 -С. 1-5-21.

64. Михайлычев Е.А. Система педагогической диагностики: ключевые понятия и принципы // Педагогическая диагностика-2002 -№1. -46 с.

65. Михалева Т.Г., Хлебников В.А. Проблемы оценки учебных достижений // Вопросы тестирования в образовании.-2001.-№1.-С.62-70.

66. Мохов В.А. Разработка алгоритмов прямого синтеза аппроксимирующих искусственных нейронных сетей: Дис. . к.т.н.-М.: РГБ, -2005.-182 с.

67. Нардюжев В.И., Нардюжев И.В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования.-М.: Прометей, -2000. -147 с.

68. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов.-М.: Прометей, -2000. -168 с.

69. Нейман Ю.М. Шкалирование результатов единого госэкзамена.-М.: ЦТМО, -2002. -30 с.

70. Павлюк А. А. Система интеллектуального анализа данных для прогнозирования успешности учебной деятельности: Дис. . к.т.н.-М.: РГБ, -2005.-116 с.

71. Паволоцкий А.В. Изучение педагогического тестирования в школьном курсе информатики (профильный уровень старшей школы): Дис. . к.п.н — М.: РГБ,-2008.-185 с.

72. Пак Н.И. Методика составления компьютерных тестов / Пак Н.И., Симонова А.Л. // ИНФО. -1998. -№ 4, -34 с.

73. Пак Н.И., Могилев А.В., Хённер Е.К. Практикум по информатике.-М.: Академия, -2004. -848 с.

74. Полуаршинова Е.Г. Тесты как средство контроля качества подготовки учащихся в системе управления образованием региона (на примере общего среднего образования г. Москвы): Автореф. дис. к.т.н.-М., -1998.-20с.

75. Поспелов Д.А. Логико-лингвистические модели в системах управления. М. Энергоиздательство, -1981. -296 с.

76. Потапов И.В. Математические модели и методы оптимизации функциональной надежности искусственных нейронных сетей: Дис. . к.т.н.-М.: РГБ, -2003. -178 с.

77. Поташник М.М. Управление качеством образования-М.: Педагогическое общество России, —2000. -448 с.

78. Проблемы качества образования. Книга 6. Общие проблемы качества образования // Материалы XIV Всероссийского совещания.-М.; Уфа: Исслед. центр проблем качества подготовки специалистов, -2004. -68 с.

79. Психологическая диагностика; Учебное пособие / Под ред. Гуревича К.М., Борисовой Е.М. 2-е изд., испр. М.: Изд-во УРАО, -2000. -304 с.

80. Репьев А.В. Программное обеспечение адаптивной системы дистанционного обучения: Дис. . к.т.н. -М.: РГБ, -2006. -167 с.

81. Розенблатт Ф. Принципы нейродинамики: Персептроны и теория механизмов мозга. М.: Мир, -1965. -321 с.

82. Розенблатт Ф. Аналитические методы изучения нейронных сетей // Зарубежная радиоэлектроника-1965. -№5, -С. 40-50.

83. Садовничий В.А. Компьютерная система проверки знаний студентов // Высшее образование в России, -1994. -№3, -С.20-26.

84. Самохвалов А.В. Метод проектов в системе профессиональной подготовки специалиста-информатика в условиях вуза: Дис. . к.п.н.-М.: РГБ,-2008.-196 с.

85. Самылкина Н.Н. Разработка тестов образовательных достижений школьников по информатике на основе конкретизации требований к результатам обучения: Дис. . к.п.н. -М.: РГБ, -1999. -196 с.

86. Ю1.Семакин И.Г., Хеннер Е.К., Лапчик М.П. Методика преподавания информатики. 2-е изд.,- М.: Академия, -2006. -624 с.

87. Смирнов В.И. Общая педагогика: Учеб. пособие .-.2-е изд., перераб. и доп. М.: Логос, -2002. -304 с.

88. Соколов В.М. Роль и место тестов достижений в диагностике качества образования // Вестник Нижегородского университета им. Н.И. Лобачевского: Серия «Инновации в образовании».-Вып.l.-Н.Новгрод: Изд-во ННГУ, -2000.-С. 166-168.

89. Соколов Н.Е. Методика компьютерного адаптивного тестового контроля знаний учащихся: Дис. . к.п.н.-М.: РГБ, -2003. -193 с.

90. Соколова С.Н. Проблемы качества образования. Книга 6. Общие проблемы качества образования // Материалы XIV Всероссийскогосовещания -М.; Уфа: Исследовательский центр проблем качества подготовки специалистов, -2004. -68 с.

91. Степанов М.Ф. Искусственные нейронные сети и их использование в интеллектуальных системах / Степанов М.Ф., Брагин Т.М. // Саратов: СГТУ, -2000. -С. 36.

92. Степанов С.С. Тесты // Российская педагогическая энциклопедия.-В 2-х тт-Т.2 / Ред.колл: Давыдов В.В. и др.-М.: Большая Российская энциклопедия, -1999. -С. 430-431.

93. Талызина Н.Ф. Теоретические проблемы программированного обучения.-М.: Изд-во МГУ, -1969. -133 с.

94. Ульянов Д.А. Марковская модель адаптивного тестирования и ее программная реализация в условиях дистанционного обучения: Дис. . к.т.н.-М.: РГБ, -2005. -122 с.

95. Уоссерман Ф. Нейрокомпьютерная техника.-М.: Мир, -1992. -384 с.

96. Управление качеством образования / Под ред. Поташника М.М.-М.: Педагогическое общество России, -2000. -320 с.

97. Усачев А.В. Нейросетевая мультилингвистическая система адаптивного обучения терминологической лексике: Дис. . к.т.н.-М.: РГБ, — 2005,-158 с.

98. Усова Е.С., Зайчикова Т.Н. Управление качеством образования: Проблемы, поиски, пути // Педагогическое обозрение.-1996.-№1.-С.З-8.

99. Филимонов А.В. Структурирование и обучение нейронных сетей с применениями к задачам физической химии и медицины: Дис. . к.т.н.-М.: РГБ, -2003. -89 с.

100. Фридланд А .Я. Информатика и компьютельные технологии. Основные термины. Толковый словарь. 3-е изд., М.: ACT, Астрель, -2003. -272 с.

101. Хлебников В.А. Развитие системы тестирования в России. — Материалы ежегодной Всероссийской конференции.-М: ЦГМО, -2001-2003. -С. 8.

102. Царегородцев В.Г. Извлечение явных знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей // Проблемы нейрокибернетики. Ростов-на-Дону: СКНЦ ВШ, -1999. - С. 245-249.

103. Цатурова И.А. Из истории развития тестов в СССР и за рубежом-Таганрог: Изд-во пед.института, —1969—50с.

104. Челышкова М.Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании: Дис. . д-ра.п.н -М.: РГБ, -2003. -327 с.

105. Челышкова М. Б. Теория и практика конструирования педагогических тестов. -М.: Логос, -2002. -410 с.

106. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология).-М.: Исследовательский Центр проблем качества подготовки специалистов, -2001. -165 с.

107. Черепанов B.C. Экспертные оценки в педагогических исследованиях. -М.: Педагогика, -1989. -138 с.

108. Шевченко П.А., Фомин Д.В., Черников В.М., Виксне П.Е. Архитектура нейропроцессора NeuroMatrix NM6403: Сб. докл. V Всероссийской конференции «Нейрокомпьютеры и их применение», М.: Радио и связь, -1999, -94 с.

109. Шишковский В.И. и др. Формирование внутривузовской системы управления качеством образования: Учебн.пос. Томск, —2001, -40 с.

110. Шмагринская Н.А. Тестирование в системе общего среднего образования: Дис. . к.п.н.-М.: РГБ, -2008. -207 с.

111. Шмелев А.Г., Бельцер А.И., Ларионова А.Г., Серебряков А.Г. Перспективы компьютерного тестирования: валидность и надежность «Телетестинга». // Тез. докл. Всерос. Конф. «Развитие системы тестирования в России». Ч.З. -М.: МГПУ, -1999. -С. 68-69.

112. Шухардина В.А. Адаптивные тесты как средство индивидуализации педагогического контроля качества знаний учащихся: Дис. . к.п.н.-М.: РГБ, -2003,-177 с.

113. Энгель Е.А. Модифицированная нейросеть для обработки информации с селекцией существенных связей: Дис. к.т.н.-М.: РГБ, -2005. -144 с.

114. Ямбург Е.А. Школа для всех. М.: Новая школа, -1996. -346 с.

115. Ackley D.H. A learning algorithm for Bolzmann machines / Hinton G.E., Sejnowski T.J. // Cognit. Sci., -1985.- P. 147-169.

116. Amari S. Field theory of self-organizing neural networks // IEEE Trans.Syst., Man, Cybem. -1983. -641 p.

117. Anderson J.A. Neurocomputing: foundation of research / Anderson J.A., Rosenfeld E. // MIT Press, Cambridge, Mass., -1988. -128 p.

118. Anil K. Jain, Jianchang Mao, K.M. Mohiuddin oArtificial Neural Networks: A Tutorialn, Computer, -1996. Vol.29, -No.3, March. -P. 31-44.

119. Artificial neural networks: concepts and theory // IEEE Computer Society Press,-1992.-82 p.

120. Baker, F.B. The Basics of Item Response Theory. 2 ed. Hieneman, Portsmouth, New Hempshire, -2001. -P. 7.

121. Battiti R. First and second order methods for learning: Between steepest descent and Newton's method. // Neural Computation. -1992. Vol.4, -№2. -P.141-166.

122. Binet A., Simon Т.Н. The development of intelligence in young children.-Vineland, NJ:The Training School, -1936. -P.45-79.

123. Birnbaum A. Some Latent Trait Models and Their Use in Statistical Theories of Mental Test Scores. Reading Mass.: Addison-Wesly, -1968. -568 p.

124. Bloom B.S. The relationship between educational objectives and examinations designed to measure achievement in general educational courses at the college level. A diss. Chicago, -1946. -124 p.

125. Bunderson C.V., Inouye D.K., Olsen J.B. The four generations of computerized educational measurement / In R.L. Linn (Ed.) Educational measurement (3rd ed.).N.Y.:Macmillan, -1989. -P. 367-407.

126. Carpenter G.A., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine / Carpenter G.A., Grossberg S. // Comput. vision graphics image process. 1986. P. 54-115.

127. Charalambous С. Conjugate gradient algorithm for efficient training of artificial neural networks // IEEE Proceedings. -1992. Vol. 139, -№3-P.301-310.

128. Dayhoff J.E. Neural network architectures: an introduction. New York (NY): Van Nostrand Reinhold, -1990. -259 p.

129. Gronlund N.E., Linn R.L. Measurement and Evaluation in Teaching. 6th edition.-N.Y.-L.: Macmillan, -1990. -525 p.

130. Hagan M.T., Menhaj M. Training feedforward networks with the Marquardt algorithm // IEEE Transactions on Neural Networks. -1994. Vol. 5, -№6, -P.989-993.

131. Hambleton R.K., Rodgers H.J. Developing an Item Bias Review Form // University of Massachusetts at Amherts. 1994, -P. 19.

132. Haykin S., Neural Networks: A Comprehensive Foundation, MacMillan College Publishing Co., New York, -1994, -p. 20.

133. Hertz J., A. Krogh, and R.G. Palmer, Introduction to the Theory of Neural Computation, Addison-Wesley, Reading, Mass., -1991, -P. 30.

134. Holland J.H. Adaptation in natural and artificial systems // The university of Michigan Press, -1975. -92 p.

135. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. Natl. Acad. Sci., -1984.-P. 147-169.

136. Hopfield J.J. Unlearning has a stabilizing effect in collective memories / Hopfield J.J., Feinstein D.I., Palmer F.G. //Nature. -1983. P. 141-152.

137. Hopfield J.J. Neural computation of decision in optimization problems / Hopfield J.J., Tank D.W. // Biol. Cybernet. -1985. -42 p.

138. Kingsbury G.G. and A.R. Zara.Procedures for selecting items for computerized adaptive tests. Applied Measurement in Education 2. -1989. -P.359-375.

139. Knowledge discovery through data mining: what is knowledge discovery? // Tandem computers inc., -1996. P. 54.

140. Kohonen, Т., Self-organizing and Associative Memory. Berlin: Springer Verlag, -1984.-358 p.

141. Kohonen Т., Self-organizing Maps. Heidelberg: Springer Verlag, -1995. -289 p.

142. Lord, F.M. Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum Associates, Publishers. -1980. -356 p.

143. McCulloch W.S. A logical calculus of ideas immanent in nervous activity / McCulloch W.S., Pitts W. //Bull. Mathematical Biophysics, -1943.Vol. 5, -P. 115-133.

144. Miller W.T., Sutton R.S., Werbos P.J. Neural networks for control. -Cambridge: MIT Press (MA),-1990. -544 p.

145. Neutral computing // London: IBE technical services, -1991. -P. 76.

146. Rasch G. Parababilistic model for some intelligence and attainment tests. Chicago: Univ. of Chicago Press, -1980. -199 p.

147. Ratanapan K., Daglu, C.H., Implementation of ART 1 Architecture on CNAPS Neurocomputer. Application and Science of Artificial Neural Networks. -1995, SPIE, vol. 2492, -P. 103-110.

148. Rosenblatt F. Principles of neurodynamics // Spartan., Washington, D.C., -1962.-49 p.

149. Rumelhart D.E. Parallel distributed processing: Explorations in the micro structure of cognition. Cambridge (MA): MIT Press, -1986 .- Vol. 1. -Foundations. —532 p.

150. Spray J.A.,Reckase M.D. The Selection of test items for decision making with a computer adaptive test / Paper present at the national meeting of the National Council on Measurement in Education. New Orleans, -1994. -P. 18.

151. Wainer, H. Computerized Adaptive Testing: A Primer. New Jersey: Lawrence Erlbaum Associates, Publishers. -1990. -58 p.

152. Weiss D.J. New Horizons in Testing: Latent Trait Test Theory and Computerized Adaptive Testing. New York: Academic Press. -1983. -87 p.

153. White. D.A., Sofge D.A. Handbook of intelligent control. -New York: Van Nostrand Reinhold, -1992. -559 p.