Среда разработки алгоритмов адаптивного тестирования тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Данг Хоай Фыонг

• Данг Хоай Фыонг
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Данг Хоай Фыонг

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1 АНАЛИЗ СПОСОБОВ КОНТРОЛЯ ЗНАНИЙ

1.1 Процесс контроля знаний

1.2 Характеристики процесса контроля знаний

1.3 Методы контроля знаний

1.4 Адаптивное тестирование

1.5 Подходы к организации адаптивного тестирования

1.6 Способы построения траектории тестирования

1.6.1 Способ с помощью теории Item Response Theory

1.6.2 Способ на основе байесовских сетей

1.6.3 Способ на основе теории конечных автоматов

1.6.4 Способ на основе цепей Маркова

1.6.5 Способ на основе сетей Петри

1.6.6 Способ дифференцированного тестирования

1.7 Критерии адаптивного тестирования

1.8 Анализ существующих систем адаптивного тестирования

1.9 Результаты и выводы по главе

ГЛАВА 2 РАЗРАБОТКА МОДЕЛИ АДАПТИВНОГО ТЕСТИРОВАНИЯ

2.1 Модель описания процесса адаптивного тестирования

2.2 Модель предметной области

2.3 Модель тестового задания

2.3.1 Параметры модели тестового задания

2.3.2 Метод оценки параметров тестового задания

2.4 Модель обучаемого

2.5 Структура алгоритма адаптивного тестирования

2.6 Результаты и выводы по главе

ГЛАВА 3 РАЗРАБОТКА МЕТОДА ГЕНЕРАЦИИ АЛГОРИТМОВ АДАПТИВНОГО ТЕСТИРОВАНИЯ

3.1 Характеристики адаптивного тестирования

3.2 Разработка классификации адаптивного тестирования

3.3 Разработка шаблонного алгоритма генерации алгоритмов адаптивного тестирования

3.4 Матрицы ограничения и зависимости между компонентами шаблонного алгоритма генерации алгоритмов адаптивного тестирования

3.5 Способ организации комплексного адаптивного тестирования

3.6 Матрица совместимости

3.7 Метод генерации алгоритмов адаптивного тестирования

3.8 Результаты и выводы по главе

ГЛАВА 4 АВТОМАТИЗИРОВАННАЯ СИСТЕМА РАЗРАБОТКИ АЛГОРИТМОВ АДАПТИВНОГО ТЕСТИРОВАНИЯ

4.1 Архитектура системы

4.2 Реализация системы

4.3 Апробация системы

4.3.1 Разработка структуры БД «Русский язык как иностранный»

4.3.2 Постановка задачи на разработку алгоритма АТ

4.3.3 Разработка алгоритмов адаптивного тестирования в системе

4.3 Оценка эффективности предложенных модели и методов

4.4 Результаты и выводы по главе

Заключение

Список литературы

Приложение А - Пример вычисления уровня знаний обучаемого

Приложение Б - Экранные формы среды разработки в режиме проведения

тестирования

Приложение В - Экранные формы среды разработки в режиме анализа и

сбора данных

Приложение Г - Экранные формы среды разработки в режиме разработки МПО «Русский язык как иностранный»

Введение диссертации (часть автореферата) на тему «Среда разработки алгоритмов адаптивного тестирования»

Введение

В конце 20 века и в начале 21-го века, мир стал свидетелем беспрецедентного роста наук в компьютерных и коммуникационных областях. С ростом популярности персональных компьютеров и появлением глобальной компьютерной сети Интернет человек может получать различную формацию в различных областях.

Эти достижения также дают людям гораздо более благоприятные условия обучения, чем когда-либо прежде. Для обучаемых процесс обучение больше не связан со временем, пространством и географическим расстоянием. У обучающих теперь также гораздо больше возможностей в разработке учебных материалов, а также в контроле и помощи обучаемым. Учебную деятельность, основанную на использовании информационных, электронных технологий [1, 2], принято называть электронным обучением (Е-1еагп^).

В настоящее время существует большое количество систем электронного обучения. Контроль знаний является неотъемлемой частью системы электронного обучения, в которой знания обучаемого может объективно оценивать. В настоящее время применение тестирования в процесс контроля знаний, умений и навыков неуклонно расширяется.

Традиционный метод контроля знаний, основанный на проведении устного опроса, позволяет выбирать вопросы для каждого обучаемого, соответствующие уровню его способности. Однако когда количество обучаемых достаточно велико, этот метод требует больших человеческих и временных ресурсов.

Для организации контроля знаний также используют компьютерное тестирование с заранее разработанными наборами тестов. Для организации компьютерного тестирования необходима разработка базы тестовых заданий и специального программного обеспечения для проведения тестирования - системы компьютерного тестирования. Система задает задания обучаемому, а также выполняет анализ его ответов и выявляет окончательные результаты оценки обучаемого. Результат оценки обучаемого зависит от нескольких факторов, в первую очередь, от цели обучения и методов оценки, используемых в системе.

Такое тестирование имеет свои преимущества, которое заключается в

»

немедленной оценке результатов, и при этом многие обучаемые тестируются в одно то же время. Но для разных обучаемых одни и те же задания могу оказаться слишком легкими или слишком сложными, и это может сделать процесс тестирования скучным или наоборот вызвать стресс у обучаемого.

Несмотря на то, что уже разработано достаточно большое количество методов и алгоритмов компьютерного тестирования, наиболее адекватными являются методы адаптивного тестирования [3, 4]. Адаптивное тестирование позволяет преодолеть недостатки традиционного тестирования, и получать информацию о способностях обучаемого сразу, а также давать задание соответствующего уровня способности обучаемого. Оценка уровня способности обучаемого отличается тем, что каждое задание дается в соответствии с уровнем способности обучаемого, эта способность регулярно обновляется в процессе тестирования.

Сам процесс такого тестирования позволяет повысить эффективность и сокращение времени тестирования. Это, как правило, приводит к уменьшению числа заданий, времени, стоимости тестирования и к повышению точности оценок, полученных обучаемыми по результатам выполнения теста.

Сам процесс такого тестирования позволяет повысить эффективность и сокращение времени тестирования. Это, как правило, приводит к уменьшению числа заданий, времени, стоимости тестирования и к повышению точности оценок, полученных обучаемыми по результатам выполнения теста.

Эффективность применения адаптивного тестирования зависит от выбранного алгоритма адаптивного тестирования. В существующих алгоритмах адаптивного тестирования параметры определены заранее и не могут быть изменены, и возможности выбора алгоритма адаптивного тестирования ограничены. Поэтому актуальной является задача создания метода генерации алгоритмов адаптивного тестирования, удовлетворяющих требованиям разработчиков адаптивных тестов.

Степень разработанности темы исследования.

В настоящее время разработаны различные подходы к организации адаптивного тестирования, которые позволяют учитывать уровень трудности тестовых заданий или уровень способностей обучаемого. Исследованиями в области организации AT занимаются Соловов A.B., Шабалина O.A., Шмелев А.Г., Lord P.M., Львович Я.Е., Л.В. Зайцева, Астафьева В.П., Ивлева Е.В., Карпенко А.П., Доррер А.Г., Курзыбова Я.В., Комлев В.В., Дорофеев A.C., Герасимова И.Б., Маклакова Г.Г., Гагарина Л.Г., Арифов А.О., Пантелеев Е.Р., Шмелева И.А., Литвинов В.В. и др. AT реализовано в таких системах AT как «Кадис», «Телетестинг», «Киос», «Контакт/ос» и др. Однако алгоритмы, используемые в этих системах для организации адаптивного тестирования, являются встроенными, и адаптация к обучаемому осуществляется на основе одного жестко определенного в системе критерия, причем критерий не может быть изменен пользователем. Разработка алгоритмов организации адаптивного тестирования по заданным пользователем критериям адаптивного тестирования, учитывающих при этом взаимосвязи между ними, позволит осуществлять более точную адаптацию к обучаемым и повышать, таким образом, эффективность тестирования.

Цели и задачи работы является повышение эффективности организации процесса адаптивного тестирования за счет разработки метода генерации алгоритмов адаптивного тестирования и его реализации в программной системе.

Для достижения поставленной цели были сформулированы следующие задачи:

1) провести анализ современных подходов к организации адаптивного тестирования и систем, реализующих эти подходы;

2) разработать модель описания процесса адаптивного тестирования;

3) разработать метод генерации алгоритмов адаптивного тестирования;

4) реализовать модель и метод в программной системе;

5) оценить эффективность предложенных модели и метода для организации адаптивного тестирования.

Положения, выносимые на защиту:

1) модель описания процесса адаптивного тестирования, включающая модель предметной области, модель обучаемого, модель задания и структура алгоритма адаптивного тестирования;

2) комбинированная классификация способов организации адаптивного тестирования;

3) шаблонный алгоритм генерации алгоритмов адаптивного тестирования;

4) способ организации комплексного адаптивного тестирования;

5) метод генерации алгоритмов адаптивного тестирования;

6) среда разработки алгоритмов адаптивного тестирования.

Объектом исследования в диссертационной работе является процесс

адаптивного тестирования.

Предметом исследования является способы организации адаптивного тестирования.

Гипотеза исследования. Применение алгоритмов адаптивного тестирования, разработанным по заданным пользователем критериям адаптивного тестирования, повышает эффективность адаптивного тестирования.

Научная новизна:

1) разработана модель описания процесса адаптивного тестирования, включающая структуру алгоритма адаптивного тестирования, модель предметной области и модель обучаемого, которые позволяют персонифицировать представление учебного материала и реализовывать алгоритмы адаптивного тестирования, необходимые для обеспечения требований к процессу проверки знаний обучаемого;

2) впервые разработана комбинированная классификация адаптивного тестирования, объединяющая существующие способы адаптивного тестирования и математические модели, применяемые для их организации, в которой в качестве классификационных признаков используются все известные характеристики адаптивного тестирования;

3) впервые разработан шаблонный алгоритм генерации алгоритмов адаптивного тестирования, объединяющий известные алгоритмы адаптивного тестирования на основе классификации адаптивного тестирования и использующий матрицы ограничений;

4) разработан метод генерации алгоритмов адаптивного тестирования, основанный на шаблонном алгоритме генерации алгоритмов адаптивного тестирования и матрице совместимости способов построения траектории адаптивного тестирования, позволяющий разрабатывать алгоритмы на основе заданных критериев адаптивного тестирования;

5) предложен способ организации комплексного адаптивного тестирования, позволяющей повысить эффективность адаптивного тестирования.

Достоверность и обоснованность результатов. Достоверность результатов работы обеспечивается использованием современных методов проведения научных исследований, корректным использованием математического аппарата, а также результатами применения разработанных моделей и метода генерации алгоритмов адаптивного тестирования и программной системы, разработанных на их основе.

Практическая значимость работы заключается в разработке среды разработки алгоритмов, которые могут быть использованы в организации адаптивного тестирования.

Апробация работы. Основное положение и материалы диссертационной работы докладывались на научных семинарах кафедры «САПР и ПК» ВолгГТУ, а также на международных научных и научно-практических конференциях: IV международная научно-техническая конференция «Технологии разработки информационных систем» (г. Геленджик, 2013), II международная научно-практическая конференция «Техника и технологии: роль и развитие современного общества» (г. Краснодар, 2013), VII международная научно-практическая конференция «Актуальные вопросы современной науки» (г. Санкт-Петербург, 2013), XIII Международная научная конференция «Актуальные вопросы современной техники и технологии» (г. Липецк, 2013), XV международная

научно-практическая конференция «Современные проблемы гуманитарных и естественных наук» (г. Москва, 2013).

Публикации. По теме диссертации опубликовано 8 печатных работ, в том числе, 4 публикаций в журналах, рекомендованных ВАК, 4 статьи в сборниках трудов конференций.

Личный вклад автора. Личный вклад автора заключается в постановке целей и формулировке задач исследований, разработки методов решения поставленных задач, анализе полученных данных и их интерпретации, разработке программной системы, реализующей предложенные модели и методы.

Объем и структура работы. Диссертационная работа состоит из введения, четырёх глав с выводами, заключения, списка литературы, приложений. Общий объем диссертации 106 страниц, в том числе 30 рисунка, 16 таблиц, список литературы из 97 наименований.

ч

ГЛАВА 1 АНАЛИЗ СПОСОБОВ КОНТРОЛЯ ЗНАНИЙ 1.1 Процесс контроля знаний

Под обучением понимается процесс передачи и усвоения знаний, умений и навыков обучаемого [5]. Контроль знаний, умений и навыков обучаемых является важной составной частью процесса обучения. С точки зрения контроля знаний, умений и навыков в процессе обучения, в словаре Азимова Э.Г. и Щукина А.Н. [6] дается следующее определение: «контроль знаний» - это процесс измерения и выявление соответствия сформированного объема знаний обучаемыми, а также определения уровня владения умениями и навыками по сравнению с требованиями целей обучения.

С точки зрения обучения, контроль знаний играет роль "обратной связи" между учителем и обучаемым по уровню усвоения знаний в процессе обучения. С помощью контроля знаний можно получить информацию о состоянии обучаемого, которую можно использовать для оптимальной настройки процесса обучения для как обучаемых, так и учителей. Обучаемые узнают лучше, если они регулярно контролируются и оцениваются серьезно на основе компьютерных средств. Место контроля знаний в процессе обучения показано на рисунке 1.

Рисунок 1 - Место контроля знаний в процессе обучения

Контроль знаний представляет собой процесс измерения достижений обучаемых по сравнению с задачами учебного процесса, который позволяет получить качественные количественные результаты процесса обучения. Контроль знаний обеспечивает полноту, точность и прочность знаний, отношения между знанием с практикой и умение применять эти знания на практике. Результат обучения оценивается на основе анализа обратной связи (выполнение заданного задания), и сравнения с ожидаемыми критериями и требованиями к достижению желаемого результата.

Контроль знаний в процессе обучения представляет собой сложный процесс, который включает в себя следующие этапы (рисунок 2):

1) анализ целей обучения по знаниям, умениям и навыкам, что позволяет выявлять материал, который предстоит проконтролировать;

2) разработку требований для достижения знаний, умений и навыков, на основе которых можно измерять результаты;

3) проведение измерения и наблюдения для оценки признаков достижения цели в соответствии с установленными критериями.

4) анализ и сравнение полученной информации с требованиями, выявление ее смысла и значения, оценка этой информации с точки зрения задач контроля.

В дальнейшем, исходя из смысла, значения и значимости, эта информация становится своеобразным сигналом для продолжения педагогического процесса в том же направлении или для внесения в него коррекций. Все зависит от того, соответствуют ли результаты оценки ранее намеченным учебно-воспитательным задачам или отличаются от них.

Рисунок 2 - Процесс контроля знаний

1.2 Характеристики процесса контроля знаний

В результате анализа работ в области контроля знаний [7 - 14], выделено шесть характеристик: цели контроля, функции контроля, принципы контроля, типы контроля, виды контроля, формы контроля и методы контроля.

Цели контроля знаний

Основной целью контроля знаний является выявление достижений и успеха обучаемых в предметной области, которое позволяет улучшить пути совершенствования знания, углубления знаний, умений с тем, чтобы создавались условия для последующего включения обучаемых в активную творческую деятельность [10]. Эта цель:

- связана с определением качества усвоения обучаемыми учебного материала в определенной предметной области (уровень овладения знаниями, умениями и навыками, предусмотренных программой по предмету);

- позволяет содействовать успеваемости учащихся, незамедлительно уведомлять студентов о прогрессе в процессе обучения;

- связана с обучением обучаемых приемам взаимоконтроля и самоконтроля, формированием потребности в самоконтроле и взаимоконтроле;

предполагает воспитание у обучаемых таких качеств личности, как

ответственность за выполненную работу, проявление инициативы.

Рисунок 3 - Классификация контроля знаний

Функции контроля знаний. Для выяснения роли контроля знаний в процессе обучения математике рассматривают его наиболее значимые функции [10, 11]:

- контролирующая функция состоит в выявлении состояния знаний и умений обучаемых, уровня их умственного развития, в изучении степени усвоения приемов познавательной деятельности, навыков рационального учебного труда;

- обучающая функция контроля заключается в совершенствовании знаний и умений, их систематизации;

- диагностическая функция может использовать в качестве средства получения информации, необходимой для идентификации или улучшить содержание, цели и методы обучения;

- прогностическая функция служит получению опережающей информации в образовательном процессе;

- развивающая функция состоит в стимулировании познавательной активности обучаемых, в развитии их творческих способностей;

- ориентирующая функция заключается в получении информации о степени достижения цели обучения отдельным обучаемым и группой в целом -насколько усвоен и как глубоко изучен учебный материал;

- воспитывающая функция состоит в воспитании у обучаемых ответственного отношения к учению, дисциплины, аккуратности.

Выделение функции контроля подчеркивает его роль и значение в процессе обучения. В учебном процессе сами функции проявляются в разной степени и различных сочетаниях. Реализация выделенных функций на практике делает контроль более эффективным, а также эффективней становится и сам учебный процесс [12].

Принципы контроля знаний.

Контроль должен быть целенаправленным, объективным, всесторонним, регулярным и индивидуальным [13].

Целенаправленность предполагает четкое определение цели каждой проверки. Постановка цели определяет всю дальнейшую работу по обоснованию используемых форм, видов, методов и средств контроля.

Объективность контроля, исключающая преднамеренные, субъективные и ошибочные оценочные суждения и выводы учителя, которые искажают действительную успеваемость обучаемых и снижают воспитательное значение контроля.

Всесторонность, заключающаяся в том, что контроль должен охватывать все содержание проверяемого материала, обеспечивать проверку теоретических знаний, интеллектуальных и практических умений и навыков обучаемых.

Под регулярностью подразумевается систематический контроль, который сочетается с самим учебным процессом.

Индивидуальность контроля требует оценки знаний, умений, навыков каждого обучаемого.

Типы контроля знаний.

В зависимости от того, кто осуществляет контроль за результатами деятельности обучаемых, выделяют следующие три типа контроля [14]:

- внешний (осуществляется учителем над деятельностью обучаемого);

- взаимный (осуществляется обучаемом над деятельностью товарища);

- самоконтроль (осуществляется обучаемом над собственной деятельностью).

Особенно важным для развития обучаемых является самоконтроль, потому что в этом случае обучаемом осознается правильность своих действий, обнаружение совершенных ошибок, анализ их и предупреждение в дальнейшем.

Виды контроля знаний.

- В зависимости от функций, которые выполняет контроль в учебном процессе, контроль знаний можно выделить несколько видов. В соответствии с местом в процессе обучения [15] различают следующие виды контроля знаний:

- предварительный контроль - проводится перед изучением дисциплины с целью определения уровня знаний, умений и навыков к началу обучения;

- текущий контроль - осуществляется по ходу обучения и позволяет определить степень сформированности знаний, умений и навыков, а также их глубину и прочность;

- периодический контроль - подводит итоги работы за определённый период времени. Осуществляется в конце четверти, полугодия;

- итоговый контроль - призван определить конечные результаты обучения. Охватывает всю систему знаний, умений и навыков по предмету.

Формы контроля знаний.

Контроль осуществляется в различных формах. По форме контроль подразделяется на [16]:

- индивидуальный - применяется для основательного знакомства учителя со знаниями, умениями и навыками отдельных обучаемых;

- групповой - используется в тех случаях, когда возникает необходимость проверить итоги учебной работы или ход ее выполнения части учащихся класса, получившей определенное коллективное задание на уроке или в процессе внеурочных занятий;

- фронтальный - форма контроля, при которой краткие ответы на вопросы учителя по сравнительно небольшому объему материала, дают многие учащиеся класса, обычно с места. Эта форма контроля позволяет удачно сочетать проверку с задачами повторения и закрепления пройденного материала, вызывая повышенную активность класса.

1.3 Методы контроля знаний

Итак, контроль знаний является неотъемлемой частью учебного процесса. Методы контроля - способы, с помощью которых определяется результативность учебно-познавательной деятельности обучаемых и педагогической работы обучаемых [17].

Существует два подхода к организации контроля знаний обучаемых в учебном процессе: традиционный и современный (рисунок 4).

Рисунок 4 - Методы контроля знаний

В традиционном подходе к организации контроля знаний учителя могут проверять и оценивать уровень знаний обучаемого различными методами, такими как устные опросы, рефераты и отчеты, метод самоконтроля и взаимоконтроля, зачеты и экзамены. В этом случае результаты обучения оценивает учитель, на оценку результатов может влиять субъективная точка зрения учителя [18].

Современный подход к организации контроля. Современный подход основан на использовании тестирования, позволяющего повышать объективность проверки и оценки результатов обучения. Тестирование является эффективным способом контроля знаний обучаемых, которое находит все большее применение.

Современные средства контроля знаний, умений и навыков предполагают расширение представлений о таком понятии, как учебные достижения, а, следовательно, и о назначении и функциях проверки.

Использование тестирование в процессе контроля знаний имеет следующие преимущества:

- позволяет контролировать одновременно большое количество обучаемых;

— позволяет разрабатывать и внедрять новые, нетрадиционные формы проверки (например, портфель учебных достижений);

- ориентирует на единую систему, в которой взаимосвязаны цели, результаты обучения и измерители;

- формирует четкое представление о целях обучения, прививает ученикам навыки самоконтроля и самооценки;

- отслеживает динамику усвоения обучаемыми материала, помогающее обеспечить перестройку и совершенствование образовательного процесса.

Тестирование - это стандартизированный контроль, предусматривающий разработку тестов. Тест состоит из двух частей - задания и эталона. Задание выдается обучаемому для выполнения, эталон представляет собой образец правильного и последовательного выполнения задания. Сравнивая эталон с ответом обучаемого, можно объективно судить о качестве усвоения учебного материала.

Поэтому, под тестированием принято понимать экспериментальный метод, основанный на стандартизированных заданиях, которые позволяют измерить психофизиологические и личностные характеристики, а также знания, умения и навыки обучаемого [19]. При тестировании можно использовать как письменное тестирование, так и компьютерное тестирование.

Письменное тестирование (рисунок 5) позволяет проводить тестирование с заранее разработанными бланками, содержащими набор тестов (заданий). Студенты заполняют выданные бланки, решая задания и отвечая на вопросы. Преподаватель сам проверяет работы, т.е. время тестирования зависит от количества обучаемых.

Компьютерное тестирование. В настоящее время высокий уровень развития информационных технологий в образовании позволяет активно использовать их для организации и проведения контроля знаний, обучаемых при тестировании. Такое тестирование называется компьютерным тестированием. Наиболее привлекательным для контроля знаний обучаемого является компьютерное тестирование с использованием специального программного обеспечения [20].

Студент

тест

Студент

> А I

тест

Преподаватель ♦

Л'

Студент

тест-

Тест

Ре»ультаты тестирования

111 » «

Вопрос теста ----------»

Ответ

Ответ студента Правильность ответа

Ответы студентов на вопросы теста

Рисунок 5 - Процесс проведения письменного тестирования

А X

ООО

А А

Студент * *

Студент

Студент

А А

Рисунок 6 - Процесс проведения компьютерного тестирования

В этом случае, результаты тестирования обучаемых могут быть получены сразу по завершении тестирования. На рисунке 6 наглядно продемонстрировано, что при использовании компьютерного тестирования исчезает необходимость изготовления тестов, содержащих тестовых задании, в бумажном виде, а преподаватель освобождается от самостоятельной проверки результата тестирования обучаемых.

Компьютерное тестирование может выступать не только как способ контроля и оценки знаний, но и как инструмент для текущей проработки учебного материала в качестве дополнения к электронному учебнику.

Таким образом, компьютерное тестирование дает возможность при незначительных затратах времени осуществлять объективную проверку знаний, умений и навыков обучаемых в учебном процессе.

Из [21] показывает, что компьютерное тестирование обладает следующими преимуществами перед другими методами контроля:

- повышение скорости и объективности проверки и оценки знаний, умений и навыков обучаемого;

- осуществление хотя и поверхностного, но полного охвата всего учебного материала;

- снижение воздействия негативных факторов влияния на результаты тестирования (уровень квалификации, настроение и др. характеристики конкретного учителя), т.е. минимизация субъективного фактора при оценивании ответов;

- возможная адаптация к индивидуальным характеристикам обучаемых.

Компьютерное тестирование можно разделить на две категории -неадаптивное тестирование и адаптивное тестирование.

Неадаптивное тестирование означает, что в процессе проверки все обучаемые проходят одну и ту же, заранее определенную разработчиком тестов, последовательность кадров (проверочных заданий) [22, 23]. Эта последовательность не зависит от действий обучаемого во время проверки, в

результате, всем обучаемом выдаются тестовые задания одинаковой трудности либо в виде фиксированного набора, либо случайным образом. Число заданий является постоянным для всех обучаемых, не зависимо от их уровня подготовленности.

1.4 Адаптивное тестирование

В [3, 4, 24 - 27] приведены способы организации Адаптивного Тестирования (АТ). АТ - это тестирование, предусматривающее изменение последовательности, содержания, трудности предлагаемых заданий в самом процессе тестирования в зависимости от действий обучаемого. При реализации АТ, последовательность и число тестовых заданий в тестировании различны для сильных, средних и слабых обучаемых. В настоящее время, адаптивное тестирование реализуется в основном в виде различных алгоритмов компьютерного адаптивного тестирования.

Список литературы диссертационного исследования кандидат наук Данг Хоай Фыонг, 2013 год

Список литературы

1. Сатунина, А.Е. Электронное обучение: плюсы и минусы / А.Е. Сатунина // Журнал «Современные проблеиы науки и образования. М.: Изд.: «Академия естествознание» - 2006. - №1. - С. 89-90.

2. Strengths and Weakness of Online Education [Электронный ресурс] // Illinois University. 2008. - Режим доступа: www.ion.uillinois.edu/resources/tutorials/overview/ (дата обращения 30/11/2013).

3. Syang, A. Computerized adaptive testing in computer science: assessing student programming abilities / A. Syang, N.B. Dale // ACM SIGCSE Bulletin 25 (1), March 1993.-P. 53-57.

4. Linacre, J.M. Computer-adaptive testing: a methodology whose time has come / J.M. Linacre // MESA Memorandum, 2000. - №69. -58 P.

5. Большая Советская Энциклопедия, 3-е издание, 1970, т. 18. - 236 С.

6. Азимов, Э.Г. Новый словарь методических терминов и понятий (теория и практика обучения языкам) / Э.Г. Азимов, А.Н. Щукин // М.: ИКАР, 2009. - 448 С.

7. Контроль качества знаний, умений и навыков учащихся // Завуч для администрации школ, 2007. - №8. - 27 С.

8. Чайка, В.М. Основы дидактики / В.М. Чайка // Учебное пособие. - К.: Академвидав, 2011. - 238 С.

9. Robert, L.L. Measurement and Assessment in Teaching / L.L. Robert / Pearson Education, 2008. - 576 P.

10. Воробьева, Т. Функции, цели и задачи контрольных процедур в учебном процессе / Т. Воробьева // Учитель, 2006. - №2. - С.85-88.

11. Царева, В. Контроль и проверка знаний учащихся / В. Царева // Учитель, 1998. - №4. - С. 64-66.

12. Скаткина, М.Н. Качество знаний учащихся и пути его совершенствования / М.Н. Скаткина, В.В. Краевского // Педагогика, 1978. - 208 С.

13. Аванесов, B.C. Основы педагогического контроля в высшей школе / B.C. Аванесов // Учебное пособие / Под. ред. А.В. Петровского. - М.:МГУ, 1986. -303 С.

14. Картавая, О.А. Типы и виды контроля знаний на уроках ОБЖ / О.А. Картавая // Курсовая работа, раздел Охрана труда, 2008. - 26 С.

15. Сластенин, В. А. Педагогика: учебное пособие для студентов педагогических учебных заведений / В.А. Сластенин, И.Ф. Исаев, А.И. Мищенко, Е.Н. Шиянов // М.: Школа-Пресс, 1997. - 512 С.

16. Маматова, О.Г. Формы контроля знаний студентов педагогических вузов / О. Г. Маматова // Молодой ученый, 2012. - №8. - С. 353-355.

17. Пидкасистый, П.И. Учебное пособие для студентов педагогических вузов и педагогических колледжей / П.И. Пидкасистый.// М: Педагогическое общество России, 1998. - 640 С.

18. Курышева, Е.В. Формы контроля знаний учащихся по информатике [Электронный ресурс] - Режим доступа: http://festival.lseptember.ru/articles/416815/ (дата обращения 30/11/2013).

19. Истоки экспериментальной психологии [Электронный ресурс]. -Режим доступа: http://www.effecton.ru/199.html (дата обращения 30/11/2013).

20. Fluck, A. Case study of a computer based examination system / A. Fluck, D. Pullen, C. Harper // Australasian journal of Educational Technology, 2009. - vol 25(4).-P. 509-523.

21. Mubashrah, J. Computer-based vs paper-based examinations: perceptions of University teachers [Электронный ресурс] / J. Mubashrah, R.H. Tariqb, P.A. Shamic // TOJET: The Turkish Online Journal of Educational Technology, 2012. -Vol. 11(4). - Режим доступа: http://www.tojet.net/articles/vlli4/11437.pdf (дата обращения 30/11/2013).

22. Зайцева, Jl.В. Разработка и применение автоматизированных обучающих систем на базе ЭВМ / J1.B. Зайцева, Л.П. Новицкий , В.А. Грибкова // - Под ред. Л.В. Ницецкого. - Рига: "Зинатне", 1989. - 174 С.

23. Carbone, A. Developing and integrating a Web-based quiz generator into the curriculum / A. Carbone, P. Schendzielorz // WebNet'97. World Conference of the WWW, Internet and Intranet. AACE, 1997, - P. 90-95.

24. Computer Adaptive Testing [Электронный ресурс]. - Режим доступа: http://www.weac.org/pdf/201 l-12/CAT.pdf (дата обращения 30/11/2013).

25. Elena, С.Р. Computer-adaptive testing in science education / C.P. Elena // [Электронный ресурс]. - Режим доступа: http://cblis.utc.sk/cblis-cd-old/2003/3.PartB/Papers/Science_Ed/Testing-Assessment/Papanastasiou.pdf (дата обращения 30/11/2013).

26. Meijer, R.R. Computerized adaptive testing: Overview and introduction / R.R. Meijer, M.L. Nerling //Applied psychological measurement - 1999. - 23(3) - P. 187-194.

27. Linden, W.J. Some new developments in adaptive Testing Technology / W.J. Linden // Journal of psychology, 2008. - vol. 216 (1). - pp. 3-11.

28. Соловов, A.B. Дидактика и технология электронного обучения в системе КАДИС / А.В. Соловов // Индустрия образования. - М.: МГИУ, 2002. -№6. - С. 54-64.

29. Краснов, А.Н. Некоторые проблемы разработки традиционной тестовой технологии для диагностики качества теоретической подготовки студентов медицинского вуза по клиническим дисциплинам / А.Н. Краснов, В.В. Жиров, Я.А. Краснов, А.А. Юрин // XI Симпозиум «Квалиметрия в образовании: методология, методика, практика». Сборник №2 «Общие проблемы квалиметрии в образовании». Часть 1, 2006 - С. 18-29.

30. Челышкова, М.Б. Теория и практика конструирования педагогических тестов / М.Б. Челышкова // Учебное пособие. - М.: Логос, 2002. - 432 С.

31. Зайцева, Jl.В. Автоматизированная обучающая система КОНТАКТ/ОС / Л.В. Зайцева, Л.В. Ницецкий, Л.П. Новицкий и др. // - М.: Моск. науч.- учеб. центр СНПО "Алгоритм", 1982. - 108 С.

32. Galeev, I. The analysis of quality of the learning process model /1. Galeev, S. Sosnovsky, V. Chepegin // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002.-P. 116-120.

33. Волков, С.З. Алгоритм управления контролем знаний / С.З. Волков // Кибернетика и исследование операций в управлении учебным процессом: Тез. докл. - Рига: РПИ, 1984. - С. 67 - 70.

34. Lord, P.M. Application of Item Response Theory to Practical Testing Problems / P.M. Lord // Hillsdale N - J. Lawrence Erlbaum Ass., Publ. 1980. - 266 P.

35. Ayala, R.J. The Theory and Practice of Item Response Theory / R.J. Ayala // Series: Methodology in the Social Sciences. The Guilford Press; 1 edition, 2008. -448 P.

36. Bimbaum, A. Some latenttrait models and their use in inferring an examinee's ability / A. Bimbaum // In P.M. Lord and M.R. Novick. Statistical Theories of Mental Test Scores. MA: Addison-Wesley,1968. - P. 397-479.

37. Christine E.D. Item Response Theory / E.D. Christine / Series in understanding statistics. Oxford University Press, 2010.- 144 P.

38. Wright, B.D. BICAL: Calibrating Items with the Rasch Model / B.D. Wright, R.J. Mead // Research Memorandum No.23. Statistical Laboratory, Department of Education, University of Chicago, 1976. - 170 P.

39. Nering, M.L. Handbook of Polytomous Item Response Theory Models / M.L. Nering , R. Ostini // Taylor & Francis, 2011. - 306 P.

40. Baker, F.B. The Basics of Item Response Theory / F.B. Baker // ERIC Clearinghouse on Assessment and Evaluation, 2001. - 131 P.

41. Дружинин, В.Н. Экспериментальная психология / В.Н. Дружинин // Серия «Ученик для вузов», 2-е изд. - СПб: Издательство «Питер», 2011. - 320 С.

42. Шабалина, O.A. Модели и методы для управления процессом обучения с помощью адаптивных обучающих систем / O.A. Шабалина // Дис. канд. техн. наук: 05.13.10 : защищена 17.12.05 / Астрахань, 2005. - 158 С.

43. Малкина, О.И. Создание интерактивных систем адаптивного тестирования в среде Интернет с использованием технологий искусственного интеллекта / О.И. Малкина, Д.В. Сошников // Тезисы докладов IX международной студенческой школы-семинара «Новые информационные технологии» - М.: МГИЭМ, 2001. - С. 390-392.

44. Дорофеев, A.C. Индивидуализация процесса обучения с использованием обучающей системы [Электронный ресурс] / A.C. Дорофеев. // Материалы всероссийской научно-практической конференции «ИТО-Архангельск», 2010. - Режим доступа: http://ito.edu.ru/2010/Arkhangelsk/II/II-0-34.html (дата обращения 30/11/2013).

45. Вершина, А.И. Модель взаимного влияния дисциплин в процессе обучения [Электронный ресурс] / А.И. Вершина, Г.Г. Киричек // Научные труды Донецкого национального технического университета. Серия «Проблемы моделирования и автоматизации проектирования». Вып. 10 (197), 2011. - Режим доступа: http://ea.donntu.edu.ua:8080/jspui/bitstream/l23456789/5861/1/1 lvaivpo.pdf (дата обращения 30/11/2013).

46. Доррер, А.Г. Моделирование интерактивного адаптивного обучающего курса / А.Г. Доррер, Т.Н. Иванилова // Современные проблемы науки и образования, 2007. - №5. - С. 52-59.

47. Живенков, А.Н. Анализ существующих и пути развития интеллектуальных обучающих курсов / А. Н. Живенков // Информационные системы и процессы, 2009. - Вып. 8. - С. 31-37.

48. Петрик, Ю.С. Возможности дифференцированной оценки качества знаний студентов в процессе их адаптивного тестирования / Ю.С. Петрик и др. // Современные информационные технологии в образовании: Материалы учебно-методич. конф. (2 февр. 2001г., г. Курск). - Курск, 2001. - С. 17-25.

49. Соловов, A.B. Проектирование компьютерных систем учебного назначения / A.B. Соловов // Учебное пособие. - Самара: СГАУ, 1995. -138 С.

50. Беспалько, В.П. Основы теории педагогических систем / В.П. Беспалько // Изд-во Воронеж, ун-та, 1977. - 303 С.

51. Шмелев, А.Г. Адаптивное тестирование знаний в системе «ТЕЛЕТЕСТИНГ» [Электронный ресурс] / А.Г. Шмелев, А.И. Бельцер, А.Г. Ларионов, А.Г. Серебряков // Сборник трудов участников IX международной конференции-выставки «Информационные технологии в образовании» - М.: МИФИ, 1999. - Режим доступа: http://ito.edu.ru/1999/II/6/6148.html (дата обращения 30/11/2013).

52. Компьютерная интегрированная обучающая система (КИОС) [Электронный ресурс] - Режим доступа: http://mdcorpsoft.chat.ru/pss/pss27.html (дата обращения 30/11/2013).

53. Зайцева, Л.В. Оценка знаний обучаемых в АОС / Л.В. Зайцева // Методы и средства кибернетики в управлении учебным процессом высшей школы. - Рига: Риж. политехи, ин-т, 1987. - С. 86-92.

54. Зайцева, Л.В. Контроль знаний обучаемых с помощью методов линейно-кусочной аппроксимации и вычисления оценок. / Л.В. Зайцева, Л.П. Новицкий, Н.О. Прокофьева // Методы и средства кибернетики в управлении учебным процессом высшей школы. - Рига: Риж. политехи, ин-т, 1989. - С. 39-48.

55. Адаптивное тестирование и искусственный интеллект [Электронный ресурс] - Режим доступа: http://lomasko.com/ (дата обращения 30/11/2012).

56. Lee, J.H. Estimation of an Examinee's Ability in the Web-Based Computerized Adaptive Testing Program IRT-CAT [Электронный ресурс] / J.H. Lee, J.H. Park, I.Y. Park // Journal of Educational Evaluation for Health Professions, 2006. -№3. - Режим доступа: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2631187/pdf/jeehp-3-4.pdf/?tool=pmcentrez (дата обращения 30/11/2013).

57. Растригин, JI.A. Адаптация сложных систем. Методы и приложения / JI.A. Растригин // Рига: Зинатне, 1981. - 375 С.

58. Грушецкий, C.B. Построение модели адаптивного тестирования с использованием элементов теории графов [Электронный ресурс] / C.B. Грушецкий, И.Д. Рудинский // Труды XIV Международной конференции-выставки ИТО-2004, 2004. - Режим доступа: http://ito.edu.ru/2004/Moscow/VI/VI-0-4617.html (дата обращения 30/11/2013).

59. Данг, Хоай Фыонг Среда разработки алгоритмов адаптивного тестирования / Данг Хоай Фыонг, Камаев В. А., Шабалина O.A. // Информатизация и связь. - 2013. - № 2. - С. 107-110.

60. Тарасов, В.Б. Логико-лингвистические модели в искусственном интеллекте - прошлое, настоящее и будущее [Электронный ресурс] - Режим доступа: http://posp.raai.org/data/posp2005/Tarasov/tarasov.html (дата обращения 30/11/2013).

• 61. Атанов, Г.А. Фреймовая организация знаний в интеллектуальной обучающей системе / Г.А. Атанов, В.В. Локтюшин. // Educational Technology & Society, 2000. - № 4(1). - С. 137-149.

62. Информационные технологии. Искусственный интеллект [Электронный ресурс] - Режим доступа:

http://vAvw.ssti.m/kpi/informatika/Content/biblio/b l/inform_man/gl_l 6_1 .htm (дата обращения 30/11/2013).

63. Карпенко, А.П. Методы отображения онтологий. Обзор [Электронный ресурс] / А.П. Карпенко, P.C. Сухарь // Наука и образование: электронное научно-техническое издание, 2009. - № 1. - Режим доступа: http://technomag.edu.ru/doc/l 15931 .html (дата обращения 30/11/2013).

64. Гаврилова, Т.А. Базы знаний интеллектуальных систем / Т.А. Гаврилова, В.Ф. Хорошевский // Учебник для вузов - СПб.: Питер, 2000. - 384 С.

65. Красильникова, В. А. Подготовка заданий для компьютерного тестирования / В.А. Красильникова // Методические рекомендации - Оренбург, ИПК ГОУ ОГУ, 2004. - 31 С.

66. Аванесов, B.C. Формы тестовых заданий /B.C. Аванесов // Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. - М.: Центр тестирования, 2005. - 156 С.

67. Захаров, А.И. Проблемы адаптивных систем обучения / А.И. Захаров, A.M. Матюшкин // Кибернетика и проблемы обучения. - М.: Прогресс, 1970. -389 С.

68. Ульянов, Д.А. Марковская модель адаптивного тестирования и ее программная реализация в условиях дистанционного обучения / Д.А. Ульянов // Дис. канд. техн. наук: 05.13.18 / Иркутск, 2005. - 119 С.

69. Зарубина, B.C. Небольшая коллекция методов оптимизаций [Электронный ресурс] / B.C. Зарубина, А.П. Крищенко // Серия «Математика в техническом университете», 2005. - Режим доступа: http://nsft.narod.ru/Programming/colmetopt.html. (дата обращения 30/11/2013).

70. Brusilovsky, P. Methods and techniques of adaptive hypermedia / P. Brusilovsky // User Modeling and User-Adapted Interaction: Special Issue on Adaptive Hypertext and Hypermedia. - 1996. - 6(2-3). - P. 87-129.

71. Коляда, М.Г. Виды моделей, обучаемых в автоматизированных обучающих системах / М.Г. Коляда // Искусственный интеллект, 2008. - № 2. - С. 28-33.

72. Буль, Е.Е. Сравнительный анализ моделей обучаемого / Е.Е. Буль // Труды X Всероссийской научно-методической конференции «Телематика 2003» -2003. - Т. 2 - С.364-366.

73. Латышев, В.Л. Интеллектуальные обучающие системы: контроль знаний и психодиагностика / В.Л. Латышев // М.: Профи, 2005. - 112 С.

74. Гиря, И.А. Понятийный граф как основа ведения модели знаний [Электронный ресурс] / И.А. Гиря // Наука и образование: электронное научно-техническое издание МГТУ им. Баумана. - 2011. - №5. - Режим доступа: http://technomag.bmstu.ru/doc/181222.html (дата обращения 30/11/2013).

75. Брусиловский, П.Л. Построение и использование моделей обучаемого в интеллектуальных обучающих системах / П.Л. Брусиловский // Техническая кибернетика, 1992. - № 5. - С. 97-119.

76. Атанов, Г.А. Моделирование учебной предметной области, или предметная модель обучаемого / Г.А. Атанов // Educational Technology & Society, 2001.-№4(1).-С. 111-124.

77. Пфанцагль, И. Теория измерений / И. Пфанцагль // М.: Мир, 1976. -165 С.

78. Суппес, П. Психологические измерения. / П. Суппес, Дж. Зинес, Р. Льюс, Е. Галантер // Серия: Библиотека сборника «Математика» - М.: Мир, 1967. - 196 С.

79. Загоруйко, Н.Г. Относительная мощность измерительных шкал / Н.Г. Загоруйко, Л.Я. Савельев // Структурный анализ символьных последовательностей (Вычислительные системы). - Новосибирск, 1984. - вып. 101 -С. 111-129.

80. Орлов, А.И. Статистика объектов нечисловой природы (Обзор). / А.И. Орлов // Журнал «Заводская лаборатория», 1990. - Т. 56. - № 3. - С.76-83.

81. Зайцева, J1.B. Контроль знаний обучаемых с помощью методов линейно-кусочной аппроксимации и вычисления оценок / JI.B. Зайцева, Л.П. Новицкий, Н.О. Прокофьева // Методы и средства кибирнетики в упр. учеб. проц. высш. шк. - Рига: Рижск. политехи, ин-т, 1989. - С. 39-48.

82. Зайцева, Л.В. Методы контроля знаний при автоматизированном

«

обучении. / Л.В. Зайцева // Автоматика и вычислительная техника, 1991. - № 4. -С. 88-92.

83. Rasch, G. On Specific Objectivity: An Attempt of Formalizing the Request for Generality and Validity of Scientific Statements / G. Rasch // Danish Yearbook of Philosophy, 1977. - vol. 14. - P. 58-94.

84. Аванесов, B.C. Композиция тестовых заданий / B.C. Аванесов // M.: Адепт, 1998.-217 С.

85. Попов, Д.И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений [Электронный ресурс] / Д.И. Попов // Дистанционное образование. - 2000. - №6 - Режим доступа: http://www.mesi.ru/joe/N6_00/popov.html (дата обращения 30/11/2013).

86. Моисеев, В.Б. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы / В.Б. Моисеев, В.В. Усманов, К.Р. Таранцева, Л.Г. Пятирублевый // Журнал «Открытое образование», 2001.-№1.-С. 51-57.

87. Журавлев, Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации / Ю.И. Журавлев // Проблемы кибернетики, 1978. -Вып. 33.-С. 5-68.

88. Зайцева, JT.B. Разработка и применение автоматизированных обучающих систем на базе ЭВМ. / Л.В. Зайцева, Л.П. Новицкий, В.А. Грибкова // Под ред. Л.В.Ницецкого. - Рига: Зинатне, 1989. - 174 С. 1

89. Зайцева, Л.В. Некоторые аспекты контроля знаний в дистанционном обучении. / Л.В. Зайцева // Образование и виртуальность, 2000. Сборник научных трудов 4-й Международной конференции. - Харьков - Севастополь: УАДО, 2000.

- С.126-131.

90. Прокофьева, Н.О. Методические аспекты компьютерного контроля знаний / Н.О. Прокофьева // Труды X научно-методической конференции «Телематика 2003». - Санкт-Петербург, 2003. - С. 366-367.

91. Вилфорд, Д. Современная типология педагогических тестов / Д. Вилфорд // Информационный бюллетень «Тесты в образовании», 2000. - вып.1. -Режим доступа: http://xpt.narod.ru/files/html/xpt/materials/sovremennaya_tipologiya_pedagogicheskih_ testov.htm (дата обращения 30/11/3013).

92. Keeves, J.P. Educational research, metodology and measurement / J.P. Keeves // An International Handbook. Advances in Education Series: Book Supplement to the Journal of Child Psychology and Psych. Elsevier Science & Technology Books, 1988.-832 P.

93. Данг, Хоай Фыонг Метод разработки алгоритмов адаптивного тестирования / Данг Хоай Фыонг, Камаев В.А., Шабалина O.A. // Известия ВолгГТУ. Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических системах». Вып. 13 : межвуз. сб. науч. ст. / ВолгГТУ.

- Волгоград, 2012. - № 4 (91). - С. 107-113.

94. Данг, Хоай Фыонг Полное адаптивное тестирование / Данг Хоай Фыонг, Шабалина O.A. // Известия ВолгГТУ. Серия "Актуальные проблемы управления, вычислительной техники и информатики в технических системах".

Вып. 17 : межвуз. сб. науч. тр. / ВолгГТУ. - Волгоград, 2013. - № 14 (117). - С. 75-82.

95. Данг, Хоай Фыонг Метод генерации алгоритмов комплексного адаптивного тестирования / Данг Хоай Фыонг, O.A. Шабалина // Перспективы науки. - 2013. -№ 9. - С. 100-103.

96. Данг, Хоай Фыонг Среда разработки алгоритмов адаптивного тестирования / Данг Хоай Фыонг, Камаев В. А., Шабалина O.A. // Информатизация и связь. - 2013. -№ 2. - С. 107-110.

97. Кипитонова, Т.И. Тесты, тесты, тесты / Т.И. Кипитонова, И.И. Баранова, М.Ф. Мальцева, Е.А. Никитина и др. // Пособие для подготовки к сертификационному экзамену по лексике и грамматике. - 3-е изд. - СПб.: Златоуст, 2009. - 140 С.

Приложение А - Пример вычисления уровня знаний обучаемого

Пример разработан на основе модели усвоения учебного материала с учетом времени выполнения тестового задания. Для оценки уровня знаний обучаемого, определяемого ьым тестом, обучаемый отвечает на пять заданий. По результатам тестирования рассчитывается уровень знаний теста.

Таблица А. 1

Результат тестирования обучаемого

Шаг тестирование Уровень знания обучаемого на тест

0/5 0 К = 5 = 0

1/5 1 К = - = 5 0,2

2/5 2 К = — = 5 ОД

3/5 3 К = — = 5 0,6

4/5 4 К = - = 0,8

5/5 5 К = — = 5 1

Обучаемый освоил этот тест, если К > 0,5 и значение уровня знания обучаемого следующие:

- отличное знание, если К > 0,9;

- хорошее знание, если 0,7 < К < 0,9;

- удовлетворительное знание, если 0,5 < К < 0,7.