Система интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Базарон, Сэсэг Арсалановна

• Базарон, Сэсэг Арсалановна
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Базарон, Сэсэг Арсалановна

Введение.

1. Обзор современного состояния проблем оценивания ответов при автоматизированном тестировании.

1.1 Основные понятия и определения.

1.2 Модели оценивания знаний в системах автоматизированного тестирования

1.2.1 Модели оценки знаний с использованием «четких» тестов.

1.2.2 Модели оценки знаний с использованием «нечетких» тестов.

1.3 Обзор методов и алгоритмов оценивания ответов на открытый по форме вопрос в системах тестирования.

1.4 Описание проблемы и постановка задачи.

1.5 Выводы по разделу.

2. Модель системы автоматизированной обработки информации в конструируемых ответах на задания второго уровня усвоения АСКЗ.

2.1 Компонент анализа ответа на тестовое задание типа «Подстановка».

2.2 Компонент анализа ответа на тестовое задание типа «Воспроизведение»

2.3 Компонент анализа ответа на тестовое задание «Типовая задача».

2.4 Компонент - нечеткий логический регулятор, определяющий степень правильности ответа.

2.4.1 Основные положения применения аппарата нечеткой логики.

2.4.2 Фаззификация.

2.4.3 Нечеткий логический вывод.

2.4.4 Дефаззификация.

2.5 Способ генерации базы нечетких продукционных правил.

2.6 Выводы по разделу.

3. Способы интеллектуального анализа ответов на вопросы типа «Подстановка» и «Воспроизведение».

3.1 Примеры тестовых заданий типа «Подстановка» и «Воспроизведение».

3.2 Способ анализа ответа на вопрос типа «Подстановка».

3.2.1 Формирование множества синонимов эталонного ответа и нечеткого отношения.

3.2.2 Определение терминов с орфографическими ошибками и их исправление.

3.2.3 Определение количественного и качественного показателей ответа.

3.3 Способ анализа ответов на вопросы типа «Воспроизведение».

3.3.1 Построение графов зависимостей и их обработка.

3.3.2 Определение степени близости двух графов.

3.4 Построение базы нечетких продукционных правил оценивания ответов на задания типа «Подстановка» и «Воспроизведение».

3.5 Выводы по разделу.

4. Способ интеллектуального анализа ответов на вопрос «Типовая задача» по естественно-научному циклу дисциплин.

4.1 Способ анализа ответов на вопросы, требующие в качестве ответа табличное представление решения задачи.

4.2 Способ анализа ответа на вопрос, требующий написание хода решения задачи.

4.2.1 Методика составления спецификации теории.

4.2.1.1 Аксиомы различных теорий.

4.2.1.2 Описание методики составления спецификации теории.

4.2.2 Анализ множества формул ответа тестируемого.

4.2.3 Вывод формул на основе преобразований.

4.2.3.1 Модель автомата преобразователя.

4.2.3.2 Пример вывода формул на основе преобразований.

4.2.4 Определение показателей ответа.

4.3 Построение базы нечетких продукционных правил оценивания ответов на задания «Типовая задача».

4.4 Выводы по разделу.

5. Описание вычислительных экспериментов.

5.1 Онтология предметной области дисциплины специальности.

5.1.1 Модель онтологии.

5.1.1.1 Конструкция знаков концептуальных объектов.

5.1.1.2 Структуры словарных статей концептуальных объектов.

5.1.2 Пример фрагмента онтологии.

5.2 Описание программного обеспечения.

5.2.1 Компонент «Интерфейсная часть» системы.

5.2.2 Компонент «Создание тестовых заданий».

5.2.3 Подсистема автоматизированного оценивания ответов на тестовое задание открытого типа.

5.3 Анализ вычислительных экспериментов.

5.3.1 Выбор функции принадлежности и метода дефаззификации.

5.3.1 Тестирование базы нечетких продукционных правил.

5.3.1.1 Определение согласованности мнений экспертов.

5.3.1.2 Экспертный анализ результатов.

5.3.2 Тестирование способа обнаружения и исправления орфографических ошибок.

5.3.3 Тестирование автомата-преобразователя.

5.4 Выводы по разделу.

Введение диссертации (часть автореферата) на тему «Система интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании»

Актуальность данной работы обусловлена интенсификацией и компьютеризацией сферы образования, а также комплексной автоматизацией процесса обучения. Одним из важных направлений информатизации сферы образования является разработка и применение автоматизированных систем контроля знаний (АСКЗ). В любой образовательной системе особое место занимает контроль — отслеживание усвоения знаний и мониторинг качества обучения.

Повышение эффективности управления образовательным процессом напрямую связано с внедрением новых образовательных и информационных технологий в учебный процесс, что увеличивает потребность в автоматизированных системах, включая автоматизированные системы контроля знаний, которые позволяют оперативно оценивать знания учащихся. На сегодняшний день тестирование как одна из наиболее технологичных и объективных форм контроля знаний повсеместно используется как в процессе обучения, так и в системах мониторинга и оценки качества образования во многих странах мира.

Анализ работ по теории и практике тестирования показывает, что информатизация образования позволила существенно модернизировать тестовые технологии контроля знаний и поднять их на качественно иной уровень. Использование новых информационных технологий, во-первых, позволило автоматизировать обработку информации, полученной в результате тестирования, благодаря чему стало возможным массовое тестирование, во-вторых, привело к созданию автоматизированных систем контроля знаний (МОСЮЬЕ, АСТ-Тест, НурегТез1:, ЗипКауТезЮШсеРго и др.). Такие системы позволяют не только компьютеризировать традиционные бланковые тесты посредством автоматизации процессов формирования теста и предъявления тестовых заданий, но и открывают новые возможности представления предметной области за счёт включения в тест заданий открытого типа. В работе рассматриваются задания второго уровня усвоения, которые содержат открытые по форме вопросы. По классификации Беспалько В.П. к заданиям второго уровня усвоения относятся задания на подстановку, воспроизведение и решение типовых задач [25].

На задание открытого типа тестируемый дает конструируемый по памяти ответ. Трудность обработки информации в таком ответе заключается в ее неоднозначности, что представляет серьезную проблему при оценивании результатов автоматизированного тестирования, поскольку для адекватного оценивания необходимо предусмотреть все возможные варианты ответа при создании эталонных ответов. Как правило, оценивание конструируемых ответов осуществляется сопоставлением эталонного ответа и ответа тестируемого на полную идентичность, что зачастую в конечном итоге не совсем корректно отражает уровень знаний тестируемого.

Из изложенного выше следует, что одним из направлений дальнейшего повышения эффективности контрольно-оценочных процедур является обработка информации в системах автоматизированного тестирования, основанная на интеллектуальном анализе и оценивании конструируемых ответов. Интеллектуальный анализ был применен при обработке информации АСКЗ в работах C.B. Дуплика [49], И.Д. Рудинского [85], C.B. Грушецкого [34], Е.А. Белова [23] и др. Надо заметить, что в данных работах рассматривались в основном тестовые задания на подстановку.

В связи с этим особую актуальность приобретает вопрос совершенствования процесса обработки информации в системах автоматизированного тестирования за счет интеллектуализации анализа и оценивания конструируемых ответов {далее ответов) на задания открытого типа в автоматизированных системах контроля знаний.

Таким образом, на основании проведенного анализа определена проблемная ситуация, сущность которой состоит в противоречии между практической необходимостью применять в процессе автоматизированного тестирования задания открытого типа и отсутствием адекватной технологии 6 автоматизированной обработки информации при оценивании получаемых на них ответов.

Исходя из данной проблемной ситуации, решаемая в диссертационной работе научная задача заключается в исследовании процессов обработки информации в системах автоматизированного тестирования по вопросам открытого типа и разработке интеллектуальных способов анализа и оценивания ответов тестируемого.

Объект исследования — обработка информации в системах автоматизированного тестирования.

Предмет исследования — способы интеллектуального анализа и оценивания ответов на открытые по форме вопросы в заданиях второго уровня усвоения в системе автоматизированного тестирования.

Цель работы — совершенствование процесса обработки результатов тестирования за счет автоматизированной интеллектуальной обработки неточной и неполной информации, содержащейся в конструируемых ответах.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Выполнить анализ существующих моделей, методов и алгоритмов обработки информации при оценивании результатов тестирования, на основе которого определить подход к решению поставленной задачи.

2. Разработать обобщенную модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения автоматизированной системы контроля знаний для определения способов решения поставленной задачи.

3. Разработать способы интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения.

4. На основе предложенной модели и способов интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения разработать систему интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании.

5. Провести вычислительные эксперименты для определения корректности разработанных способов.

Методы исследования базируются на математическом аппарате теории множеств, нечеткой и математической логики, системного анализа, искусственного интеллекта, теории алгоритмов и автоматов.

Для описания понятий и отношений проблемной области использован теоретико-множественный подход. Разработка методов оценивания конструируемых ответов основана на методах искусственного интеллекта (нечеткое регулирование, онтологический подход, инженерия знаний и др.) и теории автоматов. Метод групповых экспертных оценок использован для проверки корректности модели. Системный анализ использован при исследовании предметной области, выработке подхода к решению задачи, определении методов решения задачи.

Достоверность научных выводов и практических рекомендаций основывается на теоретических и методологических положениях, сформулированных в исследованиях российских и зарубежных ученых, таких как А.Е. Алтунин, М.В. Семухин, Г.С. Осипов, Л.А. Заде, Е. Мамдани, Н. Белнап и других, а также на положительном исходе сравнения результатов вычислительных экспериментов и теоретических положений работы.

Научные результаты, выносимые на защиту.

1. Обобщенная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на тестовые задания второго уровня усвоения.

2. Способы анализа и оценивания ответов на задания типов «Подстановка», «Воспроизведение» и «Типовая задача».

3. Способ автоматического построения базы нечетких продукционных правил.

Научная новизна и теоретическая значимость.

1. Разработана четырехкомпонентная модель системы автоматизированной обработки информации при неточных и неполных 8 конструируемых ответах на задания второго уровня усвоения.

2. Разработаны способы интеллектуального анализа ответов на задания типов «Подстановка» и «Воспроизведение», отличительной чертой которых является возможность распознавать неточный или неполный ответ.

3. Предложен способ интеллектуального анализа ответов на задания «Типовая задача», новизна которого заключается в том, что анализ хода решения задачи осуществляется вычислительной системой, а не экспертом.

4. Предложен способ автоматического построения базы нечетких продукционных правил, которые позволяют оценить степень правильности ответа. Особенностью предложенного способа является то, что система нечетких продукций обладает свойствами полноты и непротиворечивости, при условии, что центры ядер нечетких множеств, образующих значения входных и выходных лингвистических шкал, включают элементы действительной порядковой шкалы, равномерно градуированной на интервале [0;1].

5. На основе предложенной модели и способов интеллектуального анализа и оценивания ответов на тестовые задания второго уровня усвоения разработан прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании.

Практическая значимость исследований. Практическая значимость исследования заключается в том, что полученные результаты могут быть применены при разработке интеллектуальных автоматизированных систем контроля знаний, включающих оценку знаний студентов по тестовым заданиям открытого типа. Результаты тестирования могут быть использованы для определения уровня подготовленности студентов в различных плоскостях: раздела дисциплины, дисциплины в целом, специальности, факультета, вуза и т.д. и служить основой разработки рейтинговой системы успеваемости учащихся.

Апробация результатов. Основные положения диссертационной работы докладывались и обсуждались на пятой Международной научно-технической конференции «Информатизация процессов формирования открытых систем на 9 основе САПР, АСНИ, СУБД и систем искусственного интеллекта (ИНФОС— 2009)» (Вологда, 2009), седьмой всероссийской научно-практической конференции «Системы автоматизации в образовании, науке и производстве — А8'2009» (Новокузнецк, 2009), седьмой, девятой и десятой Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2006, 2008, 2009), научно-методической конференции «Развитие творческих способностей студента в инновационном обучении» (Улан-Удэ, 2008).

По теме диссертации опубликовано 11 работ. Среди наиболее значимых публикаций: 3 статьи в 2 научно-технических журналах из перечня рекомендуемых ВАК РФ для публикации научных результатов диссертации на соискание ученой степени кандидата технических наук; 2 статьи в научных и технических изданиях; 5 работ в материалах всероссийских и международных научных конференций; 1 свидетельство об официальной регистрации программы для ЭВМ.

Внедрение результатов. Результаты диссертации используются в учебной деятельности Восточно-Сибирского государственного технологического университета и включены в программу учебных дисциплин «Нечеткая логика» и «Системы искусственного интеллекта» специальности 010503 «Математическое обеспечение и администрирование информационных систем». Кроме того, методика создания подсистемы оценивания результатов тестирования используется при разработке интеллектуальной автоматизированной системы удаленного тестирования. Также результаты исследований используются в информационно-исследовательской работе Центра дистанционного образования Воронежского государственного технического университета для составления методики оценивания знаний обучаемых при удаленном тестировании. Внедрение результатов подтверждено соответствующими актами об использовании результатов.

Во введении к диссертации обоснована актуальность выбранной темы, поставлены цель и задачи диссертационной работы, указаны применяемые ю методы исследования, показана научная новизна и практическая значимость работы, перечислены основные научные результаты, выносимые на защиту.

Первый раздел посвящен описанию проблемной ситуации. Определены основные понятия предметной области. Выполнены обзор и анализ научных работ, посвященных оцениванию результатов автоматизированного тестирования. Исследованы существующие автоматизированные системы контроля знаний на предмет реализации методов оценивания ответов на задания открытого типа.

Это позволило выявить проблемную ситуацию, разработать постановку задачу и определить методы исследования для ее решения.

Во втором разделе разработана обобщенная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения АСКЗ. Структурно вышеназванная модель состоит из четырех компонентов. Первый компонент предназначен для интеллектуального анализа ответов на задания типа «Подстановка». Второй — для интеллектуального анализа естественно-языкового текста ответа. Третий — для интеллектуального анализа ответа, представляющего собой ход решения типовой задачи тестового задания. Четвертый компонент является нечетким логическим регулятором, который посредством нечеткого логического вывода оценивает степень правильности ответа.

В третьем разделе разработаны интеллектуальные способы, предназначенные для анализа ответов на задания типов «Подстановка» и «Воспроизведение» и необходимые для реализации первого и второго компонентов системы.

В четвертом разделе рассмотрен способ интеллектуального анализа ответа тестируемого на тестовое задание «Типовая задача», необходимый для разработки третьего компонента системы.

В пятом разделе приводится описание разработанного программного обеспечения и проведенных вычислительных экспериментов.

Для проведения вычислительных экспериментов с целью проверки

11 корректности разработанных способов было разработано программное обеспечение, представляющее собой прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании, одним из компонентов которого является нечеткий логический регулятор. Кроме того, для апробации методов создана онтология предметной области по основным понятиям теории множеств, в которой множество понятий представлено в виде семантической сети фреймов.

Заключение по работе содержит перечень научных и практических результатов, полученных при решении поставленной в работе задачи.

В приложениях приведены таблица соответствия значений входных и выходных лингвистических переменных, базы нечетких продукционных правил для оценивания ответов на тестовые задания типов «Подстановка», «Воспроизведение» и «Типовая задача», таблица сравнительного анализа коэффициентов соответствия двух графов, знаки-фреймы семантической сети онтологии по теории множеств, пример оценивания экспертом ответов тестируемого, акты об использовании материалов диссертационной работы.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Базарон, Сэсэг Арсалановна

5.4 Выводы по разделу

В пятой главе приведено описание упрощенного прототипа программного обеспечения, представляющего собой систему анализа и оценивания конструируемых ответов при автоматизированном тестировании, одним из модулей которого является система нечеткого логического вывода в виде нечеткого логического регулятора; вычислительных экспериментов, проведенных методом групповой экспертной оценки для проверки объективности полученных нечетким регулятором результатов.

Разработка программного обеспечения выполнена на основе применения объектно-ориентированного и автоматного подхода. Все компоненты программы оформлены в виде отдельных единиц с целью максимального разграничения всех возможных функций по группам.

Сравнение результатов вычислительных экспериментов и экспертной оценки показали достоверность разработанных способов, необходимых для реализации системы.

Заключение

1. Выполненный анализ существующих моделей, методов и алгоритмов обработки информации при оценивании результатов тестирования показал, что совершенствование процесса обработки результатов автоматизированного тестирования связано в первую очередь с анализом и оцениванием конструируемых ответов на открытые по форме вопросы тестовых заданий. В связи с этим, на наш взгляд, совершенствование процесса обработки результатов автоматизированного тестирования связано с необходимостью применения при обработке информации методов нечеткой логики. Это определило проблемную ситуацию и постановку задачи.

2. Для решения поставленной задачи разработана четырехкомпонентная модель системы автоматизированной обработки информации при неточных и неполных конструируемых ответах на задания второго уровня усвоения. Предложенная модель позволила определить подзадачи, для решения которых требовалось разработать способы их решения. Обработка информации при решении каждой подзадачи должна состоять из двух этапов: интеллектуального анализа ответов и оценивания степени правильности ответа. Исходя из этого, было определено, что на первом этапе необходимо использовать методы естественно-языковой обработки информации и онтологический подход; на втором этапе -разработать нечеткий логический регулятор.

3. Для интеллектуального анализа ответов предложены способы формирования множества синонимов эталонного ответа; определения орфографических ошибок в ответе испытуемого; анализа ответа на задание, предполагающее воспроизведение определения понятий предметной области.

По технологии автоматного программирования построены конечный автомат, определяющий корректность построения формулы, и конечный преобразователь формул, осуществляющий логический вывод формулы

136 ответа тестируемого. Разработана методика составления спецификации, задающей конфигурацию предметной области типовой задачи тестового задания и позволяющей конечным автоматам выполнить анализ решений типовых задач различных предметных областей.

Для оценивания степени правильности ответа разработан нечеткий логический регулятор, в основу которого положен алгоритм Е. Мамдани, работа которого требует наличия системы продукционных правил. Разработанный способ генерации нечетких продукционных правил позволяет автоматически строить системы нечетких продукций, включая и системы по определению степени правильности ответа.

Предложенное решение задачи, основанное на применении методов нечеткой логики, естественно-языковой обработки информации и онтологического подхода, позволяет более адекватно оценить неточные и неполные конструируемые ответы тестируемого, полученные в ходе автоматизированного тестирования.

4. Для проведения вычислительных экспериментов был разработан прототип системы интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании, который позволил провести вычислительные эксперименты по тестированию: метода нахождения и исправления орфографических ошибок в ответе тестируемого; конечного преобразователя формул; базы нечетких продукционных правил оценивания правильности ответов; коэффициентов соответствия графов зависимостей эталонного ответа и ответа тестируемого; методов дефаззификации; функций принадлежности.

Сравнение результатов вычислительных экспериментов и экспертной оценки показали достоверность разработанных способов, необходимых для реализации системы.

Таким образом, поставленные задачи решены, цель достигнута.

Список литературы диссертационного исследования кандидат технических наук Базарон, Сэсэг Арсалановна, 2011 год

1. Astanin S. The Behavior Model of Strategic Controlling. // 5th European Congress on Intelligent Techniques & Soft Computing, Aachen. V.l. Germany. September 8. 11. 1997.

2. Choppin B.H. Correction for Guessing. Encyclopedia of Educational Evaluation. New York; Toronto; London. 1996.

3. Gruber T. R. Towards Principles for the Design of Ontologies used for Knowledge Sharing // International Journal of Human and Computer Studies, 1995. №43(5/6). P. 907-922.

4. Gruber T.R. A translation approach to portable ontologies. Knowledge Acquisition, 5(2): 199-220, 1993.

5. Miller G.A. The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information // Psychological Review, 1956.

6. Zadeh L.A. A computational approach to fuzzy quantifiers in natural languages//Computational linguistics. Oxford, 1983. P. 149-184.

7. Zadeh L.A. Fuzzy sets as a basis for a theory of possibility. // Fuzzy sets and systems. Berkeley (California), 1978. P. 3-28.

8. Zadeh L.A. Test-scope semantics for natural languages and meaning-representation via PRUF // Empirical semantics. Bochum, 1981. P. 281-349.

9. Аксиоматический метод Большая советская энциклопедия. Статья 1892. Электронный ресурс. // Diclib.com: словари и энциклопедии онлайн. URL: http://www.diclib.com/AKCHOMaTH4ecKHfi%20MeTOfl/show/ ru/bse/1892.

10. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. Тюмень: Издательство Тюменского государственного университета, 2000. 352 с.

11. Асанов, А. А. Генетический алгоритм построения экспертных решающих правил в задаче многокритериальной классификации Электронный ресурс. URL: http://zhurnal.ape.relarn.ru/articles/2002/155.pdf

12. Базарон С.А. Апробация метода нечеткого оценивания тестовых заданий типа «Подстановка» // Системы управления и информационные технологии: Научно-технический журнал. М.; Воронеж: Научная книга, 2009. № 1.1(35). С. 113-116.

13. Базарон С.А. Нечеткая модель оценивания результатов автоматизированного тестирования по тестовым заданиям открытого типа // Информатизация образования и науки: науч.-метод, журн. М.: ФГУ ГНИИ ИТТ «Информика», 2010. № 3(7). С. 89-106.

14. Базарон С.А., Данилова С.Д. Метод оценивания тестовых заданий типа «Подстановка» с учетом орфографических ошибок // Системы управления и информационные технологии: Научно-технический журнал. М.; Воронеж: Научная книга, 2009. № 1.1(35). С. 108-112.

15. Базарон С.А., Данилова С.Д. Проблемы оценивания знаний в системах автоматизированного тестирования // Развитие творческих способностей студента в инновационном обучении: Сб. научно-методических статей. Улан-Удэ: ВСГТУ, 2008. С. 17-19.

16. Батешов Е.А. Методика организации контрольно-обучающего тестирования на компьютерах Электронный ресурс. URL: http://kokshetau.online.kz/bateshov /metodika.htm.

17. Белнап Н., Стил Т. Логика вопросов и ответов. М.: Прогресс, 1981. 288 с.

18. Белов Е.А. Разработка метода и алгоритмов тестирования знаний на основе интеллектуальной обработки ответов на естественном языке: Автореф. дис. . канд. техн. наук. Брянск, 2006. 20 с.

19. Беспалько В.П. Основы теории педагогических систем. Воронеж: ВГУ, 1977.304 с.

20. Беспалько В.П. Педагогика и прогрессивная технология обучения. М.: институт профобразования министерства образования, 1995. 336 с.

21. Беспалько В.П. Слагаемые педагогической технологии. М.: Педагогика, 1989. 192 с.

22. Беспалько В.П., Татур Ю.Г. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов: Учебно-методическое пособие. М.: Высш. шк, 1989. 144 с.

23. Бешелев С.Д., Гурвич С.Д. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

24. Бин Дж. XML для проектировщиков. М.: Кудиц-Образ, 2004. 256 с.

25. Борисов А.Н., Алексеев A.B., Меркурьева Г.В., Слядзь H.H., Глушков В.И. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь, 1989. 304 с.

26. Борщевич В.И., Ботнарь В.И. Нечеткое моделирование и проблемы его интерпретации // Рукопись депонирована в МолдНИИНТИ, N 462М-84 Деп. от 14.09.1984. Кишинев: КПИ, 1984. 13 с.

27. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования // Философия адаптивного тестирования. М.: МГУП, 2002. 4.1. 200 с.

28. Гаркуша В.З., Богомолов O.A. Система дистанционного обучения «Прометей», версия 4.0. Электронный ресурс. // Телематика'2002. URL: http://tm.ifmo.ru/tm2002/db/doc/ getthes.php?id=l 1.

29. Грушецкий C.B., Рудинский И.Д. Статистические методы вывода оценки результатов автоматизированного тестирования // Информационные технологии в образовании, 2003.

30. Давыдов В.И., Фомин П.Н. Спецификация IMS QTI и тесты со свободно-конструируемыми ответами Электронный ресурс. URL: http://www.library.ospu.odessa.ua/onHne/periodic/KMS20093/037-043.pdf.

31. Данилова С.Д. Лингвистическое шкалирование в системе нечеткого оценивания результатов тестирования // Вестник ВСГТУ. Улан-Удэ: ВСГТУ, 2007. №4. С.55-59.

32. Данилова С.Д. Оценивание результатов тестирования в адаптивной системе автоматизированного тестирования // Вестник ВСГТУ. Улан-Удэ: ВСГТУ, 2008. №1. С. 12-20.

33. Данилова С.Д. Шкалирование стоимостных оценок тестового задания // Теоретические и прикладные вопросы современных информационных технологий: Материалы VIII Всероссийской научно-технической конференции. Улан-Удэ: ВСГТУ, 2007. С. 191-195.

34. Данилова С.Д., Шайдуров Ц.Ц. Система удаленного тестирования и контроля знаний учащихся // Российская школа и Интернет: Сборник трудов второй Всероссийской научно-практической конференции. СПб.: ФИО, 2002. С. 20-21.

35. Дейтел П., Садху П., Дейтел X. Как программировать на XML. M.: Бином. Лаборатория знаний. 2008. 944 с.

36. Дуплик C.B. Классификация моделей тестирования Электронный ресурс. // Интернет-форум «Проблемы и перспективы открытого образования». URL: http://www.tisbi.ru/science/forum/default.php?p=l&s =5.

37. Дуплик C.B. Модель адаптивного тестирования на нечеткой математике // Информатика и образование. 2004. № 11. С. 57-65.

38. Евдокимова И.С., Найханова JI.B. Методы и алгоритмы трансляции естественно-языковых запросов к базе данных в SQL- запросы. Улан-Удэ: ВСГТУ, 2004. 148 с.

39. Заде JI. Понятие лингвистической переменной и ее применение к принятию приближенных решений. М.: Мир, 1976. 167 с.

40. Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний // Компьютеры в учебном процессе. М. 2000. № 4. С. 147-155.

41. Кириличев Б.В., Широков Л. А., Рабинович П.Д. Системный анализ проблемы создания интеллектуальных компьютерных обучающих комплексов // Сб. научных трудов МГИУ. М.: МГИУ, 1996. С. 166-171.

42. Кнут Д. Искусство программирования для ЭВМ / Под ред. Баяковского и Штаркмана. М.: Мир, 1978. 848 с.

43. Конструктор тестов Электронный ресурс. URL: http://www.keepsoft.ru/simulator.htm.

44. Контрольно-тестовая система Электронный ресурс. URL: http://omm2002.chat.ru/textl .htm.

45. Краткое руководство пользователя системы тестирования знаний Open Test Электронный ресурс. URL: http://www.opentest.com.ua.

46. Леоненков A.B. Нечеткое моделирование в среде MATLAB и fuzzyTECH. СПб.: БХВ-Петербург, 2003. 736 с.

47. Мальковский М.Г., Грацианова Т.Ю., Полякова И.Н. Прикладное программное обеспечение: Системы автоматической обработки текстов Электронный ресурс. URL: http://lib.rus.ec/b/98109/read.

48. Mac лов С.Ю. Некоторые свойства аппарата канонических исчислений Э. Поста. Электронный ресурс. URL: http://www.mathnet.ru/php/ getFT.phtml?jrnid=tm&papered=1608&what=fullt&optionlang=rus.

49. Математические модели документального поиска Электронный ресурс. URL: http://download.yandex.ru/class/sychev/present5.ppt.

50. Мелихова O.A., Мелихова З.А. Использование нечеткой математики при моделировании систем искусственного интеллекта Электронный ресурс. URL: http://raai.org/resurs/papers/kolomna2009 /doklad/MelihovaMelihova.doc.

51. Методика многоуровневой агрегированной оценки и прогнозирования финансового состояния предприятий Электронный ресурс. URL: http://www.optim.rU/fm/2003/l/fin200301ms0204Ahromeyko/fin2 О 0301 rus0204Ahromey ко. asp.

52. Найханова JI.B. Технология создания методов автоматического построения онтологий с применением генетического и автоматного программирования. Улан-Удэ: БНЦ СОР АН, 2008. 244 с.

53. Найханова JI.B., Бильгаева Л.П. Метод морфологического анализа // Искусственный интеллект в образовании: Труды международного семинара 1-4 октября 1996 г. Казань: КазГТУ, 1996. ч.2. С. 35-38.

54. Найханова JI.B., Дамбаева C.B., Бордоева А.Е. Алгоритм обработки нечеткой информации в системах принятия решения // Труды научной конференции преподавателей, научных работников и аспирантов ВСТИ. Улан-Удэ: ВСТИ, 1994.

55. Найханова Л.В., Хаптахаева Н.Б., Аюшеева H.H. Построение сематической сети предметной области на основе извлечения знаний из научного текста // Известия высших учебных заведений. Пенза: Информационно-издательский центр ПензГУ, 2007. № 4. С. 51-61.

56. Найханова Л.В., Чимитова Е.Г., Доржиева Л.Б. Использование вопросно-ответных отношений в тестировании // Труды научной конференции преподавателей, научных работников и аспирантов ВСГТУ. Улан-Удэ: ВСГТУ, 1995.

57. Найханова, JI.B. Конструкция знака концептуальных объектов и способ построения терминосистемы // The Second Conference on Cognitive Science: Материалы II Международной конференции по когнитивной науке. СПб. 2006. С. 592-593.

58. Никитина Т.П. Опыт тестирования в среде ACT Электронный ресурс. // ИТО-2002. URL: http://www.bitpro.ru/ito/2002AaAa-0-72.html.

59. Орлов А.И. Теория принятия решений. М.: Март, 2004. 656 с.

60. Осипов Г.В., Андреев Э.П. Методы измерения в социологии. М.: Наука, 1977. 183 с.

61. Пакет программ UniTestSystem Электронный ресурс. URL: http://sight2k.com/rus/unitest.

62. Программа для автоматизированного тестирования SunRav TestOfficePro Электронный ресурс. URL: http://www.softkey.ru/catalog/ program.php?printable =yes&ID=4366.

63. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения Электронный ресурс. URL: http://www.ege.ru/dict/dictl.htm.

64. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования // Информационные технологии. 2003. № 9. С. 46-51.

65. Рудинский И.Д. Разработка метода и алгоритмов тестирования знаний на основе интеллектуальной обработки ответов испытуемого на естественном языке: Автореф. дис. . канд. техн. наук. Брянск, 2006. 20 с.

66. Сайт UniMod Электронный ресурс. URL: http://unimod.sourceforge.net.

67. Система дистанционного тестирования СДТ Ната (md-77) Электронный ресурс. URL: http://www.programms.ru/products/ Р00000790001690.shtml.

68. Система интерактивного контроля «Инспектор» PRO 2.2 Электронный ресурс. URL: http://softsearch.ru/programs/49-906-sistema-interaktivnogo-kontrolj a-inspektor-pro-download. shtml.

69. Система контроля знаний HyperTest 1.1 Электронный ресурс. URL: http://softsearch.ru/ programs/60-088-hypertest-download.shtml.

70. Система проверки знаний 2.5 Электронный ресурс. URL: http://maup.chat.ru.

71. Скороходов Д.А., Бубнов Е.А. Шкалирование входной информации Электронный ресурс. URL: http://grinda.info/control/ skalir/skalir.htm.

72. Стандарт IMSQTI Электронный ресурс. URL: http://www.imsglobal.org/question.

73. Стефанюк B.JL, Жожикашвили A.B. Продукционные сети: развитие теории ТК-продукций Электронный ресурс. URL: http://vestnik.sci.pfu.edu.ru/archiv-cs/articles-cs/2003-2-l/pdf/stefanuk-2003.pdf

74. Толковый словарь терминов понятийного аппарата информатизации образования / Составители И.В. Роберт, Т.А. Лавина. М.: ИИО РАО, 2009. 96 с.

75. Универсальная автоматизированная система тестирования знаний Polytest vi.0 Электронный ресурс. URL: http://edu.of.ru/volipc/ default.asp?obno=3009.

76. Универсальный пакет автоматизированного тестирования УПАТ. URL: http://altim.narod.ru/TestInfo/TestInfo.htm.

77. Чангли А.Н. Автоматизация контроля знаний на базе инфраструктуры Интернет Электронный ресурс. URL: http://www.publ.donntu.edu.ua.

78. Чень Ч., Р. Ли Математическая логика и автоматическое доказательство теорем / Под ред. С.Ю. Маслова. М.: Наука, 1983. 360 с.

79. Шалыто A.A. Автоматное-ориентированное программирование // Фундаментальное исследования в технических университетах: Материалы IX Всероссийской конференции по проблемам науки и высшей школы. СПб.: Политехи, ун-т, 2005. С. 44-52.

80. Шалыто A.A., Поликарпова Н.И. Автоматное программирование. СПб.: Питер, 2009. 176 с.

81. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику Электронный ресурс. URL: http://matlab.exponenta.ru/fuzzylogic/ bookl/l.php.

82. Экспресс-тест Электронный ресурс. URL: http://www.bitpro.aha.ru/ ITO/IT098-99/k/lukma.htm.

83. Сравнительный анализ коэффициентов соответствия двух графов1. Таблицы А. 1воп рса Вопрос Эталон Ответ тестируемого Оценк а экспе рта модиф коэф дайса дельта к. Дайса дельта к. Жакка рда дельта косинус ный дельта коэф. Перек рытия дельта

84. Дайте определение Число элементов в конечном Количество1 мощности множества М. множестве М называется мощностью множества М элементов множества. 1 0,750 0,250 0,857 0,143 0,750 0,250 0,866 0,134 1,000 0,000

85. Какое множество Множество не содержащее Которое не2 называется пустым? Дайте определение. элементов называется пустым и обозначается 0. содержит ни одного элемента. 1 0,714 0,286 0,769 0,231 0,556 0,444 0,772 0,228 0,833 0,167

86. Дайте определение универсальному множеству и. Универсальным множеством II называется множество всех рассматриваемых в данной задаче элементов. Множество всех элементов. 0,8 0,750 0,050 0,857 0,057 0,750 0,050 0,866 0,066 1,000 0,200

87. Продолжите Если А1В и А^В, то А6 определение: «Если А1В и А^В, то А называется.» называется собственным, строгим или истинным подмножеством множества В подмножеством В. 0,5 0,556 0,056 0,714 0,214 0,556 0,056 0,745 0,245 1,000 0,500

88. Соответствие значений входных и выходных лингвистических переменных