Разработка моделей и методов принятия решений в задачах тестирования знаний тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Шестова, Елена Александровна

• Шестова, Елена Александровна
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Шестова, Елена Александровна

ВВЕДЕНИЕ.

1. РАЗРАБОТКА СИСТЕМНОГО ПОДХОДА К РЕШЕНИЮ ЗАДАЧ ТЕСТОВЫХ ЗАДАНИЙ.

1.1. Обзор существующих методов и моделей тестирования знаний.

1.2. Задача тестирования.

1.3. Задача выбора критерия качества обучения.

1.3.1. Критерии оценки тестовых заданий.

1.3.1.1. Диагностические состояния и проверки.

1.3.1.2. Оценка уровня знаний с использованием двоичных оценок.

1.3.2. Нечеткие критерии оценки знаний.

1.4. Система тестирования знаний.

1.4.1. Образовательная система.

1.4.2. Виды тестов и требования к тестированию.

1.5. Применение тестов.

1.5.1. Применение тестов в системе образования.

1.5.2. Применение тестов в задачах управления персоналом.

1.6. Модели оценки результатов тестирования.

1.7. Обоснование предмета диссертационного исследования.

1.8 Выводы.

2. РАЗРАБОТКА МОДЕЛЕЙ ДЛЯ ИССЛЕДОВАНИЯ ТЕСТОВ И РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ.

2.1. Сравнительная оценка количественных и качественных критериев тестов.

2.2. Модель эвристического оценивания знаний с применением статистической информации.

2.3. Модель нечеткого оценивания знаний с применением эталонных экспертных оценок.

2.4. Разработка модели оценивания знаний на основе стохастического регрессионного анализа.

2.5. Линейная модель наблюдений.

2.5.1. Пример определения функции регрессии.

2.5.2. Статистический анализ уравнения регрессии.

2.5.3. Оценка адекватности модели.

2.6. Выводы.

3. РАЗРАБОТКА МЕТОДА ПРИНЯТИЯ РЕШЕНИЙ В УСЛОВИЯХ НЕПОЛНОТЫ ИСХОДНОЙ ИНФОРМАЦИИ.

3.1. Этапы методики проектирования системы тестирования.

3.2. Формализация параметров системы тестирования в условиях неполноты данных.

3.3. Разработка математической модели принятия решений на основе классификации нечетких ситуаций.

3.4. Разработка математической модели композиции нечетких правил вывода.

3.5. Выводы.

4 РАЗРАБОТКА ПРОБЛЕМНО-ОРИЕНТИРОВАННЫХ ПРОГРАММНЫХ ПРИЛОЖЕНИЙ ДЛЯ ЗАДАЧ ТЕСТИРОВАНИЯ

4.1. Разработка структуры модуля принятия решений.

4.2. Программное приложение и примеры решения задач тестирования знаний.

4.3. Информационная тестовая система.

4.4. Сравнительный анализ методов.

4.5. Выводы.

Введение диссертации (часть автореферата) на тему «Разработка моделей и методов принятия решений в задачах тестирования знаний»

Применение методов тестирования для оценки полученных знаний находит все большее применение в учебных заведениях [1 - 5], а также и на предприятиях, например, для проверки профессиональной пригодности при приеме на работу [6-8]. Тесты представляют собой стандартизированные задания, результаты выполнения которых дают представления о знаниях, умениях и навыках тестируемого.

Существует достаточно распространенное мнение, что из всех известных на сегодняшний день способов контроля уровня обучения наиболее перспективным, является тестирование. Считают, что результаты тестирования обеспечивают преподавателя объективной информацией об уровне усвоения обучаемыми учебного материала, а администрацию вуза информируют об объективности управления. Также результаты тестирования - показатель качества преподавания. Таким образом, тесты могут использоваться как для определения уровня компетенции в той или иной области знаний, так и для оценки деятельности преподавателя [9].

Разработка тестов и их применение является не простой задачей, так как по-прежнему не имеется строго обоснованного, формального подхода к разработке тестов и обработке их результатов. Существует проблема модификации теста, его надежности и точности оценки знаний.

Задача тестовых методик - установить связь между испытуемыми и преподавателем (экзаменатором). Это достаточно сложная и трудноформализуемая задача, так как связь между людьми посредством слов -сложный процесс.

Тесты в виде ЕГЭ применяются для оценки знаний выпускников школ и при отборе поступающих в вуз, а само тестирование реализовано в среде системы электронно-тестовой аттестации. На примерах тестов ЕГЭ можно определить существующие проблемы их разработки и применения.

Во-первых, электронно-тестовая аттестация несовершенна, как из-за ограничения доступа в сеть Интернет, так из-за проблем информационной безопасности.

Во-вторых, существует проблема создания контрольно-измерительных материалов, связанная как с объективной оценкой качества образования, так и с умением применять знания.

Например, по мнению ректора Института проблем образовательной политики «Эврика» А. Адамского [10] «уровень сегодняшних тестов, система их разработки, организационный и технологический уровень подготовки и проведения крайне низки», «итоговая аттестация в той форме, в которой она проводится, не является объективной оценкой качества образования. Она может давать только сведения об объеме освоенного материала. А это лишь элемент качества, его часть». «Надо проверять не только объем заученного материала, но и оценивать умения применять знания - функциональную грамотность и способность к решению нового, неизвестного типа задач, способность ориентироваться в культуре. А для этого нужны другие тесты».

По мнению д.т.н. В.Хлебникова [11] тесты по ЕГЭ научно не обоснованы. «До сих пор никакие даже самые продвинутые тестологи мира не смогли создать теста, который является одновременно нормально и критериально ориентированным и мог быть использован для целей итоговой аттестации и для отбора наиболее подготовленных поступающих в вузы». «Итоговая аттестация требует иных измерительных материалов и методик обработки результатов». «Процедуры итоговой аттестации и отбора поступающих в вузы несовместимы. Их необходимо разделить». «ЕГЭ плохо дифференцирует испытуемых в наиболее важной для приема в вуз зоне -области наивысших баллов».

Мнения этих двух ученых определяют существующие проблемы создания и применения тестов и не только при сдаче ЕГЭ, но и всех существующих тестов вообще.

Отметим, что хотя результаты тестирования определены в виде четкого числа (результата), но, во-первых, результат тестирования с учетом погрешности, представляет собой нечеткое число, а во-вторых, на базовой шкале результатов можно задавать лингвистические переменные, формализующие смысловые оценки результатов тестирования. Погрешность результатов тестирования (погрешность метода) может изменяться на базовой шкале, например в тестах ЕГЭ по данным Федерального центра тестирования [11] в середине шкалы (от 40 до 60 баллов) величина погрешности по всем предметам составляет ± 3 тестовых балла. При смещении в сторону более низких и высоких баллов погрешности возрастают. В районе 90 баллов погрешность составляет от 5 до 10 тестовых баллов. Применение методов теории нечетких множеств [12 - 15] и теории возможностей [16, 17] позволяет формализовать эти неопределенности.

Формализация результатов тестирования, а также применение тестов различной сложности и разных тематик, позволяет применять методы принятия решений на основе обработки знаний [18- 29]. Методы и модели принятия решений относятся к числу методов моделирования, направленных на активизацию интуиции и опыта лиц, принимающих решение, включая методы искусственного интеллекта [30]. Существенный вклад в развитие теории искусственного интеллекта внесли многие ученые, как России, так и за рубежом: А.Н. Аверкин, JI.C. Берштейн, A.B. Боженюк, H.A. Борисов, Д. Дюбуа, J1.A. Заде, А.Н. Мелихов, Д.А. Поспелов, К.А. Пупков, М. Сугено, Б.Н. Тарасов, Т. Терано, С.В Ульянов, С. Чен, P.P. Ягер и многие другие.

Таким образом, учитывая, что разрабатываемые тесты обладают неопределенностью, как в полноте охвата тестируемого материала, так и в полноте оценки достоверности знаний, то актуальной остается задача формализации погрешностей теста, а также задача достоверной оценки знаний тестируемого с применением методов формализации результатов тестирования в условиях неопределенности. В диссертации не будет рассматриваться проблема создания контрольно-измерительных материалов, а будет уделено внимание другой задаче - оценке качества образования и оценке умения применять знания, решаемой с применением методов моделирования и принятия решений в системах тестирования знаний. Это определяет и подтверждает актуальность диссертационной работы.

Диссертационные исследования в практическом аспекте направлены на проектирование проблемно-ориентированного прикладного программного продукта (программных модулей принятия решений) для применения в системах электронно-тестовой аттестации, а также для применения в подразделениях предприятий и организаций, которые на основе применения тестирования решают, например, задачи подбора кадров.

Объектом исследования в диссертационной работе являются модели и методы принятия решений с применением нечеткой логики, а также проблемно-ориентированное прикладное программное приложение для решения задач анализа результатов тестирования знаний в условиях неопределенности (неполноты данных).

Цель диссертационной работы состоит в развитии моделей и методов тестирования знаний с извлечением скрытых закономерностей информации при принятии решений в условиях неполноты данных.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

- исследование и анализ методов решения задач тестирования знаний;

- разработка системного подхода к решению задач тестовых заданий;

- разработка теоретико-множественной модели результатов тестирования;

- разработка методов формализации параметров тестов;

- разработка модели принятия решений на основе классификации нечетких ситуаций;

- разработка модели композиции нечетких правил вывода;

- разработка прикладного программного продукта для принятия решений при анализе результатов тестирования знаний.

Методы проведения исследования. В диссертационной работе используются методы теории нечеткой логики, теории построения нечетких ситуационных моделей, методы регрессионного анализа, элементы теории вероятности и математической статистики, методы компьютерного моделирования.

Методологическую основу работы составляет концепция системности, суть которой есть представление и исследование моделей и методов решения задач тестирования, интеллектуальных систем принятия решений в условиях неполноты данных результатов тестирования и критериев оценки.

Поставленная цель диссертационной работы и сформулированные в соответствии с целью задачи создали предпосылки для получения новых научных результатов в области математического моделирования и приятия решений в системах тестирования знаний, а также проектирования интеллектуальных модулей принятия решений для систем электронно-тестовой аттестации.

Достоверность получаемых в диссертации результатов обосновывается корректными математическими оценками, подтверждается данными экспериментальных исследований с применением численного и программного эксперимента на основе разработанных моделей.

Научная новизна результатов диссертационной работы заключается в следующем:

1. Предложен метод оценки стохастических связей между показателями результатов тестирования знаний на основе регрессионного анализа, отличающийся от аналогов возможностью исследования не только уровня подготовленности тестируемых, но и качества тестовых материалов, применяемых для контроля, что позволяет повысить адекватность оценки знаний тестируемых (С. 88-103).

2. Разработан метод тестирования знаний с применением теории нечетких множеств, отличающийся алгоритмом организации тестирования, который позволяет выявить закономерности и взаимосвязи входных параметров процесса, а также результатов тестирования для эффективного исследования тестов с использованием базы знаний, формируемой экспертами (С. 105-116).

3. Предложен метод анализа результатов тестирования знаний в условиях неполноты исходной информации при помощи формализации параметров системы тестирования в виде лингвистических переменных, который отличается от известных статистических моделей оценок результатов тестирования дополнением моделью принятия решений на основе классификации нечетких ситуаций и моделью композиции нечетких правил вывода, что позволяет снизить степень информационной неопределенности и повысить объективность оценки результатов тестирования в условиях неполноты данных (С. 116-135).

Основные положения, выносимые на защиту:

1. Метод оценки стохастических связей между показателями результатов тестирования на основе регрессионного анализа, позволяющий исследовать не только знания тестируемых, но и качество тестовых материалов, применяемых для контроля знаний и повысить адекватность оценки знаний тестируемых

2. Метод тестирования знаний с применением теории нечетких множеств, позволяющий выявить закономерности и взаимосвязи входных параметров задачи тестирования и результатов тестирования, с целью эффективного исследования, проводимого с применением знаний экспертов.

3. Метод анализа результатов тестирования знаний в условиях неполноты исходной информации, отличающийся формализацией параметров системы тестирования в виде лингвистических переменных, а также применением модели принятия решений на основе классификации нечетких ситуаций и модели композиции нечетких правил вывода, дополняющих известные статистические модели оценок результатов тестирования, позволяющий не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования в условиях неполноты данных.

4. Алгоритм принятия решений при обработке результатов тестирования и оценки знаний в условиях неполноты данных (неопределенности), на основе которого разработано программное приложение на языке программирования С#, предназначенное для анализа результатов тестирования знаний обучающихся, позволяющее обеспечить достоверность результатов оценки качества знаний.

Практическая ценность результатов исследований определена их применимостью при профессиональном отборе и проверке подготовки кадров, в частности, в подведомственных организациях Министерства образования, на предприятиях, применяющих системы тестирования, в центрах занятости, с целью эффективного исследования знаний тестируемых, а также тестовых материалов, и для принятия решений в условиях неполноты исходной информации.

Диссертационная работа состоит из четырех разделов, заключения и приложения.

В первом разделе диссертации выполнен обзор существующих моделей и методов тестирования знаний, определены приоритетные направления исследовательских работ в данной области. Приведена краткая характеристика и анализ моделей. Сделан вывод, что разработка новых моделей принятия решений при проведении тестирования и моделей оценки качества самих тестов является актуальной задачей, требующей применения прикладного программного обеспечения, обеспечивающего не только диалог преподавателя с обучаемым, но и контроль учебной деятельности.

Выполнены обзор и исследования, связанные с разработкой системного подхода к решению задач тестовых заданий, в рамках которого в дальнейшем будет осуществляться разработка методов моделирования и принятия решений в системах тестирования знаний.

Рассмотрены задачи тестирования, как текстологии, независимо от её практических приложений - текстология педагогическая, психологическая или социологическая. Определены ключевые понятия тестологии. Основная задача тестирования в обучении связана с обеспечением достоверности результатов оценки качества знаний. Приведены факторы, влияющие на систему оценок, рассмотрена концепция формирования оценки качества образования, рассмотрены задачи системы управления качеством образования, соответствие системы управления качеством классическим пониманиям теории управления: измеримость, наблюдаемость, управляемость и адаптируемость.

Выполнены исследования задач выбора критерия качества обучения. Рассмотрены существующие критерии оценки тестовых заданий, в частности, диагностические состояния и проверки, метод оценки уровня знаний с использованием двоичных оценок, нечеткие критерии оценки знаний. Сделан вывод, что применение вероятностных методов диагностирования обладает субъективизмом и существенными погрешностями. Применяя лингвистические и нечеткие переменные, можно формализовать качественную информацию задания критериев оценки знаний в моделях принятия решений о степени соответствия испытуемого определенному уровню требований в условиях частичной неопределенности.

Рассмотрена задача тестирования знаний, как часть системы управления качеством и образовательной системы. Рассмотрены виды тестов и требования к тестированию, приведены базовые понятия традиционного теста. Предложена теоретико-множественная модель результатов тестирования, как отношение порядка, которое позволяет упорядочить испытуемых по заданному признаку.

Выполнено содержательное описание применения тестов для решения поставленных задач в системе образования. Приведен показатель трудности тестового задания, стандартизированные формы тестовых заданий. Рассмотрено применение тестов в задачах управления персоналом и сделан вывод, что тесты по своим видам и построению создаются по тем же принципам, как и в системе образования, поэтому в дальнейшем в диссертационных исследованиях основное внимание уделяется решению задач тестирования знаний в образовании.

Рассмотрены модели оценки результатов тестирования, направленные на идентификацию вектора конструктивных параметров состояний обучаемого или системы обучения. Рассмотрена технология оценки уровня обученности в целях аттестации образовательного учреждения профессионального образования, разработанная Центром государственной аккредитации, вероятностная модель оценивания при аттестационно-педагогических измерениях. Основу расчетов в данной модели составляет формула Бернулли. Сделан вывод, что сложность и неадекватность оценок может быть вызвана многими причинами, среди которых следует назвать неоднозначность в тестовых заданиях. Возможности теории нечетких множеств, введение понятия лингвистической и нечеткой переменной позволяют формализовать неоднозначность категорий. Приведен пример задания оценок в виде лингвистической и нечетких переменных. Рассмотрена модель нечеткого оценивания знаний.

Осуществлено обоснование предмета диссертационного исследования, как разработку и исследование методов моделирования и принятия решений в системах тестирования знаний с применением нечетких ситуационных моделей с учетом имеющихся аттестационных педагогических измерительных материалов, методов тестирования обучаемых. Исследования направлены на расширение известных методов тестирования знаний и дополнение их методами принятия решений с учетом знаний экспертов в условиях неопределенности.

Во втором разделе диссертации выполнен анализ критериев тестов, где они рассматривают как новые формы измерителей для оценки практической деятельности обучаемых, поэтому достоверность оценки напрямую связана с выбранными критериями. Выполнена формализация критериев и приведены требования к выборке количества задания.

Рассмотрена модель эвристического оценивания знаний с применением статистической информации, позволяющая оценивать знания в условиях неопределенности. Оценивания степени истинности вариантов ответов на тестовые задания осуществляется с применением экспертной шкалы, а распределения ответов по пятизначной шкале аппроксимируют стохастическими распределениями. Для реализации статистической модели оценивания знаний предложен укрупненный алгоритм статистического оценивания знаний.

Рассмотрена для исследования тестирования линейная модель наблюдений, в которой тестирование отождествлено с подачей на вход «черного ящика» вектора входных воздействий, где на выходе можно получить вектор выходных параметров. В результате формально определена задача научно-исследовательского характера, относящаяся к задачам планирования эксперимента.

Рассмотрена модель нечеткого оценивания знаний с применением эталонных экспертных оценок. При проведении тестирования степень суммарной истинности ответов обучаемого на все вопросы теста оценивается путем подсчета результирующей функции принадлежности всего теста.

Разработана модель тестирования на основе стохастического регрессионного анализа, позволяющая исследовать одновременно две, три и большее число величин результатов тестирования. При исследовании оценивается стохастическая связь одного показателя с другим показателем в виде условного закона распределения первого показателя при фиксированных значениях второго показателя. Данная модель позволяет исследовать, как сами тестовые материалы, так и систему обучения.

В третьем разделе диссертации разработана методика проектирования системы тестирования, позволяющая определить систему тестирования, организовать процесс принятия решений на основе знаний специалистов с применением выбранных методов моделирования, и предусмотреть смену этих методов по мере глубины оценки результатов тестирования, что соответствует известным методикам системного анализа. Приведена последовательность этапов методики проектирования системы тестирования знаний, включающих обоснование актуальности разработки, формулирование цели, выбор критериев оценки функционирования, структуру системы, формализацию параметров системы тестирования, модели оценки результатов тестирования.

Так как невозможно создать строго формализованный подход к разработке тестов и обработки результатов тестирования из-за значительного количества эвристических приемов, то предложен подход к формализации параметров системы тестирования в условиях неполноты данных с применением вербальных параметров, позволяющий применять модели нечеткого логического вывода. Рассмотрены прямые и косвенные методы построения функций принадлежности нечетких переменных.

Так как формализация параметров задач тестирования может осуществляться с применением нечетких мер теории возможностей, то уделено внимание заданию параметров задач тестирования с применением нечетких интервалов, обобщающих четкие понятия.

Разработана модель принятия решений на основе классификации нечетких ситуаций, как дополнение к известным статистическим моделям для задач тестирования знаний. В модели принятия решений с нечеткими параметрами эксперты на базовых множествах определяют множество входных лингвистических переменных, задаются степени принадлежности значений нечетких переменных базовым множествам, а также правила принятия решений. Эксперты заполняют таблицу соответствия «ситуация - действие». В итоге в модели принятия решений на основе классификации нечетких ситуаций задаются классы кортежей нечетких переменных, соответствующие конкретным решениям.

Разработана модель композиции нечетких правил вывода, применение которой, как дополнение известных моделей оценок результатов тестирования позволит не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования.

Рассмотрен пример задания входных лингвистических переменных, их терм-множеств на выбранных базовых множествах, лингвистической переменной «результат тестирования» и соответствующих функций принадлежности нечетких переменных.

Разработанные и исследованные модели принятия решений на основе классификации нечетких ситуаций и композиции нечетких правил вывода соответствуют методике проектирования системы тестирования, так как достаточно просто алгоритмизируются, что позволяет создавать прикладные программные приложения задач тестирования знаний. Проведение пробного тестирования и анализ полученных результатов всегда позволит устранить недостатки информационного обеспечения и определить пути дальнейшего развития системы тестирования знаний.

В четвертом разделе диссертации разработано программное приложение на языке программирования высокого уровня С# в среде программирования Microsoft Visual Studio. NET 2008, предназначенное для анализа результатов тестирования знаний обучающихся. Данное программное приложение позволяет обеспечить достоверность результатов оценки качества знаний.

В данном разделе проведены исследования системы тестирования знаний с помощью разработанного и статистического методов. Основной оценкой качества результатов является полная оценка тестирования с учетом информационной неопределенности.

По результатам исследования при отсутствии информационной неопределенности, заключающейся в добавлении факторов, учитывать которые невозможно с применением статистического метода, видно, что предложенный метод (на основе нечеткой логики) работает и выдает оценку, совпадающую с результатами статистического метода.

При добавлении факторов информационной неопределенности статистический метод не справился с заданными входными параметрами, а нечеткий метод оценки тестирования знаний при этом учитывает заданную неопределенность и выдает более достоверный результат.

Заключение содержит выводы о работе.

Результаты работы внедрены:

- в службе обеспечения качества образования (ОКО) ТТИ ЮФУ;

- при выполнении научно-исследовательской работы «Разработка и исследование методов моделирования и синтеза многокритериальных адаптивных систем управления в условиях неполноты данных с применением средств формализации экспертных знаний и современных информационных технологий»;

- в учебном процессе на кафедре систем автоматического управления факультета автоматики и вычислительной техники ФГАОУ ВПО «Южный федеральный университет».

Научные и практические результаты, полученные в диссертации и изложенные в статьях, использованы при подготовке и чтении лекций по дисциплинам «Анализ и синтез систем управления», «Математическое моделирование объектов и процессов управления», «Моделирование систем», «Планирование эксперимента и обработка экспериментальных данных», «Программирование и основы алгоритмизации», «Структуры и алгоритмы обработки данных», постановке лабораторных работ на кафедре систем автоматического управления факультета автоматики и вычислительной техники ФГАОУ ВПО «Южный федеральный университет».

Основные результаты докладывались и обсуждались на следующих конференциях:

- международной научной конференции «Проблемы развития естественных, технических и социальных систем», Таганрог: ТТИ ЮФУ, 2007;

- международная научная конференция «Проектирование новой реальности» (ПНР-2007), Таганрог: ТТИ ЮФУ, 2007;

- международном семинаре студентов, аспирантов и ученых «Системный анализ, обработка информации и управление», Ростов-на-Дону: ДГТУ, 2007;

- международной научной конференции «Информация, сигналы, системы: вопросы методологии, анализа и синтеза», Таганрог: ТТИ ЮФУ, 2008;

- 6-й всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь XXI века - будущее российской науки», Ростов-на-Дону: ЮФУ, 2008;

- IX Всероссийской научной конференции «Техническая кибернетика, радиоэлектроника и системы управления», Таганрог: ТТИ ЮФУ, 2008;

-международной научной конференции «Инновации в обществе, технике и культуре», Таганрог: ТТИ ЮФУ, 2008;

- международной научной конференции «Системы и модели в информационном мире (СМИ-2009)», Таганрог: ТТИ ЮФУ, 2009;

- 1У-й, УП-й, Всероссийской конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление», Таганрог: ТТИ ЮФУ, 2006, 2009;

-международной научной конференции «Методы и алгоритмы принятия эффективных решений», (МАПР-2009), Таганрог: ТТИ ЮФУ, 2009;

- VI ежегодной научной конференции студентов и аспирантов базовых кафедр ЮНЦ РАН, Ростов-на-Дону: ЮНЦ РАН, 2010;

- международной научной конференции «Информационное общество: идеи, технологии, системы», Таганрог: ТТИ ЮФУ, 2010;

- Всероссийской молодежной научной конференции «Мавлютовские чтения», Уфа: УГАТУ, 2010, 2011;

- международной научной конференции «Современные исследовательские и образовательные технологии», Таганрог: ТТИ ЮФУ, 2010;

- Всероссийской научной конференции «Перспективы развития гуманитарных и технических систем», Таганрог: ТТИ ЮФУ, 2011;

- 1-м, 2-м Международном семинаре студентов, аспирантов и ученых

Системный анализ, управление и обработка информации», Ростов-на-Дону: ДГТУ, 2010, 2011;

- Международный молодежный конкурс «Студент и научно-технический прогресс», Таганрог: ТТИ ЮФУ, 2012.

По теме диссертации опубликованы 8 статей, среди которых 4 включены в перечень изданий, рекомендованных ВАК, 16 тезисов докладов в открытой печати.

Все результаты, представленные в диссертационной работе, получены автором лично. В совместных научных публикациях имеет место неделимое соавторство.

Диссертационная работа содержит 185 страниц машинописного текста, включая введение, четыре раздела, заключение, список литературы из 141-го наименования, 81 рисунок, 15 таблиц, а также приложение на 14-ти страницах.

Заключение диссертации по теме «Теоретические основы информатики», Шестова, Елена Александровна

4.5. Выводы

Основным результатом данного раздела диссертации является разработка и апробация проблемно-ориентированного программного приложения, предназначенного для анализа результатов тестирования знаний обучающихся. Данное программное приложение позволяет обеспечить достоверность результатов оценки качества знаний. Таким образом, применение модели композиции нечетких правил вывода и модели классификации нечетких ситуаций, позволяет не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования в условиях неполноты данных.

В данном разделе проведены исследования системы тестирования знаний с помощью разработанного и статистического методов. Основной оценкой качества результатов является полная оценка тестирования с учетом информационной неопределенности.

По результатам исследования при отсутствии информационной неопределенности, заключающейся в добавлении факторов, учитывать которые невозможно с применением статистического метода, видно, что предложенный метод (на основе нечеткой логики) работает и выдает оценку, совпадающую с результатами статистического метода.

При добавлении факторов информационной неопределенности статистический метод не справился с заданными входными параметрами, а нечеткий метод оценки тестирования знаний при этом учитывает заданную неопределенность и выдает более достоверный результат.

ЗАКЛЮЧЕНИЕ

В диссертационной работе выполнен анализ моделей и методов решения задач тестирования знаний, определены приоритетные направления исследовательских работ в данной области. Сделан вывод, что разработка новых моделей принятия решений при проведении тестирования и моделей оценки качества самих тестов является актуальной задачей, требующей применения прикладного программного обеспечения, обеспечивающего не только диалог преподавателя с обучаемым, но и контроль учебной деятельности.

Тема диссертации актуальна и значима, так как многие процессы образовательной среды трудноформализуемые в рамках традиционных подходов. Подход к формализованному представлению исходной информации является комбинацией элементов двух теорий: теории нечетких множеств и математической статистики. Данный подход позволяет учитывать случайность и неопределенность одновременно, что играет существенную роль при учете человеческого фактора и его активном влиянии на процессы управления.

Предложен метод оценки стохастических связей между показателями результатов тестирования знаний на основе регрессионного анализа, позволяющий исследовать не только уровень подготовленности тестируемых, но и качество тестовых материалов, применяемых для контроля, и позволяющий повысить адекватность оценки знаний тестируемых (С. 88-103).

Разработан метод тестирования знаний с применением теории нечетких множеств, включающий алгоритм организации тестирования, для выявления закономерности и взаимосвязи входных параметров процесса, а также результатов тестирования с целью эффективного исследования тестов с использованием базы знаний, формируемой экспертами (С. 105-116).

Предложен метод анализа результатов тестирования знаний в условиях неполноты исходной информации при помощи формализации параметров системы тестирования в виде лингвистических переменных, включающий помимо известных статистических моделей оценок результатов тестирования модель принятия решений на основе классификации нечетких ситуаций и модель композиции нечетких правил вывода, с целью понижения степени информационной неопределенности и повышения объективности оценки результатов тестирования в условиях неполноты данных (С. 116-135).

Синтезирован алгоритм принятия решений при обработке результатов тестирования и оценки знаний в условиях неполноты данных (неопределенности), на основе которого разработано программное приложение на языке программирования С# в среде программирования Microsoft Visual Studio. NET 2008, предназначенное для анализа результатов тестирования знаний с целью достоверности результатов оценки качества знаний (С. 138154).

Практическая ценность работы подтверждается внедрением полученных результатов:

1. В службе обеспечения качества образования (ОКО) ТТИ ЮФУ.

2. При выполнении научно-исследовательской работы «Разработка и исследование методов моделирования и синтеза многокритериальных адаптивных систем управления в условиях неполноты данных с применением средств формализации экспертных знаний и современных информационных технологий».

3. В учебный процесс кафедры систем автоматического управления факультета автоматики и вычислительной техники ФГАОУ ВПО «Южный федеральный университет».

Список литературы диссертационного исследования кандидат технических наук Шестова, Елена Александровна, 2012 год

1. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Учебное пособие. М: Исслед. центр проблем качества подготовки специалистов, 1995. -, 32 с.

2. Гуськова Н., Макаркин Н., Салимова Т. Мониторинг качества образования. // СТК, №5. 2000 г. С. 86-87.

3. Евсигнеев А.Е. Концепция развития тестовой технологии контроля уровня обученности студентов в системе профессионального образования России. Самара 2000 (xpt.narod.ru/files/html/xpt/materials/kontseptsiya.htm).

4. Каракозов С.Д., Головишников К.В. Информационно-математические модели тестирования и интерпретация результатов единого государственного экзамена. Барнаул: Издательство БГПУ, 2005. - 72 с.

5. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического процесса.// Информационные технологии. 2003. №9. С.46-51.

6. Седегов P.C., Кабушкин Н.И., Кривцов В.Н. Управление персоналом: Сотрудники как фактор успеха предприятия. Кн.4. Минск: Изд-во БГЭУ, 1997.- 178 с.

7. Маничев С.А. Методы диагностики профессионально важных качеств менеджеров//Психология менеджмента/Под ред. Г.С. Никифорова. СПб.: Изд-во СПбГУ, 2000. - С. 243 - 280.

8. Шикун А.Ф., Филинова И.М. Управленческая психология: Учебное пособие. М.: Аспект Пресс, 2002. -332 с.

9. Финаев В.И., Шестова Е.А. Применение методов тестирования для оценки знаний обучаемых//Сб. тезисов докладов международной научной конференции «Информация, сигналы, системы: вопросы методологии, анализа и синтеза». 4.1. Таганрог: Изд-во ТТИ ЮФУ, 2008.

10. Новая газета, № 130 от 23.11.09. С 17.

11. Новая газета, № 80 от 04.12.08. С. 13.

12. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

13. Zaden L.A. Fuxxy sets, Information end Control, 8, P. 338 353, 1965.

14. Saaty T.L. Measuring the fuzziness of sets//Journal of Cybernetics. 1974. - V.4.-P.149-194.

15. Zimmermann H.-J. Fuzzy Sets Theory and its applications. -Boston/Dordrecht/London: Kluwer Academic Publishers, 1996. 435 p.

16. Нечеткие множества и теория возможностей. Последние достижения / Под ред. Р.Ягера.-М.: Радио и связь, 1986. 408 с.

17. Дюбуа Д., Прад. А. Теория возможностей: Пер. с французского В.Б.Тарасова /Под редакцией С.А.Орловского. М.: Радио и Связь, 1990. -288 с.

18. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. Тюмень: Издательство Тюменского государственного университета, 2000. - 352 с.

19. Берштейн JI.C., Боженюк А.В. Нечеткие модели принятия решений: дедукция, индукция, аналогия. Монография. Таганрог: Изд-во ТРТУ, 2001. -110 с.

20. Мелихов А.Н., Баронец В.Д. Проектирование микропроцессорных устройств обработки нечеткой информации. Ростов-на-Дону.: Изд-во Ростовского университета. 1990. - 128 с.

21. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. Ростов-на-Дону: Изд-во Ростовского университета, 1999, 278 с.

22. Берштейн Л.С., Финаев В.И. Адаптивное управление с нечеткими стратегиями. Ростов н/Д.: Изд-во Рост, ун-та, 1993. - 134 с.

23. Борисов А.Н., Алексеев А.В., Крумберг О.А. и др. Модели принятиярешений на основе лингвистической переменной. Рига, Зинатне, 1982. - 256 с.

24. Мелихов А.Н., Берштейн Л.С., Коровин С .Я. Ситуационные советующие системы с нечеткой логикой. М.: Наука. Гл. ред. физ.-мат.лит.,1990. - 272 с.

25. Поспелов Д.А. Ситуационное управление: теория и практика, М.: Наука. Гл. ред. физ.-мат. лит., 1988. - 288 с.

26. Финаев В.И. Модели систем принятия решений: Учебное пособие. -Таганрог: Изд-во ТРТУ, 2005. 118 с.

27. Pedrycz W. Fuzzy control and fuzzy system. 2-nd edition/ N.Y. John Wiley and Sons, 1992. - 350 p.

28. Шестова E.A., Борцов Д.Г. Исследование и разработка моделей и методов принятия решений в задачах тестирования знаний//Труды Международной молодежной научной конференции «XVI Туполевские чтения». Казань: Изд-во КГТУ им. А.Н.Туполева, 2008.

29. Волкова В.Н., Денисов A.A. Основы теории систем и системного анализа. Д.: Издательство СПбГТУ, 1997. - 510 с.

30. Lihtsinder В., Ivanova I. Estimation of knowledge quality on a basis of probability monitoring and diagnosing methods // 10 IMECO TC7 International Symposium, June 30—July 2. 2004, Saint-Petersburg.

31. Анастази А. Психологическое тестирование. T.l. M.: Педагогика,1982.

32. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения: Учеб. пособие для студ. высш. учеб. заведений. 2-е изд., стер. - М.: Издательский центр «Академия», 2008. - 224 с.

33. Рыжова Н.И. Методическая теория: уточнение понятий. /Проблемы и перспективы развития методики обучения математике. Сб. науч. работ. Под ред. В.В. Орлова. СПб: Изд-во РГПУ им. А.И. Герцена, 1999. С. 3-9.

34. Аванесов B.C. Теория и методика педагогических измерений. М. Адепт, 2007.

35. Силкова М.А. Тестовая технология как средство педагогического контроля. Тверь: Изд-воТвГУ, 2001.

36. Справочник по теории автоматического управления/Под ред. A.A. Крассовского. М.: Наука, Гл. ред. физ.-мат. лит, 1987. - 712 с.

37. Красовский A.A. и др. Современная прикладная теория управления: Оптимизационный подход в теории управления/Под ред. А.А.Колесникова. -Таганрог: Изд-во ТРТУ, 2000. 4.1. 400 с.

38. Красовский A.A. Условие наблюдаемости нелинейных процессов// ДАН СССР. 1978. - Т. 242, № 6. - С. 1265 - 1268.

39. Воронов A.A. Устойчивость, управляемость, наблюдаемость.— М.: Наука, 1979.

40. Косухин В., Логинова Г, Логинова И. Роль и место тестирования в деятельности вуза // Высшее образование в России. 2008. №1. С.94-97.

41. Брунер Дж. Процесс обучения. М.: 1962. - С. 15.

42. Вентцель Е.С. Теория вероятностей. М.: Наука, 1969.

43. Смирнов Б.Я., Дунин-Барковский И.В. Краткий курс математической статистики для технических приложений. М: Физматгиз, 1959.

44. Лихтциндер Б.Я, Иванов Л.Б. Контроль качества знаний на основе вероятностных критериев оценки. Информационные технологии, №2, 2006.

45. Lihtsinder В., Ivanova I. Estimation of knowledge quality on a basis of probability monitoring and diagnosing methods//10 IMECO TC7 International Symposium, June 30—July 2. 2004, Saint-Petersburg.

46. Лихтциндер Б. Я. Оценка знаний с применением вероятностных методов диагностирования // Сб. трудов "Информатика, Радиотехника, Связь".1. Вып. № 4. Самара, 1999.

47. Гнеденко Б.Г., Колмогоров А.Н. Предельные распределения для сумм независимых случайных величин. М. - Л.: Гостехиздат, 1949.

48. Воройский Ф.С. Информатика. Новый систематизированный толковый словарь-справочник. 3-е изд. М.: Физматлит, 2003. - 760с.

49. Сырецкий Г.А. Информатика. Фундаментальный курс. Т. 2, 2007.

50. Мелихов А.Н., Берштейн Л.С. Конечные четкие и расплывчатые множества. Часть II. Расплывчатые множества. Таганрог: ТРТИ, 1981. - 90 с.

51. Нечеткие множества в моделях управления и искусственного интеллекта/А.Н. Аверкин, И.З. Батыршин, А.Ф. Блиншун, Б.В. Силаев, Б.Н. Тарасов. М.: Наука, 1986. - 312 с.

52. Заде Л. Понятие лингвистических переменных и его применение к принятию приближенных решений. М.: Мир, 1976. - 165 с.

53. Шестова Е.А. Обработка информации и принятие решений в системах тестирования знаний// Межвузовский сборник научных работ «Системный анализ, обработка информации и управление». Вып. 1. Ростов-Дон: Изд-во ДГТУ, 2007. С. 343 - 347.

54. Борисов А.Н., Алексеев A.B., Меркурьева Г.В., Слядзь H.H., Глушков В.И. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь, 1989.

55. Месарович М., Такахара И. Общая теория систем: математические основы. М.: Мир, 1978. - 311 с.

56. Уемов А.И. Системный подход и общая теория систем. М.: Мысль, 1978.- 272 с.

57. Черняк Ю.И. Системный анализ в управлении экономикой. М.: Экономика, 1975. - 191 с.

58. Садовский В.Н. Основания общей теории систем: Логико-методологический анализ. М.: Наука, 1974. - 279 с.

59. Bertalanfy L. von. General System Theory a Critical Review// General

60. System, vol. YII, 1962, p. 1-20.

61. Багаутдинова H., Новиков Д. Управление качеством образования. // Стандарты и качество, №9, 2002 г. С.68 - 73.

62. Управление качеством образования. Под ред. М.М. Поташника. М.: Педагогическое общество России, 2000. - С. 404-405

63. Бурбаки Н. Теория множеств. М.: Мир, 1965. - 455с.

64. Мелихов А.Н., Берштейн JI.C. Конечные четкие и расплывчатые множества. Часть I. Четкие множества. Таганрог: ТРТИ, 1980. - 101с.

65. Tatsuoka, К.К. Item construction and psychometric models appropriate for constructed response. Prinston, N-J, 1993. 56 pp.

66. Frederiksen, N., Mislevy R.J., Bejar I. J. (Eds). Test theory for a new generation of tests. Lawrence Erlbaum Ass. Publ, Hillsdale, N-J, 1993. 404 pp.

67. Wright, B. S., Masters, G.N. Rating Scale Analysis: Rasch Measurement. Chicago, MESA Press, 1982. 206 pp.

68. Тестовые задания / Под ред. Н.А. Селезневой, В.П. Беспалько. М.: Гуманит. изд. центр ВЛАДОС, 1999. - 128 с.

69. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright. The Univ. of Chicago Press. -Chicago & London, 1980. 199 pp.

70. Ямбург E.A. Школа для всех. Адаптивная модель. Теоретические основы и практическая реализация. М.: Новая школа, 1997. - 352 с.

71. Hlively W. (Ed). Domain Referenced Testing. Educational Technology Publications. Englewood Cliffs. N-J, 1974.

72. Васильев В.И., Тягунова ТЛ. Основы культуры адаптивного тестирования. М.: Изд-во ИКАР, 2003.

73. Васильев В.И., Красильников В.В., Плаксий С.И., Тягунова Т.Н. Оценка качества деятельности образовательного учреждения. М.: Изд-во ИКАР, 2005.-320 с.

74. Шикун А. Ф., Филинова И. М. Управленческая психология: Учебноепособие. М.: Аспект Пресс, 2002. - 331 с.

75. Бусленко Н.П. Моделирование систем. М.: Наука, 1978.

76. Свидерский В.М. Диалектика и логика научного познания. Элементы и структура как категория диалектики. М.: Наука, 1966. - 320 с.

77. Каллан Р. Основные концепции нейронных сетей. М.: Вильяме, 2001.

78. Хайкнн С. Нейронные сети: полный курс. М.: Вильяме, 2006.

79. Савельев Б.А., Масленников A.C. Оценка уровня обученности в целях аттестации образовательного учреждения профессионального образования: Учеб. пособие. Йошкар-Ола: Центр государственной аккредитации, 2004. -84 с.

80. Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. Формирование педагогических испытательных материалов для диагностики качества подготовки//Научные проблемы тестового контроля знаний. -М.: Изд-воМПГУ, 1994.-С. 53 55.

81. Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. О компьютерной технологии оценки качества знаний//Высшее образование в России.-М.: Изд-во МПГУ, 1993. №3. С. 146 - 153.

82. Крамер Г. Математические методы статистики. М.: Мир, 1975.

83. Рудинский И.Д. Принципы интеллектуального автоматизированного тестирования знаний//Сб. докладов XI Международной конференции-выставки «Информационные технологии в образовании». Ч. V. М.: 2001. - С.56-58.

84. Аванесов B.C. Композиция тестовых заданий. М.: Адепт, 1998.217с.

85. Рутковская Д., Пнлнньскнн М., Рутковскнн Л. Нейронные сети,генетические алгоритмы и нечеткие системы. М.: Горячая линия — Телеком, 2003.

86. Тихомиров В.А, Карпов И.А., Тихомирова Е.В. Системный подход к интеграции информационных ресурсов в концепцию математического моделирования // Программные продукты и системы, №1, 2008. С. 57-61.

87. Серков JI.A. Синергетическое моделирование образовательных процессов. Информационные технологии, №1, 2008. С. 71-85.

88. Черняховская JI.P., Герасимова И.Б., Нугаева К. Р. Поддержка принятия решения по управлению качеством образовательного процесса на основе хранилища знаний университета. Информационные технологии, №1, 2008.

89. Воробейчикова О.В. Технология построения структуры усвоения учебного материала по результатам тестирования. Информационные технологии, №2, 2009.

90. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования // Информационные технологии, №9, 2003. С. 46-51.

91. Рудинский И.Д., Клеандрова И.А. Математические основы педагогического тестирования знаний. Ч. 1. Модели нечеткого оценивания знаний и количественного оценивания степени объективности тестирования. Калининград, 2003. 70 с.

92. Рудинский И.Д., Грушецкий C.B. Статистические методы вывода оценки результатов автоматизированного тестирования // Международный конгресс конференций "ИТО-2003". Сб. тр. Ч. V. М.: 2003. С. 325-326.

93. Рудинский И.Д., Грушецкий C.B. Применение средствматематической статистики для вывода итоговой оценки за тест / Сб. Тр. III МНМК "Дистанционное обучение образовательная среда XXI века", Минск, 2003.

94. Рудинский И.Д., Грушецкий C.B. Модель статистического оценивания знаний. Информационные технологии, №12, 2004.

95. Рудинский И.Д. Теоретические основы формально-структурного описания процесса педагогического оценивания знаний // Сб. докладов XII Международной конференции-выставки «Информационные технологии в образовании». М.: 2002.

96. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения: учеб. пособие для студ. высш. учеб. заведений. 2-е изд., стер. - М.: Издательский центр «Академия», 2008. - 224 с.

97. Сборник аналитических материалов по итогам участия образовательных учреждений Ростовской области в эксперименте по введению ЕГЭ в 2004г. Р-на-Д, 2004 г. Стр.58.

98. Шестова Е.А. Задачи тестирования знаний в системе образования/ЛГруды Международной научной конференции «Информационное общество: идеи, технологии, системы», Часть 1. Таганрог: Изд-во ТТИ ЮФУ, 2009.-С. 70-71.

99. Финаев В.И., Шестова Е.А. Информационные технологии в образовании//Материалы IV Всероссийской научной конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление». Таганрог: ТРТУ, 2006.

100. Шестова Е.А. Тестовые технологии в образовании//Труды Международной научной конференции «Инновации в обществе, технике и культуре»: Тезисы докладов. 4.1 Таганрог: Изд-во ТТИ ЮФУ, 2008. - С. 78-79.

101. Финаев В.И., Шестова Е.А. Статистические методы оценки результатов тестирования//Наука и образование на рубеже тысячелетий: сборник научно-исследовательских работ. Вып.2. , Ч. 1. М.: «Учлитвуз»,2009.1. С. 127- 135.

102. Магнус Я.Р., Катышев П.К., Пересецкий A.A. Эконометрика. Начальный курс: Учебник. 7-е изд. - М.: Дело, 2005. - 504 с.

103. Асатурян В.И. Теория планирования эксперимента. М.: Радио и связь, 1983.

104. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.: Наука, 1971.

105. Горский В.Г., Адлер Ю.П. Планирование промышленных экспериментов. — М.: Металлургия. 1974.

106. Финаев В.И. Моделирование при проектировании информационно-управляющих систем: Учебное пособие. Таганрог: Изд-во ТРТУ, 2002. 118с.

107. Шестова Е.А. Статистическая обработка при тестировании. Проблема выборки//Труды Международной научной конференции «Системы и модели в информационном мире», (СМИ-2009), Часть 3. Таганрог: Изд-во ТТИ ЮФУ, 2009. - С. 98-99.

108. Шестова Е.А. Разработка методов тестирования потребителей электроэнергии//Известия ЮФУ. Технические науки. Тематический выпуск. «Актуальные проблемы производства и потребления электроэнергии». -Таганрог: Изд-во ТТИ ЮФУ, 2008. № 7 (84). С. 154-159.

109. Шестова Е.А. Тестирование, как результат оценивания проекта //Материалы Международной научной конференции «Проектирование новой реальности» (ПНР-2007). Ч. 1. Таганрог: Изд-воТТИЮФУ,2007.- С. 49 - 50.

110. Куликовская Н.А., Шестова Е.А. О качестве систем автоматического управления//У1 Ежегодная научная конференция студентов и аспирантов базовых кафедр Южного научного центра РАН: Тезисы докладов. Ростов-на-Дону: Изд-во ЮНЦ РАН, 2010. - С. 150 - 153.

111. Оптнер С. Системный анализ для решения деловых и промышленных проблем. М.: Сов. радио, 1969. - 216 с.

112. Квейд Э. Анализ сложных систем. М.: Сов. радио, 1969. - 520 с.

113. Янг С. Системное управление организацией. М.: Сов. радио, 1972. -455 с.

114. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решения на основе нечетких моделей: примеры использования. Рига: «Знание», 1990. -184 с.

115. Калмыков С.А., Шокин Ю.И., Юлдашев З.Х. Методы интервального анализа. Новосибирск: Издательство «Наука», сибирское отделение, 1986.

116. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. М.: Радио и связь, 1990.

117. Iancu U. Propagation of uncertain and imprecision in knowledge-basedsystems//Fuzzy Sets and Systems, №94, 1998. P. 29-43.

118. Sugeno M. Theory of Fuzzy Integral and Its Application. Ph. D. Thesis, Tokyo Inst. Of Technology, Japan, 1974.

119. Prigmore C. 30 Hour Basic.National Extension College NEC., 1981.

120. Малышев Н.Г., Берштейн Л.С., Боженюк A.B. Нечеткие модели для экспертных систем в САПР. М.: Энегроатом издат, 1991 - 136 с.

121. Берштейн Л.С., Боженюк A.B. Нечеткий логический вывод на основе определения истинности нечеткого правила modus ponens // Методы и системы принятия решений. Системы, основанные на знаниях. Рига: РПИ, 1989. С. 7480.

122. Шестова Е.А. Разработка программного приложения для обработки результатов тестирования знаний // Мавлютовские чтения: Всероссийская молодежная научная конференция: сб. тр. в 5 т. Том 3 / Уфимск. гос. авиац. техн. ун-т.-Уфа: УГАТУ, 2011. С. 140-141.

123. Пушнин A.B. Разработка аналитико-эвристических системных методов синтеза структур и управления потокораспределением в сетях связи. Диссертация на соискание ученой степени кандидата технических наук. -Таганрог: Библиотека ТРТУ, 2000.

124. Липко Ю.Ю. Разработка и исследование моделей принятия решений и систем искусственного интеллекта для кредитных организаций. Диссертация на соискание ученой степени кандидата технических наук. Таганрог: Библиотека ТРТУ, 2003.

125. Севостьяненко В.В. Исследование распределительных задач методами искусственного интеллекта на примерах найма работников предприятий. Диссертация на соискание ученой степени кандидататехнических наук. Таганрог: Библиотека ТРТУ, 2005.

126. Сизова И.И. Разработка методов ситуационного управления при решении задач о назначениях. Диссертация на соискание ученой степени кандидата технических наук. Таганрог: Библиотека ТРТУ, 2006.

127. ШестоваЕ.А. Использование моделей с нечеткими исходными данными в задачах тестирования знаний // Труды Всероссийской молодежной научной конференции «Мавлютовские чтения». Уфа: Изд-во УГАТУ, 2010. -С. 153-154.

128. ШестоваЕ.А. Анализ количественных и качественных критериев тестовых заданий // Труды Международной научной конференции «Современные исследовательские и образовательные технологии», Часть 1. -Таганрог: Изд-во ТТИ ЮФУ, 2010. С. 55-54.

129. Шестова Е.А. Применение технологии тестирования для анализа качества образования // Труды Всероссийской научной конференции «Перспективы развития гуманитарных и технических систем», Часть 1. -Таганрог: Изд-во ТТИ ЮФУ, 2011. С. 59-60.

130. ШестоваЕ.А. Организация процесса принятия решений при анализе результатов тестирования знаний // Студент и научно-технический прогресс. Сборник научных работ финалистов международного молодежного конкурса. -Ростов н/Д: Изд-во ЮФУ, 2012.-С. 251-255.