Нейросетевые алгоритмы компьютерного контроля знаний: разработка и исследование тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Титов, Алексей Михайлович

• Титов, Алексей Михайлович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Титов, Алексей Михайлович

Введение.

Глава 1.Обзор Современных алгоритмов компьютерного контроля знаний.

1.1 .Функции контроля знаний.:.

1.2.Алгоритмы контроля знаний.

1,2.1 .Метод дерева событий.

1.2.2.Предметно - критериальная методика составления тестов.

1.2.3.Метод определения количества образовательной информации.

1.2.4.Информационно-генетические алгоритмы.

1.2.5. Модель Раша.

1.2.6.Абсолютная временная шкала измерения знаний.

1.2.7.Методика статистического анализа качества обучения.

1.2.8.Модель адаптивного тестового контроля.

1.2.9.Нейросетевая технология контроля знаний.

1.2.10.Обучение нейронной сети.

1.3.Практическое применение компьютерного контроля знаний.

1.3.1.Российский опыт применения систем компьютерного обучения.

1.3.2.3арубежный опыт.

1 АКраткий обзор существующих систем компьютерного обучения.

1.4.1.Системы с открытым исходным кодом.

1.4.2.Коммерческие системы.

1.4.3.Отечественные разработки.

1.4.4.Системы тестирования и оценки знаний.

1.4.5.Универсальные авторские среды.

1.4.6.Сетевые авторские инструментальные средства.

1.5.Краткие выводы по главе 1.

Глава 2.Методы повышения надежности нейросетевого алгоритма компьютерного контроля знаний.

2.1 .Использование генетических алгоритмов для генерации обучающей последовательности и оптимизации топологии нейронной сети, предназначенной для компьютерного контроля знаний.

2.1.1 .Представление данных для генетического алгоритма.

2.1 ^.Инициализация генетического алгоритма.

2.1.3.Методы отбора особей в генетических алгоритмах.

2.1.4.Методы создания новых особей в генетических алгоритмах.

2.1.5.Функция приспособленности в генетических алгоритмах.

2.1.6.Условия завершения работы генетического алгоритма.

2.1.7.Параллельная обработка данных в генетических алгоритмах.

2.1.8.Модификации генетического алгоритма.

2.1.9.Пути повышения эффективности работы генетического алгоритма.

2.1 ЛО.Математические методы, сходные с генетическими алгоритмами.

2.1.11 .Эволюционные алгоритмы в нейронных сетях.

2.1.12.Генетический алгоритм формировании обучающей последовательности для нейронной сети.

2.2.Алгоритм генерации объяснения результатов работы нейронной сети при помощи показателей контекстной важности и утилитарности.

2.3.Краткие выводы по главе 2.

Глава 3.Программная реализация системы анализа и синтеза стандартизированных и нейросетевых алгоритмов компьютерного контроля знаний.

3.1.Используемые программные средства и технологии.

3.1.1 .Язык программирования Java.

3.1.2.Технология Enterprise JavaBeans.

3.1.3.Библиотека реализации нейронных сетей JOONE.

3.1.4.Библиотека реализации генетических алгоритмов JGAP.

3.2.Принципы функционирования системы «ДИАНИС».

3.3.Основные экранные формы и подсистемы.

3.4.Система управления тестированием.

3.4.1.Создание систем оценок.

3.4.2.Создание курсов.

3.4.3.Создание тем.

3.4.4.Создание тестов.

3.4.5.Система тестирования.

3.5.Использование системы управления тестированием.

3.5.1.Создание теста.

3.5.2.Управление данными об обучаемых.

3.6.Прохождение тестирования.

3.7.Краткие выводы по главе 3.

Глава 4,Экспериментальные данные.

4.1 .Общие сведения о проведённом эксперименте.

4.2.Оптимизация топологии нейронной сети.

4.3.Результаты компьютерного контроля знаний.

4.4.Сравнение эффективности стандартизированного и нейросетевого алгоритмов.

4.5.Краткие выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Нейросетевые алгоритмы компьютерного контроля знаний: разработка и исследование»

Среди разнообразных отношений «человек-человек» можно выделить группу отношений, в которых один человек оценивает латентные свойства другого. К отношениям этого типа относятся, в частности, педагогические и производственные отношения.

Сходные задачи возникают:

• при моделировании процесса принятия решения о качестве подготовки обучаемых в школах и в вузах;

• при моделировании процесса принятия решения о характере личности и результатах деятельности работника; при сопоставлении заданий исполнителям на предприятиях. Они состоят в оценке латентных свойств или качеств одного человека (обучаемого, пользователя, кандидата, работника) другим (педагогом, экспертом, работодателем). Различия состоят в пространстве входных и выходных признаков и шкалах измерения.

Так, при моделировании производственных отношений входными признаками являются качество выполненных заданий или поведение па работе, а при моделировании педагогических отношений — ответы обучаемого на вопросы и решения задач.

Общность различных типов оценки одного человека другим в рамках отношения «человек-человек» позволила рассмотреть их единое математическое описание как процессов обработки информации на примере сертификации качества подготовки специалистов. Впервые такое математическое описание было дано в работах [29, 30, 31] и позднее нашло отражение в работах [42, 43, 44, 45] а также работах других авторов.

В настоящее время большое число организаций (как коммерческих фирм, так и государственных образовательных учреждений) разрабатывают, приобретают и внедряют различные системы компьютерного обучения. С развитием систем компьютерного обучения развиваются и системы контроля знаний. Так, в рамках систем дистанционного обучения создаются и развёртываются отдельные подсистемы, предназначенные для решения этой задачи. Мультимедийные технологии, развитые сегодня очень сильно, предлагают широкий спектр средств разработки и визуального представления заданий, предназначенных для обучаемых. Они также дают обучаемому значительный выбор средств ответа на вопросы и решения задач. Сегодня это не просто выбор одного или нескольких текстовых ответов из предложенных вариантов, но и выбор графической области на рисунке, сопоставление, конструирование выражения (например, алгебраического выражения или химической формулы) и даже свободный ответ [14].

Анализ ответа, данного обучаемым на некоторый вопрос, и сопоставление его ответа с правильным ответом, хранящимся в базе, даёт степень истинности ответа обучаемого. Степень истинности ответа имеет, как правило, два значения: правильный ответ или неправильный ответ, однако, между этими крайними степенями могут быть и промежуточные значения (напр., частично правильный ответ). По степеням истинности ответов на вопросы определяется уровень подготовки обучаемого и выставляется оценка. При выставлении оценки могут таюке учитываться и другие информативные признаки обучаемого, такие как посещаемость (если речь идёт об автоматизированном контроле знаний при обычной форме обучения), число попыток сдачи или время, затраченное на прохождение экзамена [11]. Эту зависимость можно выразить в следующем виде:

M—F{X,A) , где X={xi, Х2, ., х,:} — степени истинности ответов на вопросы 1 . п, A={ai, ci2, . , ат} — дополнительные факторы, М— уровень подготовки по дисциплине. Нахождение этой зависимости и внесение её в компьютер является ключевой задачей компьютерного контроля знаний.

Разработке теоретических основ контроля знаний и реализации соответствующих методов в системах компьютерного обучения посвящены работы [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] и ряд других работ отечественных и зарубежных авторов.

Для её решения в рамках дисциплины выделяются так называемые «единицы проверки», образующие иерархию. Например, можно предложить следующую четырёхуровневую иерархию [32, 39]:

1) положение (отдельное упражнение);

2) раздел (например, лабораторный практикум);

3) тема (фрагмент деятельности);

4) учебная дисциплина.

Таким образом, задача контроля знаний разбивается на следующие подзадачи:

1. определение степени истинности ответа на вопрос;

2. определение уровня усвоения единицы проверки по степеням истинности ответов на вопросы;

3. определение уровня усвоения вышестоящей (по иерархии) единицы проверки по уровням усвоения нижележащих единиц проверки. Предыдущая зависимость с учётом этих факторов может быть переписана в следующем виде:

M=F{MxM2r.,Mn,A) , где Mi— уровень знания i-й единицы проверки.

Например, по ответам на вопрос можно определить знание отдельных разделов, по знанию отдельных разделов — уровень знаний темы, а по уровням знания тем — уровень подготовки по учебной дисциплине.

Зависимости, используемые для вычисления степеней усвоения единиц проверки всех уровней иерархии, в большинстве систем компьютерного контроля знаний (ККЗ) являются линейными. В таких зависимостях используются баллы, отражающие значимость той или иной единицы проверки. Число баллов для каждой единицы проверки определяется экспертом. Помимо числа баллов для каждой оценки (каждого уровня) задаётся порог (стандарт), при достижении которого данная оценка может быть выставлена. В таком случае, зависимость степени усвоения единицы проверки нижнего уровня иерархии (например, темы или раздела) от степеней истинности ответов на вопросы определяется выражением: т^если]Г п т2, если^ wiyl€\tl, t

21 = 1 J i=i где т\, ., mk — оценки (например, «неудовлетворительно», «удовлетворительно», «хорошо» и «отлично»), yi — значение ьго информативного признака обучаемого (Y={y,}=XuA )5 Wl — весовые коэффициенты каждого входного признака, tj — порог (стандарт) выставления j-й оценки. Алгоритм, использующий стандарты для определения уровня усвоения, называется стандартизированным [32, 39].

Линейная зависимость, используемая в стандартизированных алгоритмах ограничивает их гибкость. Использование нелинейных или кусочно-линейных зависимостей позволяет осуществлять контроль знаний более гибко, однако на практике такие зависимости не используются из-за большой сложности настройки алгоритма.

Компромиссом между гибкостью и простотой настройки является нейросетевой алгоритм ККЗ, предложенный в [38, 39].

Нейронная сеть (НС) может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. Можно выделить 2 класса нейронных сетей, отличающихся друг от друга архитектурой связей — это сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями [19, 20, 21].

Сети первого класса являются наиболее распространёнными. Такие сети называются «многослойный перцептрон». Нейроны в таких сетях расположены слоями и имеют однонаправленные связи между слоями. Многослойный перцептрон является статической сетью в том смысле, что на заданный вход он вырабатывает одну совокупность выходных значений, независящих от предыдущего состояния сети. В противоположность многослойному перцептрону, рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

Способность к обучению является фундаментальным свойством НС. Процесс обучения — это настройка весов связей для эффективного выполнения, специальной задачи. Обычно НС должна настроить веса связей по имеющейся обучающей выборке. Способность к обучению на примерах делает НС более привлекательными по сравнению с системами, которые следуют определенной системе правил функционирования, сформулированной экспертами.

При применении НС задача контроля знаний рассматривается как задача классификации или распознавания образов. Образом в данном случае является последовательность степеней истинности ответов на вопросы (решений задач), либо последовательность уровней усвоения единиц проверок. Классом является оценка, либо уровень усвоения единицы проверки, стоящей, выше в иерархии. Таким образом, НС может рассматриваться как нелинейный классификатор, в противоположность стандартизированному алгоритму, являющемуся, в этом смысле, линейным классификатором. Применение такого рода классификаторов способно значительно повысить гибкость ККЗ по сравнению с традиционными линейными алгоритмами.

Применение НС возможно и при определении степени истинности ответа на вопрос. В этом случае, входом являются данные, предоставленные обучаемым, а выходом — степень истинности ответа на вопрос. Например, в качестве задания обучаемому может быть предложено разместить некоторые элементы на плоскости в нужных местах. Входом являются координаты элементов, а выход определяет, на сколько данное размещение соответствует действительности.

Контроль знаний — не единственная область применения нейронных сетей. Помимо большого числа решаемых ими задач, их можно использовать при моделировании различных отношений «человек-человек», например, при психологической диагностике или при адаптации интерфейса компьютерной программы к пользователю [36, 38, 42, 43, 46].

Однако, НС имеет ряд недостатков, ограничивающих её применение, в том числе и при ККЗ. Во-первых, невозможно чётко описать набор правил, которыми руководствуется НС при принятии решении. Например, при подсчёте баллов со стороны эксперта (преподавателя), существует чёткое понимание роли каждого параметра (числа баллов за правильный ответ и порогов выставления оценок). НС же рассчитывает выход на основе весов связей и применения функций активации. Влияние этих параметров на принимаемое решение не очевидно эксперту и поэтому эти параметры не могут быть настроены вручную. Это приводит к тому, что НС рассматриваются многими исследователями как «чёрный ящик» - алгоритм с неясной внутренней логикой [91, 92, 95].

Во-вторых, НС должна быть обучена, т.е. ей должна быть предъявлена обучающая последовательность образов. Однако, неясно, какие образы должна содержать эта; последовательность. Можно предложить два подхода к решению задачи формирования; обучающей последовательности: 1) данные для обучения могут быть получены: от эксперта (например, на основе реальных данных или из личного опыта преподавателя) и 2) данные для обучения могут быть созданы автоматизированной системой совместно с экспертом.

В-третьих, не ясно, какая структура HG (число скрытых слоев и количество нейронов в каждом, слое) наилучшим образом подходит для контроля знаний. Согласно теореме Колмогорова, достаточно одного скрытого слоя для решения задачи распознавания, однако, число нейронов в этом слое неизвестно и: может быть сколь угодно велико [23, 24, 25, 74]. Возможно, что введение дополнительных скрытых слоев улучшит качество работы НС. '

Как стандартизированный, так и нейросетевеой алгоритм имеют ряд преимуществ и, след., должен быть найден способ их совместного использования.

В данной: работе предложено решение описанных проблем: разработан алгоритм генераций обучающей последовательности для НС, предложен механизм объяснения решений, принимаемых НО при ККЗ, а также представлен алгоритм оптимизации топологии НС, предназначенной для ККЗ. В основе алгоритма генерации; обучающейпоследовательности и алгоритма оптимизации топологии НС лежит генетический алгоритм (ГА). Объяснение решений, принимаемых НС, производится при помощи построения набора нечётких высказываний относительно образа на основе контекстной утилитарности и контекстной важности его отдельных признаков.

Целью данной диссертационной; работы является разработка и оптимизация,модели нейросетевого алгоритма ККЗ (принятия решения об уровне подготовки: обучаемого) и анализ возможности его применения совместно со стандартизированным алгоритмом. Данный нейросетевой алгоритм должен обеспечить больший процент совпадений оценок, выставленных системой ККЗ и преподавателем и, в то же время, минимизировать число обучаемых (студентов), которое необходимо оценить эксперту (преподавателю) для настройки НС. Для этого требуется провести анализ состояния проблемы и решить следующие основные задачи:

1. Выявить основные функции контроля знаний, реализованные системами компьютерного обучения.

2. Проанализировать существующие методы ККЗ. Выявить их основные достоинства и недостатки.

3. Проанализировать основные системы компьютерного обучения и алгоритмы контроля знаний, используемые ими.

4. Проанализировать различные варианты совместного использования генетических алгоритмов (ГА) и НС.

5. Предложить математическое описание алгоритма генерации обучающей последовательности и алгоритма поиска топологии НС, предназначенной для ККЗ.

6. Модифицировать алгоритм генерации объяснения решений, принимаемых НС, с целью его адаптации к задаче ККЗ.

7. Практически реализовать разработанные алгоритмы и модели в виде программного продукта.

8. Провести экспериментальные исследования.

9. Оценить эффективность разработанных алгоритмов генерации обучающей последовательности, поиска топологии НС и алгоритма объяснения решений, принимаемых НС.

Научная новизна работы. В диссертационной работе получены следующие новые научные и практические результаты:

• разработан алгоритм генерации обучающей последовательности, при использовании которой повышается точность выставления оценок нейронной сетью;

• предложен генетический алгоритм оптимизации топологии нейронной сети, используемой при компьютерном контроле знаний, что позволяет выбрать оптимальную структуру нейронной сети, что, в свою очередь, уменьшает процент неверно выставленных оценок; е разработан алгоритм формирования объяснения решения, которое принимает нейронная сеть о качестве подготовки обучаемого на основе показателей контекстной утилитарности и контекстной важности, что позволяет эксперту контролировать качество обучения НС и даёт обучаемому дополнительную информацию об уровне его знаний.

• предложено* новое технические решение, проблемы совместного использования стандартизированного и нейро сетевого алгоритмов компьютерного контроля знаний, реализованное в виде диалоговой системы «ДИАНИС». .

В первой главе на основе известных автору источников осуществлён анализ существующих алгоритмов компьютерного контроля знаний, а также их программных реализаций, в частности систем компьютерного и дистанционно обучения и подсистем контроля знаний. Сделан вывод о возможности повышения качества ККЗ в случае использования НС.

Контроль знаний, сопровождающий процесс обучения, - это важная составная часть системы- образования и воспитания. Сущность ее состоит в наблюдении и контроле качества подготовки и эффективности процесса обучения, а также в использовании полученных результатов для развития личности обучаемых.

За последние годы было разработано и реализовано на практике немалое число алгоритмов и методик контроля знаний. Каждая из этих методик имеет свои сильные и слабые стороны, однако, наиболее перспективной, па наш взгляд, является нейросетевая технология ККЗ. Вместе с тем, несмотря на свой большой потенциал, нейросетевая технология имеет ряд недостатков, устранение которых позволит повысить качество ККЗ. Таким образом, в первой главе осуществлена постановка задачи диссертационного исследования.

Широкое применение ККЗ находит в системах компьютерного обучения. Такие системы обладают развитыми средствами управления обучением, организации контроля знаний, сетевого администрирования и т.д. Проведённый в первойтлаве анализ показывает, что нейросетевая технология ККЗ не используется ведущими системами компьютерного обучения. Применение весовых коэффициентов сложности вопроса также ограничено.

Вторая глава< посвящена разработке и исследованию алгоритма генерации обучающей последовательности, разработке алгоритма формирования объяснения вывода, сделанного НС, и решению задачи выбора топологии НС.

Дано описание технологий, на которых базируются разрабатываемые алгоритмы. Приведены общие сведения о ГА, дано подробное описание всех стадий его работы: инициализации, отбору, созданию новых хромосом, рекомбинации, мутации и завершению работы. Приведены основные способы кодирования решений, используемых в ГА. Рассмотрены основные способы селекции и репродукции, Приведены также различные модификации стандартного ГА, предназначенные для решения тех или иных задач. Описаны сходные технологии, работающие по принципам, аналогичным ГА.

Приведены различные варианты совместного использования ГА и НС, в частности для решения задач выбора топологии и обучения НС.

Показано, что задача генерации обучающей последовательности сводится к задаче оптимизации. Сформулировано важное свойство тестирования, определяющее специфику ККЗ по сравнению с другими задачами. На основании этого свойства, а также анализа предметной области определены способ кодирования решений и функция приспособленности (ФП) для задачи формирования обучающей последовательности. Приведена общая схема работы алгоритма генерации обучающей последовательности на основе ГА.

Приведён алгоритм анализа НС, позволяющий строить систему нечётких высказываний для получения объяснений по классификации объектов.

Проведена адаптация данного алгоритма к задаче ККЗ и аналогичным задачам. Приведены примеры объяснения решений, принятых НС.

В третьей главе рассматриваются вопросы практической реализации алгоритмов, разработанных и описанных в предыдущих главах. Приведено описание программной системы компьютерного контроля знаний «ДИАНИС», имеющей следующие ключевые особенности:

• трёхуровневый контроль знаний;

• наличие иерархии тем;

• адаптивный выбор вопросов;

• возможность эффективного сочетания нсйросетевого и стандартизированного алгоритма контроля на уровне курса и темы;

• ГА формирования обучающей последовательности при обучении НС;

• сохранение информации не только об уровне знания курса, но и об уровне знания отдельных тем;

• поддержка различных систем оценок;

• наличие механизма объяснения выводов нейронной сети. Приведено описание основных экранных форм пользовательского интерфейса и инструкция пользователя для решения основных задач с помощью системы «ДИАНИС». Рассмотрены основные программные технологии (такие как Java, J2EE, EJB), использованные при разработке данной программной системы.

Четвёртая глава посвящена экспериментальным исследованиям алгоритмов, разработанных и реализованных в предыдущих главах. При помощи разработанных алгоритмов посредством системы «ДИАНИС» создан курс, заполнена база вопросов и создана обучающая последовательность из образов, классифицированных преподавателем. По сформированной обучающей последовательности была обучена НС. Топология сети была оптимизирована при помощи ГА. Среди студентов 5-го курса Московского института радиотехники, электроники и автоматики (технического университета) был проведён ККЗ. Произведено сравнение процента оценок, корректно выставленных нейросетевым алгоритмом, в котором НС обучалась по последовательности, созданной при помощи разработанного алгоритма, и стандартизированным алгоритмом. Было также произведено сравнение процента оценок, корректно выставленных нейросетевым алгоритмом, в котором НС обучалась по последовательности, созданной при помощи разработанного алгоритма, и нейросетевым алгоритмом, в котором НС обучалась по последовательности, созданной без применения разработанного алгоритма (созданной преподавателем или сформированной случайным образом). Произведено также сравнение процента оценок, корректно выставленных НС с оптимизированной топологией, и НС с неоптимизированной топологией.

Был построен график обучения НС с оптимизированной топологией, обученной по последовательности, созданной при помощи разработанного алгоритма.

Приведены результаты ККЗ, а также объяснения решений, принятых НС, относительно уровня подготовки некоторых студентов.

Анализ полученных результатов показал, что предлагаемые алгоритмы оптимизации топологии НС и генерации обучающей последовательности увеличивают процент совпадений оценок, выставленных преподавателем и НС, и, в то же время, минимизируют число образов, оцениваемых преподавателем для настройки НС.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Титов, Алексей Михайлович

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

Настоящая диссертационная работа посвящена исследованию вопросов применения нейронных сетей в компьютерном контроле знаний и разработке алгоритмов генерации обучающей последовательности, объяснения решения, принимаемого нейронной сетью и оптимизации топологии нейронной сети, предназначенной для контроля знаний. Данные алгоритмы позволяют добиться более точного совпадения оценок между преподавателем и системой компьютерного контроля знаний.

Основными результатами проведённых в диссертационной работе теоретических и экспериментальных исследований являются:

1. Проведён анализ работ в области компьютерного обучения и контроля знаний, а также анализ основных алгоритмов компьютерного контроля знаний (в частности нейросетевого алгоритма) и их практических реализаций. Выявлены основные функции контроля знаний, реализованные системами компьютерного обучения. На основании данного анализа были сделаны выводы о целесообразности совершенствования нейросетевого алгоритма компьютерного контроля знаний с целью повышения его эффективности.

2. Разработан алгоритм генерации обучающей последовательности для нейронной сети, используемой в задаче компьютерного контроля знаний, отличающийся использованием генетического алгоритма.

3. Разработан алгоритм формирования объяснения решения, принимаемого нейронной сетью, на основе показателей контекстной утилитарности и контекстной важности признаков.

4. Разработан алгоритм оптимизации топологии нейронной сети, предназначенной для решения задачи компьютерного контроля знаний, использующий генетический алгоритм.

5. Разработана система компьютерного контроля знаний «ДИАНИС», обладающая следующими отличительными особенностями: о трёхуровневый контроль знаний; о наличие иерархии тем; о адаптивный выбор вопросов; о возможность применения нейросетевого и стандартизированного алгоритма контроля на уровне курса и темы; о генетический алгоритм формирования обучающей последовательности при обучении нейросети; о сохранение информации не только об уровне знания курса, но и об уровне знания отдельных тем; о поддержка различных систем оценок; о наличие механизма объяснения выводов нейронной сети. 6. Проведены экспериментальные исследования эффективности разработанных алгоритмов.

Для достижения этих результатов в работе было сделано следующее:

1. На основе известных автору источников осуществлён анализ существующих алгоритмов компьютерного контроля знаний, а также их программных реализации, в частности систем дистанционного обучения и подсистем контроля знаний. Сделан вывод о возможности повышения качества компьютерного контроля знаний в случае использования нейронных сетей.

2. На основании проведённого анализа были сделаны выводы о целесообразности совершенствования нейросетевого алгоритма компьютерного контроля знаний с целью повышения его эффективности.

3. Проанализированы различные варианты совместного использования генетических алгоритмов и нейронных сетей, в частности для решения задач выбора топологии и обучения нейронных сетей.

4. Предложен алгоритм генерации обучающей последовательности для нейронной сети. Данный алгоритм был разработан применительно к задачи компьютерного контроля знаний, но может быть использован и в других аналогичных задачах.

5. Предложена функция приспособленности для генетического алгоритма оптимизации топологии нейронной сети, предназначенной для компьютерного контроля знаний.

6. Проведена адаптация алгоритма построения объяснений решений, принимаемых НС, к задаче компьютерного контроля знаний и аналогичным задачам. Приведены примеры объяснений принятых решений.

7. Рассмотрены вопросы практической реализации системы компьютерного контроля знаний;

8. Посредством разработанной системы компьютерного контроля знаний «ДИАНИС» создан курс, заполнена база вопросов и создана обучающая последовательность из образов, классифицированных преподавателем. Среди студентов 5-го курса Московского института радиотехники, электроники и автоматики (технического университета) был проведён контроль знаний.

9. Произведено сравнение процента корректно выставленных оценок между стандартизированным алгоритмом компьютерного контроля знаний и различными модификациями нейросетевого алгоритма.

Список литературы диссертационного исследования кандидат технических наук Титов, Алексей Михайлович, 2008 год

1. Башмаков А.И. , Башмаков И. А . Интеллектуальные информационные технологии: Учеб. пособие. — М.: Изд-во МГТУ им. Н.Э. Баумана — 2005. — 304 с. (Информатика в техническом университете).

2. Беспалько В.П., Программированное обучение (дидактические основы), М., «Высшая школа», 1970 г.

3. Болотова JI. С., Комаров М.А., Смольянинов А.А. Системы искусственного интеллекта: Теоретические основы СИИ и формальные модели представления знаний : Учеб.пособ. М.:МИРЭА, 1998. - 107с.

4. Золотарев А.А. и др. Теория и методика систем интенсивного обучения. Т. 1-4. -М.: МГТУ ГА, 1994.

5. Норенков И. П. Состояние и тенденции развития информатизации образования — М.: Изд-во МГТУ им. Н. Э. Баумана, 2007 — 43 с.

6. Позднеев Б. М. Интегрированная информационная поддержка процессов проектирования и производства высококачественных поковок М. : Янус-К, 2005 — 152 с.

7. Селезнева Н.А. Методологические основы систем управления качеством высшего образования. М.: Исследовательский центр, 1992. - 142 с.

8. Селезнёва Н. А. Качество высшего образования как объект системного исследования : лекция-доклад, М.: Исслед. центр проблем качества подгот. специалистов, 2008 95 с.

9. Субетто А. И. Основы системологии образования : монография М.: Исслед. центр проблем качества подгот. специалистов , 2006. - 249 с.

10. Талызина Н. Ф. Теоретические основы разработки модели специалиста -М. : Знание, 1986 — 108 с.

11. Панченко В.М., Шорохов М.И. Компьютерные технологии обучения. Мониторинг качества обучения в техническом вузе на основе ретроспективного экспертного комплекса: Учебное пособие — М.: МИРЭА, 2006. 156 С.

12. Емельянов В.В., Курейчик В.М., Курейчик В.В. Теория и практика эволюционного моделирования — М. : ФИЗМАТЛИТ , 2003 — 431 с. ( Проблемыискусственного интеллекта).

13. Интеллектуальные системы автоматического управления / Под ред. И. М. Макарова, В. М. Лохина — М.: Физматлит, 2001. 576 с.

14. Информатизация образования: направления, средства, технологии / С. И. Маслов (ред.) — М.: Издательство МЭИ, 2004. 868 с.

15. Нечаев В. В. Концептуальное метамоделирование структур — М.: Международное изд. "Информация", 1997. 52 с.

16. Комарцова JI. Г., Максимов А. В. Нейрокомпьютеры.: Учеб. пособие для вузов — М.: Изд-во МГТУ им. Н. Э. Баумана, 2004. 400 с.

17. Ососовский С. Нейронные сети для обработки информации / пер. с польского И. Д. Рудинского. — М.: Финансы и статистика, 2004. 344 с.

18. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечёткие системы / пер. с польск. И. Д. Рудинского. — М.: Горячая линия — Телеком, 2007. 452 с.

19. Хайкин С. Нейронные сети: полный курс.: пер. с англ. — М.: Издательский дом «Вильяме», 2006. 1104 с.

20. Тархов Д. А. Нейронные сети. Модель и алгоритмы. Кн. 18 М.: Радиотехника, 2005. - 256 с. (Научная серия «Нейрокомпьютеры и их применение», редактор А. И. Галушкин).

21. Галушкин А.И. Теория нейронных сетей. Кн.1. Сер.: «Нейрокомпьютеры и их применение» / Общ. ред. А.И. Галушкина. — М.: ИПРЖР, 2000.

22. Агапонов С. В. Средства дистанционно обучения. Методика, технология, инструментарий. / С. В. Агапонов, 3. О. Джалиашвили, Д. Л. Керчман, И. С. Никифоров, Е. С. Ченосова, А. В. Юрков / Под ред. 3. О. Джалиашвили. -СПб.: БХВ-Петербург, 2003. 336 с.

23. Головко В. А. Нейронные сети: обучение, организация .и применение. Кн. 4: Учеб. Пособие для вузов / Общая редакция А. И. Галушкина. М.: ИПРЖР, 2001. - 256 с. (Нейрокомпьютеры и их применение).

24. Головко В.А. Нейроинтеллект: теория и применение. Кн. 1 и 2. — Брест: Изд-во БПИ, 1999.

25. Горбань А. Н. Обучение нейронных сетей. — М.: СП «ParaGraph», 1990

26. Гордиенко Е. К., Лукьяница А. А. Искусственные нейронные сети: Ч. 1. Основные определения и модели. — Изв. РАН. Сер.: Техническая кибернетика, 1994, № 5, с. 79—92.

27. Калллан Р. Основные концепции нейронных сетей / Пер. С англ. М.: Издательский дом «Вильяме», 2003. - 288 с.

28. Нейроматематика. Кн. 6 : Учеб. пособие для вузов / А. Д. Агеев, А. Н. Балухто, А. В. Бычков и др.; Общая редакция А. Н. Галушкина. — М.: ИПРЖР, 2002. 448 с. (Нейрокомпьютеры и их применение)

29. Свиридов А.П.: О методах программированного контроля знаний с численным и результативным способами ответа. В: Доклады научн.-метод. конф. за 1966/67, Секция "Новые методы и средства обучения". М.: Моск. энерг. инст., 1967.-е. 40-51.

30. Свиридов А.П.: Программированный контроль знаний с выборочным способом ответа. В: Симпозиум N 15 Пятой Всероссийской конференции по программированному обучению и применению технических средств. М.: Педагогика, 1968. — с. 7—16

31. Свиридов А. П. Основы статистической теории обучения и контроля знаний-М.: Высшая школа, 1981. 262 с.

32. Свиридов А. П. Ведение в статистическую теорию обучения и контроля знаний. 4.1. Стандартизированные методы контроля знаний.- М.:Моск. энерг. Инст., 1974.-134 с.

33. Свиридов А. П. Ведение в статистическую теорию обучения и контроля знаний. 4.2. Элементы статистической динамики знаний.- М.:Моск. энерг. инст., 1974.-152 с.

34. Свиридов А. П. Обучение и самообучение обучающих и контролирующих машин.- М.: Моск. энерг. инст., 1976.- 182 с.

35. Свиридов А. П. Применеие методов планирования эксперимента приобучении обучающих и контролирующих машин.- М.: Моск. энерг. инст., 1976.-65 с.

36. Свиридов А. П. Разработка и исследование систем автоматизированного обучения на базе статистических моделей.- М,: Моск. энерг. инст,, докт. дисс., 1984.-427 с.

37. Свиридов А. П. Условные и безусловные алгоритмы диагностического контроля знаний операторов ЭВМ.- М.: Моск. энерг. инст., 1987.-89 с.

38. Свиридов А. П. Нейросетевые статические и динамические модели педагогических отношений. В: Мульти- и телемедийные средства в образовании.-М.: Изд-во МГСУ, 2002,- с.8-16

39. Панченко В. М. Теория систем. Методы иммитационного моделирования.: Учебное пособие М.: МИРЭА, 1999. - 94 с.

40. Chin D. User Modeling in UC, the UNIX Consultant. In: M. Mantei, P. Orbeton (Hrsg.) CHI-86 Conference Procedings, Human Factors in Computing, Systems, Boston,, SS. 24-28, ACMM SIGCHI/HFS, New York, April 1988.

41. Rich E. Users are Individuals: Individualizing User Models. In: Int. J. Man-Machine Studies, Academic Press, London, 1983.

42. R. Wilensky, Y. Arens, D. Chin. Talking to UNIX in English: An Overview of UC Communications of the ACM, 27(6); 574-594, Juni 1984.

43. Bodendorf F. Computer in der betrieblichen Weiterbildung. (Handbuch der Informatik);15.2). -Miinchen: Oldenbourg, 1993.

44. Rusch G. Probabilistic models for some intelligence and attainment tests,

45. Kopenhagen, 1960. Nielsen and Lydiehe The Danisch Institute for Educational Research.

46. Сысоева JI. А., Толстоусова В. Г. Предметно-критериальная методика составления тестов Электронный ресурс. / Режим доступа —http://ito.edu.ru/2001/ito/VI/VI-0-19.html

47. Моисеев В. Б., Пятирублевый Л. Г., Таранцева К. Р. Методы определения количества образовательной информации в тестах Электронный ресурс. / Режим доступа — http://ito.edu.ru/2001/ito/VI/VI-0-27.html

48. Моисеев В. Б., Усманов В.В., Таранцева К. Р., Пятирублевый Л. Г. Оценивание результатов тестирования на основе экспертно-аналитических методов. Журнал «Открытое образование», №3, 2001, с.32-36.

49. Моисеев В. Б., Усманов В.В., Таранцева К. Р., Пятирублевый Л. Г. Применение информационно-генетических алгоритмов в процедурах образовательного тестирования Электронный ресурс. / Режим доступа — http://ito.edu.rn/2001/ito/VI/VI-0-12.html

50. Маслак А.А., Анисимова Т.С., Осипов С.А. Исследование точности модели Раша на основе имитационного моделирования // Сборник трудов участников XI конференции-выставки «Информационные технологии в образовании». Часть V. М.: МИФИ, 2001. - С. 38-40.

51. Крылов Ю. Н. Абсолютная временная шкала измерения знаний, динамика результатов тестирования во времени Электронный ресурс. / Режим доступа — http://ito.edu.ru/2001/ito/VI/VI-0-32.html

52. Журавлев В. Б. Методика статистического анализа учебного процесса Электронный ресурс. / Режим доступа — http://ito.edu.ru/2001/ito/VI/VI-0-2.html

53. Алексахин С. В., Николаев А. Б., Строганов В. Ю. Модели адаптивного тестового контроля в системе дистанционного образования Электронный ресурс. / Режим доступа — http://ito.edu.ru/2001/ito/VI/VI-0-17.html

54. Шаймарданова Т. В. Формы и методы контроля знаний учащихся Электронный ресурс. / Режим доступа — http://festival.lseptember.ru/articles/501269/

55. Амонашвили Ш. А. Обучение. Оценка. Отметки. — М: Знание, 1980.

56. Холланд Дж. X. Генетические алгоритмы / Журнал «В мире науки» (Scientific American) 1992. - СЕНТЯБРЬ-ОКТЯБРЬ, с. 32

57. Barricelli N. A. Esempi numerici di processi di evoluzione — Methodos, 1954: 45-68.

58. Fraser A. Simulation of genetic systems by automatic digital computers. I. Introduction. Aust. J. Biol. Sci. 10: 484-491.

59. Crosby J. L. Computer Simulation in Genetics London: John Wiley & Sons.492 p.

60. Evolutionary Computation: The Fossil Record / Fogel D. B. (editor) New York: IEEE Press, 1998 - 656 p.

61. Fraser A., Burnell D. Computer Models in Genetics New York: McGraw-Hill, 1970. - 192 p.

62. Holland J. H. Adaptation in Natural and Artificial Systems University of Michigan Press: 1975 - 206 p.

63. Markoff J. What's the Best Answer? It's Survival of the Fittest / New York Times 1989

64. Вороновский Г. К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. / Г. К. Вороновский, К. В1. Махотило, С. Н. Петрашев, С. А. Сергеев. -Хаысов: Основа, 1997.

65. Сергеев С. А., Махотило К. В. Генетические алгоритмы в синтезе прямонапрвленных нейронных сетей.: Труды XIII межд. конф. «Новыеинформационные технологии в науке, образовании и бизнесе». Украина, Крым, Ялта — Гурзуф, 15 — 24 мая 1996 г. сс. 338 — 342.

66. Горбань А., Россиев Д. Нейронные сети па персональном компьютере. — Новосибирск: Наука, 1996.

67. Нейроипформатика и ее приложения.: Мат. 3-го Всерос. сем., 6—8 октября 1995 г. / Под ред. А.Н. Горбаня. — Красноярск: КГТУ, 1995

68. Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика / Пер с англ. —М.: Мир, 1992.

69. Chester D. Why two hidden layers are better than one / IEEE Int. Joint. Conf. Neural Networks, IJCNN'90. 1990, pp. 265—268

70. Юдин Д. Б. Алгоритмы обучения нейронной сети (алгоритмы пополнения знаний) / Автоматика и телемеханика 1996, №11, с 148—158

71. Шарапов В.М., Снитюк В. Е. Биокибернетический метод определения оптимума целевой функции в условиях неопределенности / Научно-теоретический журнал «Искусственный интеллект» — 2002. — №.4

72. Промыслов В.Г. Генетический алгоритм для восстановления радиоастрономических изображений по методу максимальной энтропии М. : ФИАН, 1997— 13 с.

73. Юрьев А. Г., Клюев С. В. Эволюционные и генетические' алгоритмы оптимизации строительных конструкций Белгород : Изд-во БГТУ им. В. Г. Шухова, 2006 — 133 с.

74. Андрейчиков А. В. , Белобров Н. В., Андрейчикова О. Н. Модели и инструментальные средства для синтеза и планирования оптимального портфеля проектов на основе эволюционных методов Волгоград: Политехник, 2006 - 151 с.

75. Матвеев М. Г. , Свиридов А. С. , Алейникова Н. А. Модели и методы искусственного интеллекта. Применение в экономике : учебное пособие. М. : Финансы и статистика : ИНФРА-М, 2008 — 446 с.

76. Панченко Т. В. Генетические алгоритмы: учебно-методическое пособие / под ред. Ю. Ю. Тарасевича. — Астрахань : Издательский дом «Астраханский университет», 2007. — 87 с.

77. Введение в Генетическое Программирование Электронный ресурс. /

78. Режим доступа — http://www.gotai.net/documents/doc-ga-004.aspx83. http://www.gotai.net/documents/doc-ga-005.aspx Электронный ресурс. / Режим доступа Введение в обучающиеся системы классификаторов

79. Пример ГА: Решение Диофантова уравнения Электронный ресурс. / Режим доступа — http://algolist.manual.ru/ai/ga/dioph.php

80. Оптимизация многоэкстремальных функций с помощью генетических алгоритмов Электронный ресурс. / Режим доступа — http://algolist.manual.ru/ai/ga/ ga2.php

81. Ненадович Д. М. Методологические аспекты экспертизы телекоммуникационных проектов. М.: Горячая линия-Телеком, 2008. - 280 с.

82. Goldberg D. Е. Genetic Algorithms in Search, Optimization, and Machine learning. Addison - Wesley, 1989 — 603 p.

83. Jain L. C., Martin N. M. Fusion of neural networks, fuzzy sets, and genetic algorithms : industrial applications CRC press, Cop. 1999 — 354 p.

84. Luke S. Issues in Scaling Genetic Programming: Breeding Strategies, Tree Generation, and Code Bloat. PhD thesis University of Maryland, 2000. - 178 p.

85. Syed O. Applying genetic algorithms to recurrent neural networks for learning network parameters and architecture. Case Western Reserve University, 1995 - 114 p.

86. Framling K. Explaining Results of Neural Networks by Contextual' Importance and Utility.: Proceedings of the AISB'96 conference UK, Brighton - 1-2 April 1996.

87. Sima J., Orponen P. General-Purpose Computation with Neural Networks: A Survey of Complexity Theoretic Results / Neural Computation 2003. - December

88. Settles M., Rylander B. Neural network learning using particle swarm optimizers / Advances in Information Science and Soft Computing WSEAS Press, 2002.-pp. 224-226.

89. Koza J. R. Genetic Programming: On the Programming of Computers by Means of Natural Selection MIT Press, 1992. - 519 p.

90. Lozowski A., Cholewo T. J., Zurada J. M. Symbolic Rule Representation in Neural Network Models.: In Proceedings of the Second Conference on Neural Networks and Their Applications, volume 2 Poland, Szczyrk, April 1996 - pages 300-305.

91. Прокофьева H.O. Алгоритмы оценки знаний при дистанционномобучении.: Сборник научных трудов 5-н Международной научно-методической конференции «ОБРАЗОВАНИЕ И ВИРТУАЛЬНОСТЬ (ВИРТ)». Харьков - Ялта: УАДО,2(Ю1,- с.82-88.

92. Комарцова Л. Г. Двухэтапный алгоритм обучения нейронной сети на основе генетического поиска / Нейрокомпьютеры. Разработка и применение. — М.: Радиотехника. 2001 -№1.

93. Комарцова Л. Г., Голубин А. В. Исследование свойств генетических алгоритмов оптимизации / Методы исследования и проектирования сложных технических систем: Сборник статей. М.:Изд-во МГТУ им. Н.Э. Баумана. 2001. (Труды МГТУ №580)

94. Комарцова Л. Г., Голубин А. В. Использование Конструктора для определения параметров генетического алгоритма / Труды Пятого Международного симпозиума «Интеллектуальные системы» (INTELS'2002). М.:МГТУ им. Н.Э. Баумана. 2002.

95. Курсйчик В. М. Генетические алгоритмы. Состояние. Проблемы. Перспективы / Известия РАН. Теория и системы управления. — 1999. №1.

96. Струнков Т. Что такое генетические алгоритмы / PC Week Russian edition 1999.- №19(193).

97. Еремеев A.B. Разработка и анализ генетических и гибридных алгоритмов для решения задач дискретной оптимизации: дисс. канд.физ.-мат.наук. Омск, 2000

98. Genetic algorithm Электронный ресурс. / Режим доступа — http://cn.wikipedia.org/wiki/Geneticalgorithms

99. Генетический алгоритм Электронный ресурс. / Режим доступа — http:// ш. wikipedia.org/wiki/Гeнeтичecкийaлгopитм

100. Baudry В., Fleurey F., Jezequel J.-M., Le Traon Y. Automatic Test Case Optimization: A Bacteriologic Algorithm / IEEE Software — 2005. — March/April №22 pp. 76-82.

101. Rohlfshagen P., Bullinaria J. A., A genetic algorithm with exon shuffling crossover for hard bin packing problems.: Proceedings of the 9th annual conference on Genetic and evolutionary computation — London, England— 2007, 1365 — 1371 pp.

102. Bull S., Kay J. Student Models that Invite the Learner In: The SMILI Open1.arner Modelling Framework. / International Journal of Artificial Intelligence in Education — 2007, 89-120 pp

103. Mitrovic A., Martin В., Evaluating the Effect of Open Student Models on Self-Assessment. International Journal of Artificial Intelligence in Education:— 2007. — 121-144 pp.

104. Lazarinis F., Retalis S., Analyze Me: Open Learner Model in an Adaptive Web Testing System. / International Journal of Artificial Intelligence in Education — 2007. 255-271 pp

105. HOI Vizcaino A. A Simulated Student Can Improve Collaborative Learning / International Journal of Artificial Intelligence in Education — 2005, 3-40 pp.

106. Conejo R., Guzman E., Millan E., Trella M., Perez-de-la-Cruz J. L., Rios A. SIETTE: A Web-Based Tool for Adaptive Testing / International, Journal of Artificial Intelligence in Education — 2004 29-61 pp.

107. Хуторской А. В. Типы дистанционного обучения Электронный ресурс. / Интернет-журнал "Эйдос". — 1999. — 8 декабря Режим доступа — http://www.eidos.ru/journal/1999/1208-01.htm

108. ATutor Learning Content Management System Электронный ресурс. / Режим доступа — http://www.atutor.ca/

109. Home of the Bodington open-source project Электронный ресурс. / Режим доступа — http://www.bodington.org/115. dokeos — The open source e-learning suite Электронный ресурс. / Режим доступа — http://www.dokeos.com/

110. E-Learning at the University of the Western Cape Электронный ресурс. / Режим доступа — http://kewl.uwc.ac.za/117. .LRN Project Site Электронный ресурс. / Режим доступа — http ://www.openacs .org/projects/dotlrn/

111. The LearningOnline Network with САРА Электронный ресурс. / Режим доступа — http://www.lon-capa.org/

112. Moodle A Free, Open Source Course Management System for Online Learning Электронный ресурс. / Режим доступа — http://www.moodle.org120. sakaiproject.org — Collaboration and Learning Environment for Education

113. Электронный ресурс. / Режим доступа — http://sakaiproject.org/

114. ANGEL Learning — Learning Management Suite for K-12 and Higher Education Электронный ресурс. / Режим доступа — http://www.angellearning.com/

115. Macromedia Authorware : Features Электронный ресурс. / Режим доступа — http://www.adobe.com/products/authorware/

116. Blackboard Academic Suite Электронный ресурс. / Режим доступа — http://www.blackboard.com/products/AcademicSuite/index

117. About Desire2Learn Inc Электронный ресурс. / Режим доступа — http ://www. desire21earn. com/ about/

118. Edumate Электронный ресурс. / Режим доступа — http: //www. edum ate .com. au/

119. FirstClass Division, Open Text Corporation Электронный ресурс. / Режим доступа — http://www.firstclass.com/

120. О системе дистанционного обучения STELLUS Электронный ресурс. / Режим доступа — http://www.stel.ru/do/about/

121. АС ДО "ДОЦЕНТ" Электронный ресурс. / Режим доступа — http://www.uniar.ru/dt-docadd.html

122. СДО Прометей Электронный ресурс. / Режим доступа — http://www.prometeus.ru/actual/0 lproducts/lms/opisanie.html

123. COMPETENTUM e-learning, системы дистанционного обучения, корпоративные информационные системы Электронный ресурс. / Режим доступа — http://www.competentum.ru/

124. База и Генератор Образовательных Ресурсов Электронный ресурс. / Режим доступа — http://bigor.bmstu.ru/

125. E-SESS Online Assessment SystemЭлeктpoнный ресурс. / Режим доступа ■—■ http://www.esess.org/

126. Ciad Acomplete service for e-assessment Электронный ресурс. / Режим доступа — http://www.derby.ac.uk/ciad/

127. Distance education Электронный ресурс. / Режим доступа — http://en.wikipedia.org/wiki/Distanceeducation

128. Дистанционное обучение Электронный ресурс. / Режим доступа —http://ru.wikipedia.0rg/wiki^HcraHUH0HH0e06y4eHHe

129. Learning management system Электронный ресурс. / Режим доступа — http ://en.wikipedia. org/wiki/Learningmanagementsystem

130. History of virtual learning environments Электронный ресурс. / Режим доступа — http://en.wikipedia.org/wiki/Histoiyofvirtuallearningenvironments

131. Electronic learning Электронный ресурс. / Режим доступа — http://en.wikipedia.org/wiki/Onlinelearning

132. Зайцева Ж. Н., Рубин Ю. Б., Титарев Л. Г., Тихомиров В. П., Хорошилов А. В., Усков В. Л., Филиппов В. М. Открытое образование стратегия XXI века для России/ Под общей редакцией Филиппова В.М. и Тихомирова В.П. -М.: Изд-во МЭСИ, 2000.

133. E-assessment Электронный ресурс. / Режим доступа — http://en.wikipedia.org/wiki/E-assessment

134. Heaton J. Т. Introduction to Neural Networks with Java. — Heaton Research, be., 2005. —380 p.

135. Gurney K. An Introduction to Neural Networks.— CRC — 1997. — 234 p.

136. Подиновский В. В., Ногин В. Д. Парето-оптимальные решения многокритериальных задач. М.: Наука, 1982 — 255 с.

137. Dorigo М., Stutzle Т. Ant Colony Optimization. MIT Press, 2004 - 319 p.

138. Ryu S., Duggal A. S., Heyl C. N., Geem Z. W. Mooring cost optimization via harmony search / Proceedings of OMAE07, 26thh International Conference on Offshore Mechanics and Arctic Engineering , June 10-15, 2007, San Diego, California, USA .

139. Takagi H. Interactive Evolutionary Computation: Fusion of the Capacities of EC Optimization and Human Evaluation / Proceesings of the IEEE 89, pp. 1275-1296

140. Докинс P. Эгоистичный ген. — M.: Мир, 1993. — С. 318. — ISBN 5-03-002531-6 (русск.)

141. Хорстманн К. С., Корнелл Г. С. Библиотека профессионала. Java 2. Том 2. Тонкости программирования.: пер. с англ. М.: Издательский дом «Вильяме», 2004. - 1120 с.

142. Хорстманн К. С., Корнелл Г. С. Библиотека профессионала. Java 2. Том 1. Основы.: пер. с англ. М.: Издательский дом «Вильяме», 2003. - 848 с.

143. Шилдт Г. Полный справочник по Java, 7-е издание.: Пер. с англ. М.: ООО «И. Д. Вильяме», 2007. - 1040 с.

144. Иванова Е. Б., Вершинин М. М. Java 2, Enterprise Edition. Технологии проектирования и разработки. СПб.: БХВ-Петербург, 2003. - 1088 с.

145. JGAP: Java Genetic Algorithms Package Электронный ресурс. / Режим доступа — http://jgap.sourceforge.net