Разработка и исследование генетических алгоритмов обучения в моделях вычисления оценок тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Ковшов, Николай Вадимович

• Ковшов, Николай Вадимович
• кандидат физико-математических наук
• 2007

Оглавление диссертации кандидат физико-математических наук Ковшов, Николай Вадимович

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЩАЯ ПОСТАНОВКА ЗАДАЧИ И МЕТОД

КОДИРОВАНИЯ ПРЕДИКАТОВ.

1.1. Общая постановка задачи.

1.1.1. Общая формулировка.

1.1.2. Структура алгоритма распознавания.

1.2.0бщий принцип кодирования предикатов.

1.3.Создание покрытия класса и критерий оптимальности.

1.4.Обработка неизвестных значений признаков.

1.4.1. Осторожный подход.

1.4.2. Жадный подход.

1.5.Расширение границ предиката.

Введение диссертации (часть автореферата) на тему «Разработка и исследование генетических алгоритмов обучения в моделях вычисления оценок»

2.1.1. Оператор селекции.29

2.1.2. Оператор кроссовера.31

2.1.3. Оператор мутации.33

2.1.4. Оператор отбора.33

2.1.5. Старт и завершение ГА.34

2.1.6. Типы генетических алгоритмов.34

2.2.Применение ГА к решению поставленной задачи.39

2.3.Фундаментальная теорема ГА.40

2.4.Исследование характерных особенностей задачи.45

2.4.1. Оценка количества локальных экстремумов задачи.46

2.5.Исследование операторов ГА и их применимости при решении поставленной задачи.51

2.5.1. Оператор кроссовера.52

2.5.1.1. Вероятность сохранения шаблона.53

2.5.1.2. Метод кроссовера, учитывающий взаимное расположение объектов обучающей выборки.55

2.5.1.3. Экспериментальное сравнение различных механизмов кроссовера.58

2.5.2. Размер популяции.62

2.5.3. Вероятность мутации.63

2.5.4. Критерий остановки ГА.63

2.5.4.1. ЭСС-критерий остановки ГА.66

2.5.4.2. Экспериментальное подтверждение адекватности авторского критерия остановки.66

2.6.Основные результаты и выводы по главе 2.74

ГЛАВА 3. ОПИСАНИЕ АЛГОРИТМА РАСПОЗНАВАНИЯ.76

3.1.Вычисление оценок за классы.76

3.1.1. Вычисление оценок «по принадлежности снаружи».77

3.1.2. Вычисление оценок «по частичной принадлежности.78

3.1.2.1. Роль порогового значения.78

3.2.Решающее правило.79

3.2.1. Решающее правило 1.79

3.2.2. Решающее правило 2.79

3.2.3. Тестирование РП1 на задачах распознавания.80

3.2.4. Тестирование РП2 на задачах распознавания.86

3.2.5. Сравнительный анализ РП1 и РП2.87

3.3.Основные результаты и выводы по главе 3.88

ГЛАВА 4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВ И ОПТИМИЗАЦИЯ ЗАТРАТ МАШИННОГО ВРЕМЕНИ. ОЦЕНКА СЛОЖНОСТИ АЛГОРИТМОВ.89

4.1. Программная реализация.89

4.2. Оценка сложности алгоритмов.93

4.2.1. Оценка вычислительной сложности обучения.94

4.2.1.1. Экспериментальное подтверждение оценки сложности обучения.99

4.2.2. Оценка вычислительной сложности распознавания.101

4.3.Метод дробления выборки.102

4.4. Основные результаты и выводы по главе 4.105

ГЛАВА 5. ТЕСТИРОВАНИЕ РАЗРАБОТАННЫХ МЕТОДОВ НА ПРИКЛАДНЫХ ЗАДАЧАХ ИЗ ОБЛАСТИ РАСПОЗНАВАНИЯ ОБРАЗОВ.106

5.1.Тестовые задачи.106

5.1.1. Модельная задача 1.106

5.1.2. Модельная задача 2.107

5.1.3. Модельная задача 3.108

5.1.4. Опознавание кредитных карт.109

5.1.5. Распознавание радиосигналов.110

5.1.6. Распознавание фоновых изображений.110

5.1.7. Диагностика космической техники.111

5.1.8. Распознавание сортов вин.111

5.1.9. Распознавание изображений автомобилей.112

5.1.10. Диагностика рака груди.112

5.2.Сравнение с другими методами.113

5.2.1. Перечень методов для сравнения.113

5.2.2. Результаты вычислений.116

5.2.3. Модельная задача 2.116

5.2.4. Модельная задача 3.118

5.2.5. Прочие прикладные задачи.119

5.2.6. Прогнозирование типа кристаллической решетки неорганических соединений.121

5.3.0сновные результаты и выводы по главе 5.122

ЗАКЛЮЧЕНИЕ.126

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ.128

ВВЕДЕНИЕ

Распознавание образов - это часть кибернетики, занимающаяся классификацией объектов при условиях, что информация о классах, к которым объекты могут быть причислены, задается наличием априорных или статистических данных. В стандартной постановке объекты распознавания имеют векторное выражение в некотором пространстве вещественных чисел ограниченной размерности.

Длительное время вопросы распознавания рассматривались человеком лишь с позиций методов биологии и психологии. При этом целью изучения являлись в основном качественные характеристики, не позволяющие вскрыть и точно описать соответствующий механизм. И только кибернетика позволила ввести в изучение психологического процесса распознавания образов, лежащего в основе принятия любых решений, количественные методы, что открыло принципиально новые возможности в исследовании и проектировании автоматических систем распознавания.

В течение достаточно продолжительного времени проблема распознавания привлекала внимание специалистов в области прикладной математики, а затем и информатики. Так можно, в частности, отметить работы Р.Фишера, выполненные в 20-х годах и приведшие к формированию дискриминантного анализа, как одного из разделов теории и практики распознавания. В 40-х годах А.Н.Колмогоровым и А.Я.Хинчиным поставлена задача о разделении смеси двух распределений. Наиболее плодотворными явились 50-60-е годы XX века. В это время на основе массы работ появилась теория статистических решений. В результате были найдены алгоритмы, обеспечивающие отнесение нового объекта к одному из заданных классов, что явилось началом планомерного научного поиска и практических разработок. В рамках кибернетики начало формироваться новое научное направление, связанное с разработкой теоретических основ и практической реализации устройств, а затем и систем, предназначенных для распознавания объектов, явлений, процессов. Это направление и получило название «распознавание образов».

К настоящему времени разработано несколько основных направлений в теории распознавания, объединяющих сотни конкретных алгоритмов и методов. В качестве таковых следует отметить перцептрон Розенблата [24], метод потенциальных функций [1], статистические модели распознавания [6, 34], модели распознавания, основанные на построении кусочно-линейных (или более сложных) разделяющих поверхностей в признаковом пространстве [3, 23], алгоритмы, основанные на построении решающих деревьев [5, 22, 31], структурные (лингвистические) методы [33], модели частичной прецедентности [2, 4, 10, 11], алгебраический подход [10], нейросетевые алгоритмы [39], основанные на теории нечетких множеств методы [40], и другие. Основанные на различных идеях, гипотезах и принципах, а также их сочетаниях, они имеют свои достоинства и недостатки, различные требования к исходным данным, ограничения на области применения.

Рассматривается задача создания распознающих алгоритмов, основанных на поиске логических закономерностей объектов, представленных в виде параллелепипедов в n-мерном признаковом пространстве, создания процедур голосования по этим закономерностям, а также некоторые смежные вопросы анализа данных. Кроме того, проводится всесторонний анализ применения генетических алгоритмов различных типов, дается представление об оптимальном конструировании генетических алгоритмов, наиболее приспособленных для решения задач представленного рода.

В данной работе приводится демонстрация эффективности разработанных алгоритмов обучения и распознавания, доказывается обоснованность использования ГА в качестве оптимизационного метода в обучении по логическим закономерностям, а также проводится поиск и исследование закономерностей, связывающих параметры задачи и параметры генетического алгоритма, которые обеспечивали бы наилучшую сходимость последнего при решении задач рассматриваемого рода.

Одной из основных проблем, с которыми можно столкнуться при решении задачи поиска логических закономерностей в признаковом пространстве, является исключительно большое количество локальных экстремумов задачи, а также специфическое распределение значений критерия оптимальности на области определения. Это накладывает определенные ограничения и дополнительные требования на методы решения таких задач. Данный вопрос с разных сторон проанализирован в работе и предложены соответствующие изменения в генетические операторы и схему кодирования, позволяющие обойти возникающие сложности.

Проведенные эксперименты на таблицах данных, взятых из реальных, прикладных задач распознавания образов [12,14], показали высокое качество предложенного метода по сравнению с другими алгоритмами распознавания [12, 84, 85]. Представленные в работе методы могут быть применены и в решении задач, традиционно решаемых численными методами, таких как прогнозирование поведения речных систем, вычислительных сетей, свойств химических соединений [14,16,17, 29].

Данная задача является актуальной вследствие повышенного интереса в научной среде к методам интеллектуального анализа данных: кластеризации, классификации, прогноза и т.д. Растущие потребности прикладных наук, а также электронной промышленности требуют решения все большего количества задач данного типа. Построение надежных алгоритмов классификации позволяет решать такие важные задачи как распознавание изображений и рукописных шрифтов, распознавание болезней по медико-диагностическим данным, распознавание типов радиосигналов для радиотелескопов, прогнозирование свойств химических соединений, проектирование алгоритмов для сенсорных систем, создание спам-фильтров для почтовых клиентов и многие другие.

Цель работы и задачи исследования. Целью данной диссертационной работы является разработка и исследование генетических алгоритмов обучения в моделях вычисления оценок, обоснование эффективности данного подхода, а также создание новых решающих правил распознавания.

Методы исследований. В работе использованы методы теории множеств, теории алгоритмов, теории генетического поиска, теории оптимизации, теории вероятности и математической статистики.

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих научных конференциях и семинарах:

• Математические Методы Распознавания Образов ММРО-11 (Пущино 2003);

• 7th International Conference on Pattern Recognition and Image Analysis PRIA-7 (St. Petersburg, Russian Federation 2004);

• Научные конференции МФТИ (Долгопрудный, 2005-2006);

• Технологии Microsoft в теории и практике программирования (Москва, 2005);

• 6th WSEAS Int. Conf. on Applied Computer Science ACS06 (Tenerife, Canary Islands, Spain 2006);

• Научные семинары кафедр вычислительной математики и информатики МФТИ (Долгопрудный, 2003-2007);

• Научные семинары отдела математических проблем распознавания и методов комбинаторного анализа Вычислительного центра РАН (Москва, 2004-2007).

Публикации

По теме диссертации опубликовано 8 работ, в том числе одна из списка изданий, рекомендованного ВАК РФ.

Кратко изложим основное содержание работы.

В первой главе приводится общая постановка задачи распознавания образов по прецедентам. Вводятся понятия логической закономерности, критерия оптимальности, допустимого предиката. Описывается общая схема процесса классификации с учителем. В п. 1.2 представлено некоторое подмножество множества параллелепипедов в признаковом пространстве, на котором предлагается в дальнейшем проводить поиск логических закономерностей. Показано, что при некоторых ограничениях на вид критерия оптимальности, данное сужение области поиска не ведет к потере оптимальных решений. В п. 1.3 представлена модификация критерия оптимальности предикатов, позволяющая создавать полное покрытие класса оптимальными предикатами за ограниченное количество итераций. Суть модификации заключается в том, что критерий оптимальности предиката приравнивается к нулю, если предикат не содержит ни одного объекта, не вошедшего в ранее найденные предикаты. В п. 1.4 описывается процесс обработки неизвестных значений признаков на основе жадного подхода. Считается, что точка с неизвестным значением признака принадлежит любому отрезку либо интервалу. Кроме того, отрезок либо интервал, одним из концов которого является точка с неизвестным значением, автоматически расширяется до всей предметной оси.

Во второй главе дается обзор генетических операторов и наиболее известных современных имплементаций ГА. Представлена схема работы генетического алгоритма. Представлены функции кодирования и декодирования, связывающие пространство предикатов с бинарным пространством размерности N, где N - число объектов в рассматриваемом классе. Данные функции позволяют проводить поиск оптимальных предикатов посредством генетического поиска глобального экстремума целевой функции, определенной в бинарном пространстве. В п. 2.4 дан обзор характерных особенностей рассматриваемой задачи, а также дана теоретическая оценка количества локальных экстремумов для определенного подкласса задач. Приводится сравнение экспериментальных результатов и теоретической оценки количества локальных экстремумов. В п. 2.5.2.1 предлагается новый метод кроссовера, учитывающий взаимное расположение объектов друг относительно друга и осуществляющий скрещивание хромосом по вероятностным правилам, основанным на расстояниях между объектами выборки. Предложены механизмы автоматического выбора размера популяции и коэффициента мутации в зависимости от параметров задачи. В п. 2.5.4 предложен комплексный критерий остановки ГА. В отличие от «стандартных» критериев остановки, завершающих работу ГА после выполнения определенного количества итераций либо после выполнения некоторого числа итераций без улучшения лучшей ЦФ популяции, предложенный критерий адаптируется к конкретной задаче. Это позволяет сократить количество итераций для простых, малоэкстремальных задач и повысить при решении сложных.

Третья глава посвящена описанию процедуры распознавания. Описан процесс вычисления оценок за классы и голосования по оценкам.

Предложено 2 новых метода вычисления оценок за классы. Согласно первому из предложенных методов, при проверке вхождения объекта в предикат некоторого класса, следует создать на основе данного объекта и предиката расширенный предикат и проверить, является ли он допустимым. Второй предложенный метод оценки производит расчет общего количества признаковых интервалов предиката, которым удовлетворяет распознаваемый объект. Данное число учитывается в расчете общей оценки, если оно превышает некоторое пороговое значение.

Предложено два новых решающих правила, учитывающих сразу три оценки за классы - «традиционную» оценку, учитывающую количество вхождений распознаваемого объекта в предикаты, а также две предложенные в работе оценки. Тестирование на прикладных задачах показало, что каждое из решающих правил работает существенно лучше, чем метод простого голосования по любой отдельно взятой оценке за класс. Кроме того, представленные решающие правила обладают некоторым набором достоинств и недостатков друг относительно друга, определяющимися условиями задачи.

Четвертая глава содержит детали программной реализации предложенных алгоритмов. Алгоритмы реализованы автором в программе «Genesis» на языке Фортран-95, а также в качестве модуля в программном комплексе «Recognition» на языке Visual С++ 6.0. Программа «Genesis» позволяет пользователю строить генетический алгоритм, варьируя типы генетических операторов, а также все значимые параметры ГА. Кроме того, включена возможность построения новых решающих правил на основе оценок за классы. Дана спецификация форматов входных данных.

Также в четвертой главе проведен теоретический анализ вычислительной сложности алгоритмов обучения и распознавания. Полученные оценки сравнивались с экспериментальными данными. и

Для уменьшения затрат машинного времени при решении задач с большим числом объектов N предложен метод дробления выборки. Предлагается вместо единичного процесса обучения на выборке размера N проводить многократное обучение на случайных подвыборках фиксированного размера. Дана теоретическая оценка необходимого количества повторов обучения и итоговая оценка вычислительной сложности подобного метода.

В пятой главе представлены результаты тестирования разработанных методов на прикладных задачах из области распознавания образов. Дан сравнительный анализ качества распознавания для авторского метода и для методов распознавания, реализованных в программном комплексе «Recognition». Большинство из представленных к сравнению методов основаны на широко известных «классических» методах классификации - К ближайших соседей, линейный дискриминант Фишера, алгоритм вычисления оценок, перцептрон Розенблата и проч. Практически на всех представленных прикладных задачах авторский метод дал стабильно высокие результаты, а для некоторых задач результаты распознавания авторским методом оказались наилучшими среди представленных алгоритмов.

Научная новизна работы заключается в следующем:

1. Для процесса обучения в моделях вычисления оценок предложен новый способ представления логических закономерностей.

2. Разработан алгоритм генетического поиска экстремума критерия оптимальности предикатов. Исследована роль параметров генетического алгоритма при решении данной задачи.

3. Для генетического алгоритма создана новая модель кроссовера, учитывающая особенности взаимного расположения объектов обучающей выборки.

4. Для задач с неразличимыми классами получена теоретическая оценка количества локальных экстремумов критерия оптимальности.

5. Разработаны новые типы оценок объекта за классы и построены решающие правила для этих оценок.

Практическая ценность работы заключается в том, что предложенные математические модели и алгоритмы могут быть успешно применены для решения задач классификации и прогнозирования. С помощью разработанного автором программного комплекса были получены решения многих прикладных задач, в частности задачи прогнозирования типа кристаллической решетки неорганических соединений. Эти результаты могут быть в дальнейшем использованы при создании новых химических соединений для микроэлектронной промышленности. Данный программный комплекс используется в учебном процессе кафедры информатики Московского физико-технического института в качестве демонстрационного пособия по предмету «Методы анализа данных и распознавания».

Личный вклад:

1. Постановка задач диссертационного исследования выполнена автором совместно с А.С. Холодовым и В.В. Рязановым.

2. Разработка процедуры кодирования и генетического поиска логических закономерностей проведена автором.

3. Теоретическая оценка количества локальных экстремумов задачи поиска логических закономерностей получена автором.

4. Стратегия кроссовера, учитывающая взаимное расположение объектов выборки, разработана и протестирована автором.

5. Новые способы получения оценки объекта за классы, а также соответствующие решающие правила разработаны и протестированы автором.

6. Решение задачи прогнозирования типа кристаллической решетки неорганических соединений получено автором с помощью представленных в диссертационной работе алгоритмов. Постановка задачи принадлежит Н.Н.Киселевой.

Основные положения, выносимые на защиту:

1. Процедура кодирования и генетического поиска логических закономерностей в признаковом пространстве.

2. Теоретическая оценка количества локальных экстремумов задачи поиска логических закономерностей для выборок с неразличимыми классами.

3. Новая стратегия кроссовера, выполняющая процедуру скрещивания с учетом взаимного расположения объектов выборки друг относительно друга.

4. Способы построения оценок объекта за классы и основанные на данных оценках решающие правила.

5. Результаты решения задачи прогнозирования типа кристаллической решетки неорганических соединений.

Автор выражает глубокую благодарность научному руководителю, члену-корреспонденту РАН, доктору физико-математических наук профессору А.С. Холодову, а также научному консультанту, доктору физико-математических наук профессору В.В. Рязанову за помощь в написании работы, ценные советы, замечания и доброжелательную критику.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Ковшов, Николай Вадимович

3.3 Основные результаты и выводы по главе 5

1. Для тестирования разработанных алгоритмов сформулированы модельные и прикладные задачи распознавания образов. Данные задачи были решены с помощью различных методов, реализованных в программном комплексе «Recognition». В данной главе приведены результаты сравнения методов, демонстрирующие высокую надежность генетического метода.

2. Сформулирована задача прогнозирования типа кристаллической решетки соединений серы, селена и теллура. Для эффективного решения данной задачи предложено разбиение на две подзадачи, а также исключен ряд признаков, что позволило сократить размерность признакового пространства до 30-ти, при этом улучшив вероятность корректного распознавания. Получено решение задачи с помощью различных методов классификации. Наилучшие результаты в решении подзадачи прогнозирования существования соединений дал представленный в работе генетический метод. Наилучшие результаты в решении подзадачи прогнозирования кристаллической решетки дал метод опорных векторов.

ЗАКЛЮЧЕНИЕ

Диссертационная работа посвящена разработке методов классификации, основанных на поиске предикатов в признаковом пространстве, соответствующих заданному критерию оптимальности. Рассматривалась задача поиска оптимальных предикатов, а также задача построения решающих правил для процедуры распознавания.

В результате выполнения диссертационной работы получены следующие основные научные и практические результаты и сделаны следующие выводы.

1. Разработан новый подход к машинному представлению предикатов в признаковом пространстве, позволивший эффективно решать поставленную задачу с использованием генетического алгоритма. Особенностью данного подхода является представление предиката как набора объектов обучающей выборки, которые содержит в себе данный предикат.

2. Получена теоретическая оценка зависимости количества локальных экстремумов задачи от числа признаков и количества объектов. Оценка была получена для задачи с неразделимыми классами, что может считаться верхней гранью оценки данной величины по всем различным задачам. Проведена экспериментальная проверка найденной оценки.

3. Разработаны общие правила для построения ГА, способного качественно решать подобные задачи. В том числе, разработан новый метод кроссовера, учитывающий взаимное расположение объектов классов. Экспериментальная проверка показала преимущество данного типа кроссовера в сравнении с традиционными методами -двухточечным и однородным кроссовером.

4. Предложены новые формулы получения оценок объекта за классы. Первая из предложенных формул оценивает ЦФ предиката, образованного распознаваемым объектом и предикатом, найденным в процессе обучения. Вторая формула оценивает количество признаковых ограничений, по которым распознаваемый объект удовлетворяет некоторому найденному в процессе обучения предикату. Построены 2 варианта решающих правил, учитывающие значения оценок объекта за классы, полученных разными методами. Экспериментальная проверка данных решающих правил показала их высокую эффективность в сравнении с методом простого голосования по оценкам.

5. Проведена теоретическая оценка вычислительной сложности представленных алгоритмов. Сравнение теоретического и экспериментального времени счета показало адекватность полученных оценок. Предложен метод дробления выборки, позволяющий во многих случаях существенно снизить количество вычислений без ущерба для качества распознавания.

6. Проведено экспериментальное сравнение разработанного алгоритма со многими классическими алгоритмами классификации. Показана высокая эффективность алгоритма в сравнении с остальными рассмотренными алгоритмами. Продемонстрирована способность алгоритма решать прикладные задачи распознавания образов.

Список литературы диссертационного исследования кандидат физико-математических наук Ковшов, Николай Вадимович, 2007 год

1. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин//М.: Наука, 1970,384 с.

2. Баскакова JI.B., Журавлев Ю.И. Модель распознающих алгоритмов с представительными наборами и системами опорных множеств // Журн. вычисл. матем. и матем. Физики, 1981, Т.21, № 5, с. 1264-1275.

3. Вапник В.Н. Восстановление зависимостей по эмпирическим данным // М.: Наука, 1979, 448 с.

4. Дмитриев А.Н., Журавлев Ю.И., Кренделев Ф.П. О математических принципах классификации предметов и явлений. // Сб. "Дискретный анализ". Вып. 7. Новосибирск, ИМ СО АН СССР. 1966. С. 3-11.

5. Донской В.И. Алгоритмы обучения, основанные на построении решающих деревьев // Журнал выч. мат. и матем. физики. 1982, т.22, №4, с. 963-974.

6. Дуда Р., Харт П., Распознавание образов и анализ сцен. // Издательство "Мир", Москва, 1976,511 с.

7. Дюкова Е.В. Асимптотически оптимальные тестовые алгоритмы в задачах распознавания//Проблемы кибернетики. М.: Наука, 1982. Вып. 39. С. 165-199.

8. Емельянов В.В., Курейчик В.М., Курейчик В.В. Теория и практика эволюционного моделирования // М.:ФИЗМАТЛИТ, 2003.

9. Журавлев Ю.И. ИЗБРАННЫЕ НАУЧНЫЕ ТРУДЫ. // М.: Издательство Магистр, 1998. 420 с.

10. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации. //Проблемы кибернетики. М.: Наука, 1978. Вып.33. С.5-68.

11. Журавлев Ю.И., Никифоров В.В. Алгоритмы распознавания, основанные на вычислении оценок// Кибернетика. 1971. №3. С. 1-11.

12. Журавлев Ю.И., Рязанов В.В., Сенько О.В. «Распознавание». Математические методы. Программная система. Практические применения. // М.:ФАЗИС, 2006, 176 с.

13. Киселева Н.Н. Компьютерное конструирование неорганических соединений -использование баз данных и методов искусственного интеллекта. // М.: Наука, 2005, 289 с.

14. Ковшов Н.В., Рязанов В.В. Генетический алгоритм поиска логических закономерностей по прецедентам для решения задач распознавания // Доклады 11-ой Всероссийской конференции «Математические методы распознавания образов» -М. 2003, С. 106-108.

15. Ковшов Н.В., Миненко М.И. Сетевая вычислительная модель интенсивных информационных потоков // Доклады конференции «Технологии Microsoft в теории и практике программирования» М.: Ин-т. им. Баумана - 2005 - С. 96-97.

16. Ковшов Н.В. Расчет приливной волны (бора) в речных дельтах посредством одномерной модели на графах // Современные проблемы фундаментальных и прикладных наук: Труды 49 научной конференции МФТИ М.: МФТИ - 2006 - С. 295-297.

17. Кузнецов В.А., Сенько О.В., Кузнецова А.В. и др. Распознавание нечетких систем по методу статистически взвешенных синдромов и его применение для иммуногематологической нормы и хронической патологии. // Химическая физика, 1996, т.15.№1. С. 81-100.

18. Курейчик, В.М. Генетические алгоритмы // М.: Физматлит, 2006.

19. Лазарев В.Б., Киш 3.3., Переш Е.Ю., Семрад Е.Е. Сложные халькогениды в системах Ai-Bin-Civ // М.:Металлургия, 1993, 240 с.

20. Лазарев В.Б., Беруль С.И., Салов А.В. Тройные полупроводниковые соединения в системах Ai-Bv-Cvi // М.:Наука, 1982, 148 с.

21. Лбов Г.С. Методы обработки разнотипных экспериментальных данных // Новосибирск, Наука, 1981,160 с.

22. Мазуров В.Д. Метод комитетов в задачах оптимизации и классификации // М.гНаука, 1990, с. 69.

23. Минский М., Пейперт С. Персептроны // М.:Мир, 1971, 262 с.

24. Обухов А.С., Рязанов В.В. Применение релаксационных алгоритмов при оптимизации линейных решающих правил. // Доклады 10-й Всероссийской конференции "Математические методы распознавания образов (ММРО-Ю)", Москва, 2001, 102-104.

25. Рез И.С., Поплавко Ю.М. Диэлектрики: основные свойства и применения в электронике // М.: Радио и связь, 1989. 288 с.

26. Савицкий Е.М., Киселева Н.Н. Кибернетическое прогнозирование существования фаз состава АВХг // Изв. АН СССР. Неорган. Материалы. 1979. Т. 15, №6. С. 11011102.

27. Савицкий Е.М., Грибуля В.Б., Киселева Н.Н. и др. Прогнозирование в материаловедении с применением ЭВМ // М.:Наука, 1990, 87 с.

28. Северов Д.С., Ковшов Н.В., Миненко М.И. Математическое моделирование работы вычислительных сетей, использующих протоколы TCP и UDP // Современные проблемы фундаментальных и прикладных наук: Труды XLVIII научной конференции. М.:МФТИ - 2005 - С. 30-32.

29. Сенько О.В. Использование процедуры взвешенного голосования по системе базовых множеств в задачах прогнозирования // М. Наука, Ж. вычисл. матем. и матем. физ. 1995, т. 35, № 10, С. 1552-1563.

30. Сироджа И.Б. Структурно-аналитический метод машинного распознавания объектов с разнотипными признаками // Теория R-функций и актуальные проблемы прикладной математики. Киев: Наукова думка, 1986, с.212-243.

31. Уоссермен Ф. Нейрокомпьютерная техника//М.,Мир, 1992.

32. Фу К. Структурные методы в распознавании образов // М. Мир, 1977.

33. Фукунага К. Введение в статистическую теорию распознавания образов // М.:Наука, 1979, 367 с.

34. Хомич А.В. Анализ и оптимизация операций мутации и кроссовера в генетических алгоритмах // Материалы Докладов V Всероссийской конференции «Новыеинформационные технологии в исследовании сложных структур». Томск, Вестник ТГУ.-2004.-С. 111-114.

35. Alander J.T. On optimal population size of genetic algorithms // CompEuro '92 . 'Computer Systems and Software Engineering', proceedings, 1992.

36. Back T. Evolutionary Algorithms in Theory and Practice // Oxford University Press, 1996.

37. Baeck T. Evolutionary computation // Berlin Heidelberg: Springer-Verlag, 2000.

38. Bezdek J.C. A review of probabilistic, fuzzy, and neural models for pattern recognition // FUZZY LOGIC AND NEURAL NETWORK HANDBOOK, Chen C.H. eds, ch.2, McGraw-Hill, 1996.

39. Bezdek J.C. Pattern Recognition with Fuzzy Objective Function Algorithms // Plenum Press, New-York, 1981.

40. Blickle Т., Thiele L. A Comparison of Selection Schemes used in Genetic Algorithm // 1995, 2 Edition.

41. Box G.E.P., Miiller E.M., A Note on the Generation of Random Normal Deviates // The Annals of Mathematical Statistics (1958), Vol. 29, No. 2 pp. 610-611

42. Christopher J.C., A Tutorial, on Support Vector Machines for Pattern Recognition // Data Mining and Knowledge Discovery 2,121-167,1998.

43. Darrel W. A Genetic Algorithm Tutorial //1993.

44. Davis L. Handbook of Genetic Algorithms // Van Nostrand Reinhold, 1991.

45. Dawei L. A study on the optimal population size of genetic algorithm // Li Wang Intelligent Control and Automation, proceedings of the 4th World Congress, 2002.

46. De Jong K.A., Kenneth A. An Analysis of the Behavior of a Class of Genetic Adaptive Systems // Doctoral Thesis, Department of Computer and Communication Sciences, University of Michigan, Ann Arbor, 1975.

47. De Jong K.A., Spears W. M. An analysis of interacting role of population size and crossover in genetic algorithms // In Parallel Problem Solving from Nature, 1991.

48. De Jong K.A. A formal analysis of the role of multi-point crossover in genetic algorithms // Annals of Mathematics and Artificial Intelligence, 1992, Vol. 5, no.5, P. 1-26.

49. De Jong K.A. Generation Gaps Revisited. Foundations of Genetic Algotihms 2. // 1993, P. 19-28.

50. Eshelman, L.J. Biases in the crossover landscape // Proceedings of the Third International Conference on Genetic Algorithms. 1989. - P. 10-19.

51. Eschelman L.J., Caruana R., Schaffer D. Biases in the Crossover Landscape // Proc. 3rd Int'l Conference on Genetic Algorithms, Morgan Kaufman Publishing, 1989.

52. Forina M. PARVUS An Extendible Package for Data Exploration, Classification and Correlation. // Institute of Pharmaceutical and Food Analysis and Technologies, Via Brigata Salerno, 16147 Genoa, Italy.

53. Goldberg D.E. Genetic algorithms in search, optimization and machine learning // Addison-Wesley, 1989.

54. Goldberg D.E. Optimal population size for binary-coded genetic algorithms. // TCGA Report, No. 85001,1985.

55. Goldberg D.E., Deb K., Clark J.H. Genetic Algorithms, Noise, and the Sizing of Populations // IlliGAL Report, No. 91010,1991.

56. Hesser, J. Towards an optimal mutation probability for genetic algorithms // Proceedings of the 1st Conference on Parallel Problem Solving from Nature. Berlin: Springer-Verlag, 1990. -P.23-32.

57. Holland J.H. Adaptation in Natural and Artificial Systems: An Introductory Analysis with Application to Biology, Control, and Artificial Intelligence // University of Michigan, 1975.

58. Kiselyova N.N. Search for efficient methods of prediction of multicomponent inorganic compounds (final report) // EOARD SPC-00-4014, 2001. 46 p.

59. Kovshov N.V., Ryazanov V.V. About One Approach for Detecting Logical Dependencies in Recognition by Precedents Based on the Genetic Algorithm // WSEAS transactions on computer research 2006 - Issue 2, Vol.1 - P. 152-155.

60. Kovshov N.V., Moiseev V.A., Ryazanov V.V. Algorithms for Detecting Logical Dependences in Recognition by Precedents // Pattern Recognition and Image Analysis -2005 Vol.15, Part 1, P. 65-68.

61. Mangasarian O.L., Wolberg W.H. Cancer diagnosis via linear programming // SIAM News, Volume 23, Number 5, September 1990, pp 1 -18.

62. Martin H.C., Law Mario A.T., Figueiredo A., Jain K. Simultaneous Feature Selection and Clustering Using Mixture Models // Pattern analysis and machine intelligence. Vol. 26, No. 9, pp. 1154-1166.

63. Nowak, M. Error thresholds of replication in finite populations: Mutation frequencies and the onset of Muller's ratchet // Theoretical Biology. 1989. - No. 137 - P.375-395.

64. Reeves C.R. Using genetic algorithms with small populations // In Forrest 7., pages 9299.

65. Ryazanov V.V., Senko O.V., and Zhuravlev Yu. I. Methods of recognition and prediction based on voting procedures.// Pattern Recognition and Image Analysis, Vol. 9, No. 4,1999, p.713—718.

66. Ryazanov V.V. About some approach for automatic knowledge extraction from precendent data // Proceedings of the 7th international conference "Pattern recognition and image processing", Minsk, May 21-23, 2003, vol. 2, pp. 35-40.

67. Ryazanov V.V. Recognition Algorithms Based on Local Optimality Criteria // Pattern Recognition and Image Analysis. 1994. Vol.4, no.2. P.98-109.

68. Sen'ko O.V. A Prediction Algorithm Based on the Procedure of Weighted Voting Using a System of Hyperparallelepipeds in a Multidimensional Feature Space // Pattern Recognition and Image Analysis, 1993, vol.3, no. 3, pp.283-284.

69. Siebert J.P. Vehicle Recognition Using Rule Based Methods // Turing Institute Research Memorandum TIRM-87-018 March 1987.

70. Siebentritt S. Wide gap chalcopyrites: Material properties and solar cells // The Solid Films. 2002. Vol. 403-404. P. 1-8.

71. Sigillito V.G., Wing S.P., Hutton L.V., Baker K.B. Classification of radar returns from the ionosphere using neural networks. // Johns Hopkins APL Technical Digest, 10, 262266,1989.

72. Smith R.E. Population sizing// Institute of Physics Publishing, 2000, P. 134-141.

73. Spears W.M. Evolutionary algorithms: the role of mutation and recombination // Berlin Heidelberg: Springer-Verlag, 2000.

74. Spears, W., De Jong K.A. An Analysis of Multi-point Crossover // Proceedings of the Foundations of Genetic Algorithms Workshop, Bloomington, Indiana, 1990.

75. Syswerda, Gilbert Uniform Crossover in Genetic Algorithms // Proc. 3rd Int'l Conference on Genetic Algorithms, Morgan Kaufman Publishing, 1989.

76. Whitley, D., Kauss, J. GENITOR: a different genetic algorithm // Proceedings of the Rocky Mountain conference on Artificial Intelligence, Denver, CO, 1998, pp. 118-130

77. Whitley D., Starkweather T. Genitor II: a distributed genetic algorithm. Journal // Expt. Theor. Artif. Intel., 1991, 2:189-214