Синтез нейронных сетей с адаптивной топологией тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Жолобов, Дмитрий Александрович

• Жолобов, Дмитрий Александрович
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Жолобов, Дмитрий Александрович

ВВЕДЕНИЕ

ГЛАВА 1. НЕЙРОСЕТЕВЫЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧИ КЛАССИФИКАЦИИ

1.1. Постановка задачи классификации и основные определения

1.2. Определение нейронной сети.

1.3. Градиентные методы обучения нейронной сети

1.3.1. Выбор начальной точки

1.3.2. Вычисление градиента функции ошибки

1.3.3. Метод наискорейшего спуска.

1.3.4. Ньютоновская стратегия

1.3.5. Метод сопряженных градиентов

1.3.6. Определение величины шага в направлении минимизации

1.3.7. Проблемы использования классических алгоритмов

1.4. Вероятностные нейронные сети

1.4.1. Радиальная нейронная сеть

1.4.2. Обучение сети.

1.5. Автоассоциативная сеть Хопфилда

1.5.1. Принцип работы сети Хопфилда.

1.5.2. Обучение сети Хопфилда

1.5.3. Сравнение сети Хопфилда с сетями прямого распространения

1.6. Метод опорных векторов

1.6.1. Случай линейно-разделимой обучающей выборки.

1.6.2. Линейно-неразделимые обучающие выборки. Ядра.

1.7. Выводы по первой главе.

ГЛАВА 2. АЛГОРИТМ СИНТЕЗА НЕЙРОННОЙ СЕТИ С АДАПТИВНОЙ ТОПОЛОГИЕЙ.

2.1. Идея алгоритма синтеза нейронной сети.

2.2. Алгоритм построения первого слоя.

2.3. Построение нейронов очередного слоя

2.4. Альтернативные методы синтеза нейрона

2.4.1. Алгоритмы, использующие меры расстояния между РКП

2.4.2. Исследование возможности замены булевых переменных на вещественные

2.4.3. Использование множественной регрессии для синтеза нейрона

2.5. Применение метода ветвей и границ для синтеза сети

2.5.1. Общая постановка задачи

2.5.2. Вычисление оценки решения

2.5.3. Рекорды.

2.5.4. Отсеивание бесперспективных ветвей

2.5.5. Критерий оптимальности и признак недопустимости задачи

2.5.6. Расширение неполного решения и уточнение оценок

2.5.7. Разбиение множества возможных решений

2.5.8. Алгоритм построения нейросети.

2.6. Эффект появления'лишних нейронов.

2.7. Обобщение метода для задач классификации с несколькими (более двух) классами.

2.7.1. Постановка задачи

2.7.2. Последовательный метод синтеза классификатора

2.7.3. Параллельный метод синтеза классификатора

2.7.4. Выбор метода синтеза классификатора

2.8. Выводы по второй главе.

ГЛАВА 3. ИНЖЕНЕРНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМА.

3.1. Архитектура системы

3.2. Функциональные возможности клиентского приложения

3.2.1. Работа с обучающей выборкой.

3.2.2. Синтез нейронной сети.

3.2.3. Визуализация результата

3.3. Архитектура клиентского приложения

3.3.1. Слой процессора нейронной сети.

3.3.2. Слой исполнительной среды.

3.3.3. Организация модульности алгоритмов синтеза нейрона

3.3.4. Слой представления.

3.3.5. Архитектура базовых алгоритмов синтеза.

3.4. База данных моделей.

3.5. Компонентная версия пакета

3.6. Эксперимент на двумерных обучающих выборках

3.7. Выводы по третьей главе.

ГЛАВА 4. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ АЛГОРИТМА.

4.1. Вычислительный эксперимент. Решение задачи классификации символов

4.1.1. Постановка задачи.

4.1.2. Формирование обучающей выборки

4.1.3. Метод синтеза отдельного нейрона

4.1.4. Алгоритм LIPSOL.

4.1.5. Тестирование алгоритма.

4.1.6. Технология проведения эксперимента

4.1.7. Обучение сети классическими методами.

4.1.8. Результаты.

4.2. Использование предложенного метода для восстановления показаний отказавшего датчика в реакторе ядерной энергетической установки

4.2.1. Устройство ядерной энергетической установки

4.2.2. Принцип построения нейросетевой системы восстановления показаний отказавшего датчика.

4.2.3. Обучение сети.

4.2.4. Результаты.

4.3. Выводы по четвертой главе

Введение диссертации (часть автореферата) на тему «Синтез нейронных сетей с адаптивной топологией»

В настоящее время при решении большого количества различных задач встает проблема автоматической классификации. Существует множество прикладных областей, в которых ставятся и решаются задачи классификации: распознавание визуальных объектов, автоматическое рубрицирование текста, системы поддержки принятия решений и т.д. Процесс классификации, потребность в котором существует в этих предметных областях, укрупненно может быть представлен следующим образом: эксперт, хорошо разбирающийся в предметной области задачи, разбивает ограниченную группу объектов на классы. Поскольку работа эксперта представляет собой ценный ресурс, встает задача автоматического (без участия эксперта) отнесения нового (не исследованного экспертом) объекта к тому или иному классу на основании известных параметров этого объекта. Исходными данными для решения этой задачи могут служить либо примеры объектов, уже классифицированных экспертом, либо определенные знания о предметной области. При построении автоматического классификатора с использованием знаний эксперта, основной проблемой является формализация этих знаний в виде стандартизованных метаданных, что является в основном инженерной задачей. В случае, если для построения классификатора доступны только примеры объектов, классифицированных экспертом ранее, встает проблема синтеза знаний о предметной области, на основании которых будет работать классификатор. В настоящее время не существует универсального подхода к решению такой задачи, причем качество работы получаемого классификатора существенно зависит от предъявленных объектов, на основании которых были синтезированы знания о предметной области. Задачи такого типа являются классической областью применения нейросетевых технологий [39,7,77,38,81,82]. В настоящей работе представлен новый метод решения задач классификации, базирующийся на нейросетевой парадигме.

Математически задача классификации объектов ставится следующим образом. Существует некоторое множество объектов (конечное или бесконечное). Каждый объект описывается некоторым конечным множеством параметров (дискретных или непрерывных), совокупность которых называется пространством признаков, а описание объекта в этом пространстве называется реализацией комплекса признаков (РКП). Также существует конечное множество классов, к которым может быть отнесен тот или иной объект, причем в различных постановках задачи объект может относиться как только к одному, так и к нескольким классам одновременно. Из всего множества объектов выделено некоторое конечное подмножество, элементам которого уже поставлен в соответствие один или несколько классов. Это множество называется обучающей выборкой, а отдельный элемент этого множества называется примером. Необходимо синтезировать вычислительную процедуру, получающую на вход любой объект из исходного множества в виде реализации комплекса признаков. На основании этой реализации процедура должна поставить в соответствие этому объекту один или несколько классов (в зависимости от постановки задачи). Для построения процедуры можно использовать только информацию об объектах обучающей выборки.

Качество работы полученного механизма оценивается по двум критериям: количество ошибок запоминания и количество ошибок обобщения. Под ошибками запоминания понимается неправильная классификация объектов из обучающей выборки, а под ошибками обобщения неправильная классификация объектов, не входящих в обучающую выборку. Поскольку для построения автоматизированного классификатора используются только объекты из обучающей выборки, то оптимизируемая в процессе построения целевая функция может быть связана только с ошибками запоминания, тогда как с прикладной точки зрения истинной мерой качества работы классификатора является количество ошибок обобщения.

При такой постановке задачи классификации нейросетевые методы являются весьма подходящим инструментом для её решения. Идея, на которой основаны нейросетевые алгоритмы, заключается в использовании математических моделей процессов, происходящих в нервных тканях головного мозга. В основе любого нейросетевого алгоритма лежит нейронная сеть математическая модель нервной ткани. Нейронная сеть состоит из определенного количества узлов, называемых нейронами (здесь математический термин совпадает со своим биологическим протагонистом). Нейронная сеть представляет собой вычислительную систему с большой степенью параллелизма, что делает её очень эффективной для решения определенного рода задач, к которому в том числе относится рассматриваемая задача классификации.

Актуальность. Диссертационная работа посвящена актуальной теме разработке математического алгоритма синтеза нейронной сети с адаптивной топологией и пороговой функцией активации, а также программной реализации этого алгоритма для решения задач классификации и исследованию его свойств.

Объект исследования. Объектом исследования данной работы является алгоритм синтеза нейронной сети с адаптивной топологией и пороговой функцией активации, методы для синтеза отдельного нейрона.

Цель работы. Целью настоящей работы является создание математического аппарата для синтеза нейронных сетей с адаптивной топологией, разработка программного обеспечения, реализующего этот аппарат, исследование возможности использования алгоритма в прикладных целях и сравнение результатов, полученных с помощью предлагаемого алгоритма с результатами, полученными с помощью классических методов обучения нейронной сети на известных задачах.

Для достижения поставленной цели в работе:

• Исследованы классические нейросетевые подходы к решению задач классификации;

• Предложено 5 методов синтеза отдельного нейрона;

• Предложен алгоритм синтеза нейронной сети, основанный на методе ветвей и границ;

• Разработано необходимое программное обеспечение;

• Проведены три вычислительных эксперимента.

Методы исследования. При разработке математического и программного обеспечения в диссертационной работе используются методы линейного программирования, целочисленного программирования, математической статистики.

Научная новизна работы. Новизна работы заключается в следующем:

• Предложен метод синтеза нейронной сети, использующий метод ветвей и границ;

• Предложены 5 методов синтеза отдельного нейрона/

• Предложена схема идентификации и отсева нейронов, удаление которых не влияет на качество нейронной сети.

Практическая ценность. Проведен ряд исследований возможности применения предложенного алгоритма в областях распознавания символов и теплофизики, в результате чего:

• Разработана и апробирована система автоматического распознавания символов;

• Создан классификатор типа поля по его параметрам.

По тематике диссертационной работы выполнялись научно-исследовательские работы по теме №84-3-013-205 в МИФИ (ГУ) . Эти исследования подробно описаны в соответствующих отчетах о НИР. Разработанные инженерные решения были использованы в МИФИ, что подтверждается соответствующими актами.

Разработанное программное обеспечение LinProg и Brainstorm прошло регистрацию в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ), что подтверждается соответствующими свидетельствами.

На защиту выносятся:

• Алгоритм синтеза нейронной сети;

• Пакет, реализующий разработанный алгоритм;

• Автоматизированная система распознавания символов;

• Специализированный классификатор типа поля.

Границы разрабатываемой темы. Класс задач, решаемых с помощью предложенного алгоритма, ограничен множеством математических моделей, используемых для их описания. Предложенный в работе s алгоритм синтеза нейронной сети, а также все его модификации могут быть реализованы на большинстве аппаратных средств.

Раскрытие результатов. Результаты диссертационной работы были раскрыты в 9 печатных работах [94-102] и 2 отчетах о научно-исследовательских работах [103,104].

Апробация работы. Теоретические и практические результаты были доложены на следующих конференциях и семинарах:

• XIV Международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, МАИ, сентябрь 2005 [96,98];

• Семинар на кафедре Системного анализа МИФИ «Синтез нейронной сети с пороговой функцией активации», МИФИ, ноябрь 2005.

Структура и объем работы Диссертация содержит 4 главы, введение и заключение, 3 приложения, 54 рисунка, 5 таблиц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Жолобов, Дмитрий Александрович

4.3. Выводы по четвертой главе

В четвертой главе описаны вопросы, связанные с практической апробацией представленного во второй главе алгоритма.

Поставлена задача аппроксимации показаний неисправного датчика на основе данных, поступающих от исправных датчиков. Задача была разбита на две подзадачи: собственно задача аппроксимации и задача определения наиболее подходящей для этого нейронной сети задача классификации состояния системы на основании показаний исправных датчиков. Представленным в работе методом синтезирована нейронная сеть, решающая задачу классификации. Полученные результаты свидетельствуют о практической применимости представленного алгоритма.

Также в главе рассмотрена классическая задача распознавания символов . для сравнения работы представленного алгоритма с классическими алгоритмами классификации многослойным персептроном и вероятностной нейронной сетью. Полученные результаты позволяют утверждать предлагаемый алгоритм решает задачи распознавания не хуже, а в некоторых случаях (при большом количестве обучающих примеров) лучше, чем известные алгоритмы, имея при этом значительно более высокую производительность (один нейрон, синтезированный представленным алгоритмом дает такой же уровень ошибки, как нейронная сеть из десяти нейронов на скрытом слое, обученная методом обратного распространения ошибки).

ЗАКЛЮЧЕНИЕ

В процессе разработки алгоритма синтеза нейронной сети с пороговой функцией активации, разработки программного обеспечения, реализующего этот алгоритм, а также при апробировании этого алгоритма на прикладных задачах были получены следующие результаты:

1. Проведен анализ классических нейросетевых методов решения задачи классификации. Рассмотрены алгоритмы, основанные на методе обратного распространения ошибки для структур нейронных сетей типа многослойного персептрона, алгоритмы, основанные на вероятностном подходе, предназначенные для сетей с нейронами, функция активации которых представляет собой радиальную базисную функцию. Также рассмотрен алгоритм Хопфилда, обучающий сети, реализующие память ассоциативного типа. Отмечены основные недостатки этих алгоритмов:

• Недетерминированность получаемой нейронной сети, что обуславливает низкую интерпретируемость результата;

• Принцип работы сетей основан на поиске локального минимума ошибки;

• Предопределенность топологии сети, которая задается перед работой алгоритма.

2. Разработана модель линейного целочисленного программирования, результатом решения которой являются параметры нейрона (гиперплоскости в пространстве признаков), классифицирующего пространство признаков с минимальным количеством ошибок. Предложен алгоритм синтеза нейронной сети, использующий модель линейного программирования для синтеза многослойного персептрона.

Разработаны модификации этой модели линейного целочисленного программирования. Предложен метод синтеза отдельного нейрона, основанный на методе наименьших квадратов (пошаговая регрессия).

Разработан алгоритм, синтезирующий нейронную сеть минимального размера, комбинирующий различные методы синтеза отдельного нейрона с помощью метода ветвей и границ. Описан эффект появления «лишних» нейронов в сети, а также предложен алгоритм очистки сети от этих нейронов. Приведены основные преимущества предложенного алгоритма:

• Детерминированность получаемой сети. Многократный запуск алгоритма неизменно приводит к одной и той же топологии сети с одинаковыми параметрами нейронов и синапсов;

• Строго пороговая функция активации, соответствующая функции активации биологического нейрона;

• В результате работы алгоритма получается сеть, имеющая нулевой уровень ошибки на обучающей последовательности (глобальный минимум). Поскольку эта сеть имеет минимальный размер, эффекта переобученности не возникает;

• Топология сети определяется в процессе работы алгоритма.

3. Разработан пакет, реализующий представленный алгоритм.

Пакет позволяет осуществлять ввод обучающей последовательности в графическом виде для двумерной задачи (наподобие того, как это делается в графическом редакторе), или в табличном виде для задачи с размерностью больше двух. Пакет производит синтез нейронной сети, позволяет хранить множество нейронных сетей, синтезированных разными методами, позволяет проводить обработку данных с помощью нейронных сетей. Разработана компонентная версия пакета для внедрения его в другие программы. Основными особенностями пакета являются:

• Современный графический интерфейс;

• Поддержка промышленных СУБД;

• Высокая производительность;

• Модульная структура, что позволяет подключать к пакету алгоритмы синтеза, разработанные третьими лицами.

Проведен вычислительный эксперимент на задаче классификации символов. Показано, что нейронный классификатор, распознающий 26 латинских символов и 10 цифр, состоящий из 36 нейронов, имеет небольшое преимущество в уровне ошибки по сравнению с многослойным персептроном, состоящем из 360 нейронов, обученным с помощью метода обратного распространения ошибки.

Полученные результаты диссертации были использованы в МИФИ, что подтверждено соответствующими документами.

Разработанное программное обеспечение LinProg и Brainstorm прошло регистрацию в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам.

Результаты диссертационной работы были доложены на международных семинарах и конференциях, были отражены в отчете о НИР МИФИ по теме № 84-3-013-205 «Реализация нейросетевыми средствами типовых задач управления, диагностики и обработки данных применительно к ядерным энергетическим установкам».

Список литературы диссертационного исследования кандидат технических наук Жолобов, Дмитрий Александрович, 2006 год

1. Акулич И.Л. Математическое программирование в примерах и задачах. Учебное пособие для студентов эконом, спец. ВУЗов.- М. : Высшая школа, 1986.

2. Барсегян А. А. Методы и модели анализа данных: OLAP и Data Mining. СПб.: БХВ-Петербург, 2004

3. Бахвалов Н.С. Численные методы. Т.1. М.:Наука, 1975.

4. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. М. : Наука, 1974.- 415 с.

5. Васильев Ф.П., Иваницкий А.Ю. Линейное программирование. М. : Факториал Пресс, 2003 г.

6. Галушкин А.И. и др. Нейроматематика: методы решения задач на нейрокомпьютерах. М.: НИИ "Квант", 1990

7. Галушкин А.И. Синтез многослойных систем распознавания образов. М.: Энергия, 1974

8. Гареев А.Ф. Применение вероятностной нейронной сети для автоматического рубрицирования текстов// Докл. ВК "НИ-99". Ч.З. -М. : МИФИ, 1999.-с.71-78.

9. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей. Сиб. Журнал вычислит, мат. Новосибирск: РАН. Сиб. Отделение, 1998.- 1, №1 - с.11-24

10. Горбань А.Н. Обучение нейронных сетей. М. : СП "Параграф", 1991

11. Горбань А.Н., Россиев Д. А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996. 256 с.

12. Демидов М.И., Жолобов Д.А. Классификация альтернативных решений транспортной задачи с помощью нейронной сети. Научная сессия МИФИ-2004, сборник научных трудов, т.13. -М.: МИФИ, 2004

13. Емельянов И.Я., Ефанов А.И., Константинов Л. В. Научно-технические основы управления ядерными реакторами: Учеб. пособ. для втузов/Под ред. Н.А.Доллежаля. М: Энергоиздат, 1981

14. Дискуссия о нейрокомпьютерах. Под ред. Клюкова В.И., НИВЦ АН СССР, Пущино, 1988

15. Дубнов П.Ю. Access 2000. Проектирование баз данных. М.:ДМК, 2000

16. Дуда Р. Харт П. Распознавание образов и анализ сцен. М.:Мир, 1976. - 230с.

17. Жигирев Н.Н., Корж В.В., Оныкий Б.Н. Использование асимметрии частотных свойств информационных признаков для построения автоматизированных систем классификации текстовых документов // Докл. ВК "НИ-99". Ч.З.-М.:МИФИ, 1999.-е. 83-91.

18. Зайченко Ю.П. Исследование операций. -Киев: Издательский дом "Слово", 2003

19. Исследование операций.1 том. Пер. с англ. /Под ред. Дж.Моудера, С. Элмаграби. М.: Мир, 1981.

20. Карманов В.Г. Математическое программирование. -М. : Издательство Физико-математической литературы, 2004

21. Кнут Д. Искусство программирования. -М:Вильямс, 2002

22. Кожевников Ю.В. Теория вероятностей и математическая статистика. М: Машиностроение, 2002

23. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций одного переменного и операции сложения. ДАН, 114,953, 1957

24. Коннолли Т., Бегг К. Базы данных. Проектирование, реализация и сопровождение. Теория и практика. -М.: Вильяме, 2003

25. Кохонен Т. Ассоциативная память. М.: Мир, 1980

26. Круглов В.В. Борисов В.В. Искусственные нейронные сети. Теория и практика. -М. .-Горячая линия Телеком, 2001

27. Кэнту М. Delphi 7 для профессионалов. СПб:Питер, 2004

28. Леонов А.А., Леонова М.А. Модель линейного целочисленного программирования в задаче идентификации состояния объекта. Научная сессия МИФИ-2000. Сборник научных трудов, том 6. М.: МИФИ, 2000.

29. Леонов А.А. Методы решения линейных экстремальных задач. Учебное пособие. М.: МИФИ, 1984.

30. Леонов А.А., Леонова М.А. Автоматизированная система синтеза процедуры распознавания объектов. Научная сессия МИФИ-2001. Сборник научных трудов, том 6. М.: МИФИ, 2001. 244 с.

31. Мазуров В. Д. Метод комитетов в задачах оптимизации и классификации. М: Наука, 1990

32. Маклаков С.В. Моделирование бизнес-процессов с BPwin 4.0. -М. : Диалог-МИФИ, 2002

33. Мину М. Математическое программирование. Теория и алго-ритмы: Пер.с фр. -М.: Наука, 1990.

34. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск:Наука,1998.

35. Нейронные сети. STATISTICA Neural Networks: пер. с англ.-М.: Горячая линия Телеком. 2000.

36. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2004. - 344 с.

37. Пантелеев А.В., Летова Т.А. Методы оптимизации в примерах и задачах. -М: Высшая школа, 2002

38. Потапенко П.Т. Динамика ядерного реактора. М.: МИФИ, 1989

39. Потемкин В.Г. Вычисления в среде MATLAB. М:Диалог-МИФИ, 2004

40. Радченко А.Н. Ассоциативная память. Нейронные сети. Оптимизация нейропроцессоров. М.:Наука, 1998

41. Редько В.Г. Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики.- М.: КомКнига, 2005

42. Розенфельд А. Распознавание и обработка изображений. М. : Мир, 1972. - 256 с.

43. Рутковская Д. и др. Нейронные сети, генетические алгоритмы и нечеткие системы. М.:Горячая линия - Телеком, 2004

44. Страуструп Б. Язык программирования С++. Вторая редакция. Киев: "ДиаСофт", 1993

45. Сыслов В. В. Нейросетевой классификатор тематики текстов. Приборостроение. Спец.выпуск: Методы анализа и синтеза нейронных сетей. 1995, N 1-2, стр. 43-47.

46. Таха X. Введение в исследование операций. -М:ДМК, 2000

47. Тихомиров Ю. Microsoft SQL Server 2000. Разработка приложений. СПб.: BHV, 2000

48. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика. -М.: Мир, 1992

49. Холингворт Дж., Сворт Б., Кэшмэн М., Густавсон П. Borland С++ Builder 6. Руководство разработчика. -М.: Вильяме, 2003

50. Шамис В. Borland С++ Builder. -СПб: Питер, 2003

51. Широков Ф.В. Введение в нейрокомпьютинг. ИНФРА-М. Электрон-ное издание. 1995.

52. Яншин В. В. Анализ и обработка изображений: Принципы и алгоритмы: Учебное пособие для студентов вузов М. : Машиностроение, 1995. - 111 с.

53. Beauchemin В., Berglund N., Sullivan D. A First Look at Microsoft SQL Server 2005 for Developers. -Amsterdam: Addison Wesley Professional, 2004

54. Bishop C. (1995). Neural Networks for Pattern Recognition. Oxford: University Press

55. Chauvin Y. A back propagation algorithm with optimal use of hidden units //Advances in NIPS2 / D.Touretzky, Ed. San Mateo: Morgan Kaufmann, 1989. - Pp.519-526

56. Chen S., Cowan C.F., Grant P.M. Orthogonal least squares learning algorithm for radial basis function networks //IEEE Trans. Neural Networks, 1991. Vol. 2. - Pp.302-309

57. Cheng Y.H., Lin C.S. Learning algorithm for radial basis function network with the capability of adding and pruning neurons: Proc.1994 Conf.ICNN. Orlando: 1994. Pp.797-801

58. Chinrungrueng C., Sequin C.H. Optimal adaptive K-means algorithm with dynamic adjustment of learning rate //IEEE Trans. Neural Networks, 1995. Vol.6. - Pp.157-169

59. Cover T. Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition // IEEE Trans. Electronic Computers, 1965. Vol.14. - Pp. 326-334

60. Davidson J.W. Savic D.A. Walters G.A. Symbolic and numerical regression: experiments and applications // Developments in Soft Computing. Leicester: Physica Verlag, 2000. - Pp.175-182

61. Demuth H., Beale M. Neural Network Toolbox for use with Matlab. Natick: The MathWorks, Inc., 1992

62. Denoeux J., Lengalle R. Unitializing back propagation, networks with prototypes // Neural Networks, 1993. Vol.6. - Pp.351-363

63. Ding Nghia Do, Osowski S. Shape recognition using FFT preprocessing and neural network // Compel, 1998. Vol. 17, No 5/6. - Pp. 658-666

64. Floreen P. The convergence of Hamming memory networks // IEEE Trans. Neural Networks, 1991.- Vol.2 - Pp.449-457

65. Fukushima К. Wake N. Handwritten alphanumeric character recognition by the neocognitron //IEEE Trans. N.N, 1991. Vol.2 -P.p. 355-365

66. Gill P., Murray W., Wright M. Practical Optimization. N.Y.: Academic Press, 1981

67. Girosi F., Jones M. Regularization theory and neural network architecture // Neural Computation, 1995. - Vol.7. - Pp.219-270

68. Goldberg D. Algorytmy genetyczne. WaszawarWNT, 1995

69. Goldberg D. Efficient and Accurate Parallel Genetic Algorithms. Boston, MA: Kluwer Academic Publishers, 2000

70. Haykin S. Neural networks, a comprehensive foundation. N.Y.: Macmillan College Publishing Company, 1994

71. Hebb D. Organization of behaviour. N.Y.: J. Wiley, 1949

72. Hecht-Nielsen R. Neurocomputing.- Amsterdam: Addison Wesley, 1991

73. Hertz J., Krogh A., Palmer R. Wstep do teorii obliczen neuronowych. Wyd. II. Warszawa: WNT, 1995

74. Holland J., Goldberg D. Classifier systems and genetic algorithms, Artificial Intelligence, 40, pp235-282

75. Hopfield J. Neural Networks and physical systems with emergent collective computational abilities // Proc. National Academy of Science USA, 1982. Vol.79. - Pp.2554-2558

76. Hopfield J. Tank D. Computing with neural circuits: a model //Science, 1986. Vol. 233. - Pp.625-633

77. Klimauskas G. Neural Ware User manual. Natick, USA: Neural Ware Inc, 1992.

78. Krzyzak A. Xu L. Suen C.Y. Methods of combining multiple classifiers and their applications to handwritten recognition // IEEE Trans.SMC. Vol.22. - Pp.418-435

79. Leonard J.A. Kramer M.A. Radial basis function networks for classifying process faults //IEEE Control System Magazine, 1991, April. Pp.31-38

80. Linde Y., Buzo A., Gray R. An algorithm for vector quantizer design // IEEE Trans. Comm., 1980. Vol. 28. - Pp.84-95

81. Masters T. Practical neural network recipes in С++. Boston: Academic Press, 1993

82. Mehrotra S. On the Implementation of a Primal-Dual Interior Point Method. SIAM Journal on Optimization. Vol. 2. pp 575-601. -1992.

83. Osowski S. Sieci neuronowe. Warszawa: Oficyna Wydawnicza

84. Rosenblatt F. Principle of neurodynamics. N.Y.: Spartan, 1992

85. Tadeusiewich R. Sieci neuronowe. Waszawa: Akademicka Oficyna Wydawnicza, 1993

86. Tarassenko L., Roberts S. Supervised and unsupervised learning in radial basis function classifiers // IEEE Proc. Vis. Image Signal Process., 1994. Vol.141. - Pp.210-216

87. Widrow В., Hoff M. Adaptive switching circuits // Proc. IRE WESCON Convention Record, 1960. Pp. 107-115

88. Zhang Y. Solving Large-Scale Linear Programs by Interior-Point Methods Under the MATLAB Environment. Department of Mathematics and Statistics, University of Maryland, Baltimore County, Baltimore, MD, Technical Report TR96-01. - 1995.

89. ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

90. Антюфеев Г.В., Леонов А.А., Жолобов Д.А. Рекламно-аналитическая система регионального туристского центра. Информационные технологии в проектировании и производстве: Научн.-техн.журн./ФГУП "ВИМИ", 2005, №2. с.35-39

91. Жолобов Д.А. Использование метода синтеза нейронной сети для решения задачи распознавания символов. Информационные технологии в проектировании и производстве: Научн.-техн.журн./ФГУП "ВИМИ", 2006, №2.

92. Жолобов Д. А. Синтез нейронной сети с пороговой функцией активации. Информационные технологии в проектировании и производстве: Научн.-техн.журн./ФГУП "ВИМИ", 2006, №2.

93. Леонов А.А., Жолобов Д. А. Использование механизма множественной регрессии для синтеза нейронной сети. Научная сессия МИФИ-2003, сборник научных трудов, т.6. -М.: МИФИ, 2003

94. Леонов А.А., Жолобов Д.А., Дикий А.А. Пакет для синтеза нейронных сетей "BRAINSTORM". Научная сессия МИФИ-2002, сборник научных трудов, т.11. -М.: МИФИ, 2002

95. Леонов А.А., Жолобов Д.А., Дикий А.А., Базалевский Р.В. Пакет для решения задач линейного целочисленного программирования LINPR0G. Научная сессия МИФИ-2001, сборник научных трудов, т. 6. -М.: МИФИ, 2001

96. ОТЧЕТЫ О НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ РАБОТАХ

97. Разработка и реализация проекта создания Туристского информационного центра Москвы. Отчет о НИР. Тема №81-3-028-032. Руководитель: Румянцев В.П.; исполнители: Леонов А.А., Жолобов Д.А. и др. М. -.МИФИ, 2003