Обучение нейронных сетей: Методы, алгоритмы, тестовые испытания, прим. прил. тема диссертации и автореферата по ВАК РФ 05.13.16, кандидат физико-математических наук Гилев, Сергей Евгеньевич

• Гилев, Сергей Евгеньевич
• кандидат физико-математических наук
• 1997

Оглавление диссертации кандидат физико-математических наук Гилев, Сергей Евгеньевич

ВВЕДЕНИЕ

ГЛАВА 1. НЕЙРОСЕТИ ДВОЙСТВЕННОГО ФУНКЦИОНИРОВАНИЯ.

1. 1. общие концепции.

1. 1. 1 Терминология.

1. 1. 2. Нейросети.

1. 1. 3. Перечень элементов.

1. 2. Метод двойственности.

1. 2. 1. Элементы двойственные нейронам.

1. 2. 2. Нейросети, двойственные ациклическим нейросетям

1. 2. 3. Нейросети, двойственные циклическим нейросетям.

1.3. Алгоритм ^г^-ргорада^оп.

1. 3.1. Модельная нейросеть и метод двойственности для нее.

1. 3. 2. Прямое вычисление градиентов оценки.

1. 3. 3. Алгоритм.

1. 3. 4. Обсуждение.

ГЛАВА 2. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ НЕЙРОНОВ

2. 1. Теорема о полноте.

2. 2. Сравнение характеристических функций

2. 2. 1. Постановка машинного эксперимента.

2. 2. 2. Описание тестовых задач.

2. 2. 3. Результаты эксперимента.

2. 3. Нейросети с квадратичными сумматорами

ГЛАВА 3. МЕТОДЫ ОБУЧЕНИЯ.

3. 1. Градиентный спуск и методы его ускорения

3. 1.1. Особенности задачи оптимизации, возникающей при обучении нейронных сетей

3. 1. 2. Учет ограничений при обучении.

3. 1. 3. Одномерная оптимизация.

3. 1. 4. Наискорейший спуск, случайный поиск и партан методы.

3. 1. 5. Одношаговый квазиньютоновский метод (BFGS) и метод сопряженных градиентов

3. 2. Сравнение методов обучения

3. 3. Оценка линейного разделения

3. 3.1. Оценка для интерпретатора "победитель забирает все"

3. 3. 2. Интерпретатор линейного разделения

3. 3. 3. Оценка линейного разделения.

ГААВА 4. ПРОГРАММНЫЕ НЕЙРОИМИТАТОРЫ

4. 1. Базовый нейроимитатор CLAB - SHELL.

4. 1. 1. Общее описание.

4. 1. 2. Интерфейс пакета

4. 1. 2. 1. Ptn-файл.

4. 1. 2. 2. Задачник.

4. 1. 2. 3. Создание нейросети.

4. 1. 2. 4. Обучение нейросети .ill

4. 1. 2. 5. Средства управления процессом обучения

4. l. 2. 6. Классификация объектов.

4. 1. 3. Оболочка SHELL.

4. 2. tf-арные классификаторы CLAN - CLANAss.

4.3. Оценка коэффициентов чуствительности

4. 3. 1. Алгоритмы оценки коэффициентов чуствительности

4. 3. 2. Использование улучшателей в пакете СLAB

4. 3. 3. Как мы выбирали Клинтона.

Введение диссертации (часть автореферата) на тему «Обучение нейронных сетей: Методы, алгоритмы, тестовые испытания, прим. прил.»

Последнее десятилетие ознаменовано бурным ростом интереса к нейросетевым методам обработки информации. Год от года растет количество публикаций в этой области, создаются программные имитаторы нейросетей и аппаратные реализации нейрокомпьютеров, налаживается серийный выпуск нейроплат. Расширяются и сферы применения нейросистем. Отметим некоторые из них:

1. Управление в реальном времени: летательными аппаратами; технологическими процессами непрерывного производства (металлургического, химического и т. д. ).

2. Распознавание образов: узнавание человеческих лиц; распознавание букв и иероглифов, медицинская диагностика (распознавание болезни по симптомам); распознавание сигналов радара и сонара; криминалистика (распознавание отпечатков пальцев и другие задачи); распознавание элементарных частиц и происходящих с ними событий в физике (эксперименты на ускорителях или наблюдение космических лучей); геологические задачи распознавания.

3. Предсказание:

ПОГОДЫ; курса акций и других финансовых показателей; исхода лечения; политические предсказания (результаты выборов, международные отношения и т. д. ); поведения противника в военном конфликте и в экономической конкуренции; устойчивости супружеских отношений.

4. Оптимизация: при конструировании технических устройств; в экономическом поведении; при подборе команды (сотрудников предприятия, спортивной команды, участников полярных экспедиций и т. д. ); курса лечения больного; а также в других ситуациях принятия решения.

5. Различные задачи обработки сигналов при наличии больших шумов.

Такое внимание к нейросетевым методам обработки информации объясняется в первую очередь определенными преимуществами этих методов по сравнению с традиционными и рядом новых возможностей, открывающихся в рамках этого направления. Среди них отметим следующие:

1. Нейрокомпьютеры дают стандартный способ решения многих нестандартных задач, и хотя для определенного класса задач всегда можно построить специализированный компьютер, наиболее оптимальный для этого класса, универсальный нейрокомпьютер способен решать задачи многих классов. Не надо для каждого из них проектировать специализированную ЭВМ - нейрокомпьютер сделает все и почти не хуже.

2. программирование заменяется обучением. Вместо разработки алгоритмов и составления программ нужно формировать учебные задачники. Труд программиста замещается новым трудом - учителя. Появляются новые возможности для работы.

3. Нейрокомпьютеры особенно эффективны там, где нужно подобие человеческой интуиции, - для распознавания образов (узнавания лиц, чтения рукописных текстов), перевода с одного естественного языка на другой и т. п. Именно для таких задач обычно трудно создать явный алгоритм.

4. Гибкость структуры: можно различными способами комбинировать простые составляющие нейрокомпьютеров нейроны и связи между ними. За счет этого на одной элементной базе можно создавать различные машины. Появляется еще одна новая профессия - "нейроконструктор".

5. Нейронные сети позволяют создать эффективное программное обеспечение для высокопараллельных компьютеров. Аля высокопараллельных машин хорошо известна проблема их эффективного использования: как добиться, чтобы все элементы одновременно и без лишнего дублирования вычисляли что-нибудь полезное? Создавая математическое обеспечение на базе нейронных сетей, можно для широкого класса задач решить эту проблему.

6. Нейросистемы легко и естественно могут быть сделаны очень устойчивыми к помехам и разрушениям. При этом устойчивые и надежные нейросистемы могут создаваться из ненадежных элементов, имеющих значительный разброс параметров.

7. Один из классов нейронных сетей - нейросети двойственности - позволяет получать градиенты функции оценки по входным сигналам нейросети. Это позволяет определять значимость входных параметров задачи и эффективно исключать наименее значимые из них, что очень важно для построения экспертных систем.

8. Вычисленные градиенты оценки по подстроечным параметрам системы, в частности, по весам межнейронных связей, позволяют автоматически минимизировать сложность сети. То есть имеется возможность получения "логически прозрачных" нейронных сетей и вербального объяснения хода принятия решения.

Нейроинформатика появилась в шестидесятых годах с изобретением Розенблаттом персептрона [9 3] и введением МакКаллоком и Питтсом [84] формального нейрона. Начало наблюдаемого в настоящее время "бума" в области нейроинформатики можно отнести к 19 86г., когда одновременно и независимо были открыты Хинтоном (США) алгоритм back-propagation [150,151] и Охониным (Институт Биофизики СО РАН, г. Красноярск) [1,40/90/ИЗ] метод двойственности. Несколько ранее были изобретены сетчатки Хопфилда [136], нейросети Кохонена [77,78] и генетические алгоритмы.

Основной объект исследования в настоящей диссертации -нейросети двойственности. Рассмотрим подробнее соотношение между алгоритмом back-propagation и методом двойственности. Оно состоит в следующем:

Алгоритм back-propagation именно алгоритм, предназначенный для обучения нейросетей определенной архитектуры. При этом не могут быть изменены ни архитектура нейросети, ни способ оценивания ее работы, ни метод обучения. Однако потребности в подобных изменениях возникают постоянно, в связи с чем впоследствии возникли многочисленные модификации этого алгоритма (см. например, [ 135 , 146 , 147 ] ).

Метод двойственности позволяет получать алгоритмы вычисления градиентов достаточно произвольной функции оценки работы нейросети произвольной архитектуры. При этом функционально разделяются задачи:

1) получения выходных сигналов нейросети при заданных входных сигналах ("прямое функционирование");

2) оценивания качества работы нейросети (вычисление "функции оценки");

3) получения градиентов функции оценки по переменным, от которых она зависит как явно, так и неявно ("двойственное функционирование");

4) использования полученных градиентов функции оценки для ее минимизации ("обучение");

5) использования градиентов функции оценки для других целей: оценки значимости входных сигналов, исключения наименее важных межнейронных связей, оценивания влияния помех и разброса параметров элементов нейросети и т. п. .

Такое явное разделение функций позволяет создавать гибкие нейросетевые системы, в которых можно произвольно выбирать архитектуру нейросети и функцию оценки, наиболее подходящую для решаемой нейросетью задачи, применять наиболее эффективные методы оптимизации при обучении и создавать прикладные системы, предоставляющие ряд дополнительных возможностей, связанных с доступностью градиентов выбранной функции оценки. В частности, если в качестве (дополнительной) функции оценки использовать некоторую функцию, зависящую от градиентов исходной функции оценки, то можно получить некоторые методы оптимизации с использованием вторых производных.

С точки зрения метода двойственности алгоритм back-propagation есть алгоритм позадачного обучения методом наискорейшего спуска с фиксированным шагом нейросети слоистой архитектуры с сигмоидными нейронами, оценка выхода которой определяется как квадрат расстояния вектора выходных сигналов до заданной точки. Такие метод обучения и оценка далеко не наилучшие [4,29,47,63,86,86,123], а в выборе архитектуры нейросети существует ряд разумных альтернатив.

Начиная с 1986 г. , в Красноярске проводилась широкая программа исследований в области нейроинформатики. При этом внимание уделялось не только нейросетям двойственности, но и нейросетям других классов, в частности, сетчаткам, аналогичным сетчаткам Хопфилда и являющимися их модификациями и обобщениями, ниже приводится краткий обзор исследований по нейрокомпьютерам, проведенных в Красноярске, начиная с 1986г. Обзор работ сгруппирован по трем основным направлениям: алгоритмы и программное обеспечение; нейробионические исследования; аппаратная реализация нейросетей.

Алгоритмы и программное обеспечение

Работы по алгоритмам обучения нейронных сетей были начаты в 1986 г. , когда был опубликован [1,40,90] принцип двойственности для обучения сетей автоматов.

Дважды используя принцип двойственности, можно параллельно вычислять градиент любого функционала от градиента оценки. Этот прием был назван back-back процедурой. С помощью back-back процедуры разработан оригинальный квазиньютоновский метод для выбора направления спуска при обучении [38,47].

Развит вариационный подход, позволяющий выводить адаптивные алгоритмы для любых структур нейросетей и для адаптивных сред [1,90,116]. программные реализации показали эффективность этого алгоритма как в задачах распознавания образов, так и в задачах генерации временных последовательностей [3 6].

Принцип двойственности позволяет работать с любой гладкой оценкой действия нейронной сети. Это позволяет отказаться от повсеместно используемого метода наименьших квадратов: выбор функции оценки для одного примера в виде расстояния до правильного ответа не является оптимальным. Хорошо показала себя такая оценка: расстояние ответа до множества ответов, допускающих правильное декодирование. Ее использование позволяет на порядок ускорить обучение в задачах классификации [29,38,47].

Показана универсальность (возможность аппроксимировать произвольную непрерывную функцию с произвольной наперед заданной точностью) нейрокомпьютера с сигмоидной характеристической функцией [140]. этот результат был обобщен на случай произвольной (непрерывной) характеристической функции [9,10,27].

На примере распознавания произвольно расположенных изображений было показано, что обогащение адаптивных нейросетей предпроцессорами с фиксированной функцией может существенно расширить их возможности [3 5, 112 ]. Разработаны оптимальные нейросетевые сетчатки для фильтрации изображений (с учетом различных требований групповой инвариантности) [50].

Разработаны сети гибридной архитектуры <ассоциативная память + обучаемая сетьРазличаются ассоциативная память с импринтингом (наибольшей значимостью первых впечатлений) и равномерная. Ассоциативная память осуществляет предварительную обработку информации и подает результаты на вход обучаемой сети наряду с внешними входными сигналами [4, 122].

Созданы алгоритмы и программы быстрого обучения нейронных сетей, разработаны методы анализа чувствительности, позволяющие контрастировать нейронные сети, удаляя лишние связи и уменьшая разрядность синаптических весов [29, 38,47,129,130].

Разработан метод виртуальных частиц, имеющий те же достоинства, что и алгоритмы с использованием шума, но лишенный их недостатков. Он состоит в том, что одновременно учатся несколько сетей, отличающихся друг от друга случайными (но фиксированными в каждом цикле алгоритма) сдвигами параметров. При рестартах генерируются новые сдвиги. Этот метод позволяет добиться "сверхпараллелизма" в обучении нейронных сетей с использованием мощной высокопараллельной вычислительной техники, за счет которого эффективно используются все ресурсы [47,123].

За прошедшее время обучение было ускорено в 10000 и более раз. Выделено 4 типа устойчивости и построены стратегии обучения для выработки устойчивых навыков. Начата разработка нейрокомпьютерных спецпроцессоров, реализующих новые алгоритмы. Создано прикладное программное обеспечение на основе обучаемых нейронных сетей.

Был предложен новый оригинальный [5,6,26] алгоритм "распространения вперед", позволяющий вычислять градиенты функции оценки с помощью нейронных сетей, не используя "обратного распространения" по всему времени функционирования.

Разработанные программные средства - имитаторы нейрокомпьютеров на РС - широко используются в России в научно-исследовательской и практической работе в области медицины, в задачах классификации и распознавания образов [65,49] и в вузах для обучения студентов новым информационным технологиям.

Для обработки сигналов биолюминесцентного анализа в микропроцессор биолюминометра была введена программа фильтра, работающая по нейросетевому алгоритму (разработка и производство СКТБ "Наука11 + ИБФ СО РАН, Красноярск, 1989 г. ).

Разработаны теоретические основы и три первых версии математического обеспечения для создания экспертных систем на основе нейросетевых алгоритмов [2, 30, 32, 47,65,123].

С помощью нейросетевых имитаторов на базе новых алгоритмов проводились разработки новых способов космической навигации, обрабатывалась аэрокосмичекская информация.

Предложен метод "эмпирического конструирования" (многомерной оптимизации), основанный на задаче адаптации не только для нейросети, но и для внешних условий ее работы [113,114 ], что позволяет вычислять градиент таблично-заданных функций многих переменных.

Развиты химические приложения нейросетевых алгоритмов для предсказания каталитической активности и задач кинетики каталитических реакций [14 4].

Разработаны основы применения нейрокомпьютерных систем в гуманитарных областях, построена первая система политических предсказаний [127,155] (ц частности она предсказала избрание Клинтона задолго до выборов), создано семейство тестов для анализа психологической совместимости и подбора команд на принципиально новой основе - вместо объективированных рекомендаций система тестов настраивается на группу людей и нейронные сети служат как бы "носителями интуиции \

Разработан комплекс обучающих программ для PC. Подготовлены нейрокомпьютерный учебник-тренажер и серия лабораторных работ для студентов [14].

МиХ^Ыеигоп и его медицинские приложения

Большая часть алгоритмических разработок реализована в серии нейроимитаторов "МиХ^Неигоп". Представим здесь далеко не полный список описаний его применений (см. [2,13,20-25,28,33,34,88,89,94-96,139,148,149]). Основная опытная эксплуатация проходила на задачах медицинской диагностики и создания нейросетевых экспертов для медицинских задач.

В том числе разработаны нейросетевые экспертные системы для изучения и диагностики иммунодефицитных состояний, которые применяются в нескольких клиниках и СПИД-центре [2, 23, 148].

Нейронные сети также обучались прогнозированию возникновения или усугубления симптомов сердечной недостаточности в зависимости от предполагаемой имплантации электрокардиостимулятора. Проводится опытная эксплуатация в клинике [149].

Построены и применяются в полевых исследованиях нейросетевые эксперты для определения дозы облучения по косвенным медико-биологическим показателям [2].

Нейробионическое направление исследований

Специфика подхода: ориентация на модели нейросетей, функционирующие непрерывно в течение многих шагов по времени. Исходно такая ориентация обуславливалась тем, что функционирование в течение длительного времени характерно для мышления - наиболее интересного вида активности нервной системы. Уже для эволюционного предшественника мышления -для поискового поведения - характерны относительно длительные периоды активности нервной системы.

Для моделирования длительного функционирования использовались сети с наличием циклов, позволяющие, в отличие от сетей из нескольких слоев, организовать незатухающую активность в течение неограниченного времени. Разработаны алгоритмы для сетей, работающих неограниченно долго с попутным дообучением. Их эффективность опробована в рефлексивных играх [41,113,115].

При обучении непрерывно работающей сети необходимо обрывать сигналы обратного функционирования на конечной глубине по времени. Возможность такого обрывания поддается строгому обоснованию лишь для некоторого класса сетей и лишь при переформулировке задачи адаптации. А именно, возникает задача оптимального (в среднем по инвариантной мере) управления системами с инвариантной мерой [69]. Системам с инвариантной мерой органически присуща вариативность поведения - наличие набора реакций на одну и ту же внешнюю ситуацию. Можно говорить о наличии у таких систем "внутреннего мира", структура которого определяется структурой инвариантных мер.

Созданы нейронные сети Паде-аппроксимации [2 9]. в них нейроны имеют по два входных сумматора и осуществляют деление входных сигналов. Они учатся быстрее обычных сетей из сигмоидных нейронов и позволяют получать существенно более точные числовые ответы. Сети Паде-аппроксимации особенно эффективны в задачах управления в реальном времени. Близкие по функционированию структуры имеются в мозжечке (корзинчатые клетки;.

Аппаратная реализация нейросетей

Создан эскизный проект нейрокомпьютера потока данных на схемах обработки сигналов. Созданы первые нейроплаты. Предложены и апробированы на программных имитаторах новые доменные архитектуры, позволяющие разделять задачи между малыми нейронными сетями.

Исследована возможность создания наращиваемых локально-связанных цифровых нейросетей, позволяющих обойти проблему роста числа межнейронных соединений с ростом числа нейронов [39].

Разработана схема голо графического нейрона ( 1987 ), алгоритмы обучения и принципы физико-химической реализации непрерывных обучаемых сред [1,36,40].

Разработана схема расширяемой САПР для конструирования нейрокомпьютеров и их эмуляторов "Нейроконструктор". Начаты работы по реализации этой системы. В том числе созданы и программно реализованы алгоритмы оптимизации структуры сети, уменьшения разрядности ее связей для упрощения и удешевления аппаратной реализации [47, 129, 132].

В диссертации рассматриваются в основном нейронные сети двойственного фукнкционирования, а именно: архитектуры таких сетей; методы их обучения; проблемы постановки прикладных задач для их решения с помощью нейросетей; создание алгоритмов и программ, имитирующих работу нейросети; создание на основе разработанного программного обеспечения прикладных экспертных систем.

Изложены основные результаты соискателя по данной проблематике.

В Главе 1 описываются нейросети двойственного функционирования и альтернативный алгоритм - алгоритм £ озгЬЬ-ргорада'Ьз.оп.

Изложение ведется на основе преобразования графа нейросети - операции перехода к двойственному графу.

В параграфе 1 этой главы нейросеть представляется потоковым графом. Источники этого графа представляют набор входных сигналов нейросети (в том числе, часть из них может рассматриваться как подстроечные параметры, поступающие из специальных устройств), а стоки - набор ее выходных сигналов. Вершины графа представляют "нейроны" - устройства, преобразующие вектор входных сигналов нейрона в вектор его выходных сигналов. Таким образом, каждый нейрон определяет некоторую вектор-функцию многих переменных характеристическую функцию нейрона. для нейросетей двойственности на эту функцию накладывается требование непрерывной дифференцируемости. В остальном характеристическая функция произвольна, причем различные нейроны могут иметь различные характеристические функции.

Ребра графа, представляющего нейросеть, соответствуют "синапсам" - межнейронным соединениям. Каждый синапс передает без изменения сигнал, выработанный нейроном-источником, к нейрону-приемнику. То есть в этой схеме используется чисто коннекционалистский подход.

Схема межнейронных соединений (т. е. сам граф нейросети) определяет ее архитектуру, которая может быть произвольной. Единственное ограничение - отсутствие циклов, т. е. граф нейросети - именно потоковый граф. Таким образом, нейросеть задает (непрерывно дифференцируемую) функцию входных сигналов - суперпозицию характеристических функций нейронов, правила подстановки в которой определются архитектурой нейросети. Эта функция сама может рассматриваться как характеристическая функция некоторого составного нейрона. Тем самым, имеется возможность структурированного описания нейросетей.

В параграфе 2 главы 1 определяется операция перехода к двойственному графу. Она задается рекуррентно: определяются элементы, двойственные к элементарным нейронам, а затем излагаются правила построения двойственного графа из таких элементов.

Элемент, двойственный к нейрону, вычисляет набор частных производных функции оценки по входным сигналам этого нейрона при условии, если на его входы были поданы частные производные функции оценки по его выходным сигналам. Так как (за исключением выходных сигналов всей нейросети) каждый выходной сигнал нейрона является входным сигналом другого нейрона, то обеспечить это условие можно, просто подав на вход двойственной сети частные производные функции оценки по тем сигналам, от которых она явно зависит.

Сигналы, обрабатываемые двойственной нейросетью, называются двойственными сигналами. Относительно распространения двойственных сигналов двойственная нейросеть антиизоморфна исходной сети в том смысле, что ее граф получается из графа исходной сети заменой направления потока на противоположное, как и в алгоритме back-propagation, для вычисления производных нелинейных характеристических функций элементы, двойственные нейронам, получают те же сигналы, что и соответствующие им элементы исходной нейросети. Сами двойственные элементы вычисляют матрицу Якоби характеристической функции нейрона в точке, определяемой сигналами прямого функционирования, и умножают не нее вектор двойственных сигналов.

В параграфе 1. 2 доказывается, что двойственная нейросеть вычисляет градиент функции оценки по входным сигналам исходной нейросети. Этот результат затем обобщается на циклические нейросети с фиксированным числом прохождений сигналов по нейросети.

В параграфе 3 главы 1 излагается принадлежащий соискателю алгоритм forth-propagation, позволяющий вычислять градиенты оценки для любых циклических нейросетей, в том числе и таких, число прохождений циклов в которых определяется внешним устройством, принимающим решение прекращать работу нейросети или нет по текущим результатам ее работы.

Как следует из предыдущего, градиент функции оценки линейно зависит от двойственных сигналов, поступающих на вход двойственной сети. Таким образом, для нейросетей, функционирующих непрерывно в дискретном времени, есть возможность на каждом шаге учитывать вклад в градиент от текущих двойственных сигналов, для этого достаточно умножить вектор этих сигналов на матрицу Якоби нейросети.

Проблема здесь в размерности. Так, для полносвязной циклической нейросети, состоящей из п нейронов, при вычислении градиентов по весам синапсов требуется умножать 2 вектор размерности п на матрицу размерности п*п . Однако, матрица Якоби сама через сигналы прямого функционирования зависит от времени. При этом преобразование и* переводящее матрицу Якоби J, вычисленную к моменту времени в матрицу Якоби в момент времени t+l( является аффинным. Вычисление такого преобразования матрицы из п3 элементов в общем случае требует порядка п6 операций.

Алгоритм Гог^-ргорада-Ыоп основан на идее выбора на каждом шаге такого базиса в пространстве двойственных сигналов, что матрица Якоби для текущего момента в новом базисе не отличается от матрицы Якоби предыдущего момента в з старом базисе. Переход к новому базису требует порядка п операций, тем самым становится возможным обучение непрерывно функционирующей нейросети.

Глава 2 посвящена изучению характеристических функций нейронов.

Параграф 2. 1 посвящен проблеме универсальности нейросетей, собранных из нейронов с заданными характеристическими функциями, а именно: какие функции от входных сигналов могут быть приближены такими нейросетями?

В этом параграфе формулируется и доказывается теорема о полноте класса нейросетевых функций. Под классом нейросетевых функций понимается такая система линейных пространств непрерывных функций п переменных (Еп}> что каждое из Е^ содержит хотя бы одну ненулевую константу и при этом вся система замкнута относительно операции суперпозиции: если £^ • - •, и то * Доказано, что если хотя бы в одном из Е^ содержится хотя бы одна (причем любая) нелинейная функция, то каждое из Е^ плотно в пространстве всех непрерывных функций п переменных в топологии равномерной сходимости.

Тем самым показано, что если имеется хотя бы один нелинейный нейрон, а также есть возможность произвольного соединения нейронов и подачи постоянных сигналов, то можно сконструировать нейросеть, приближающую сколь угодно точно любую непрерывную функцию. Доказательство теоремы конструктивно в том смысле, что, следуя ему, можно непосредственно получить схему межнейронных соединений и веса синаптических связей нейросети, осуществляющей такую аппроксимацию. Однако построенная таким образом нейросеть заведомо не оптимальна по сложности. Аля практики представляется важным вопрос о том, какую характеристическую функцию лучше всего выбрать, чтобы получить достаточно хорошо обучающуюся данной задаче нейросеть? В параграфе 2. 2 приводятся результаты сравнения нескольких сигмоидных характеристических функций, отличающихся друг от друга порядком скорости приближения к насыщению при росте аргумента. Сравнение проводилось на программном имитаторе СЬАВ, разработанном соискателем и описанном в главе 4. Для сравнения характеристических функций использовались 2 тестовые задачи: определения направления циклического сдвига 8-ми элементной последовательности нулей и единиц; определения симметрических 10-ти элементных последовательностей нулей и единиц.

Результаты тестирования показывают, что сигмоидная функция х/(1+\х\) близка к оптимальной по скорости обучения. Именно эта функция используется в большинстве разработок группы "НейроКомп" и, в частности, в пакете Ми^уИеигоп, на котором были созданны многочисленные прикладные экспертные системы.

В параграфе 2. 3 рассматриваются нейросети с квадратичными сумматорами. Внимание к таким нейросетям объясняется тем, что квадратичная зависимость является простейшей из всех нелинейных зависимостей. Кроме того, для задачи классификации на 2 класса в случае нормального распределения образов в каждом из классов, квадратичная разделяющая поверхность является оптимальной (в смысле минимума ошибки распознавания) в классе всех разделяющих поверхностей.

На примере задачи определения направления сдвига показано, что нейросети с квадратичными сумматорами обладают на порядок лучшими аппроксимационными способностями по сравнению с нейросетями с линейными сумматорами, имеющими такое же число подстроечных параметров.

Глава 3 посвящена исследованию методов обучения нейросетей.

Задача обучения нейросети рассматривается как задача минимизации некоторой функции оценки, заданной на обучающей выборке. В отличие от традиционной задачи оптимизации эта задача отличается большой размерностью. Так, уже в классе "микро" нейросетей, разрабатываемых в виде программных имитаторов, требуется выполнять оптимизацию в пространстве размерности нескольких тысяч, а в классе "средних" нейросетей - десятков миллионов. Эта задача становится разрешимой благодаря особенности нейросетевого подхода -высокого параллелизма вычислений и наличия принципа двойственности, позволяющего вычислять градиенты функции оценки с теми же по порядку величины затратами, что и прямое функционирование нейросети.

Кроме задачи оптимизации целевой функции при обучении нейросетей решается и ряд других специфических задач: достижение приемлемого уровня устойчивости к шумам; выработка достаточных аппроксимационных свойств; минимизация числа входных сигналов нейросети и ее подстроечных параметров; ряд других задач.

Как известно, не может быть создано единого, приемлемого для всех возможных случаев, алгоритма оптимизации. Это определяет актуальность исследования методов обучения.

В параграфе з. 1 описываются метод наискорейшего спуска и квазиньютоновский метод ВЕСЗ. там же описан и безградиентный метод - метод спуска в случайном направлении с одномерной оптимизацией шага.

Эти три метода сравниваются между собой в параграфе 3. 2. Сравнение проводится на тех же тестовых задачах, на которых сравнивались характеристические функции нейронов. Результаты сравнения показывают, что метод ВГСБ лучше в несколько раз метода наискорейшего спуска. Интересно отметить, что метод спуска в случайном направлении хуже градиентных методов лишь в десятки раз. Это делает его конкурентоспособным в случае аналоговой реализации нейросетей, так как этот метод не требует запоминания сигналов на каждом такте.

В параграфе 3. 3 описывается оценка линейного разделения, позволяющая ускорить процесс обучения нейросетевых классификаторов в несколько раз по сравнению с оценкой "победитель забирает все". Эта оценка строится как оценка, естественно связанная с интерпретатором ответа, для которого требуется наличие п(п-1)/2 гиперплоскостей, попарно разделяющих п классов в пространстве выходных сигналов нейросети. Эти гиперплоскости могут строиться любым способом. Например, они могут строиться по алгоритму обучения персептрона, на основе вычислений ковариационных матриц для каждого класса и даже как гиперплоскости, разделяющие центры масс. Архитектура нейросети с такой оценкой представляется как гибридная архитектура.

Сама оценка строится как (в общем случае взвешенная) сумма индивидуальных оценок примеров из обучающей выборки. Оценка примера определяется как расстояние до множества точек, расположенных по заданную для данного класса сторону от всех гиперплоскостей, отделяющих этот класс от других классов, причем расстояние этих точек от соответствующих гиперплоскостей не менее заданного уровня надежности -R. В ходе обучения нейросети с такой оценкой набор разделяющих гиперплоскостей периодически переопределяется. Обучение завершается, когда для текущего набора гиперплоскостей все примеры из обучающей выборки распознаются правильно с заданным уровнем надежности.

В главе 4. описывается серия нейроимитаторов (CLAB -SHELL - CLAN - CLANAss ) - пакетов программ, предназначенных для создания, обучения и использования нейросетей для решения прикладных задач, нейросетевые операции имитируются программами, входящими в состав пакета. Основой всей серии служит нейросетевой бинарный классификатор "CLAB\

Пакет программ СLAB представляет собой программный имитатор нейрокомпьютера/ реализованный на IBM PC/AT, и предназначен для решения задач бинарной классификации, данный пакет программ позволяет создавать и обучать нейросеть для того/ чтобы по набору входных сигналов (например, по ответам на заданные вопросы ) определить принадлежность объекта к одному из двух классов, которые далее будем условно называть "красными" и "синими".

Нейросеть представляет собой набор нейронов и синапсов. Через синапсы нейрон может получать сигналы от других нейронов, а также входные сигналы, если данный нейрон является входным. Сигналы, полученные нейроном от всех входящих в него синапсов, суммируются и преобразуются в выходной сигнал согласно характеристической функции (в пакете СЬАВ она имеет вид у(х)=х/(с+\х\). этот сигнал в следующий момент времени подается на все выходящие из нейрона синапсы. для удобства работы с пакетом пользователь может создать так называемый Р^-файл. Он представляет собой текстовый файл, содержащий информацию, описывающую структуру примера. Это число входных сигналов и их имена.

Кроме этого, в р1^п-файл можно ввести дополнительную информацию для этапа обучения. Может оказаться, что в примерах, предъявляемых нейросети для классификации, информация о некоторых входных сигналах будет зачастую отсутствовать. Это может происходить по разным причинам. Например, ответы на некоторые вопросы могут быть неизвестны. В пакете СЬАВ имеется средство для обучения нейросети решению задач с такими "дырами" в векторе входных сигналов -так называемый "дырокол". В этом случае имена таких входных сигналов помечаются в Р"Ьп-файле звездочками.

Для обучения нейросети пользователь должен представить обучающую выборку, т. е. совокупность обучающих примеров. Она размещается в файле, называемом ¡задачником. В задачник не следует включать примеры с неопределенной принадлежностью к тому или другому классу, а также примеры с неполной информацией о векторе входных сигналов.

При составлении задачника можно пользоваться входящим в пакет редактором editor, который частично контролирует правильность составления задачника. Задачник организован по страницам - в пакете СLAB есть средства постраничного обучения.

Созданием ptn-файла и задачника завершается описание пользовательской задачи. После чего можно приступать к созданию нейросети и ее обучению.

В пакете СLAB имеется программа netgener, предназначенная для генерации нейросети. Эта программа запрашивает ряд параметров нейросети, генерирует новую нейросеть со случайными весами синапсов и сохраняет ее в файле.

Обучение выполняет программа teacher, оно производится путем минимизации целевой функции, штрафующей за отклонение выходных сигналов нейросети от требуемых значений, которые пользователь может устанавливать по своему усмотрению. По умолчанию это точки (-1, 1) для одного класса и (1,-1) - для другого. В пакете СLAB минимизация осуществляется при помощи метода, основанного на BFGS-формуле и являющегося разновидностью квазиньютоновских методов.

В пакете CLAB имеются средства, позволяющие вмешиваться в процесс обучения для его ускорения и/или "воспитания" нейросети с повышенными обобщающими способностями и устойчивостью. Например, при обучении нейросети можно воспользоваться "дыроколом". Это следует делать в тех случаях, когда нейросети будут предъявляться для классификации объекты, у которых информация о некоторых входных сигналах отсутствует, "дырокол" позволяет заменять у примеров задачника сигналы на этих входах нулевыми значениями. При этом для обучения предъявляются все варианты расстановки "дыр" по отмеченным входам для каждого примера. Оценка примера представляется суммой оценок по всем вариантам.

После завершения процесса обучения можно переходить непосредственно к решению задачи, стоящей перед пользователем. В пакете СLAB для классификации служит программа tester. Сначала она предлагает пользователю выбрать имя файла, содержащего карту синапсов, и имя ptn-файла. Затем программа генерирует нулевые значения для входных сигналов и классифицирует такой объект. При классификации ответ выводится именем класса и парой оценок -оценок за отнесение примера к классу "красных" и "синих", соответственно.

Редактор примеров, наряду с окном ввода сигналов, высвечивает два окна - "to red" и "to blue". Каждому входному сигналу ставится в соответствие по числу в каждом из этих окон. Эти числа могут принимать значения в интервале [-1,1]. Таким образом, в этих двух окнах выводятся на экран два вектора. Каждый из них имеет такую же длину, как и вектор входных сигналов. Эти векторы называются "улучшателями" и представляют собой нормированные антиградиенты по входным сигналам. Изменение входных сигналов по указанному таким вектором направлению приводит к улучшению соответствующей оценки. Если изменить значения входных сигналов в направлении, указанном в окне "to red", то улучшится оценка, высвечиваемая красным цветом. Если же изменить значения входных сигналов согласно окну "to blue", то улучшится "синяя" оценка.

Таким образом, один из улучшателей показывает, как можно улучшить оценку объекта, оставив его в том же классе, в который он попал после тестирования. Другой улучшатель показывает, какими воздействиями можно попытаться перевести объект в другой класс. знак компоненты улучшателя показывает, в какую сторону следует изменить значение соответствующего входного сигнала. Знак "+" означает увеличить, "-" - уменьшить. Кроме этого, для каждого объекта при помощи улучшателей можно сортировать входные сигналы по степени их важности.

Возможность получить такую сортировку входных сигналов является важным свойством пакета С LAB и может иметь большое значение для ряда практических задач.

Пакет SHELL, представляет собой вариант пакета С LAB с улучшенным пользовательским интерфейсом. Все программы (netgener, teacher и tester) запускаются из единой оболочки.

Пакеты CLAN и СLANASS предназначены для решения задачи N-арной классификации (какому из заданных N классов принадлежит данный образ?). Они описаны в параграфе 4. 2. Интерфейсы пакетов аналогичны интерфейсу пакета CLAB, Однако для задачи N-арной классификации более естественной является оценка "победитель забирает все" - простейший вариант оценки линейного разделения.

Пакет СLANASS отличается от пакета CLAN тем, что используемая в нем нейросеть снабжается ассоциированной матрицей входов - сигналы перед подачей в нейросеть подвергаются линейному преобразованию с адаптивно настраиваемой матрицей. Каждый входной сигнал при этом подается на к нейронов. Число к называют "плотность подачи", которая может быть меньше, чем общее число нейронов. Такой подход позволяет в имитаторе нейросети на PC увеличить размерность входных сигналов до 255.

Параграф 4. 3 посвящен описанию вычисления и использования коэффициентов чувствительности - "улучшателей" пакета СLAB. Коэффициенты чувствительности суть градиенты функции оценки по входным сигналам, вычисляемые в ходе двойственного функционирования. Эти коэффициенты кроме определения "улучшателей" могут использоваться (и используются в пакете MultyNeuron [2,13,15,20,22,28,33,34]) для анализа значимости входных параметров.

Применение "улучшателей " описывается на примере задачи прогноза исхода выборов президента США (кандидат какой партии - правящей или оппозиционной - победит на предстоящих выборах? ). Этот пример наглядно показывает, насколько полезной является возможность выяснить, какие вопросы более важны для достижения заданной цели.

В Приложении приводится пример прикладной экспертной системы - системы диагностики и назначения лечения облитерирующего тромбангиита. Система создана в САПР нейросетевых экспертных систем MultyNeuron.

Система MultyNeuron содержит встроенную СУБД, позволяющую создавать и редактировать таблицы данных в формате dbf, систему создания пользовательских экранных форм и генератор отчетов. В ходе работы с системой пользователь задает одну или несколько йЬ:£-таблиц в качестве обучающей и контрольной выборок, создает и обучает нейросеть. При тестировании нейросети пользователь получает информацию о качестве обученной сети и ряд дополнительных сведений о задаче (сортировку входных сигналов по их значимости и т. п. ). Аля отображения такой информации пользователь может создать собственные экранные или печатные формы.

Можно обучать несколько нейросетей одной задаче, создавая "консилиумы", или связанным задачам.

Функционирование обученных нейросетей в готовой экспертной системе происходит в рамках "пользовательских форм", позволяющих в наиболее приемлемом для потребителя виде вводить информацию о задаче и получать ответы нейросети.

Основная нейросетевая архитектура пакета Ми1ЪуЫеигоп аналогична пакету сиШАБЗ, основной тип оценки (для классификации)- "победитель получает все", метод обучения -ВРСБ.

Пакет Ми11уЫеигоп разработан коллективом авторов при участии соискателя. В нем использованы алгоритмы и программные разработки соискателя и рекомендации, полученные на основе его исследований методов обучения нейросетей.

Пример экспертной системы - диагностики и назначения лечения облитерирующего тромбангиита - показывает перспективность и пригодность к практическому использованию методов, описанных в настоящей диссертации.

Заключение диссертации по теме «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)», Гилев, Сергей Евгеньевич

выводы:

ЗАКЛЮЧЕНИЕ

Основными результатами работы являются:

1) Разраработан способ получения градиентов функции оценки по подстроечным параметрам непрерывно функционирующей в дискретном времени нейросети - алгоритм 1:ог^11-ргорада1::1оп, требующий затрат памяти и объема вычислений порядка п3, где п - число нейронов нейросети. На основе этого алгоритма предложен метод обучения таких нейросетей.

2) Доказана теорема о полноте нейросетевых функций, утверждающая, что если замкнутое относительно операции суперпозиции функций подпространство в С0 содержит хотя бы одну нелинейную функцию и хотя бы одну ненулевую константу, то оно плотно в С в топологии равномерной схлдимости на компактах. На основании этой теоремы показано, что стандартный набор нейросетевых элементов, содержащий взвешивающие сумматоры, источники постоянных сигналов и нелинейные элементы (причем с любой характеристической функцией) достаточен для сколь угодно точной аппроксимации произвольной непрерывной вектор-функции п переменных.

3) Приведены результаты экспериментального сравнения нейросетей с различными характеристическими функциями. На основании этих результатов делается вывод о предпочтительности простейшей характеристической функции у=х/(с+\х\).

4) Предложена архитектура нейросетей с квадратичными сумматорами и приведены результаты экспериментальной проверки способностей к обобщению таких нейросетей подтверждающие преимущества таких нейросетей по сравнению с нейросетями с линейными сумматорами.

5) Приведены результаты экспериментального сравнения различных методов обучения нейросетей. Показано, что квазиньютоновские методы дают существенное увеличение скорости обучения, и, что безградиентные методы примерно в 5 0 раз медленнее метода ВРСБ и, следовательно, могут быть конкурентоспособными, если затраты на хранение в памяти градиентов в 50-100 раз превышают затраты на прямое функционирование.

6) Предложена новая функция оценки для задачи классификации на п классов. Эта функция строится как расстояние от вектора выходных сигналов нейросети до пересечения полупространств, определямых произвольной системой гиперплоскостей отделяющих заданный класс от других классов. Указанные гиперплоскости в пространстве выходных сигналов нейросети могут вычисляться внешним по отношению к обучаемой нейросети двойственности устройством. Алгоритм вычисления этой оценки позволяет использование задаваемого как параметр уровня надежности.

7) На основании исследований автора создана серия программных нейроимитаторов СЬАВ-СЬАН-СЬАЫАзз, имеющая прикладное и коммерческое значение для создания нейросетевых экспертных систем.

8) Предложены алгоритмы вычисления коэффициентов чувствительности произвольной функции оценки к произвольным сигналам и подетроечным параметрам нейросети. На примере созданной в рамках пакета СЬАВ нейросетевой экспертной системы предсказания результатов выборов президента США показан способ применения коэффициентов чувствительности для оценки значимости входных параметров и разработки стратегии поведения.

9) Основные алгоритмы функционирования нейросетей применены в САПР Ми^уЫеигоп для построения различных экспертных систем (в основном в области медицины). В частности, построена система диагностики и назначения лечения облитерирующего тромбангиита.

Список литературы диссертационного исследования кандидат физико-математических наук Гилев, Сергей Евгеньевич, 1997 год

1. Барцев С.И-, Гилев С-Е., Охонин В-А- Принцип двойственности в организации адаптивных систем обработки информации// динамика химических и биологических систем, Новосибирск, Наука, 1989, с.6-55.

2. Гилев С.Е. Нейросеть с квадратичными сумматорами// Нейроинформатика и нейрокомпьютеры/ тезисы докладов рабочего семинара 8-11 октября 1993 г. , Красноярск/ Институт биофизики СО РАН, 1993. С. 11-12.

3. Гилев С. Е. Гибрид сети двойственности и линейной сети// Нейроинформатика и нейрокомпьютеры/ тезисы докладов рабочего семинара 8-11 октября 1993 г., Красноярск/ Институт биофизики СО РАН, 1993. С. 25

4. Гилев С. Е. Forth-propagation метод вычисления градиентов оценки// Тезисы докладов II Всероссийского рабочего семинара "Нейроинформатика и ее приложения" (Красноярск, 7-ю октября 1994 г. ) / Красноярск: Изд-во КГТУ, 1994, С. 36-37.

5. Ю. гилев С-Е., Горбань А.Н. "Плотность полугрупп непрерывных функций".- 4 Всероссийский рабочий семинар "Нейроинформатика и ее приложения", 5-7 октября 1996 г., Тезисы докладов. Красноярск: изд. КГТУ, 1996, с. 7-9.

6. Гилев С. Е. , Горбань A. H. , Миркес Е. М. Малые эксперты и внутренние конфликты в обучаемых нейронных сетях. Докл. АН СССР, 1991, т. 320, ^ 1, с. 220-223.

7. A. H. Горбаня; Красноярск: Изд-во КГТУ, 1995. С. 66-78.16. гилев С.Е., Миркес Е. М. Обучение нейронных сетей // Эволюционное моделирование и кинетика. Новосибирск: Наука, 1992. С. 9-23.17. гилев С. Е. , Миркес Е. М. , Новоходько А. Ю. , Царегородцев

8. B. Г. , Чертыков П. В. "Проект языка описания нейросетевых автоматов" // Тезисы докладов II Всероссийского рабочего семинара "Нейроинформатика и ее приложения" (Красноярск, 7- 1 0 октября 1994 Г. ) / Красноярск: Изд-во КГТУ, 19 94, С. 35.

9. Gilev S. E. A non-back-propagation method for obtaining the gradients of estimate function // Advances in Modelling & Analysis, A, 1995. Vol. 29, № 1. PP. 51-57.

10. S.E.Gilev and A.N.Gorban. On Completeness of the Classof Functions Computable by Neural Networks, Proc. of the World Congress on Neural Networks, Sept. 15-18, 1996, San Diego, CA, Lawrence Erlbaum Associates, 1996, pp. 984-991.

11. Gilev S.E., Gorban A.N., Mirkes E.M. Several Methods for Accelerating the Traning Process of Neural Networks in Pattern Recognition. Advances in Modelling & Analysis, A, AMSE Press, V. 12, No. 4, 1992, pp. 29-53.

12. Gilev S.E., Gorban A.N., Mirkes E.M. Small Experts and Internal Conflicts in Leanable Neural Networks // Advances in Modelling & Analysis.- AMSE Press.- 1992.- V.24, No. 1.-P.45-50.

13. Gilev S.E., Gorban A.N., Mirkes E.M. Internal Conflicts in Neural Networks // Transactions of IEEE-RNNS Simposium (Rostov-on-Don, September 1992). V.l. PP. 219-226.

14. Gileva L.V. , Gilev S.E. Neural Networks for binary classification// AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, pp. 135-167.

15. Ахапкин Ю. К. , Всеволдов н. И. , Барцев С. И. и др. Биотехника новое направление компьютеризации. Серия "теоретическая и прикладная биофизика". М., 1990. 144 с.

16. Барцев С. И. Некоторые свойства адаптивных сетей // Препринт ИФ СО АН СССР. Красноярск, 1987, №71Б. 17 с.

17. Барцев С. И. , ланкин Ю. П. Сравнительные свойства адаптивных сетей с полярными и неполярными синапсами // Препринт Института биофизики СО РАН. Красноярск, 1993, №196Б. 26с.

18. Барцев С. И. , Ланкин Ю. П. Моделирование аналоговых адаптивных сетей // Препринт Института биофизики СО РАН. Красноярск, 1993, №2 03б. 3 6 с.

19. Барцев С. И. , Машихина Н. Ю. , Суров С. В. Нейронные сети: подходы к аппаратной реализации // Препринт ИФ СО АН СССР. Красноярск, 199 0, мь122б. 14 с.

20. Барцев С. И. , Охонин В. А. Адаптивные сети обработки информации // Препринт ИФ СО АН СССР. Красноярск, 1986, мь59б. 20 с.

21. Барцев С.И./ Охонин В.А. Адаптивные сети/ функционирующие в непрерывном времени // Эволюционное моделирование и кинетика, Новосибирск/ Наука, 1992, с.24-30.

22. Галушкин А. И. Синтез многослойных схем распознавания образов. М. : Энергия, 1974.

23. Галушкин А. И., Фомин Ю. И. нейронные сети как линейные последовательные машины. М. : Изд-во МАИ, 1991.

24. Горбань A. H. Нейрокомпьютер, или Аналоговый ренессанс. -Мир ПК, 1994. № 10. С. 126- 1 30.

25. Горбань A. H. Размытые эталоны в обучении нейронных сетей // Тезисы докладов II Всероссийского рабочего семинара " Нейроинформатика и ее приложения " (Красноярск, 7-ю октября 1994 Г. ) / Красноярск: ИЗД-ВО КГТУ, 1 994, С. 6-9.

26. Горбань А. Н. Нейрокомпьютер или аналоговый ренессанс // МИР ПК, 1994. № 10.

27. Горбань А. Н. Нейрокомп / / Нейроинформатика и ее приложения: Материалы III Всероссийского семинара, 6-8 октября 1995 г. Ч. 1 / Пол ред. А. Н. Горбаня; Красноярск: ИЗД-ВО КГТУ, 1995. С. 3-31.

28. Горбань А. Н. , Миркес Е. М. Компоненты нейропрограмм / / Нейроинформатика и ее приложения: Материалы III Всероссийского семинара, 6-8 октября 19 95 г. Ч. 1/Под ред. А. Н. Горбаня; Красноярск: ИЗД-ВО КГТУ, 1 995. с. 17

29. Горбань А. Н. , Миркес Е. М. Функциональные компоненты нейрокомпьютера / / Нейроинформатика и ее приложения: Материалы III Всероссийского семинара, 6-8 октября 1995 г. Ч. 1 /Под ред. А. Н. Горбаня; Красноярск: Изд-во КГТУ, 1995. С. 79-90.

30. Горбань А -Н-, Миркес Е-М• "Тензорные сети ассоциативной памяти".- 4 всероссийский рабочий семинар "Нейроинформатика и ее приложения", 5-7 октября 1996 г., Тезисы докладов-Красноярск: изд. КГТУ, 1996, с. 20-21,

31. Загоруйко Н. Г. , Елкина В. Н. , Лбов Г. С. Алгоритмы обнаружения эмпирических закономерностей.- Новосибирск: Наука, 1985. 1 10 с.72. ивахненко А. Г. Самообучающиеся системы распознавания и автоматического регулирования. Киев: Техника, 1969.- 392 с.

32. Ивахненко А. Г. "Персептроны". Киев: Наукова думка, 1974.

33. В 3-х кн. Кн. 2. Модели и Д. А. Поспелова. М. : Радио и

34. Сер. "Физ. и Матем. модели А. А. Веденова. М. : Изд-во77. кохонен Т. Ассоциативная память. М. : Мир, 1980.

35. Кохонен Т. Ассоциативные запоминающие устройства. М. : мир, 1982

36. Коченов д. А. , Миркес Е. M. Синтез управляющих воздействий / / Нейроинформатика и ее приложения: Материалы III всероссийского семинара, 6-8 октября 1 995 г. Ч. 1/Под ред. А. Н. Горбаня; Красноярск: Изд-во КГТУ, 1 995. С. 31

37. Коченов д. А. , Миркес Е. м. , Россиев Д. А. Автоматическая подстройка входных данных для получения требуемого ответа нейросети // Проблемы информатизации региона / Материалы межрегиональной конференции (Красноярск, 2 7-29 ноября 1995 г. )

38. Позин И. В. Моделирование нейронных структур. м. : Наука, 1970.

39. Пшеничный Б. Н. , Данилин Ю. M. Численные методы в экстремальных задачах. M. : Наука, 1 975. 3 1 9 с.

40. Розенблатт Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга, м. : мир, 1965. 480 с.

41. Россиев Д. А. , Мызников А. В. Нейросетевое моделирование лечения и прогнозирование его непосредственных результатов у больных облитерирующим тромбангиитом// Нейроинформатика и ее