Оптимизация проектирования аппаратных средств нейросети на основе имитационного моделирования нейроструктур тема диссертации и автореферата по ВАК РФ 05.13.12, кандидат технических наук Севостьянов, Дмитрий Анатольевич

• Севостьянов, Дмитрий Анатольевич
• кандидат технических наук
• 1998

Оглавление диссертации кандидат технических наук Севостьянов, Дмитрий Анатольевич

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1. ПУТИ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОАВНИЯ СИСТЕМ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ

1.1. Задачи имитационного моделирования и оптимизации в процессе автоматизированного проектирования структуры нейронных сетей

1.1.1. Анализ задач, решаемых с помощью искусственных нейронных сетей

1.1.2. Особенности проектирования нейросетей, требующие учета при разработке нейрочипов

1.2. Анализ средств моделирования

1.3. Анализ структур, типов и математических моделей нейросетей

1.3.1. Модель нейронного узла

1.3.2. Модель нейронной сети с одним слоем

1.3.3. Модель ассоциативной памяти

1.3.4. Модель многослойной нейронной сети

1.3.6. Разработка комплексной модели нейронной сети

1.4. Цель и задачи исследования

1.5. Основные выводы главы

2. РАЗРАБОТКА МОДЕЛЕЙ ДЛЯ ОПТИМАЛЬНОЙ НАСТРОЙКИ ПАРАМЕТРОВ МНОГОСЛОЙНЫХ НЕЙРОННЫХ СЕТЕЙ

2.1. Разработка структуры средств автоматизированного формирования структуры нейронной сети

2.2. Разработка комплексной имитационной модели на основе вложенности моделей и алгоритмов

2.3. Оптимизация настройки параметров нейронной сети

2.3.1. Алгоритм настройки параметров сети, основанный на методе градиентного спуска

2.3.2. Модификации градиентного метода, использующие адаптивные технологии

2.4. Основные выводы главы

3. ОРГАНИЗАЦИЯ БИБЛИОТЕКИ НЕЙРОННЫХ МОДУЛЕЙ. АЛГОРИТМИЗАЦИЯ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ

3.1. Организация библиотеки нейронных модулей

3.1.1. Применение объектно-ориентированного подхода к разработке библиотеки нейромодулей

3.1.2. Базовые абстрактные классы

3.2. Алгоритм настройки весовых коэффициентов базовых объектов библиотеки нейромодулей

3.2.1. Алгоритм настройки весовых коэффициентов нейронного узла

3.2.2. Алгоритм настройки весовых коэффициентов для многослойной нейронной сети

3.3. Алгоритмизация процесса моделирования нейронных сетей произвольной структуры

3.4. Основные выводы главы

4. РЕАЛИЗАЦИЯ ПРОГРАММНО-МЕТОДИЧЕСКОГО КОМПЛЕКСА ПРОЕКТИРОВАНИЯ И ОПТИМАЛЬНОЙ НАСТРОЙКИ НЕЙРОСЕТЕЙ

4.1. Структура программного и информационного обеспечения

4.2. Использование разработанных средств для применения в учебном

процессе

4.2.1. Моделирование нейронной сети, состоящей из ассоциативных

узлов

4.2.2. Моделирование нейронной сети, состоящей из узлов с пороговой

функцией возбуждения

4.2.3. Моделирование нейронной сети, реализующей алгоритм

обратного распространения ошибки

4.3. Основные выводы главы

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

Приложение 1

Приложение 2

Приложение 3

Введение диссертации (часть автореферата) на тему «Оптимизация проектирования аппаратных средств нейросети на основе имитационного моделирования нейроструктур»

ВВЕДЕНИЕ

Актуальность темы. Базовую основу для построения современных систем искусственного интеллекта составляют искусственные нейронные сети, широкое применение которых позволяет существенно сократить затраты времени, повысить качество решения таких задач, как распознавание образов, идентификация событий, финансового анализа, настройка структурно-программируемых суперкомпьютеров, массовый параллелизм вычислений (распределенная обработка информации), разработка сигнальных процессоров, алгоритмов выделения движущихся объектов, алгоритмов сжатия информации и криптозащиты, распознавание текста.

Поэтому весьма важной в настоящее время задачей стало повышение эффективности автоматизированного проектирования структур нейронных сетей и настройки их параметров, одновременно со снижением сроков разработки таких структур без потери качества функционирования.

Искусственная нейронная сеть представляет собой достаточно сложный объект проектирования, что вызывает необходимость применения принципа декомпозиции, в соответствии с которым сеть разделяется на несколько иерархических уровней и аспектов. Таким образом, при использовании такого подхода процесс проектирования разделяется на несколько этапов и аспектов: структурного, функционального, конструкторско-топологического и технологического проектирования нейрочипа.

При проектировании структурных схем нейросети возникает задача моделирования нейронной сети, на основе которого производится оптимизация ее структуры и настройка параметров.

Важными проблемами при построении имитационной модели для проектирования сети являются структура сети и ее внутренние параметры -связи между нейронами и их значения. Такие тенденции в области создания новых нейрочипов, как увеличение числа нейронов в сети и увеличение числа

связей между ними ведет к усложнению структуры нейрочипов и, соответственно, к возрастанию сложности процесса настройки нейросети (параметрической и структурной адаптации) для решения конкретной задачи. Поэтому имитационное моделирование и настройка параметров становятся неотъемлемой частью проектирования аппаратных средств нейросети.

Таким образом, актуальность темы диссертационной работы обусловлена необходимостью разработки методов и средств структурного и функционального проектирования, направленных на получение имитационных моделей нейронных структур, позволяющих настроить их оптимальным образом на решение какого-либо класса задач распознавания образов или задач принятия решений, и реализации на основе данного подхода программно-методического комплекса создания имитационной модели проектируемой нейронной сети.

Работа выполнена в соответствии с межвузовской комплексной научно-технической программой 12.11 «Перспективные информационные технологии в высшей школе» и «Вычислительные системы на базе нейрокомпьютеров, транспьютеров и оптических ЭВМ» в рамках одного из основных направлений Воронежского государственного технического университета «Системы автоматизированного проектирования».

Цель и задачи исследования. Целью диссертационной работы является разработка и практическая реализация комплекса моделей, алгоритмов и программных средств оптимального выбора структуры и параметров нейронной сети на основе имитационного моделирования. В соответствии с поставленной целью в работе решались следующие задачи:

анализ существующих нейронных структур для дальнейшей формализации, используемой при описании их на языке библиотеки нейромодулей;

комплексирование математических и алгоритмических моделей базовых объектов - нейроузлов и нейронных сетей - для формирования нейронных модулей;

организация на основе объектно-ориентированного подхода библиотеки нейромодулей;

проектирование имитационных моделей функционирования основных видов нейросетей и нейроузлов на базе спроектированной библиотеки нейромодулей;

разработка структуры программно-методического комплекса обучения элементам нейротехнологий;

разработка программного и информационного обеспечения для проектирования нейронной сети.

Методы исследования основаны на нейровычислениях, теории искусственного интеллекта, теории линейных последовательных машин и многослойных персептронов, имитационном моделировании, теории вероятностей, экспериментальных исследованиях и методах вычислительной математики, объектно-ориентированном подходе к разработке нейронных модулей.

Научная новизна. Основные результаты диссертации, имеющие научную новизну:

получены имитационные модели базовых элементов нейротехнологий, использующих инвариантное описание;

разработаны алгоритмы получения имитационной модели нейросети на основе базовых компонентов, отличающихся высокой адаптацией к особенностям задач распознавания и классификации образов и хранения информации в нейронных сетях за счет обучения системы и элементов ее самообучения;

сформирована библиотека инструментальных средств нейронных сетей, отличающаяся учетом принципов полиморфизма и наследования;

разработана структура программно-методического комплекса, позволяющего проектировать устройства на основе нейротехнологий применительно к задачам распознавания образов и оптимального выбора. Практическая ценность работы заключается в следующем: разработан программно-методический комплекс моделирования и оптимизации нейронных сетей на базе библиотеки нейромодулей;

сокращено время формирования структуры нейронной сети за счет применения разработанных методов оптимизации для обучения нейронных сетей и их структурной адаптации;

разработано программное обеспечение (в виде библиотеки нейронных модулей) инструментальных средств нейронных сетей, основанное на объектно-ориентированном подходе; универсальность базовых абстрактных классов позволяет использовать эту библиотеку совместно с объектно-ориентированными средами визуального проектирования применительно к алгоритмам решения задач распознавания образов;

проектировщику-эксперту предоставлена возможность использования абстрактных базовых классов библиотеки для разработки собственных, оптимизированных под конкретную задачу, нейронных сетей;

использован принцип открытости при разработке системы, а, следовательно, существует возможность доработки, надстройки и интеграции ее с другими системами;

при разработке программных средств использован объектно-ориентированный подход и методы структурного программирования для написания низкоуровневых функций. Библиотека нейронных модулей реализована на языке С++, среда разработки выполнена на языке HTML с использованием технологий языка JAVA. Для хранения информации при проведении экспериментальных исследований была создана объектно-ориентированная библиотека для взаимодействия с таблицами СУБД PARADOX.

Реализация результатов работы. На основе разработанного программно-методического комплекса создана обучающая система, позволяющая получить базовые знания по проектированию нейросетей различного типа и назначения, которая используется в качестве учебного курса в учебных дисциплинах «Разработка алгоритмов в САПР» и «Модели и алгоритмы оптимального выбора».

Апробация работы. Основные положения диссертации докладывались и обсуждались на следующих конференциях, семинарах и совещаниях: Всероссийском совещании-семинаре «Математическое обеспечение информационных технологий в технике, образовании и медицине» (Воронеж, 1996,1997), Всероссийском совещании-семинаре «Высокие технологии в технике, медицине и образовании» (Воронеж, 1998), ежегодных научных конференциях профессорско-преподавательского состава Воронежского государственного технического университета.

Публикации. По материалам диссертации опубликовано 8 работ.

Структура и объем работы. Диссертация состоит из введения, четырех глав с выводами и заключениями на 108 е., списка литературы (73 наименования), 3 приложений и содержит 17 рисунков.

В первой главе диссертации проведен анализ задач, решаемых с помощью искусственных нейронных сетей; выявлены отличительные особенности задач, когда применение нейросетей является оправданным; проведен анализ автоматизированного проектирования структуры сети и настройки ее параметров; выявлены основные особенности разработки, требующие учета при проектировании нейросети: слабоформализованные входные данные, высокая внутренняя размерность и размерность входных данных; необходимость точной настройки внутренних параметров нейросети для успешного и быстрого решения поставленной задачи; отсутствие аналитических выражений решений для многих задач, необходимость проведения в процессе проектирования имитационного моделирования.

Задача автоматизированного формирования имитационной модели нейронной сети сформулирована как задача оптимизации, заключающаяся в настройке структуры (структурная адаптация) и внутренних параметров -весовых коэффициентов связей нейронов (параметрическая оптимизация) для удовлетворительного решения сетью поставленной задачи.

Показано, что решение данной проблемы требует разработки математических моделей, описывающих процессы принятия решения нейронными сетями и приспособленных для совмещения с имитационными моделями, которые предполагается проектировать.

Проанализированы существующие математические модели, методы и программные средства, применяемые в области конструирования нейронных сетей.

Сделан вывод о необходимости разработки комплексной имитационной модели проектируемой нейронной сети, охватывающей структурно-функциональный этап проектирования, обладающей унифицированной структурой составных частей и поддерживающей возможность автоматизированной адаптации к конкретной задаче. Для реализации такой модели необходимо создать множество алгоритмических моделей простых конструктивных элементов - нейроузлов и некоторых известных видов нейронных сетей, для которых настройка внутренних параметров имеет достаточно простое математическое описание. Тогда имитационная модель конечной сети будет формироваться посредством композиции этих составляющих.

Для получения высокой точности моделирования предложено использовать как существующие методы настройки и структурной адаптации, так и их модификации.

На основе проведенного анализа объекта проектирования - аппаратного обеспечения нейронной сети - сформулированы задачи, решаемые в ходе имитационного моделирования, и поставлена цель исследования в данной

работе - разработка и практическая реализация комплекса моделей алгоритмов и программных средств оптимального выбора структуры и параметров нейронной сети на основе имитационного моделирования.

Во второй главе обоснованы основные функции, выполняемые средствами автоматизированного формирования имитационной модели нейронной сети; составлен перечень проектных процедур, реализующих решение задач структурной адаптации и оптимальной настройки ее внутренних параметров; рассмотрены вопросы формализации нейронных структур и их алгоритмизации для составления входного языка описания структуры модели; введены операции, облегчающие обобщенное описание нейронных сетей.

На этой основе разработана структура программно-методического комплекса имитационного моделирования нейронных сетей, основными элементами которого является библиотека нейронных модулей, построенная по иерархическому принципу; справочно-обучающая система; средства поддержки ведения проекта - база данных структуры связей нейромодулей, база данных для хранения входной информации и промежуточных результатов.

Предложено описание комплексной имитационной модели нейросети, которая позволяет унифицировано подходить к анализу и настройке нейромодулей с различной степенью детализации и вложенности алгоритмов нейронных моделей. В соответствии с предложенной структурой разработаны имитационные модели элементарных составляющих нейронной сети и показано как на их основе реализуются стандартные виды искусственных нейронных сетей. Показано, какие типы структуры нейронных сетей целесообразно применять для определенных задач распознавания образов и принятия решений.

Для оптимизации настройки параметров нейронной сети, использующей математическую модель обратного распространения ошибки, разработаны модификации метода обучения многослойных нейронных сетей, ускоряющие процесс обучения.

Предложены модификации градиентного метода, использующие адаптивные технологии, основанные на методе пошагового спуска, методе Ньютона, и автономную настройку нейронных узлов сети.

В третьей главе на основе вложенности описания и математических моделей, предложенных во второй главе, разработана иерархическая библиотека нейронных модулей, использующая для своей организации объектно-ориентированный подход, который в силу механизмов наследования и полиморфизма позволяет уточнять функции и свойства базовых моделей без их полной переделки.

В качестве описания абстрактного объекта введен класс «нейромодуль», выступающий в роли «черного ящика», а на его основе определены абстрактные классы «нейрон» и «нейронная сеть», обладающие наиболее общими свойствами этих понятий, которые далее конкретизируются в зависимости от вида модели нейрона, нейронной сети и так далее.

Проведена алгоритмизация задач обучения элементарных нейронных узлов и многослойных нейронных сетей, основанных на методе обратного распространения ошибки.

Разработана общая структурно-алгоритмическая схема процесса проектирования гибридных нейронных сетей, показывающая взаимодействие процедур моделирования и оптимизации настройки их внутренних параметров, движение информационных потоков на различных этапах создания проекта нейронной сети.

Четвертая глава посвящена разработке на основе предложенных моделей и алгоритмов программно-методического комплекса автоматизации проектирования нейросетей, оптимизации их структуры и настройки внутренних параметров.

Основой программного обеспечения является библиотека нейронных модулей, обеспечивающая проектировщика типовыми имитационными моделями нейроузлов и нейросетей и позволяющая обобщенно работать с ними

на уровне описания структуры, представления данных и функционирования -эти достоинства обусловлены объектно-ориентированным подходом к созданию данной библиотеки. Проектирование подразделяется на несколько этапов:

1) описание структуры сети - связей между нейронными модулями, которые могут являться как отдельными нейронными узлами, так целыми подсетями, представленными типовыми или ранее разработанными имитационными моделями;

2) оптимальная настройка параметров полученной имитационной модели;

3) анализ полученных результатов - весовых коэффициентов связей между нейромодулями и количества слоев в многослойный нейронных сетях;

4) внесение новых типов имитационных моделей в библиотеку нейромодулей.

Информационная поддержка рабочего проекта осуществляется с помощью базы данных в формате СУБД PARADOX, обеспечивающей хранение и использование следующей информации:

1) графы связей нейромодулей;

2) структура модулей, представляющих собой нейронные сети;

3) входная информация;

4) промежуточные и конечные результаты обучения сети.

Входные данные и описание проектируемой сети проектировщик оформляет в виде текстового файла, данные из которого затем преобразуются утилитой-интерпретатором и заносятся в базу данных проекта.

Рассматривается справочно-обучающая подсистема комплекса, состоящая из базы знаний, содержащей описание библиотеки нейронных модулей, поисковой подсистемы, основанной на обработке текста в формате HTML и элементах языка JAVA.

Определены требования, предъявляемые к аппаратному и программному обеспечению, необходимому для функционирования системы.

В заключении приведены основные результаты диссертационной работы.

1. ПУТИ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОАВНИЯ СИСТЕМ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ

Постоянно расширяющееся в настоящее время применение нейронных сетей в системах искусственного интеллекта позволяет существенно сократить затраты времени, повысить качество решения таких задач, как распознавание образов, идентификация событий и принятие оптимальных решений. Поэтому повышение эффективности автоматизированного проектирования аппаратных средств нейронных сетей, разработка новых средств САПР, позволяющих обеспечивать необходимый уровень качества и надежности при сокращении сроков разработки, является актуальной задачей.

В настоящее время существует два способа реализации нейронных сетей:

1) программный /16, 43, 44, 69/;

2) программно-аппаратный и аппаратный /13, 16, 34, 40, 68/.

Ниже приведены некоторые характеристики (количество нейронов, количество связей, быстродействие и др.) распространенных типов неироплат, нейрочипов и нейрокомпьютеров; данные сведения получены посредством поиска в сети Internet (см. /17 -19, 27 - 29/).

В качестве типичного примера нейроплаты можно назвать MB 86232 японской фирмы Fujitsu, на которой находятся процессор цифровой обработки сигналов и оперативная память емкостью 4 Мбайт, что позволяет использовать такую плату для реализации нейросети, содержащей до сотен нейронов.

Основными коммерческими аппаратными изделиями, основанными на нейроалгоритмах, являются нейрочипы. Сейчас выпускаются более двадцати их типов, параметры которых сильно варьируются. Среди них - модель ETANN фирмы Intel, имеющая 64 нейрона и 10240 синапса, и модель MD 1220 фирмы Micro Devices - 8 нейронов и 120 синапсов. Среди разрабатывающихся выделяются модели фирмы Adaptive Solutions (США) и Hitachi (Япония),

нейрочипы которых позволяют реализовать нейронные сети, содержащие до 576 нейронов.

Большой интерес представляют специализированные нейрокомпьютеры, непосредственно реализующие принципы нейросетей, представителями таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация персептрона, разработанная Розенблатом, называлась Mark I). Модель Mark III фирмы TRW представляют собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединены шиной VME. Архитектура системы, поддерживающая до 65000 виртуальных процессорных элементов с более чем 1 млн. настраиваемых соединений, позволяет обрабатывать до 450 тыс. межсоединений в секунду.

Mark IV - это однопроцессорный суперкомпьютер с конвейерной архитектурой. Он поддерживает до 236000 виртуальных процессорных элементов, что позволяет обрабатывать до 5 млн. межсоединений в секунду.

Компьютеры семейства Mark имеют общую программную оболочку ANSE (Artificial Neural System Environment), обеспечивающую программную совместимость моделей. Помимо указанных моделей фирма TRW предлагает также пакет Mark II - программный эмулятор нейросетей.

1.1. Задачи имитационного моделирования и оптимизации в процессе автоматизированного проектирования структуры нейронных сетей

1.1.1. Анализ задач, решаемых с помощью искусственных нейронных

сетей

Для того чтобы оценить важность и актуальность задачи автоматизированного проектирования нейронных сетей был проведен анализ литературных источников /5, 7, 22, 34, 40, 49, 53, 57, 60, 72/, результатом

которого явился список классов задач, решаемых нейронными сетями и возникающих в разных отраслях промышленности, обслуживания и финансов:

1) банки и страховые компании: автоматическое считывание чеков и финансовых документов, проверка достоверности подписей, оценка риска для займов, прогнозирование изменений экономических показателей;

2) административное обслуживание: автоматическое считывание документов, автоматическое распознавание штриховых кодов;

3) нефтяная и химическая промышленность: анализ геологической информации, идентификация неисправностей оборудования, разведка залежей минералов по данным аэрофотосъемок, анализ составов примесей, управление процессами;

4) военная промышленность и аэронавтика: обработка звуковых сигналов (разделение, идентификация, локализация, устранение шума, интерпретация), обработка радарных сигналов (распознавание целей, идентификация и локализация источников), обработка инфракрасных сигналов (локализация), обобщение информации, автоматическое пилотирование;

5) промышленное производство: управление манипуляторами, управление качеством, управление процессами, обнаружение неисправностей, адаптивная робототехника, управление систем голосом;

6) служба безопасности: распознавание лиц, голосов, отпечатков пальцев;

7) биомедицинская промышленность: анализ рентгенограмм, обнаружение отклонений в ЭКГ;

8) телевидение и связь: адаптивное управление сетью связи, сжатие и восстановление изображения.

Представленный перечень не полон и к нему можно добавить задачи, обсуждавшиеся на IV Всероссийской конференции «Нейрокомпьютеры и их применение», состоявшейся в 1998 году, такие как: идентификация событий, технологии финансового анализа, настройка структурно-программируемых суперкомпьютеров, массовый параллелизм вычислений (распределенная обработка информации), разработка сигнальных процессоров, имитационное моделирование, алгоритмы выделения движущихся объектов, алгоритмы сжатия информации и криптозащиты, распознавание текста.

Также необходимо отметить, что создание искусственного интеллекта -это, прежде всего, построение распознающих систем и систем принятия решений. Распознавание образов - объектов, сигналов, ситуаций, явлений или процессов представляет собой одну из самых распространенных задач, решаемой человеком постоянно и очень сложной для автоматизированной обработки в методах машинного распознавания. Распознавание представляет собой задачу преобразования входной информации, в качестве которой уместно рассматривать некоторые параметры и признаки распознаваемых образов, в выходную, представляющую собой заключение о том, к какому классу относится распознаваемый образ.

В литературе /5, 15, 31, 33/ встречается значительное число признаков, которыми должна обладать задача, чтобы применение нейронных сетей было бы оправдано, и нейронная сеть могла бы ее эффективно решить, а именно:

1) отсутствует алгоритм или неизвестны принципы решения задач, но накоплено достаточное число примеров;

2) проблема характеризуется большими объемами входной информации;

3) данные неполны или избыточны, зашумлены, частично противоречивы.

Таким образом, можно сделать вывод, что нейронные сети хорошо подходят для распознавания образов и решения задач классификации, оптимизации и прогнозирования.

1.1.2. Особенности проектирования нейросетей, требующие учета при разработке нейрочипов

Современные искусственные нейронные сети и реализующие их чипы являются сложными системами, поэтому при их проектировании необходимо применять принцип декомпозиции, в соответствии с которым нейрочип разделяется на ряд структурных иерархических уровней и аспектов (структурный, функциональный, конструкторско-топологический и технологический). Выделяют следующие уровни иерархии при проектировании аппаратных средств нейронных сетей:

1) функциональный блок;

2) функциональный узел (нейронная сеть, нейронный узел);

3) элемент (нейронный узел определенного вида, реализующий базовую функцию).

Тогда в соответствии с выделенными уровнями иерархии выделяются следующие этапы проектирования нейрочипа, а именно:

1) системное проектирование, целью которого является разработка алгоритма функционирования нейросети, ее архитектура как совокупность функциональных блоков, исходные тестовые последовательности, с помощью которых проводится обучение сети;

2) функциональное проектирование, сутью которого является создание функциональных и логических схем, и связанного с решением следующих задач: логический синтез и моделирование нейросети на уровне нейронных узлов;

3) конструкторско-топологический;

4) технологический.

Это позволяет сделать заключение о том, что при проектировании аппаратных средств нейросетей возникает задача моделирования нейронной сети, на основе которого производится оптимизация ее структуры и настройка параметров.

Важными проблемами при построении имитационной модели для проектирования сети являются структура сети и ее внутренние параметры -связи между нейронами и их значения. Прогресс в области создания программных, программно-аппаратных и аппаратных нейросетевых структур обостряет данную проблему. Такие тенденции в области создания новых нейрочипов, как увеличение числа нейронов в сети и увеличение числа связей между ними ведет к усложнению структуры нейрочипов и, соответственно, к возрастанию сложности процесса настройки нейросети (параметрической и структурной адаптации) для решения конкретной задачи. Поэтому имитационное моделирование и настройка параметров становится неотъемлемой частью проектирования аппаратных средств нейросетей.

Таким образом, аппаратные средства нейронных сетей, как объект проектирования, характеризуются следующими особенностями: слабоформализованные входные данные, высокая внутренняя размерность и размерность входных данных; необходимость точной настройки внутренних параметров нейросети для успешного и быстрого решения поставленной задачи; отсутствие аналитических выражений решений для многих задач, необходимость проведения в процессе проектирования имитационного моделирования. В связи с этим в составе САПР нейросетей необходимо иметь средства, позволяющие проводить комплексный анализ и оптимизацию проектируемых нейрочипов с учетом взаимосвязи решений, принимаемых на разных этапах и относящихся к различным аспектам. Это требует наличия в математическом и программном обеспечении САПР нейросетей моделей и программных средств имитационного моделирования процессов, происходящих в нейронных сетях.

1.2. Анализ средств моделирования

Современные САПР проектирования нейросетей создаются с использованием следующих принципов: комплексности, совместимости,

наличия общего банка данных, модульности, одновременного доступа к базе данных проекта, открытости. Такие системы представляют совокупность подсистем, выделяемых согласно делению объекта проектирования на различные иерархические уровни и аспекты, каждая из которых реализует проектные процедуры, относящиеся к определенным этапам. Для формирования структуры нейронной сети и оптимизации ее параметров в состав САПР должен входить специализированный программно-методический комплекс проектирования нейросетей, обеспечивающий выполнение проблемно-ориентированных проектных процедур верификации и настройки нейросетей.

Программное обеспечение такого комплекса должно решать следующие задачи:

1) построение имитационной модели проектируемой сети;

2) анализ полученных моделей;

3) оптимизация параметров (силы межнейронных связей);

4) учет структурных изменений;

5) взаимодействие с базой данных и проектировщиком.

Маршрут проектирования нейросети составляется из согласованных между собой программ различных пакетов, выполняющих заданные проектные процедуры и обеспечивающих проведение работ, относящихся ко всем этапам. Соответственно и средства имитационного моделирования должны поддерживать выполнение этих процедур и согласованно входить в структуру такого маршрута. Тогда задачи, решаемые с помощью подсистемы моделирования, можно разделить на два вида:

формирование структуры сети (структурный синтез);

настройка (оптимизация) внутренних параметров.

Средства оптимизации предназначены для получения значений параметров, от точности настройки которых зависит скорость и качество функционирования нейронной сети.

При разработке программных средств имитационного моделирования нейросетей, необходимо руководствоваться следующими принципами /59/:

1) разделение сложной проектной задачи на более простые, то есть использование блочно-иерархического подхода;

2) чередование процедур синтеза, обучения и верификации;

3) итерационность проектирования;

4) усложнение модели по мере приближения к окончательному проектному решению.

Способом реализации данных принципов является использование для построения имитационной модели основных положений метода поэтапного моделирования, заключающихся в последовательном применении ряда моделей, имеющих различную степень детализации описания нейронных модулей. Это требует наличия в математическом обеспечении совокупности математических моделей объекта проектирования (то есть описаний нейронных структур), методов анализа и оптимизации, отличающихся точностью, требуемым объемом исходных данных и необходимыми ресурсами ЭВМ.

Разрабатываемые на основе такого математического обеспечения программные средства разработки нейросети должны решать следующие задачи:

1) оптимизировать внутренние параметры нейросети (критерий);

2) при невозможности провести параметрическую оптимизацию, выдать предложения по структурной адаптации;

3) обеспечивать взаимодействие с проектировщиком.

Основываясь на приведенных требованиях, рассмотрим модели и методы, применяемые при проектировании нейронных сетей и их структуры.

1.3. Анализ структур, типов и математических моделей нейросетей

Понятно, что при формировании структуры нейросети, следует учесть существование типовых моделей нейросетей и нейроузлов, которые объединяются в нейромодули.

В основу искусственных нейронных сетей /43, 44, 47,54/ положены следующие черты живых нейронных сетей, позволяющие им хорошо справляться с нерегулярными задачами:

1) простой обрабатывающий элемент - нейрон;

2) очень большое число нейронов участвует в обработке информации;

3) один нейрон связан с большим числом других нейронов (глобальные связи);

4) изменяющиеся по весу связи между нейронами;

5) массированная параллельность обработки информации.

Прототипом для создания нейрона послужил биологический нейрон

головного мозга. Биологический нейрон имеет тело, совокупность входов -дендридов, по которым в нейрон поступают входные сигналы, и выход - аксон, передающий выходной сигнал нейрона другим клеткам. Точка соединения дендрида и аксона называется синапсом /36, 65/. Функционирование нейрона можно представить следующим образом:

1) нейрон получает от дендридов набор (вектор) входных сигналов;

2) в теле нейрона оценивается суммарное значение входных сигналов. Однако входы нейрона неравнозначны. Каждый вход характеризуется некоторым весовым коэффициентом, определяющим важность поступающей по нему информации. Таким образом, нейрон не просто суммирует значения входных сигналов, а вычисляет скалярное произведение вектора входных сигналов и вектора весовых коэффициентов;

3) нейрон формирует выходной сигнал, интенсивность которого зависит от значения вычисленного скалярного произведения. Если оно не

превышает некоторого заданного порога, то выходной сигнал не формируется вовсе - нейрон «не срабатывает»;

4) выходной сигнал поступает на аксон и передается дендридам других нейронов.

Тогда нейронную сеть можно представить как совокупность нейронных узлов, которые связаны между собой. Существует несколько видов нейронных сетей, которые представлены на рис. 1.1 и рис. 1.2.

Основные положения теории деятельности головного мозга сформулированы в /56/, и применительно к нейронным технологиям можно выделить следующие аспекты:

1) разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов;

2) предложена конструкция сети таких элементов для выполнения логических и арифметических операций;

3) сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.

Сети без обратной связи, называемые ассоциативными /5/, являются единственным видом сетей, не имеющих обратную связь. Сети, показанные на рис 1.1 относятся к ассоциативным, а на рис 1.2 - таковыми не являются. Ассоциативные сети действуют между установленными общими входными терминалами и установленными общими выходными терминалами посредством сопоставлением образцов с известными ранее.

Сеть рис. 1.1 (а) имеет дополнительные свойства: она является одноуровневой сетью без обратной связи. Это значит, что только один узел находится между общим входом и выходом.

Однослойная сеть без обратной связи

а)

Заключение диссертации по теме «Системы автоматизации проектирования (по отраслям)», Севостьянов, Дмитрий Анатольевич

3.4. Основные выводы главы

1. На основе комплексной модели нейронного модуля, предложенной во второй главе, обеспечивающей единый подход к нейронным объектам на различных этапах проектирования, сформирована библиотека нейронных модулей отличающийся возможностью дополнения и уточнения моделей посредством введения новых объектов-моделей, наследующих свойства базовых нейронных модулей.

2. Проведена алгоритмизация задач обучения элементарных нейронных узлов и многослойных нейронных сетей, основанных на методе обратного распространения ошибки.

3. Разработана общая структурно-алгоритмическая схема процесса проектирования многослойных нейронных сетей, показывающая взаимодействие процедур моделирования и оптимизации настройки их внутренних параметров, движение информационных потоков на различных этапах создания проекта нейронной сети.

4. РЕАЛИЗАЦИЯ ПРОГРАММНО-МЕТОДИЧЕСКОГО КОМПЛЕКСА ПРОЕКТИРОВАНИЯ И ОПТИМАЛЬНОЙ НАСТРОЙКИ НЕЙРОСЕТЕЙ

В данной главе рассматриваются вопросы разработки программного и информационного обеспечения программно-методического комплекса имитационного проектирования аппаратных средств нейросетей, реализующего предложенные модели, методы, алгоритмы моделирования и оптимизации настройки внутренних параметров нейронных сетей и структурной адаптации.

4.1. Структура программного и информационного обеспечения

Созданные программные средства базируются на предложенных во второй главе структуре средств имитационного моделирования нейросетей и комплексной модели нейромодуля, реализуют приведенные выше алгоритмы анализа и оптимизации внутренних параметров нейросетей и структурной адаптации. При их разработке учитывались основные требования, предъявляемые к программному обеспечению САПР /59/, такие как универсальность, открытость, адаптируемость, удобство использования, реактивность, экономичность, а также принципы модульности и иерархичности.

Основой программного обеспечения является подпрограмма мониторинга, обеспечивающая управление процессом обучения нейронных сетей и организацию взаимодействия прикладных программ. Алгоритмы формирования структуры нейронной сети и функционального проектирования реализуются следующими программными подсистемами: разработка структуры нейронной сети, состоящей из нейронных модулей, имитационного моделирования, оптимизации настройки внутренних параметров, анализ результатов и принятие решений по изменению структуры спроектированной сети. Каждая из подсистем реализована в виде пакета прикладных программ, имеющих модульно-иерархическую структуру, в которых отдельные модули обеспечивают выполнение какой-либо проектной процедуры. Связь и передача информации между отдельными модулями осуществляется путем передачи параметров и через общие области, а между подсистемами - через базу данных текущего проекта.

Структура разработанного программного обеспечения представлена на рис. 4.1.

Подпрограмма мониторинга представляет собой оболочку среды проектирования, включающую программные средства проверки синтаксиса описания структуры нейросети; трансляции описания структуры нейросети из текстового вида в описание формального вида для составления графа связей нейронных модулей в нейронной сети, и занесения его в базу данных проекта; ввод и редактирование исходных данных; контроль обучения и обмена информацией между подсистемами всего программно-методического комплекса; формирование файлов с результатами моделирования.

Подсистема моделирования содержит функциональные блоки разбиения исходного графа связей на подграфы, в результате которого исходная нейронная сеть представляется в виде композиции стандартных нейронных моделей; выбора алгоритмов настройки внутренних параметров полученных нейронных моделей; формирования последовательностей обучающих образов; оптимальной настройки внутренних параметров полученных нейронных модулей; анализа результатов оптимизации; коррекции структуры нейромодуля или всей сети; взаимодействия с библиотекой нейронных модулей; сохранения промежуточных результатов моделирования в базе данных настройки внутренних параметров, базе данных обучающих последовательностей и базе данных полученных результатов. Модули анализа результатов моделирования и коррекции структуры выполняют роль обратной связи в процессе проектирования.

Рис. 4.1. Структура программного обеспечения и информационные потоки

Удобным и эффективным языком для моделирования нейронных сетей является один из наиболее распространенных в настоящее время язык С++, сочетающий набор мощных вычислительных конструкций и операций по работе с памятью, которые исключительно важны при моделировании реальных сетей достаточно большой размерности, с современными высокоуровневыми объектно-ориентированными средствами. Поэтому для реализации программного обеспечения подпрограммы мониторинга, библиотеки нейронных модулей, библиотеки работы с таблицами базы данных и подпрограмма оптимизации был выбран именно этот алгоритмический язык.

Разработка программного обеспечения осуществлялась под управлением операционной системы IBM OS/2 Warp 4 на базе персональной ЭВМ типа IBM PC с процессором Pentium. Библиотека нейронных модулей и библиотека работы с таблицами СУБД PARADOX написана на языке С++ (средства поддержки проекта программного обеспечения - интегрированная среда IBM Visual Age С++). Справочно-обучающая система была сформирована с использованием WWW-сервера PowerWeb, Netscape Navigator 2.02 for OS/2, Netscape Composer из пакета Netscape Communicator for OS/2 4.04, пакета PMView for OS/2

Требования к аппаратному и программному обеспечению: ПЭВМ с процессором типа Pentium; требуемый объем ОЗУ ЭВМ - не менее 16 Мбайт; SVGA монитор; занимаемый объем дискового пространства - 2 Мбайт в минимальной конфигурации; 5 Мбайт с установленной справочно-обучающей подсистемой; и 6.5 Мбайт в максимальной конфигурации, включающей исходные тексты библиотеки нейронных модулей и библиотеки работы с таблицами СУБД PARADOX; www-браузер с поддержкой языка JAVA (при установленной справочно-обучающей системе); среда разработки приложений на языке С++ для модификации библиотеки нейронных модулей.

Данный программно-методический комплекс имеет следующие ограничения при разработке нейросетей: максимальное количество одновременно используемых нейронных модулей - 16; максимальное количество входов нейронного модуля - 16; максимальное количество связей между нейронными модулями - 256.

4.2. Использование разработанных средств для применения в учебном процессе

Программные средства имитационного моделирования и оптимизации нейронных сетей используются в учебном процессе на кафедре «Системы автоматизированного проектирования» ВГТУ и кафедры «Технической кибернетики и автоматического регулирования» ВГУ. Акты внедрения приведены в приложении 2.

На основе программно-методического комплекса создана обучающая система, позволяющая получить знания по базовым элементам нейронных технологий, таких как типовые виды нейроузлов и нейросетей и отследить основные аспекты этапа проектирования структуры нейросети и функционально-логического проектирования. Задания на проектирования оформлены в виде лабораторных работ и приведены ниже.

4.2.1. Моделирование нейронной сети, состоящей из ассоциативных узлов

Составить описание нейронной сети, представленной на рис. 4.2, которая иллюстрирует ассоциативные свойства ассоциативной сети и предназначена для распознавания образов букв «Т» и «Н». Сеть должна переходить в возбужденное состояние (Р 1=1, Р2=1, Р3=1) при подаче образа, соответствующего представлению буквы «Т», и переходить в невозбужденное состояния (Б 1=0, ¥2=0, Р3=0) при подаче не ее выходы образа буквы «Н». Таблицы истинности узлов приведены в приложении 3.

Рис. 4.2. Ассоциативная сеть, состоящая из трех узлов

Составить описание нейронной сети, представленной на рис. 4.3, предназначенной для хранения образов букв «Т» и «Н», иллюстрирующей автоассоциативные свойства. Таблицы истинности узлов приведены в приложении 3.

Рис. 4.3. Автоассоциативная сеть, состоящая из девяти узлов

4.2.2. Моделирование нейронной сети, состоящей из узлов с пороговой функцией возбуждения

Промоделировать работу нейронной сети, представленной на рис. 4.4, иллюстрирующую работу сети Хопфилда при начальных значениях весовых коэффициентов и порогов: а) Тп=Т21 =0.5,Г13 =Г31=0.2,Г23 =Т32=0.6 и их =-0.1,С/2 =0,С/3 =0; б) Т12 = Т21 = 0.5,Тп = Г31 = 0.4,Т2г = ТЪ2 = 0.1 и их = 0.7,и2 = 0.2,иъ = 0.4. Графы переходов данной сети при соответствующих значениях весовых коэффициентов и порогов представлены в приложении 3.

Рис. 4.4. Сеть Хопфилда

4.2.3. Моделирование нейронной сети, реализующей алгоритм обратного распространения ошибки

Промоделировать работу нейронной сети, решающей трудную проблему «четности» входного образа. Четность (получение «1», когда входной шаблон содержит нечетное количество единиц) - это классическая трудная задача для нейронных сетей. Простая структура с одним скрытым слоем, содержащим только узлов, способна решить задачу четности для входов. Спроектировать нейронную сеть для XV = 4. Эта структура показана на рис. 4.5.

- \¥ узлов

Рис. 4.5. Многослойная нейронная сеть 4.3. Основные выводы главы

1. На базе предложенных математических моделей, методов и алгоритмов разработано программное и информационное обеспечение программно-методического комплекса имитационного моделирования нейросетей, позволяющее проводить комплексное решение вопросов моделирования и обучения нейросетей.

2. Разработанные программные процедуры автоматизации формирования структуры и функционального проектирования, реализующие методы оптимизации нейроструктур, позволяют решать задачи настройки и имитационного моделирования проектируемых нейросетей.

3. Применение созданных средств имитационного моделирования позволяет сократить время проектирования аппаратных средств нейросетей, проектировщику предоставлена возможность использования абстрактных базовых классов библиотеки для разработки собственных, оптимизированных под конкретную задачу, нейронных сетей.

4. На базе программно-методического комплекса создана обучающая система, позволяющая получить знания по базовым элементам нейронных технологий и производить разработку оригинальных нейронных сетей, которые могут лежать в основе дипломного и курсового проектирования по тематике «Вычислительные системы на базе нейрокомпьютеров, транспьютеров и оптических ЭВМ».

ЗАКЛЮЧЕНИЕ

В работе решена задача разработки и практической реализации комплекса моделей, алгоритмов и программных средств оптимального выбора структуры и параметров нейронной сети на основе имитационного моделирования; основные результаты диссертации состоят в следующем:

1. Определены задачи проектирования аппаратных средств нейросетей, решаемые на этапе формирования структуры и функциональном этапе разработки, и сформулированы принципы построения и состав основных проектных процедур соответствующего программно-методического комплекса проектирования аппаратных средств нейросетей.

2. Предложена структура программно-методического комплекса имитационного моделирования нейросетей, обеспечивающего проведение анализа и оптимизации настройки внутренних параметров и структурной адаптации моделей нейронных сетей на структурном и функциональном этапах создания проекта.

3. Разработана комплексная имитационная модель нейронного модуля, охватывающая все иерархические уровни проектирования и применяемая для описания нейронных сетей с различной структурой, отличающаяся унифицированной структурой составных частей и возможностью применения для моделирования сети в целом и детального анализа функциональных компонент.

4. Разработаны оптимизационные модели, позволяющие проводить оптимизацию настройки внутренних параметров и структурную адаптацию нейронных сетей.

5. Разработан унифицированный алгоритм моделирования нейронных сетей, обеспечивающий единый подход к анализу процесса настройки параметров на различных этапах проектирования, отличающийся возможностью выбора точности и ориентированный на интерактивный режим работы.

6. Проведена алгоритмизация имитационного моделирования нейросетей и разработана его структурно-алгоритмическая схема, отражающая состав и взаимодействие процедур моделирования и оптимизации, использующих созданное математическое обеспечение.

7. Разработано программное и информационное обеспечение программно-методического комплекса имитационного моделирования нейросетей, включающее средства моделирования, оптимизации настройки параметров и структурной адаптации нейросетей.

8. Разработана справочно-обучающая подсистема по проектированию нейросетевых средств.

Список литературы диссертационного исследования кандидат технических наук Севостьянов, Дмитрий Анатольевич, 1998 год

ЛИТЕРАТУРА.

1. Aarts Е. Н. L., Korst J. Н. М. Boltzmann machines and their applications //Lect. Notes Comput. Sei., 1987. - V.258. P. 34 - 50.

2. Aarts E. H. L., Korst J. H. M. Boltzmann machines for travelling salesman problem //European J. Oper. Res, 1989. - V.39. P. 79 - 95.

3. Abu-Mostafa Y. S., Jaques J. N. St. Information capacity of theHopfield model //IEEE Trans. Inform. Theory, 1985. - V.31. P. 461.

4. Ackley D. H., Hinton G. E., Sejnowski T. J. A learning algorithm for Bolzmann machines //Cognit. Sei., 1985. - V.9. N 1. P. 147 - 169.

5. Aleksander Igor, Morton Helen An introduction into neural computing. London: TJ Press Ltd, 1991. - 180 c.

6. Amari S. Field theory of self-organizing neural networks //IEEE Trans. Syst., Man, Cybern, 1983. - V. 13. P. 741.

7. Artificial Intelligence //Amsterdam: Time-Life-Books, 1986. - N3 - P. 15.

8. Athale R., Stirk C. W. Compact architectures for adaptive neural nets //Ibid, 1989. - V.28.N4. P. 38.

9. Bardcev S. I., Okhonin V. A. The algorithm of dual functioning (back-propagation): general approach, vesions and applications. Krasnojarsk: Inst, of biophysics SB AS USSA - 1989. 150 p.

10.Carpenter G. A., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine //Comput. Vision Graphics Image Process, 1986. - V.37. P. 54 - 115.

11.Cohen M. A., Grossberg S. Absolute stability of global pattern formation and parallel memory storage by competitive neural networks //IEEE Trans. Syst., Man, Cybernet, 1983. - V.13. N 5. P. 815 - 826.

12.Computing with neural circuits: a model //Science, 1986. - V.233. P. 625 -

13.Cross Michael. Brain ware hits Japanese computers //NewSci. - 1988 - 120, #1640-P. 33.

14.Cybenko G. Approximation by superpositions of a sigmodal function //Mathematics of Control, Signals, and Systems, 1989. - N 2. P. 303 - 313.

15.Fogelman Soulie F. Neural networks, state of the art, neural computing //London: IBC Technical Services, 1991. - C. 65 - 75.

16.Fox G. C., Koller J. G. Code generation by a generalized neural network: general principles and elementary examples //J. Parallel DistributedComput, 1989. -V.6.N2.P. 388- 410.

17. ftp://ftp.mrc-apu.cam.ac.uk/pub/nn/murre/neurhard.ps

18.ftp://ftp.urc.tue.nl/pub/neural/hardware general.ps.gz

19. ftp: //mantraftp. epfl. ch/mantr a/ienne. spie9 5 .US ,ps. gz

20.Funakashi K. On the approximate realization of continuous mappings by neural networks //Neural Networks, 1989. - N 2. P. 182 - 192.

21.Hebb D. O. The organization of behaviour. - N. Y.: Wiley, 1949. - 265 p.

22.Hecht-Nielsen R. Neurocomputing: picking the human brain //IEEE SPECTRUM, 1988 - V. 25. N 3 - P. 36-41.

23.Hopfield J. J., Feinstein D. I., Palmer F. G. Unlearning has a stabilizing effect in collective memories //Nature, 1983. - V.304. P. 141 - 152.

24.Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities. //Proc. Natl. Acad. Sci. 1984. V. 9. p. 147-169.

25.Hopfield J. J., Tank D. W. Neural computation of decision in optimization problems //Biol. Cybernet, 1985. - V.52. P. 115.

26.Hopfield J. J., Tank D. W. Neural computation of decision in optimization problems //Biol. Cybernet. 1985. - V. 52. P. 115.

27. http://msiaQ2.msi.se/~lindsey/nnwAtm.html

28.http://wwwl.cern.ch/NeuralNets/nnwInHepExpt.html

29.http://wwwl.cern.ch/NeuralNets/nnwInHepHard.html

ЗОЛ. Hertz, A. Krogh, fnd R. Palmer. Introduction to the theory of neural computation. - Redwood City: Addison-Wesley, CA 94065, 1991. - 195 p.

31.Jeffery W., Rosner R. Neural network processing as a tool for friction optimization //Neuronet Comput. Conf., Snowbird, Utah. - Apr. 13-16, N.Y., 1986 -P. 241- 246.

32.Kuzewski Robert M., Myers Michael H., Grawford William J. Exploration of fourword error propagation as self organization structure //IEEE 1st. Int. Conf. Neural Networks. - San Diego, Calif., 1987. - P. 89- 95.

33.Lippmonn Richard P. Gold Ben Neuronet classifiers useful for speech recognition //IEEE 1st. Conf. Neural Networks. - San Diego, (Calif), 1987 - P. 417425.

34.Neural Computing //London: IBE Technical Services, 1991. - 142 p.

35.Rosenblatt F. Principles of neurodynamics. Spartan.: Washington, D. C., 1962. - 162 p.

36.Rosenblatt F. The perceptron: a probabilistic model for information storage and organization in the brain //Psychol. Rev, 1958. - V.65. P. 386.

37.Rumelhart В. E., Hinton G. E., Williams R. J. Learning representations by back propagating error//Wature, 1986. - V.323. P. 1016 - 1028.

38.Rumelhart В. E., Hinton G. E., Williams R. J. Learning representations by error propagating error //Parallel Distributed Processing, Cambridge, VF: MIT Press, 1986.-V.l. P. 318-362.

39.Takefuji D. Y. A new model of neural networks for error correction //Proc. 9th Annu Conf. IEEE Eng. Med. and Biol. Soc., Boston, Mass., Nov. 13- 16, 1987. V. 3, New York, N.Y., 1987. - P. 1709 - 1710.

40.Treliven P. Neurocomputers //London: University college, 1989. - 120 p.

41.Абу-Мустафа Я. С., Псалтис Д. Оптические нейронно-сетевые компьютеры //В мире науки, 1987. - N 5. С. 42- 50.

42.Аведьян Э. Д. Алгоритмы настройки многослойных нейронных сетей //Адаптивные и робастные системы: сб. статей - М.: 1995. - С. 106 - 118.

43.Барцев С. И. Некоторые свойства адаптивных сетей (программная реализация). - Красноярск: Институт физики СО АН СССР, 1987. - 132 с.

44.Барцев С. И., Охонин В. А. Адаптивные сети обработки информации. -Красноярск: Институт физики СО АН СССР, 1986. - 111 с.

45.Вентцель Е. С. Теория вероятностей. - М.: Физматгиз, 1964.

46.Гарелик A. JL, Скрипкин В. А. Методы распознавания. Учеб. пособие для вузов. - М.: Высш. школа, 1977. - 222 е., ил.

47.Гольцев А. Д. Яркостная сегментация изображения при помощи нейроподобной сети //Автоматика, 1965. N 5 - С. 40- 50.

48. Джеффри Е. Хинтон. Как обучаются нейронные сети //В мире науки, 1992.-N11-N12. С. 103- 107.

49. Дуда Р., Харт П. Распознавание образов и анализ сцен. Пер. с англ. Г. Г. Вайнштейна и А. М. Васьковского. Под ред. В. JI. Стефанова. - М.: Энергия, 1987.-331 с.

50.Иванченко А. Г. Персептрон - система распознавания образов // К.: Наукова думка, 1972 - С. 55.

51.Каплинский А. И., Эксаревский А. В., Севостьянов Д. А. Описание базовых объектов нейротехнологий с помощью объектно-ориентированного подхода. Абстрактные классы //Оптимизация и моделирование в автоматизированных системах: Межвуз. сб. науч. тр. - Воронеж, 1998. - С. 89.

52.Каплинский А. И., Эксаревский А. В., Севостьянов Д. А. Структуры данных для представления нейронных сетей в задачах программного моделирования и обучения многослойных сетей //Оптимизация и моделирование в автоматизированных системах: Межвуз. сб. науч. тр. -Воронеж, 1997. - С. 95.

53.Картавцев В. В. Нейронная сеть предсказывает курс доллара? //Компьютеры + программы, 1993. - N 6(7) - С. 10 - 13.

54.Куссуль В. М., Байдык Т. Н. Разработка архитектуры нейроподобной сети для распознавания формы объектов на изображении //Автоматика, 1990. -N5-0. 56-61.

55. Ланкастер П. Теория матриц. - М:. Наука, 1978. - 560 с.

56.Маккалок Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности. Автоматы. М.: ИЛ, 1956. - 214 с.

57.Масалович А. И. От нейрона к нейрокомпьютеру //Журнал доктора Добба, 1992-К 1 - С. 20- 23.

58.Минский М., Пейперт С. Персептроны. М.: МИР, 1971. - 261 с.

59.Норенков И. П., Маничев В. Б. Основы теории и проектирования САПР. - М.: Высш. шк., 1990. - 335 с.

60.Основы кибернетики. Теория кибернетических систем. Под. ред. К. А. Пупкова. Учеб. пособие для вузов. М.: Высш. школа, 1976. - 408 е., ил.

61. Основы кибернетики: В 2-х т. Т. 2. Основы кибернетических моделей. Учеб. пособие для вузов. - М.: Энергия, 1979. - 584 е., ил.

62.Разработка САПР. В 10-и книгах, А. В. Петров, В. М. Черненький. Проблемы и принципы создания САПР. Кн. 1. М.: Высш. школа. 1990. - 144 с.

63.Райбман Н. С., Чадеев В. М. Построение моделей процессов производства. - М.: Энергия, 1975. - 376 е., ил.

64.Розенблат Ф. Аналитические методы изучения нейронных сетей //Зарубежная радиоэлектроника, 1965 - N 5 - С. 40- 50.

65.Розенблат Ф. Принципы нейродинамики //М.: Мир, 1965. - 302 с.

66.Севостьянов Д. А. Понятие нейроузла //Математическое обеспечение информационных технологий в технике, образовании и медицине: Тез. докл. Всерос. совещания-семинара, 4 1.- Воронеж, 1997. - С. 54.

67. Современная математика для инженеров. Под. ред. Э. Ф. Беккенбаха. Пер. с англ. под общей редакцией И. Н. Векуа. - М.: Издательство иностранной литературы, 1951. - 500 с.

68.Соколов Е. H., Вайтнявичус Г. Г. Нейроинтеллект: от нейрона к нейрокомпьютеру - М.: Наука, 1989. - 283 с.

69.Суворов С. В., Матихина Н. Ю. Программное моделирование нейроподобных структур //Распределенная обработка информации.Улан-Уде, 1989. - С. 28.

70.Трикоз Д. В. Нейронные сети: как это делается? //Компьютеры + программы, 1993. - N 4(5). С. 14 - 20.

71.Тэнк Д. У., Хопфилд Д. Д. Коллективные вычисления в нейроноподобных электронных схемах //В мире науки, 1988. - N 2 - С. 44- 53.

72.Цуприков С. Нейронные вычисления берутся на вооружение финансистами //Moscow: Computerworld, 1985 - N 7 - С. 57- 58.

73.Цыпкин Я. 3. Адаптация и обучение в автоматических системах. - М.: Наука, 1968. - 256 с.