Методы многоуровневого проектирования быстродействующих модульных нейронных сетей прямого распространения на основе иерархических категорных моделей тема диссертации и автореферата по ВАК РФ 05.13.01, доктор технических наук Дорогов, Александр Юрьевич

• Дорогов, Александр Юрьевич
• доктор технических наук
• 2004

Оглавление диссертации доктор технических наук Дорогов, Александр Юрьевич

ВВЕДЕНИЕ.

ГЛАВА 1. КОНЦЕПЦИИ СИСТЕМНОГО МОДЕЛИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ.

1.1. Обзор направлений и тенденций развития нейротехнологии.

1.2. Принципы системного моделирования нейронных сетей.

1.3. Концептуальный анализ биологических нейронных сетей.

1.3.1. Свойства и функции одиночных нервных клеток.

1.3.2. Структурная организация биологических нейронных сетей.

1.3.3. Концептуальная модель биологической нейронной сети.

1.4. Математические модели нейронных сетей.

1.4.1. Модели одиночных нейронов.

1.4.2. Архитектура нейронных сетей прямого распространения.

1.4.3. Структурная оптимизация многослойных нейронных сетей.

1.4.4. Методы оценки качественных характеристик нейронных сетей.

1.5. Модульные нейронные сети.

1.6. Перестраиваемые спектральные преобразования и ядерные . нейронные сети.

1.7. Средства технической реализации нейросетевых алгоритмов высокой размерности.

1.8. Концепция системного моделирования модульных нейронных сетей.

1.9. Результаты и выводы по главе.

ГЛАВА 2. СИСТЕМНЫЕ МОДЕЛИ МОДУЛЬНЫХ НЕЙРОННЫХ СЕТЕЙ.

2.1. Математические модели динамических модульных систем.

2.2. Системные модели «общего положения».

2.3. Применение теории категории для исследования модульных систем.

2.3.1. Системные характеристики математических категорий.

2.3.2. Геометрия несущих пространств.

2.3.3. Категории несущих пространств.

2.3.4. Категория общих систем.

2.4. Сигнальные категории модульных систем.

2.4.1. Категории модульных систем для объектов с однородными терминальными полями.

2.4.2. Сигнальные категории для объектов с не однородными терминальными полями.

2.4.3. Ориентированные категории модульных систем.

2.5. Топологические категории модульных систем.

2.6. Ориентированная модульная сеть в пространстве системных состояний.

2.7. Результаты и выводы по главе.

ГЛАВА 3. МОДУЛЬНЫЕ НЕЙРОННЫЕ СЕТИ ПРЯМОГО РАСПРОСТРАНЕНИЯ.

3.1. Структурная модель модульной сети.

3.2. Алгоритм построения топологии модульной сети.

3.3. Обучение модульных нейронных сетей.

3.4. Многослойные ядерные нейронные сети.

3.4.1. Ранговые матрицы.

3.4.2. Алгоритм построения топологии ядерной сети.

3.4.3. Модель ядерной нейронной сети в операторной форме.

3.4.4. Матричные представления.

3.4.5. Обучение ядерных нейронных сетей.

3.5. Результаты и выводы по главе.

ГЛАВА 4. СТРУКТУРНЫЙ АНАЛИЗ МОДУЛЬНЫХ НЕЙРОННЫХ СЕТЕЙ.

4.1. Пластичность нейронных сетей.

4.1.1. Операторные многообразия нейронных модулей.

4.1.2. Модальные множества и отношения.

4.1.3. Модальные категории модульных нейронных сетей.

4.1.4. Ориентированные категории.

4.2. Пластичность модульных нейронных сетей.

4.3. Примеры расчета пластичности.

4.4. Оценка способности нейронной сети к аппроксимации многомерных отображений.

4.5. Оценка способности нейронной сети к распознаванию образов

4.6. Оценка обобщающей способности нейронной сети.

4.7. Операторный ранг модульной сети.

4.8. Быстродействие ядерных нейронных сетей.

4.9. Топологическая пластичность нейронных сетей.

4.10. Результаты и выводы по главе.

ГЛАВА 5. СТРУКТУРНЫЙ СИНТЕЗ СЛАБОСВЯЗАННЫХ НЕЙРОННЫХ СЕТЕЙ.

5.1. Морфология слабосвязанных сетей.

5.2. Генезис слабосвязанных сетей.

5.3. Алгоритмическая модель криэйтора.

5.3.1. Криэйторы общего вида.

5.3.2. Криэйторы градуированных нейронных сетей.

5.3.3. Криэйторы ядерных нейронных сетей.

5.4. Стратегии синтеза ядерных слабосвязанных сетей.

5.5. Структурный синтез регулярных сетей.

5.5.1. Формальный язык регулярных сетей.

5.5.2. Алфавит языка и грамматика слов.

5.5.3. Грамматика предложений.

5.5.4. Семантическая интерпретация предложений.

5.5.5. Структурные свойства графических интерпретаций.

5.6. Пластичность слабосвязанных сетей.

5.7. Результаты и выводы по главе.

ГЛАВА 6. ПРОЕКТИРОВАНИЕ БЫСТРЫХ НЕЙРОННЫХ СЕТЕЙ.

6.1. Структурный анализ алгоритмов БПФ.

6.2. Парадигма быстрой нейронной сети.

6.3. Топологическое проектирование быстрых нейронных сетей.

6.3.1. Топологии нейронных слоев.

6.3.2. Графическая интерпретация топологий.

6.3.3. Регулярные порождающие схемы.

6.3.4. Граничные условия и топологические матрицы.

6.3.5. Внешняя траектория топологий.

6.4. алгоритм обработки данных в БНС.

6.5. Градиентное обучение БНС.

6.6. Вычислительная эффективность БНС.

6.7. Перестраиваемые спектральные преобразования.

6.7.1. Настройка перестраиваемых преобразований.

6.7.2. Настройка на базис Адамара.

6.7.3. Настройка на базис Фурье.

6.7.4. Быстрое вейвлет преобразование.

6.8. Нейросетевая аппроксимация регулярных фракталов.

6.8.1. Аналитическая форма регулярного фрактала.

6.8.2. Дискретная аппроксимация фракталов.

6.9. Фрактальная фильтрация сигналов.

6.10. Приспособленные быстрые преобразования.

6.10.1. Алгоритм приспособления.

6.10.2. Приспособленные преобразования в нечетком пространстве.

6.10.3. Спектральные приспособленные преобразования.

6.11. Быстрые нейронные сети в квантовых вычислениях.

6.12. Многомерные БНС.

6.13. Результаты и выводы по главе.

ГЛАВА 7. НЕЙРОСЕТЕВАЯ КЛАССИФИКАЦИЯ ДВИЖУЩИХСЯ ГРУППОВЫХ ОБЪЕКТОВ.

7.1. Функциональное описание системы транспортного мониторинга

7.1.1. Информационный канал.

7.1.2. Синхронизация измерений.

7.1.3. Информативные признаки.

7.1.4. Постановка задачи классификации.

7.2. Формирование лингвистических переменных.

7.2.1. Метод фаззификации.

7.2.2. Лингвистическая переменная «Структура».

7.2.3. Семантика группового объекта.

7.2.4. Лингвистическая переменная «Длинна объекта».

7.3. Классификация объектов.

7.3.1. Архитектура нейронной сети.

7.3.2. Контрастирующие функции активации.

7.3.3. Алгоритм обработки данных в нечеткой нейронной сети.

7.3.4. Оценка достоверности классификации групповых объектов.

7.4. Результаты и выводы по главе.

ГЛАВА 8. ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ПРОЕКТИРОВАНИЯ ЯДЕРНЫХ НЕЙРОННЫХ СЕТЕЙ.

8.1. Концепция и архитектура программных средств.

8.2. Формат представления ядерной нейронной сети.

8.3. Класс реконфигурируемых регулярных сетей.

8.3.1. Изменение размерности нейронных ядер.

8.3.2. Изменение ранга межъядерных связей.

8.3.3. Изменение числа нейронных слоев.

8.3.4. Объединение и деление нейронных слоев.

8.4. Результаты и выводы по главе.

Введение диссертации (часть автореферата) на тему «Методы многоуровневого проектирования быстродействующих модульных нейронных сетей прямого распространения на основе иерархических категорных моделей»

Конец 20-го столетия и начало нового века явились периодом бурного развития методов решения плохо формализуемых задач. Во многом этому процессу способствовало интенсивное развитие средств вычислительной техники. Задачи, которые раньше невозможно было решить ввиду вычислительной сложности или отсутствия формализованного представления, теперь часто решаются путем простого перебора вариантов. Однако с ростом размерности задач потребность в вычислительных ресурсах возрастает экспоненциально, поэтому несмотря на появление новых быстродействующих процессоров и развитие суперкомпьютеров «проклятие размерности» сохранят свои позиции. Ясное осознание невозможности победы над природой только с помощью технологической революции породило в конце двадцатого столетия новый импульс развития математических методов решения сложных задач. Искусственные нейронные сети (обучаемые коннеционистские модели) являются одним из таких методов, занимая определенную нишу между строгими математическими методами и методами эвристики, основанными на биологических аналогиях. Возможность обучения позволяет переложить на нейронную сеть проблему формализации. Не решая явно эту задачу, нейронная сеть позволяет создать модель, в которой инкапсулируется внешний образ объекта исследования, что дает возможность устранить полный перебор возможных вариантов за счет целенаправленного использования информации сосредоточенной в обученной нейронной сети.

Искусственные нейронные сети возникли как грубое подобие биологических нейронных сетей, тем не менее, они несут в себе существенный отпечаток живой природы. Наиболее наглядно это проявляется на уровне системно-структурных представлений. Однородность образующих элементов, нелинейность преобразования информации, многослойность, модульность искусственных нейронных сетей имеют прямые соответствия в биологических сетях. Несмотря на то, что искусственные нейронные сети прошли свой путь развития, биологические аналогии и в настоящее время являются источником новых плодотворных идей. Способность искусственных нейронных сетей обобщать накопленную информацию наряду с простотой их алгоритмической реализации обусловило их широкое использование в технических приложениях.

Актуальность. В настоящее время методы нейротехнологии активно применяются в таких прикладных технических областях как обработка аэрокосмических изображений и гидроакустических сигналов, управление интеллектуальными робото-техническими системами, распознавание слитной речи, моделирование многомерных динамических объектов в реальном времени и др. В целом этот класс приложений характеризуются высокой размерностью данных (1000 и более переменных) и критичностью к времени обработки (вплоть до долей секунды).

В последние годы теория нейронных сетей получила значительное развитие, однако до сих пор не достаточно развиты методы системного проектирования и анализа быстродействующих модульных нейронных сетей высокой размерности и родственных к ним быстрых перестраиваемых преобразований. Основной проблемой проектирования больших нейронных сетей является наличие системного противоречия между быстродействием и уровнем «интеллекта» нейронной сети. Анализ имеющихся научных источников показал, что одним из наиболее перспективных путей его разрешения является использование модульных нейронных сетей, с регулярной структурой и топологией. С основной проблемой связана следующая группа практически значимых задач:

• Задача построения системных моделей нейронных сетей адекватных технической и биологической концепции модульности.

• Задача количественная оценки коннекционистских свойств и потенциальных возможностей модульных нейронных сетей.

• Задача оптимального выбора структуры и топологии нейронной сети.

• Задача обучения и предварительной настройки модульных нейронных сетей.

• Задача проектирования больших и сверхбольших нейронных сетей высокого быстродействия.

• Задача эффективного сопряжения больших нейронных сетей с алгоритмами предварительной обработки данных;

• Задача построения реконфигурируемых регулярных нейронных сетей.

Основные трудности решения связаны с тем, что ни один из существующих методов анализа модульных систем полностью не покрывают спектра проблемных задач. Комплексированию методов препятствует их неоднородность, отсутствие модельной поддержки процедур обучения модульной сети, ориентация базовых моделей на геометрию векторного пространства, отсутствие унификации в методах анализа.

Специфика нейронных сетей требует модельного описания выражающего двойственность поведения нейронной сети как объекта обучения и как средства обработки данных для различного вида несущих пространств, типа модулей и уровня представления моделей. Широкий диапазон проблемных задач и прикладных интерпретаций, не может быть разрешен в рамках какой либо одной модели, поэтому возникает необходимость использования семейства моделей, каждая из которых описывает поведение нейронной сети с точки зрения выбранного уровня абстрагирования (страты). Отношение порядка между уровнями представлений задает иерархию между моделями.

Перечисленные вопросы приводят к необходимости системного исследования модульных нейронных сетей. Актуальность темы подтверждается значительным масштабом научных исследований, объемом публикаций, числом проводимых научно-технических конференций, как за рубежом, так и в России связанных с приложениями модульных нейронных сетей.

Постановка задачи. В области системного анализа и проектирования модульные сети непосредственно граничат с теорией сложных систем управления. Математические модели сложных систем управления изучались в работах Н.П.Бусленко, В.В.Калашникова, И.М.Коваленко [1] (1965-1971гг.), Р. Калмана, М.Арбиба, П.Фалба [2] (1971), М.Месаровича, Т.Такахара [3] (1975г.) А.А.Вавилова, Д.Х.Имаева, [4] Б.Ф.Фомина [5] (1983-1986гг.) и других авторов.

В настоящее время известны различные типы математических моделей сложных систем, конкретный вид которых обусловлен областью их приложения, степенью охвата реально действующих факторов, подробностью отображений физических явлений, целями исследования. Однако можно выделить базовые общесистемные принципы построения подобных моделей, к ним относятся:

• Разделение системы на функциональные объекты и межобъектные связи.

• Декомпозиция сложных систем на более простые подсистемы.

• Стратификация моделей по уровням представлений.

• Формирование стратифицированных пространств состояний.

Основное назначение модели сделать возможным выводы о поведении реальной системы. В зависимости поставленной цели модель используется либо для задач анализа, либо как инструмент проектирования новой системы или класса систем. Задача анализа, как правило, включает в себя:

• анализ поведения систем в пространствах состояний;

• выявление предельных состояний и аттракторов;

• оценку потенциальных возможностей системы.

Задача проектирования состоит в выборе приемлемого варианта из некоторого класса возможных решений при выполнении заданных ограничений. Для того чтобы выделить предмет исследования рассмотрим специфические особенности модульных нейронных сетей.

В отличие от систем управления, где структура, тип модуля и тип связей, как правило, заданы технической реализаций, в модульных нейронных сетях, размерности и параметры модуля, структура и топология связей всегда является предметом проектирования и ограничены по типам, требованием однородности и простоты реализации. При проектировании модульной нейронной сети, функциональность любого модуля может быть доведена до предельного уровня, определяемого только его размерностью, а связи всегда могут быть выбраны в наиболее простом варианте. Эти особенности позволяет существенно упростить системные модели и методы их исследования.

Второе важное отличие состоит в том, что в нейронной сети модуль не обязан быть кибернетическим объектом (удовлетворяющим идеологии «вход-выход»). Исследования нейрофизиологов показали, что между нейронами возможны связи типа вход-вход, выход-выход. Такие системы не описываются кибернетическими моделями, и для их анализа требуется разрабатывать специальные методы.

Третье отличие - при исследовании модульных нейронных сетей акцент переносится на анализ коннекционистских свойств сети. Необходимость такого подхода, во-первых, связана с задачей выбора структуры сети, оптимально приспособленной к анализу определенного набора данных и, во-вторых, обусловлено требованиями технической реализуемости сетей большого масштаба. Сверхбольшие модульные нейронные сети должны удовлетворять условиям регулярности по структуре и топологии, в противном случае они технически не реализуемы. Условие регулярности близко соотносится с понятиями самоподобие и фрактальность. Поэтому для проектирования регулярных сетей необходимы математические модели, поддерживающие новые структурные и топологические парадигмы.

Четвертое - в технических приложениях доминирующее распространение получили нейронные сети прямого распространения (сети без обратных связей). К этому классу относятся, в частности, многослойные нейронные сети. Для сетей подобного класса известные методы анализа сложных систем оказываются избыточными. Модели многослойных нейронных сетей близки по архитектуре к итеративным алгоритмам цифровой обработки данных, от которых требуется высокая вычислительная эффективность при обработке данных большой размерности.

Пятое - функционирование нейронных сетей включает в себя этапы обучения и обработки данных. Методы исследования сложных систем, как правило, обслуживают уровень обработки данных, но не поддерживают уровень обучения, тем более он не развит для модульных систем.

Шестое - модульные нейронные сети могут быть реализованы в различных несущих пространствах. Необходим унифицированный математический аппарат, пригодный для представления систем качественно различного типа.

Седьмое - для нейронных сетей должна быть обеспечена возможность реконфигурации структуры и топологии сети в соответствии вариацией структурной сложности обрабатываемых данных. В системах управления вопросы адаптации в лучшем случае решаются подстройкой параметров при сохранении структуры связей, поэтому модели поддерживающие реконфигурацию систем практически не развиты.

Восьмое - нейронная сеть представляет собой целостный объект, поэтому в ре-конфигурируемой сети должны быть согласованы все уровни представлений от параметрического до морфологического, что должно найти отражение в моделях сети. В моделях систем управления это условие не считается обязательным.

Из сказанного следует вывод: теоретическое обобщение существующих методов исследования модульных систем, разработка методов системного проектирования быстродействующих модульных сетей больших масштабов, разработка общих методов построения быстрых алгоритмов для эффективной обработки данных высокой размерности является в настоящее время актуальной задачей.

Целью диссертационной работы является: разработка унифицированных моделей и методов системного проектирования модульных быстродействующих нейронных сетей большего масштаба и быстрых перестраиваемых преобразований в нейро-сетевом базисе.

Задачи. В соответствии с поставленной целью определены следующие задачи:

• Разработать концепцию системного проектирования быстродействующих нейронных сетей большого масштаба.

• Разработать комплекс стратифицированных системных моделей для многоуровневого проектирования модульных нейронных сетей.

• Разработать методы структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований.

• Разработать методы настройки быстрых перестраиваемых преобразований к заданной системе функций.

• Разработать методы структурного проектирования модульных нейронных сетей высокой размерности.

• Разработать методы оценки коннекционистских характеристик модульных нейронных сетей прямого распространения.

• Разработать методы построения реконфигурируемых регулярных нейронных сетей.

Научная новизна диссертации. В работе предложена, развита и реализована новая концепция и разработаны теоретические основы методов системного проектирования быстродействующих нейронных сетей и перестраиваемых преобразований больших масштабов:

• Концепция многоуровневого системного проектирования быстродействующих нейронных сетей большого масштаба, отличается четырехуровневой иерархией модельного представления сети основанной на модульном обособлении обусловленным инъективностью связей, что позволяет выполнить многоуровневую декомпозицию задачи проектирования по целям и используемым методам.

• Системные модели модульных нейронных сетей удовлетворяют всем требованиям математических категорий, и отличаются трансверсальностью и согласованной многоуровневой стратификацией, образуя взаимосвязанный комплекс, что позволяет реализовать сквозное нисходящее проектирование модульных нейронных сетей произвольной размерности.

• Общее решение задачи структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований, отличается использованием стратифицированных лингвистических моделей, что позволило определить инварианты, структурного и топологического синтеза быстрых алгоритмов.

• Методы настройки быстрых перестраиваемых преобразований к системе функций основаны на кратно масштабном мультипликативном представлении произвольных дискретных функций и отличаются полным использованием степеней свободы перестраиваемых преобразований.

• Эволюционный метод структурного проектирования ядерных нейронных сетей отличается сохранением генетического подобия слабосвязанной структуры при пошаговом синтезе сети с оптимизацией по критериям пластичности и вычислительной эффективности, что позволяет выполнить структурное проектирование быстродействующих нейронных сетей произвольной размерности с вычислимыми оценками качественных показателей.

• Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам использует в качестве измеримого показателя число распознаваемых образов общего положения и отличается наличием аналитических форм расчета и методики экспериментальной оценки, что позволяет обоснованно выбрать структуру быстродействующей нейронной сети.

Практическая значимость. Разработанные методы являются научной базой конструкторского и технологического проектирования регулярных модульных сетей большого масштаба для широкого класса вычислительных платформ:

• Комплекс стратифицированных моделей - основа поэтапного нисходящего проектирования модульной нейронной сети, исходя из требуемых функциональных возможностей, уровня быстродействия, и технологических ограничений.

• Общее решение задачи структурного и топологического синтеза быстрых регулярных нейронных сетей и перестраиваемых преобразований выраженное установленным инвариантом морфологического уровня и группами допустимых преобразований структуры и топологии, определяет полный диапазон проектных решений, удовлетворяющих принятым условиям регулярности.

• Методы настройки быстрых перестраиваемых преобразований к системе функций - теоретическая база для построения алгоритмов быстрых преобразований и многоканальных быстродействующих адаптивных фильтров в нейросетевом базисе.

• Эволюционный метод структурного проектирования ядерных нейронных сетей выделяет класс квазирегулярных проектных решений быстродействующих модульных нейронных сетей прямого распространения, с вычислимыми оценками качественных показателей.

• Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам и разработанная на его основе методика экспериментальной оценки решают задачу вычисления и измерения способности нейронной сети к распознаванию образов и аппроксимации отображений.

• Созданный пакет программных средств для проектирования и моделирования ядерных нейронных сетей может быть использован как для научных исследований и обучения, так и для создания коммерческих программных продуктов в области интеллектуальных технологий.

Достоверность и значимость практических результатов подтверждена их использованием при проектировании подсистемы классификации транспортных колонн в системе охранного мониторинга энергетических объектов, при моделировании подсистемы динамической стабилизации шагающего робота, при проектировании подсистемы контроля динамики судна при движении в ледовой обстановке, при проектировании подсистемы распознавании групп токсических фосфорорганических соединений при групповых отравлениях.

Созданный программный пакет инструментальных средств вместе с сопутствующими методическими материалами используется в учебном процессе в ряде вузов России: в Санкт-Петербургском государственном электротехнический университете (ЛЭТИ), в Академия управления и предпринимательства (институт) - негосударственное образовательное учреждение высшего профессионального образования, (г. Екатеринбург), в Дальневосточном государственном техническом университет (ДВГТУ). (г. Владивосток), в Кубанском государственном аграрном университете (г. Краснодар).

Практическое применение результатов диссертационной работы подтверждено соответствующими актами о внедрении основных результатов работы и использовании программных средств.

Апробация. По результатам диссертационной работы опубликованы одна монография и 93 научные статьи, из них 27 в отечественных и зарубежных журналах и повторяющихся изданиях, остальные в трудах российских и международных конференций. Основные результаты работы докладывались на: Международном симпозиуме «Интеллектуальные системы» (INTEL'S 96); International Conference on Informatic and Control (IC&C97); Всероссийском семинаре «Нейроинформатика и ее приложения» (1997, 1998, 1999, 2000, 2001, 2003гг.); Международной конференции «Информационные средства и технологии» (1997г.); Международной конференции «Современные технологии обучения» (1998, 1999гг.); Международной научно-технической конференции «Нейронные, реляторные сети и модели» (1998г.); Межреспубликанской научной конференции «Управление в социальных, экономических и технических системах» (1998г.); Международной конференции «по мягким вычислениям и измерениям» (1998, 2000, 2001, 2002, 2003гг.); Всероссийском семинаре «Моделирование неравновесных систем» (1998, 2001гг.). Всероссийской научно-технической конференции «Нейроинформатика» (1999, 2000, 2001, 2002, 2003, 2004гг.); Всероссийской конференции с международным участием «Нейрокомпьютеры и их применение» (1999, 2000, 2001, 2002гг.); Международной конференции по нейрокибернетике «Проблемы нейрокибернетики» (1999, 2002гг.); Международной научно-технической конференции «Пятьдесят лет развития кибернетики» (1999г.); First international conference on mechatronics and robotics: M&R'2000, Saint-Petersburg; Eleventh IF AC International Workshop Control application of optimization CAO'2000, Saint-Petersburg; 4-th International Conference "New Information Technologies" (NITe'2000), Minsk; Seventh International Conference on Advanced Computer Systems (ACS-2000), Poland, Szczecin; 2nd International Conference on Neural Networks and Artificial Intelligence, ICNNAI'2001, Minsk; Seventh International Conference on Information Networks, System and Technologies, ICINASTe-2001, Minsk; Международной научно-технической конференции IEEE AIS'03 CAD-2003; 5-ой международной конференции по морским интеллектуальным технологиям «Моринтех'2003»; Third International Conference on Neural Networks and Artificial Intelligence ICNNAI-2003, Minsk.

Результаты работы нашли отражение в рамках двух научно-исследовательских программах и восьми научных грантах в период 1997-2003гг. (в шести из них автор был руководителем):

Обучающиеся системы распознавания предаварийного состояния энергетических объектов на основе нейронных сетей со структурно-ядерной организацией», -грант Минобразования РФ, 1997-1999, Гос. per. № 01980009502.

Разработка методов построения инструментальных средств с использованием нейротехнологии для контроля и управления технологическими процессами», - грант Минобразования РФ, 1997-1999, Гос. per. № 01980009504.

Разработка методов проектирования модульных нейронных сетей» грант ЛЭТИ для аспирантов и докторантов в рамках тематического плана по заданию Минобразования РФ, 2001г., Мин. Обр. per. № 1.5.01.

Разработка методов синтеза быстрых нейронных сетей», - грант Минобразования, 2000-2002, Гос. per. №01200104991, код. ЕОО-1.0-63.

Технология проектирования нейрологических когнитивных управляющих систем», - научно-техническая программа «Научные исследования высшей школы по приоритетным направлениям науки и техники», 2001-2002. Подпрограмма: Производственные технологии. Раздел: Интеллектуальные системы автоматизированного проектирования и управления производством. Код. № 206.06.01.067.

Методы проектирования сверхбольших модульных нейронных сетей», - грант РФФИ 2000-2002, Код. № 00-01-00-670а.

Нейросетевые и FUZZY- технологии в интеллектуальных системах управления», - научно-техническая программа «Научные исследования высшей школы по приоритетным направлениям науки и техники», 2001-2002. Подпрограмма: Производственные технологии. Раздел: Интеллектуальные системы автоматизированного проектирования и управления производством. Код. № 206.06.01.067.

Разработка нейросетевой технологии смысловой классификации информационных сообщений». Грант администрации Санкт-Петербурга в сфере научной и научно-технической деятельности, 2003г. Шифр Е00-1.0-63.

Разработка слабосвязанных реконфигурируемых нейронных сетей для информационно-измерительных систем». Грант Минобразования РФ по фундаментальным исследованиям в области технических наук, 2003-2004, Гос.рег. № 012003 10052.

Автоматизированная интерактивная нейросетевая система обработки и анализа двумерных изображений». Грант администрации Санкт-Петербурга в сфере научной и научно-технической деятельности, 2003г. Шифр № 138/03.

Структура работы. Диссертационная работа состоит из восьми глав и приложения.

В первой главе показана роль нейротехнологии в развитии современных методов решения технических задач. Рассмотрено функционирование и системная организация биологических нейронных сетей. Рассмотрен ряд известных математических моделей одиночных нейронов, нашедших применение в технических приложениях. Рассмотрены методы оценки качества нейронных сетей. Выполнен обзор и анализ технических реализаций нейронных сетей большого масштаба на современных вычислительных платформах. Основное внимание уделено структурной организации нейронных сетей. Концептуальный анализ биологических и искусственных нейронных сетей позволил сформулировать системные требования к математическому моделированию модульных нейронных сетей. Приведен обзор методов структурного синтеза нейронных сетей. Показана роль и значение модульных нейронных сетей. В этой же главе показаны родственные связи модульных сетей с классом быстрых спектральных преобразований и приведен исторический обзор развития перестраиваемых преобразований. Разработана концепция системного моделирования модульных нейронных сетей, определены цели и средства исследования.

Во второй главе выполнен обзор существующих методов анализа модульных систем. Обоснована необходимость использования математической теории категорий для построения моделей модульных систем. Представлена существующая методология использования теории категорий для анализа систем сложных систем управления. Предложены новые категории модульных систем, адекватные концептуальной модели. Показано, что в частных случаях категории модульных систем реализуют категории кибернетических и общих систем Месаровича-Такахары. Предложена системная классификация объектов категорий. Представлены категории для нейронных сетей с различным типом несущих пространств. Показана связь категории модульных систем с категорией систем управления. Введено понятие топологии модульных сетей и построена топологическая категория. Дано описание модульной сети в пространстве состояний. Приведено обобщение понятия пространства состояний для топологической модели сети. Анализ, выполненный в данной главе, определил место модульных сетей в общей категории систем. Предложенные модели системного уровня сохраняют преемственность с известными модели нейронных сетей, используемых в технических приложениях, но при этом сохраняется достаточный «методологический запас» для представления нейронных сетей с нетиповыми свойствами.

В третьей главе исследованы модульные сети прямого распространения. Показано, что для модульных сетей данного типа достаточным системным описанием является структурная модель. Разработаны алгоритмы топологического проектирования модульных нейронных сетей. Разработаны методы обучения модульных нейронных сетей прямого распространения с транзитивными связями. Исследован класс многослойных ядерных сетей, получены операторные и матричные представления для данного класса сетей. Разработаны методы обучения ядерных нейронных сетей. Основные результаты 2 и 3 главы изложены в работах [6-17].

В четвертой главе выполнен структурный анализ модульных сетей на основе модальных категорий модульных сетей. В данной главе приведено обобщение понятия пространства состояний на модальные модели модульных систем. В пространстве модальных состояний выполнено структурное исследование ориентированных сетей с объектами типа «вход-выход». Приведен метод анализа слабосвязанных сетей прямого распространения в пространстве модальных состояний. Проведенный анализ позволил получить численные характеристики, пригодные для сравнительной оценки модульных сетей по степени пластичности. На основе показателя пластичности разработаны методы оценки разделяющей мощности и обобщающей способности мо» дульных сетей прямого распространения. Предложена методика экспериментальной оценки разделяющей мощности нейронной сети. Показана связь показателя разделяющей мощности с аппроксимирующими свойствами нейронных сетей. Разработан алгоритм вычисления операторного ранга нейронной сети. Выполнен анализ быстродействия ядерных нейронных сетей. Предложен метод оценки топологической пластичности ядерных и модульных нейронных сетей. Получены структурные условия оптимальной топологической пластичности. Основные результаты данной главы представлены в работах [18-29].

В пятой главе предложена парадигма слабосвязанной сети для обработки данных высокой размерности. Проведено исследование модульных нейронных сетей обладающих генетическим свойством слабой связанности. Доказан ряд теорем о свойствах слабо связанной сети. На уровне системных представлений доказан генетический принцип порождения слабосвязанных сетей. В соответствии с данным принципом, слабосвязанная сеть представляется как растущая сеть с предопределенным генетическим законом развития. Предложены алгоритмические модели порождающих правил. Для ядерных слабосвязанных сетей разработан алгоритм синтеза квазиоптимальных структурных моделей. Предложен формальный язык для описания регулярных сетей. Разработаны лингвистические методы структурного синтеза регулярных модульных сетей. Выполнен анализ и разработан метод графического расчета пластичности слабосвязанных нейронных сетей.

В шестой главе выполнен структурный анализ алгоритмов быстрого преобразования Фурье (БПФ). Доказано, что структурная модель БПФ является слабосвязанной сетью. На основе проведенного анализа предложена концепция быстрых нейронных сетей (БНС) как особого класса многослойных слабосвязанных сетей, обладающих регулярной структурой. Разработаны алгоритмы структурного синтеза БНС. Разработаны лингвистические методы формирования регулярных топологий БНС. Получено общее решение задачи проектирования быстрых линейных факторизуемых преобразований. Предложены алгоритмы обучения БНС. С позиции БНС исследован класс перестраиваемых преобразований. Разработаны методы настройки перестраиваемых преобразований на системы ортогональных функций. Показано возможность использования быстрых нейронных сетей для аппроксимации регулярных фракталов. Предложен метод фрактальной фильтрации сигналов, на основе которого разработаны методы построения быстрых преобразований приспособленных к системе произвольных функций. Разработан метод построения ортогональных быстрых приспособленных преобразований составной размерности. Показаны потенциальные возможности использования приспособленных ортогональных преобразований в квантовых вычислениях. Предложен лингвистический метод проектирования многомерных регулярных нейронных сетей. Использование лингвистических моделей позволило представить настройку сети, как синтез топологической траектории с заданными граничными условиями и параметрическими ограничениями, обусловленными видом базисных функций. Новая концепция настройки в частности позволила для любого набора оснований построить алгоритм БПФ с естественным упорядочением функций по частотам следования. По этому же принципу получена настройка на вейвлет-базис, базис Адамара, базис Хаара. Основные результаты, полученные в главах 5 и 6 представлены в работах [30-47].

В седьмой главе представлены результаты разработки подсистемы классификации движущихся групповых объектов. Предложена методика адаптивной фаззифи-кации информативных признаков вероятностных образов с изменяющимися статистическими характеристиками. Для классификации предложено использовать модульную нечеткую нейронную сеть с контрастирующими функциями активации нейронов.

В восьмой главе представлена концепция и архитектура инструментальных средств проектирования модульных нейронных сетей. Описаны форматы представления данных. Разработаны методы регулярной реконфигурации модульных нейронных сетей. Построен программный класс реконфигурируемых нейронных сетей. Основные результаты, полученные в главах 7 и 8 представлены в работах [48-54].

В приложении 1. дано краткое описание пользовательского интерфейса программного пакета разработанного для проектирования модульных нейронных сетей.

В приложении 2. представлены протоколы экспериментального исследования разделяющей мощности нейронных сетей.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Дорогов, Александр Юрьевич

ЗАКЛЮЧЕНИЕ

В диссертации предложены и развиты концептуальные, математические и методические положения, изложены практические результаты, в совокупности составляющие теоретические и практические основы системного проектирования быстродействующих модульных нейронных сетей высокой размерности.

Научная новизна результатов, полученных в диссертационной работе состоит в следующем:

1. Концепция многоуровневого проектирования быстродействующих нейронных сетей большого масштаба, основанная на принципе инъективности связей, позволила выделить модельный класс для нейронных сетей прямого распространения, обладающий модульностью и трансверсальностью с согласованной стратификацией по уровням представлений поддержанный унифицированным математическим аппаратом исследования. С позиций анализа это дает возможность получить вычислимые потенциальные оценки качественных характеристик нейронных сетей прямого распространения с произвольной топологией связей, за счет реализации модульного покрытия. С позиций проектирования модульность нейронной сети позволяет обеспечить технологические требования к реализации сетей большого масштаба за счет упрощения методов проектирования регулярных сетей.

2. Комплекс стратифицированных моделей обеспечивает иерархическую декомпозицию процесса исследования и проектирования модульных нейронных сетей, по целям, используемым методам, и формам представления результатов. В методах анализа это позволяет выделить инварианты каждого уровня модельных представлений, определить закономерности и описать поведение сети в пространстве состояний текущего уровня. В методах проектирования это позволяет реализовать нисходящую последовательность проектных решений, при котором текущий выбор базируется на результатах проектного решения верхнего уровня.

3. Общее решение задачи структурного и топологического проектирования быстрых сетей раскрывает общие закономерности построения алгоритмов быстрых линейных преобразований и быстрых нейронных сетей, отождествляя их на уровне топологии структуры и морфологии. Применительно к быстрым преобразованиям единый подход решает проблему факторизации преобразований (которая прежде была предметом изобретений), заменяя ее задачей построения топологической траектории, удовлетворяющей общему решению. Множественность возможных решений позволяет выбрать топологию наиболее полно соответствующую технологическим требованиям.

4. Метод настройки быстрых перестраиваемых преобразований к заданной системе функций является теоретической базой для построения широкого класса быстрых спектральных преобразований, быстродействующих адаптивных фильтров и приспособленных линейных преобразований. Согласуя параметрическое и топологическое проектирование, метод настройки дает возможность получить множественное решение, в котором дополнительные условия позволяют выбрать наиболее простую техническую реализацию. При этом обеспечивается использование всех степеней свободы перестраиваемых преобразований.

5. Эволюционный метод структурного проектирования модульных нейронных сетей прямого распространения решает задачу структурного синтеза быстродействующих нейронных сетей произвольной размерности. Сохранение инвариантов морфологического уровня при эволюционном синтезе обеспечивает вычислимость качественных показателей нейронной сети и структурное самоподобие быстрых алгоритмов. Пошаговая оптимизация приводит к структурам, близким к регулярным с неоднородностью сосредоточенной в терминальных полях сети, что упрощает техническую реализацию большой нейронной сети произвольной размерности. Вариабельность стратегий структурного синтеза позволяет выбрать оптимальный вариант разрешения системного противоречия «быстродействие-интеллект».

6. Методы оценки разделяющей мощности и обобщающей способности модульных нейронных сетей прямого распространения обеспечивают сравнение проектных вариантов нейронных сетей по отношению к задачам аппроксимации отображений и распознаванию образов, что позволяет получить интерпретируемое значение, которое может быть измерено на реальном варианте сети на основе предложенной методики экспериментальной оценки.

7. Методы фрактальной фильтрации сигналов - послужившие базой разработки метода настройки перестраиваемых преобразований, имеют самостоятельное значение как средство мультимасштабного анализа сигналов, определенных на конечных интервалах.

8. Методы и алгоритмы регулярной реконфигурации нейронных сетей основаны на лингвистических моделях топологического уровня и позволяют сохранить регулярность топологических связей при варьировании структурных параметров, что дает возможность использовать однородные программные и аппаратные средства для реализации широкого класса многослойных нейронных сетей от полносвязанных до быстрых. Данные методы являются теоретической базой для разработки гибких реализаций нейронных сетей с варьируемыми уровнями интеллекта и вычислительной эффективности.

9. Унификация модельных представлений регулярных ядерных нейронных сетей и алгоритмов быстрых линейных преобразований объединяет оба направления цифровой обработки данных и позволяет использовать однотипные средства для их реализации.

10. Методика адаптивной фазификации позволяет использовать нечеткие нейронные сети для классификации вероятностных образов с изменяемыми статистическими характеристиками.

По совокупности выполненных исследований на защиту выносятся следующие результаты:

• Концепция многоуровневого проектирования быстродействующих нейронных сетей большого масштаба.

• Комплекс стратифицированных категорных моделей модульных нейронных сетей.

• Общее решение задачи структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований.

• Методы настройки быстрых перестраиваемых преобразований к заданной системе функций.

• Эволюционный метод структурного проектирования модульных нейронных сетей прямого распространения произвольной размерности.

• Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам.

Список литературы диссертационного исследования доктор технических наук Дорогов, Александр Юрьевич, 2004 год

1. Бусленко Н.П. Лекции по теории сложных систем / Бусленко Н.П., Калашников В.В., Коваленко И.Н. - М.: Советское радио,1973.- 440с.

2. Калман Р. Очерки по математической теории систем / Калман Р., Фалб П., Арбиб М. М.: Мир.- 1971.

3. Mesarovich M.D., Takahara Y. General System Theory: Mathematical Foundations.- ACADEMIC PRESS, New York, 1975. (Русский перевод: Месарович M., Такахара. Я. Общая теория систем: Математические основы.- М.: Мир, 1978.- 311с.)

4. Вавилов А.А., Эволюционный синтез систем управления: Учеб. Пособие Вавилов А.А., Имаев Д.Х.- Л.: ЛЭТИ, 1983.- 80с.

5. Технология системного моделирования / Е.Ф.Аврамчук, А.А.Вавилов, С.В.Емельянов и др.- М.: Машиностроение; Берлин: Техник, 1988.- 520с.

6. Дорогов А.Ю., Алексеев А.А. Структурные модели быстрых нейронных сетей // Интеллектуальные системы (INTEL'S96): Тр. П-го Международного симпозиума, Санкт-Петербург, июнь 1996г.- М.: Из-во ПАИМС, 1996.- Т.2.- С.138-143.

7. Дорогов А.Ю., Алексеев А.А. Математические модели быстрых нейронных сетей // Системы управления и обработки информации. (Тр. СПбГЭТУ).- СПб., 1996.- Вып.490.- С.79-84.

8. Dorogov A.Ju., Alekceev А.А. Topological Models of Fast Neural Networks / In proceedings International Conference on Informatic and Control (IC&C97) June 9-13, 1997.- St.Petersburg, Russia.- P. 648-649.

9. Дорогов А.Ю. Структурно-ядерная организация нейронных сетей прямого распространения // Нейроинформатика и ее приложения: Тезисы докладов 5-го Всероссийского семинара, г. Красноярск.- 3-5 октября 1997.

10. Дорогов А.Ю. Структурные модели и топологическое проектирование быстрых нейронных сетей // Информационные средства и технологии: Докл. ме-ждунар. конф., Москва, 21-23 октября.1997г.- М., 1997.- Т.1.- С.264-269.

11. Дорогов А.Ю., Алексеев А.А. Нейронные сети с ядерной организацией // Оборонная техника.- 1998.- №7-8.- С.43-46.

12. Дорогов А.Ю., Алексеев А.А. Математические модели нейронных сетей с ансамблиевой организацией // Известия СПбГЭТУ (ЛЭТИ). Сер. Управление, информатика и вычислительная техника.- СПб., 1988.- Вып. 1/98.- С.33-35.

13. Дорогов А.Ю., Алексеев А.А. Категории ядерных нейронных сетей // Нейроинформатика-99: Сб. науч. тр. Всерос. науч.-техн. конф.- Москва 20-22 января 1999г. -М., 1999.- Часть 1,- С.55-64.

14. Дорогов А.Ю., Алексеев А.А. Обучение быстрых нейронных сетей // Известия ГЭТУ, Сб. науч. тр. Информационные технологии в технических и организационных системах,- СПб. 1997.- Вып.514.- С.68-75.

15. Дорогов А.Ю. Алгоритм Error Backpropagation для модульных нейронных сетей// Нейроинформатика 2000: 2-я Всерос. науч.-техн. конф,- 19-21 января 2000г. Москва. М.: МИФИ, 2000.- Ч.1.- С. 52-60.

16. Дорогов А.Ю., Алексеев А.А. Обучение нейронных сетей с ядерной организацией // Нейрокомпьютеры и их применение: VI Всероссийская конференции 16-18 февраля 2000г. г.Москва, Сб. докл.- М.: Радиотехника.- С.493-495.

17. Дорогов А.Ю. К расчету пластичности нейронных сетей // Междунар. конф. по мягким вычислениям и измерениям SCM-98 Санкт-Петербург, 22-26 июня 1998г. Сб. докл.- С.341-344.

18. Дорогов А.Ю. Пластичность многослойных нейронных сетей // Известия вузов. Приборостроение.- 1998.- Т.41, №4.- С.36-41.

19. Дорогов А.Ю. Оптимизация структуры двухслойной ядерной нейронной сети по критерию параметрической пластичности // Нейрокомпьютеры и их применение: 5 Всероссийская конференция НКП-99, 17-19 февраля 1999г. Сб. докл.- С.368-371.

20. Дорогов А.Ю., Алексеев А.А. Пластичность двухслойных быстрых нейронных сетей // Известия АН. Теория и системы управления. 1999.- №5.- С. 121-126.

21. Дорогов А.Ю. Оптимальные криэйторы слабосвязанных нейронных сетей // Нейрокомпьютеры и их применение: VI Всероссийская конференция 16-18 февраля 2000г. г.Москва. Сб. докл.- М.: Радиотехника.- С.512-516.

22. Dorogov AJu. Plasticity of Multilayer Neural Network // First international conference on mechatronics and robotics: Proceeedings (M&R'2000) St-Petersburg: NPO Omega BF Omega, 2000. May 29-June 2.- 2000.-V1.- P.33-38.

23. Dorogov A.Yu. Estimation of Multilayer Neural Network Plasticity // Eleventh IF AC International Workshop Control application of optimization CAO'2000 Perga-mon An Imprint of Elsevier Science Oxford, UK.- 2000.- VI.- P. 81-85.

24. Дорогое А.Ю. Пластичность многослойных модульных нейронных сетей // Новости искусственного интеллекта. №3(57), 2003.- С.36-45.

25. Дорогое А.Ю. К расчету топологической пластичности ядерных нейронных сетей // Междунар. конф. по мягким вычислениям и измерениям SCM'2000, Сашсг-Петербург, 27-30 июня 2000г., Сб. докл.- СП6.-Т.2.- С.27-30.

26. Дорогое А.Ю. Анализ параметрической пластичности многослойных нейронных сетей // Радюелектрошка 1нформатика Управлшня (Радиоэлектроника Информатика Управление).- 2000.- №1.- С.66-71.

27. Dorogov A.Yu. Parametrical and Topological Plasticity of Multilayer Neural Networks // Processing of 4-th International Conference "New Information Technologies" (NITe'2000) Minsk, Belarus 5-7 December, 2000.- Minsk, 2000.- Vol. 1.- P. 15-19.

28. Дорогое А.Ю., Алексеев А.А., Буторин Д.А. Нейронные сети со структурой быстрого алгоритма // Нейроинформатика и ее приложения: 6 Всерос. семинар, 20-25 октября 1998г. г.Красноярск, тезисы докл.- Красноярск, КГТУ- 1998.- С.53.

29. Дорогов А.Ю. Генезис слабосвязанных нейронных сетей // Нейроин-форматика-99: Всерос. научю.-техн. конф. г.Москва, 20-22 января 1999г. Сб. науч. тр. -М., 1999.- Часть 1.- С.64-70.

30. Дорогов А.Ю. Модальные категории модульных нейронных сетей // Проблемы нейрокибернетики: XII Междунар. конф. по нейрокибернетике Сентябрь 1999г., Ростов-на-Дону. Сб. статей.- 1999г.- Ростов-на-Дону.- С.137-141.

31. Дорогов А.Ю., Алексеев А.А. Быстрые нейронные сети // Пятьдесят лет развития кибернетики: Междунар. научно-технич. конф., Санкт-Петербург 5-7-оюгября 1999г. Тр.- СПб.- С.120-121.

32. Дорогов А.Ю., Алексеев А.А., В.Е.Пименов. Структурный синтез нейронных сетей для СБИС реализации // Нейроинформатика и ее приложения: 7 Всероссийский семинар 1-3 октября 1999г. г.Красноярск. Тезисы докл.- Красноярск, КГТУ,- 1999.- С.12-13.

33. Дорогов А.Ю. Структурный синтез быстрых нейронных сетей // Нейрокомпютер.- 1999.-№1.- С.11-24.

34. Dorogov A.Ju., Alekseev А.А. Fast Neural Networks // Proceedings of Seventh International Conference on Advanced Computer Systems (ACS-2000) Poland, Szczecin, October 2000.- P.267-270.

35. Дорогов А.Ю. Структурный синтез двухслойных быстрых нейронных сетей // Кибернетика и системный анализ.- 2000.- №4.- С.47-57.

36. Дорогов А.Ю. Реализация дискретных вейвлет-преобразований в базисе быстрых нейронных сетей // Междунар. конф. по мягким вычислениям SCM'2001 Санкт-Петербург, 25-27 июня 2001. Сборник докладов.- T.l.-СПб.- С.268-274.

37. Дорогов А.Ю. Реализация спектральных преобразований в классе быстрых нейронных сетей // Программирование, №4 ,2003.- С. 13-26.

38. Dorogov A. Yu. Fast Neural Networks and Fast Spectral Transformations // Inprocessing of Third International Conference on Neural Networks and Artificial Intellli-gence (ICNNAI-2003, Minsk, 12-14 November, 2003).- Minsk.-2003.-P.136-142.

39. Дорогов А.Ю. Быстрые нейронные сети. СПб.: Изд-во С.Петерб. ун-та, 2002.- 80с.

40. Дорогов А.Ю.Фрактальная фильтрация сигналов // Нейроинформатика и ее приложения Материалы 11 Всероссийского семинара Красноярск 3-5 октября 2003г.- Красноярск: ИВМ СО РАН, 2003.- С.59-61.

41. Дорогов А.Ю. Приспособленное ортогональное преобразование // Нейроинформатика и ее приложения Материалы 11 Всероссийского семинара Красноярск 3-5 октября 2003г.- Красноярск: ИВМ СО РАН, 2003.- С.55-56.

42. Дорогов А.Ю. Мультимасштабная аппроксимация вещественных функций в минимаксном пространстве // Нейроинформатика и ее приложения Материалы И Всероссийского семинара Красноярск 3-5 октября 2003г.- Красноярск: ИВМ СО РАН, 2003.- С.57-58.

43. Дорогов А.Ю, Курбанов Р.Г.Реконфигурируемые нейронные сети // Сборник докладов 5-ой международной конференции по морским интеллектуальным технологиям «Моринтех'2003», г.Санкт-Петербург, сентябрь 2003.- С.З89-393.

44. Дорогов А.Ю, Курбанов Р.Г. Реконфигурируемые регулярные нейронные сети // Сборник докладов. Международная конференция по мягким вычислениям и измерениям SCM'2003, 27-30 июня 2003г. Санкт-Петербург.- С.325-329.

45. Дорогов А.Ю, Курбанов Р.Г Лингвистические модели регулярных многослойных нейронных сетей // Труды международной научно-технической конференции IEEE AIS'03 CAD-2003, 3-10 сентября 2003г, Дивноморское.- М.- Физматлит, 2003,- С.528-536.

46. Дорогов А.Ю., Курбанов Р.Г Методы реконфигурации регулярных многослойных нейронных сетей // Сб. тр. Науч.-техн. Конф. "Нейроинформатика-2004" 28-30 января 2004г. Москва. Изд. М.: МИФИ, 2004, Ч.2.- С.30-38.

47. Дорогов А.Ю. Нечеткий нейрон с контрастирующей функцией активации // Сб. тр. науч.-техн. конф. Нейроинформатика-2003 29-31 января 2003г., Москва. Изд. М.: МИФИ, 2003, Ч.1.- С.55-60.

48. Винер Н. Кибернетика или управление и связь в животном и машине.-М.: Наука, 1983.- 344с.

49. Hebb D.O. The Organization of Behavior / N.Y: Acad. Press, 1949.- P.141.

50. Розенблатг Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга.- М.: Мир, 1965.- 480с.

51. Минский М., Пайперт С. Персептроны.- М.: Мир, 1971.

52. Hopfield J.J. Neural Networks and Physical systems with emergent collective computational abilities // Proc. Nat. Sci. USA. 1982,- V.79.- P. 2554-2558.

53. Горбань А. Нейроинформатика и ее приложения // Открытые системы.-1998.- №4-5 (30-31).- С.36-41.

54. Галушкин А. Современные направления развития нейрокомпьютерных технологий в России // Открытые системы.-1997.- №4.- С.25-28.

55. Artificial Neural Networks: A Tutorial Computer.- March 1996.-Vol. 29.

56. No.3.- pp.31-41. ( Русский превод: Открытые системы.-1997.- №4.- С. 16-24).

57. Роберт Хехт-Нильсен. Нейрокомпьютинг: история состояние перспективы // Открытые системы.-1998.- № 4-5 (30-31).- С.23-28.

58. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере.- Новосибирск: Наука, 1996.- 276с.

59. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его приложения в экономике и бизнесе.- М.: МИФИ, 1998.- 224с. (Учебники экономико-аналитического института МИФИ).

60. Оптнер С. Системный анализ для решения деловых и промышленных проблем.- М.: Сов. Радио, 1969.- 216с.

61. Bertlanfy L. Von. General System Theory a Critical Review // General System.- 1962.- Vol. VII.- P. 1-20.

62. Богданов А.А. Всеобщая организационная наука: Тектология. В 2-х кн-М., 1905-1924. (Переиздана в 1989г.)

63. Горетко А.Б., Угольницкий Г.А. Введение в прикладной системный анализ." Ростов-на- Дону: изд-во Книга.- 1996.-132с.

64. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа: Учебник для студентов вузов.- СПб.: Изд-во. СПбГТУ, 1999.- 512с.

65. Куффлер С., Дж.Николс. От нейрона к мозгу.- Пер. с англ.- М.: Мир, 1979.- 440с.

66. Архитектоника синапсов и организация связей коры головного мозга /

67. A.С.Ионтов, Ф.П.Макаров, Э.Э.Гранстрем. В.Л.Рыбаков.- Л.: Наука, 1990.- 120с.

68. Структура и модели нейронных комплексов головного мозга /

69. B.П.Бамбидра, Т.А.Брегина, И.П.Ионов, Н.П.Нуртдинов.- Л.: Наука, 1988г.- 98с.

70. Шерингтон Ч. Итегративная деятельность нервной системы.- Л.: Медицина, 1979.- 224с.

71. Lorente de No R. Studies on structure of the celebral cortex // J.Psychol. Neurol.- 1933.-V.45.- P.381-392.

72. Коган А.Б. Функциональная организация нейронных механизмов мозга.-Л.: Медицина, 1979.- 228с.

73. Гибадулин Т.В., Голубев В.Н. Свойства нервных центров,- Д.: ВМА, 1987.- 56с.

74. Mauntcastle V.B. Mogality and topographies of single neurouns of cat's somatic sensory cortex // J.Neurophysiol.- 1957.- V.20.- P.408-434.

75. Mauntcastle V.B. Powell T.P. Central nervous mechanisms subserving position sense and kinesthesis // Bull. John Hopkins Hosp.- 1959,- V.105.- P.173-182.

76. Rockel A.J., Hiorns R.W., Powell T.P. Numbers of neurons through fall depth of neocortex // Proc. Anat. Soc. Cr. Br. Iro.- 1974.- 118, 371.

77. Edelman G.M. Molecular recognition in the immune and nervous systems. // Neurosciences: Path of Discovery / F.G.Worden, F.G.Swarey and G.Edelman eds.- New York: The Rockfeller University Press.- 1975.- P. 65-74.

78. Чораян О.Г. Нейронный ансамбль (идея, эксперимент, теория) // Успехи физиологических наук. 1989. - Т.20.- №2. - С.75-95.

79. Anninos P.A. Beck В. Czermely T.J. Harth Е.М. Pertlibe G. Dynamics of neural structures // J.Theoret. Biol. 1970.- V.26.- P.121-148.

80. Кэндел Э. Малые системы нейронов. / В кн. Мозг. Д.Хьюбел, Ч.Стивенсоню.- М.: Мир, 1984.- 280с.

81. Абарванель Г.Д., Рабинович М.М., Селвертон А., Баженов А. Синхронизация в нейронных ансамблях // Успехи физических наук.- 1996.-Т.166.- №4.- С.363-390.

82. Нейроны как проводники электричества // Куффлер С., Николе Дж. От нейрона к мозгу.- М.: Мир, 1979.- Гл.7.- С.132-141.

83. Rummelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors 11 Nature.- 1986.- V. 323.- P. 533-536.

84. Masters T. Advanced Algorithms For Neural Networks. A С++ Source-book.-New York: Wiley, 1995.

85. Калман P. Основные концепции нейронных сетей / Пер. с англ.-М. Издательский дом Вильяме, 2001.- 208с.

86. Горелик A.JL, Скрипкин В.А. Методы распознавания.- М.: Высшая школа, 1989.-232с.

87. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин.- М.: Наука, 1970.- 384с.

88. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д.Рудинского.- М.: Финансы и статистика, 2002.- 344с.

89. Cover Т. Geometrical and statistical properties of system of linear inequalities with applications in patern recognition // IEEE Trans. Electronic Computers.- 1965.-Vol 14.- pp. 326-334.

90. Белман P. Введение в теорию матриц.- М.: Наука, 1976.-352с.

91. Ахмед Н., Рао К.Р. Ортогональные преобразования при обработке цифровых сигналов / Пер. с англ. под ред. И.Б.Фоменко.- М., 1980.-248с.

92. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации.- М.: Наука, 1981.- 208с.

93. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976.

94. Аверкин А.Н., Батыршин И.З. и др. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А.Поспелова.- М.:Наука, 1986.-312с.

95. Горбань А.Н. Обучение нейронных сетей.- М.: изд. СССР-США СП ParaGraph, 1990.- 160с.

96. Гилев С.Е., Коченов Д.А., Миркес Е.М., Россиев Д.А. Контрастирование, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях // 3 Всеросс. сем. Нейроинформатика и ее приложения: Докл.- Красноярск, 1995.- С.66-78.

97. Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage // Advances in Neural Information Processing Systems II (Denver 1989). San Mateo, Morgan Kaufman, 1990.-P. 598-605.

98. Prechelt L. Comparing Adaptive and Non-Adaptive Connection Pruning With Pure Early Stopping // Progress in Neural Information Processing (Hong Kong, September 24-27, 1996), Springer.- Vol. 1.- P. 46-52.

99. Fukushima K. Cognitron: A self-organizing multilayered neural network. // Biological Cybernetics.- 1975.-V20.- P. 121-136.

100. Fukushima K. A hierarchical neural network model for associative memory// Biological Cybernetics.- 1984.-V50.-P.105-113.

101. Fukushima K. Miyake S. Neocognitron: A new algorithm for pattern recognition tolerant of dedeformations and shifts in position. // Pattern recognition.- 1982.-VI5.-P.455-469.

102. Genetic Algorithms in Engineering and Computer Science / Edited by G.Winter and al.- Great Britan, JOHN WILEY&SONS, 1996,- 464p.

103. Miller G., Todd P, Hedge S. Disigning Neural Networks using Genetic Algorithm, in 3rd Intern. Conf. on Genetic Algorithms, 1989.

104. Whitley D.,Starkweather T. and Borgart C. Genetic Algorithms and Neural Networks: Optimising Connections and Connectivity // Parallel Computing.- 1990.-V14.-P.347-461.

105. Koza J.R., Rice J.P. Genetic generation of both the weigts and architecture for a neural network. In, Intern. Joint Conf. on Neural Networks, Seattle 92, 1991.

106. Mjolness E., Sharp D.N., Alpert B.K. Scaling, machine learning, and genetic neural nets //Advances in Applied Mathematics, 1989,10.- P. 137-163.

107. Kitano H. Designing neural network using genetic algorithm with graph generation system // Complex System, 1990,4.- P.461-476.

108. Gruan F. Genetic synthesis of Boolean neural networks with a cell rewriting development process // In, Combination of Genetic Algorithms and Neural Networks, D.Whitley, Schaffer J.D., eds. IEEE Computer Society Press, 1992.

109. Kitano H. A simple model of neurogenesis and cell differentiation based on evolutionary large-scale chaos // Artificial Life, 2, 1995.- P.79-99.

110. Gruau F. Automatic Definition of Modular Neural Networks // Adaptive Behavior ,1995, 3(2).- P.151-183.

111. Дорогов А.Ю. Синтез алгоритмов быстрых линейных преобразований в задачах функциональной диагностики динамических объектов / Автореферат дис. к.т.н.-Л., 1988,- 15с.

112. Дорогов А.Ю. Структурный синтез быстрых алгоритмов линейных преобразований // Изв. Ленингр. электротехн. инст.- 1989.- Вып.411.- С.76-80.

113. Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. 1. Методология структурного синтеза модульных нейронных сетей // Кибернетика и системный анализ.- 2001.-№2.- С.34-42.

114. Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. Часть 2 Ядерные нейронные сети // Кибернетика и системный анализ.-2001.-№4.- С. 13-20.

115. Гисин В.Б., Цаленко М.Ш. Алгебраическая теория систем и ее приложения: Системные исследования. Методологические проблемы. Ежегодник 1984.- М.: Наука 1984.- С.130-151.

116. Гонсалес Р., Дж. Ту. Принципы распознавания образов. М.: Мир, 1978.-411с.

117. Вапник В.П., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения).- М.: Наука, 1974.- 415с.

118. Vapnik V.M. The Nature of Statistical Learning Theory.- Springer-Verlag New York. Inc.- 1995.- 188p.

119. Baum E.B, Haussler D. What size gives valid generalization? Neural Computation. - 1989, No 1(1).- 151-160.putation. 1989, No 1(1).- 151-160.

120. Hammerstrom D. The Connectivity Analysis of Simple Association or-How Many Connections Do You Need.- In D.Z. Anderson (ed.): NIPS, AIP, NY, 338-347, 1988.

121. Beiu V. How to Build VLSI-Efficient Neural Chips.- in Proc. of the intl. ICSC Symp. on Engineering of intelligent Systems EIS'98, Tenerife, Spain, Febrary 9-13, 1998.

122. Колмогоров A.H. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения,- Докл. АН СССР, 1957, Т. 114, №5, С. 953-956.

123. Barron A.R. Universal approximation bounds for superpositions of a sigmoi-dal function // IEEE Transaction on Information Theory.- 1993, No 3, Vol 39.- P. 930-945.

124. Breiman L. Hiding heperplanes for regression, classification and function approximation // IEEE Transaction on Information Theory.- 1993, No 3, Vol 39.- P. 999-1013.

125. Jones L.K. A simple lemma on greedy approximation in Hilbert space and convergence rates for Projection Pursuit Regression // The Annals of Statisics, 20, (1), 1992.- P.608-613.

126. Mhaskar H.N. Approximation properties of multi-layer feedforward artificial neural network // Advances in Computational Mathematics.- No 1, 1993.- P.61-80.

127. Галушкин А.И. Теория нейронных сетей. Кн. 1. Учеб. пособие для вузов.- М.: ИПРЖР, 2000.- 416с. (Нейрокомпьютеры и их применение).

128. Нгусеу Т. Modular Learning in Neural Networks (A Modulariced Approach to Neural Network Classification).- USA, JOHN WILEY&SONS. INC 1992.- 235 p.

129. Jacobs R.A., Jordan M.I. A cjmpettitive modular connectionist architecture // In Advances in Neural Information Processing Systems 3. San Mateo, CA: Morgan Kauf-mann, 1991.- P.767-773.

130. Good I.J. The Interaction Algorithm and Practical Fourier Analysis // Journal of Royal Statistical Soseity. Ser.B.- 1958.- Vol.20.- No.2.- P.361-372.

131. Andrews H.C. Walch Function Selection and Pattern Recognition // SAWF, IEEE Tr. on EMC-13.-1971.-No/3.- P. 115-119.

132. Andrews H.C., Caspari K.L. A General Techniques for Spectral Analysis // IEEE. Tr. Computer.- I970.-Vol C-19.-Jan, No 1.-P.16-25.

133. Andrews H.C.,Kanl J. Kronecker Products Computer Implementation and Generalized Spectra // J. ACM.- 1970.- Vol.17.-apr.- P.260-268.

134. Andrews H.C., Caspari K.L. Degrees of Freedom and Modular Structure in Matrix Multiplication // IEEE. Tp. Compt.-1971.- Vol. C-20.-feb.- P. 113-141.

135. Эндрюс Г. Применение вычислительных машин для обработки изображений: / Перевод с англ. Под ред. Б.Ф. Курьянова.- М., 1977.- 160с.

136. Трахтман A.M., Трахтман В.А. Основы теории дискретных сигналов на конечных интервалах.- М.: Сов. Радио, 1975.- 208с.

137. Солодовников А.И., Канатов И.И., Спиваковский A.M. Синтез ортогональных базисов на основе обобщенного спектрального ядра // Вопросы теории систем автоматического управления: Межвуз. Сб. Ленингр. Гос. Ун-т.- Л., 1976.-Вып.2.-С.99-112.

138. Солодовников А.И. Синтез полных систем ортонормированных функций, имеющих алгоритмы быстрого преобразования // Вопросы теории систем автоматического управления: Межвуз. Сб. Ленингр. Гос. Ун-т.-Л., 1978.- Вып. 4.- С.94-105.

139. Солодовников А.И., Канатов И.И., Спиваковский A.M. Методы обобщенных спектральных преобразований в задачах оперативного сжатия информации // Вопросы кибернетики: Автоматизация экспериментальных исследований.- М.: ИСК АН СССР, 1979.- Вып.62.- С.19-35.

140. Солодовников А.И. Формирование оптимальных базисов Карунена-Лоэва с алгоритмами быстрого преобразования // Вопросы теории систем автоматического управления: Межвуз. Сб. /Ленингр. Гос. Ун-т.- Л.: 1980.- Вып.5.- С.10-27.

141. Солодовников А.И.,Спиваковский A.M. Основы теории и методы спектральной обработки информации.- Л., 1986.- 272с.

142. Дорогов А.Ю., Солодовников А.И. Быстрые ортогональные преобразования в базисах с параметрической перестройкой // Планирование и автоматизация эксперимента в научных исследованиях: Всесоюз. Конф. Тезисы докладов.- Л.: ЛГУ, 1986.

143. Дорогов А.Ю., Солодовников А.И Перестраиваемые ортогональные базисы для адаптивных спектральных преобразований // Методы и средства обработки пространственно-временных сигналов: Межвуз. Сб.- Свердловск: Уральск. Политехи. Ин-т, 1988.- С. 18-26.

144. Лабунец В.Г. Единый подход к алгоритмам быстрых преобразований // Применение ортогональных методов при обработке сигналов и анализа систем: Межвуз. Сб.- Свердловск: Уральск. Политехи. Ин-т.- 1980.- С.4-14.

145. Колмогоров Г.С. Алгоритмы быстрых преобразований в базисах классических ортогональных полиномов // Применение ортогональных методов при обработке сигналов и анализе систем: Межвуз. Сб.- Свердловск: Уральск. Политехи. Ин-т, 1981.- С.39-44.

146. Колмогоров Г.С., Лабунец В.Г. Стратегия настройки многопараметрических преобразований // Применение ортогональных методов при обработке сигналов и анализе систем: Межвуз. Сб.- Свердловск: Уральск. Политех. Ин-т, 1983.- С.4-16.

147. Рабинер Л., Гоулд. Теория и примененение цифровой обработки сигналов: Пер. с англ.- М.: Мир, 1978.- 848с.

148. Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов: Пер. с англ.- М.: Мир, 1989.- 448с.

149. Цаленко М.Ш., Шульгейфер Е.Г. Основы теории категорий (серия Современная алгебра).-М.: Наука, 1974 256с.

150. Дорогов А.Ю. Структурные модели и топологическое проектирование быстрых нейронных сетей // Информационные средства и технологии: междунар. конф. Москва, 21-23 окг. 1997, Докл.- Т.1.- С.264-269.

151. Дорогов А.Ю. К расчету пластичности нейронных сетей // Междунар. конф. по мягким вычислениям и измерениям SCM-98, Санкт-Петербург, 22-26 июня1998г. Сб. докл.- С.341-344.

152. Барабанов Н.Е., Лисс А.А., Мельканович B.C., Степанов М.В. Модель искусственной нейронной сети обработки пространственно-временныж сигналов // Сб. Известия ТЭТУ.- С-Пб.,1994.- Вып 476,

153. Галушкин А.И., Назаров Л.Е., Аляутдинов М.А. Методы распараллеливания и программно-аппаратной реализации нейросетевых алгоритмов обработки изображений // Нейрокомпьютеры: разработка, применение.- №2,2003.- С.3-21.

154. Нейронные сети STATISTIKA Neural Networks.- М.: Горячая линия Телеком, 2000.

155. Круглое В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2002.

156. Glesner М., Pochmuller W. Neourocomputers. An Overview of Neural Networks in VLSI. Chapman&Hall, 1994.

157. Галушкин А.И. Нейрокомпьютеры. Кн.З: Учебное пособие для вузов / Общая ред. А.И.Галушкина.- М.: ИПРЖР, 2000.- 528с.

158. Галушкин А.И. Супер- и нейрокомпьютеры // Нейрокомпьютеры: разработка, применение.- №6, 2001.- С.16-25.

159. Каляев А.В., Галуев Г.А. Концепция и экспериментальная реализация параллельных цифровых нейрокомпьютеров с программируемой архитектурой // Нейрокомпьютеры: разработка, применение.- №6, 2001.- С.26-32.

160. Schmid Philipp. The mapping problem. Neural network approach // in Neural Network Conf. Paris, July 9-13, 1990, vol. 1.- pp.274-277.

161. Fox. G., Koller. J. Code generation by a generalized neural network: general principles and elementary examples // J. Parallel and Distrib. Comput.- 1989, vol 6, no 2.-pp. 288-410.

162. M. de Bolliver, Gallinari P., Thiria S. Neural nets and task decomposition. Artificial Neural Networks // Elsevier Science Publ. 1991. - pp.1291-1294.

163. Литовченко Ц.Г., Мистюков В.Г., Сафонов И.А. Построение больших нейронных сетей на одном ПЛИС.- НКП-2002, Москва, 2002.

164. Галушкин А.И., Остапенко Г.П. Пути и средства реализации нейросетевых алгоритмов // НКП-2002, Москва, 2002.

165. Качаиова Т.П., Фомин Б.Ф. Реконструктивный анализ поведения сложных систем по эмпирическим данным.- С-Пб., 1997.-68 с. (Препринт №1).

166. Сверхбольшие интегральные схемы и современная обработка сигналов: Пер. с англ. / Под ред. С.Гука, Х.Уайтхауза, Т.Кайлата. М.: Радио и связь, 1989.-472с.

167. Uhr L. Algorithm-Structured Computer Arrays and Networks: Parallel Archi-tecturts for Perception and Modelling / Academic Press, New York, 1984.

168. Thurber K.J. Large Scale Computer Architecture / Hayden, Rochelle Park, N.J.,1976.

169. Simon Hayken. Neural Networks a Comprehensive Foundtion. Macmillan Published Company, USA, 1994, 696p.

170. Кострикин А.И., Манин Ю.И. Линейная алгебра и геометрия: Учеб. по-соб. для вузов.- 2-е изд., перераб.- М.: Наука, 1986.- 304с.

171. Вавилов А.А. Структурный и параметрический синтез сложных систем. Учебн. пособие.- Л.,1979.- 94с.

172. Анисимов В.И. Топологический расчет электронных схем.- Л.: Энергия, 1977,- 240с.

173. Тарасик В.П. Математическое моделирование технических систем.-Минск: Дизайн Про, 1977.- 640с.

174. Горбатов В.А. Основы дискретной математики: Учебн. пособие для студентов вузов. -М.: Высш. шк., 1986.- 311с.

175. Volk R. Self-modifying nets, a natural extension of Petri nets.// Lectures Notes in Сотр. Sci. Berlin: Springer-Verlag, 1978, 62, P.464-476.

176. Котов B.E. Сети Петри.- M.: Наука, 1984.-160с.

177. Управление ГПС: Модели и алгоритмы / Под общ. ред. С.В.Емельянова.-М.: Машиностроение, Берлин: Техник,1987.- 368с.

178. Дубровин Б.А., Новиков С.П., Фоменко А.Т. Современная геометрия: Методы и приложения. Т.2 Геометрия и топология многообразий. 5-е изд., испр. М.: Эдиториал УРСС, 2001.- 296с.

179. Хирш М. Дифференциальная топология.- М.: Мир, 1979.- 280с.

180. Елкин В.И. Редукция нелинейных управляемых систем: Дифференциально-геометрический подход.- М.: Наука. Физматлит, 1977.- 320с.

181. Математические методы в теории систем: Новое в зарубежной науке / Сб. стат. под ред. А.Н. Колмогорова, С.П.Новикова.-М.: Мир, 1979.- Вып. 14.- 328с.

182. Гисин В.Б., Цаленко М.Ш. Алгебраическая теория систем и ее приложения: Системные исследования. Методологические проблемы. Ежегодник 1984.- М.: Наука 1984.- С.130-151.

183. Фрид.Э. Элементарное введение в абстрактную алгебру / Перевод с венгерского Ю.А.Данилова.- М.: Мир, 1979.- 260с.

184. Колмогоров А.И. Основные понятия теории вероятностей.- М.:- Наука, 1974.- 120с. (Теория вероятностей и математическая статистика).

185. Скорняков Л.А. Элементы теории структур.- М.: Наука, 1982.-160с.

186. Алексеев А.А., Имаев Д.Х., Кузьмин Н.Н., Яковлев В.Б. Теория управления: Учебник.- СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 1999.- 435с.

187. Терехов В.А., Ефимов Д.В., Тюкин И.Ю., Антонов В.Н. Нейросетевые системы управления. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 1999.- 265с.

188. Кострикин А.И. Введение в алгебру. Основы алгебры.- М.: Физматлит, 1994, -320с.

189. Борисович Ю.Г., Близняков Н.М., Израилевич Я.А., Фоменко Т.Н. Введение в топологию. М.: Наука, Физматлит, 1995.-416с.

190. Ефимов Н.В, Розендорн Э.Р. Линейная алгебра и многомерная геометрия.- М.: Наука, 1970. 528с.

191. Фоменко А.Т. Наглядная геометрия и топология. Математические образы в реальном мире.- М.: Изд-во Моск. ун-та ЧеРо,1998.- 416с.

192. Крипке С.А. Семантический анализ модальной логики. Нормальные модальные высказывания // Фейс Р. Модальная логика.- М., 1974.

193. Яблонский С.В., Гаврилов Г.П., Кудрявцев В.Б. Функции алгебры логики и классы Поста.- М., 1966.

194. Fundamentals of neural Networks, Architectures algorithms and application.1.urence Fauselt, USA, Florida, 1994. -461p.

195. Белман P. Введение в теорию матриц.- М.: Наука, 1976.- 351с.

196. Ежов И.И., Скороход А.В., Ядренко М.И. Элементы комбинаторики.-М.: Наука, 1977.- 80с.

197. Гоппа В.Д. Введение в алгебраическую теорию информации М.: Наука. Физматлит, 1995. -112с.

198. Гросс М., Лантен А. Теория формальных грамматик / Пер. с франц.- М.1971.

199. Cooley J.W., and J.W. Tukey, An Algorithm for the Machine Computation of Complex Fourier Series // Math.Comp. 1965. - N. 19. - P.297-301.

200. Писанецки С. Технология разреженных матриц / Пер. с англ. М.: Мир, 1988.-411с.

201. Растригин Л.А. Системы экстремального управления,- М.:, Наука, 1974.630с.

202. Уоссерман Ф. Нейрокомпьютерная техника. Теория и практика / Пер. с англ. М.: Мир, 1992,- 236с.

203. Малинецкий Г.Г., А.Б.Потапов. Современные проблемы нелинейной динамики. М.: Эдиториал УРСС, 2000.- 336с.

204. Кроновер P.M. Фракталы и хаос в динамических системах.- М.: По-стмаркет, 2000.- 350с.

205. Макаренко Н.Г. Фракталы, аттракторы, нейронные сети и все такое // Нейроинформатика 2002: 4-й Всеросс. науч. техн. конф. 23-25 января 2002г. Москва. / Лекции по нейроинформатике.- Часть 2.- с.136-169.

206. Stark J. Iterated function systems as neural networks // Neural Networks.-1991.-V.4.-pp. 679-690.

207. Астафьева H.M. Вейвлет-анализ: основы теории и примеры применения // Успехи физических наук.- Т. 166.-1996.-№ 11.- С.1145-1170.

208. Каппелини В и др. Цифровые фильтры и их применение: Пер. с англ.-М.: Энергоатомиздат, 1983.- 360с.

209. Feynman R. Simulating physics with computers. International Journal of

210. Theoretical Physics 21, 6&7,467-488 , 1982.

211. Feynman R. Quantum mechanical computers. Optics News 11, 1985. Also in Foun dations of Physics, 16(6): 507--531, 1986.

212. Риффель Э., Полак В. Основы квантовых вычислений. // Квантовый компьютер и квантовые вычисления.- Т.1., №1, 2000.- с.4-57.

213. Ekert A., Hayden P., Inamori Н. Basic concepts in quantum computation // Centre for Quantum Computation University of Oxford 0X1 3PU, United Kingdom.

214. Ватанабэ С. и др. Оценка и отбор параметров в задачах распознавания // Автоматический анализ сложных изображений.-М.: Мир, 1969.- С.276-295.

215. Буторин Д.А., Дорогов А.Ю. NEURO OFFICE Технология проектирования нейронных сетей с ядерной организацией // Известия СПбГЭТУ (ЛЭТИ) выпЛ/98 серия «Управление, информатика и вычислительная техника», Санкт-Петербург 1988.- С.5-7.

216. Дорогов А.Ю, Алексеев А.А., Пименов В.Е Пакет программного моделирования быстрых нейронных сетей // Управляющие вычислительные системы. Новые технологии. Материалы межвузовской научно-технической конференции. Вологда. ВоГТУ, 2000.-С.129.