Функциональные модели универсального нейрокомпьютера тема диссертации и автореферата по ВАК РФ 05.13.11, доктор технических наук Миркес, Евгений Моисеевич

• Миркес, Евгений Моисеевич
• доктор технических наук
• 2001

Оглавление диссертации доктор технических наук Миркес, Евгений Моисеевич

Введение

Общая характеристика работы

Введение к диссертации.

1 Функциональные компоненты.

1.1 Краткий обзор нейронных сетей.

1.2 Выделение компонентов.

1.3 Запросы компонентов нейрокомпьютера.

1.4 Запросы общие для всех компонентов.

2 Задачник и обучающее множество

2.1 Структуры данных задачника.

2.2 Поля задачника.

2.3 Состав данных задачника.

2.4 Запросы к компоненту задачник.

3 Предобработчик.

3.1 Нейрон.

3.2 Различимость входных данных.

3.3 Классификация компонентов входных данных.

3.4 Кодирование бинарных признаков.

3.5 Кодирование неупорядоченных качественных признаков.

3.6 Кодирование упорядоченных качественных признаков.

3.7 Числовые признаки.

3.8 Простейшая предобработка числовых признаков

3.9 Оценка способности сети решить задачу

3.10 Предобработка, облегчающая обучение.

3.11 Другие способы предобработки числовых признаков.

3.12 Составной предобработчик.

3.13 Запросы к компоненту предобработчик.

4 Описание нейронных сетей.

4.1 Конструирование нейронных сетей.

4.2 Примеры сетей и алгоритмов их обучения

4.3 Язык описания нейронных сетей

4.4 Запросы к компоненту сеть.

5 Оценка и интерпретатор ответа.

5.1 Интерпретатор ответа

5.2 Уровень уверенности.

5.3 Построение оценки по интерпретатору.

5.4 Оценка обучающего множества. Вес примера.

5.5 Глобальные и локальные оценки.

5.6 Составные интерпретатор ответа и оценка.

5.7 Запросы к компоненту интерпретатор ответа.

5.8 Запосы к компоненту оценка.

6 Исполнитель.

6.1 Описание компонента исполнитель.

6.2 Запросы к компоненту исполнитель.

7 Учитель.

7.1 Что можно обучать методом двойственности.

7.2 Задача обучения сети.

7.3 Описание алгоритмов обучения.

7.4 Запросы к компоненту учитель

8 Контрастер.

8.1 Задачи для контрастера.

8.2 Множества повышенной надежности.

8.3 Процедура контрастирования.

8.4 Определение показателей значимости.

8.5 Запросы к компоненту контрастер.

9 Нейронные сети ассоциативной памяти, функционирующие в дискретном времени.

9.1 Описание задачи.

9.2 Формальная постановка задачи.

9.3 СетиХопфилда.

9.4 Функционирование сети.

9.5 Ортогональные сети.

9.6 Тензорные сети.

9.7 Сети для инвариантной обработки изображений.

9.8 Численный эксперимент.

9.9 Доказательство теоремы.

Введение диссертации (часть автореферата) на тему «Функциональные модели универсального нейрокомпьютера»

Актуальность темы. В 80-е годы развитие информатики и средств вычислительной техники во многом определялось программой «Пятое поколение компьютеров». Основной целью данной программы было развитие систем искусственного интеллекта на базе алгоритмических языков. В 1992 году на смену программе «Пятое поколение компьютеров» пришла программа «Вычисления в Реальном мире». Основная цель новой программы - обеспечить возможность вычислительным системам взаимодействовать с реальным миром без посредства человека. Довольно большая часть программы - 30-40% - отведена исследованию естественных нейронных сетей и разработки искусственных нейронных сетей и нейросетевых систем.

Искусственные нейронные сети являются вычислительными устройствами, основанными на использовании большого числа очень простых нейронов. Все навыки искусственных нейронных сетей рассредоточены в синаптических связях. Канадский физиолог Д.Хебб в 1949 году описал такой синапс, как основу возможных механизмов памяти и поведения. Таким образом искусственные нейронные сети были предложены фактически сразу, после возникновения кибернетики. Уже сейчас искусственные нейронные сети применяются для решения очень многих задач обработки изображений, управления роботами и непрерывными производствами, для понимания и синтеза речи, для диагностики заболеваний людей и технических неполадок в машинах и приборах, для предсказания курсов валют и результатов скачек.

Нейрокибернетика объединяет многие науки и технологии, связанные с изучением устройства нейронных систем и применением полученных знаний в технике и медицине. Та часть работ по нейрокибернетике, которая связана с разработкой устройств переработки информации на основе принципов работы естественных нейронных систем получила название нейроинформатика.

Несмотря на то, что термин не1роинформатика возник в середине 80-х годов, сравнение электронного и биологического мозга ведется постоянно на протяжении всей истории существования вычислительной техники. Знаменитая книга Н.Винера "Кибернетика", ознаменовавшая рождение этой науки в 1948 г., имеет подзаголовок "Управление в живых системах, технике и обществе".

В середине 80-х размеры элементарных деталей вычислительных устройств стали сравнимы по размерам с нейронами человеческого мозга. Однако, не смотря на то, что быстродействие электронных элементов в миллионы раз выше, с задачами ориентации и принятие решений в естественной среде биологические системы справляются намного эффективнее. Возникла гипотеза, что мозг выигрывает это соревнование за счет специфических механизмов обработки информации. Это послужило основой для активизации фундаментальных и прикладных исследований в области механизмов переработки информации в биологических системах и породило нейроинформатику.

Основная задача нейроинформатики - разработка методов создания (синтеза) нейронных схем, решающих те или иные задачи. Нейрон в искусственных нейронных сетях является достаточно простым устройством. Например, нечто вроде усилителя с большим числом входов и одним выходом. Различие между подходами и методами - в деталях представлений о работе нейрона, и, конечно, в представлениях о работе связей.

Основное отличие нейрокомпьютеров от обычных компьютеров состоит в том, что в обычных компьютерах есть такие четко выделенные элементы как память и универсальный процессор. В нейрокомпьютере вся память рассредоточена в весах связей между простыми процессорами - нейронами. Таким образом основная нагрузка при решении нейрокомпьютером задачи ложится на структуру связей, задающую архитектуру нейронной сети.

Значительную роль в общем подъеме интереса к нейропроблемам сыграла теория, предложенная Джоном Хопфилдом в 1982 г. Другой важный класс нейронных систем введен в рассмотрение финном Тейво Кохоненом. Еще один класс нейроподобных моделей представляют сети с обратным распространением ошибки. Метод имеет длительную историю. В развитии его современных модификаций ведущую роль сыграли французский исследователь ле Кун и профессор А.Н.Горбань из Красноярска.

Средства для решения задач нейроинформатики обычно называют нейрокомпьютерами. Нейрокомпьютеры могут быть аппаратными, программными имитаторами или программно-аппаратными комплексами. В данный момент любой нейрокомпьютер не претендует на звание универсального компьютера, а создается для решения определенного круга задач. В мире имеется несколько десятков специализированных фирм, выпускающих продукцию в области нейроинформатики и, кроме того, многие гиганты индустрии (IBM, Siemence, Mitsubishi и др.) ведут исследования и разработки в этой области.

Сейчас можно уже говорить о традиционных задачах нейроинформатики. К таковым относятся задачи распознавания образов, речи, радарных сигналов, медицинской диагностики и другие трудно формализуемые задачи. Постоянно появляются все новые области приложений. Одним из наиболее значимых можно назвать задачу первичной обработки данных в физике элементарных частиц. Суть этого приложения состоит в том, что с датчиков поступает огромный поток данных о различных частицах. Необходимо с высокой скоростью отобрать данные об интересующих исследователя частицах и отсеять остальные. Большой интерес к нейрокомпьютерам проявляют также военные ведомства многих стран. Однако основной областью применения нейронных сетей и основанных на их использовании устройств будут по всей видимости системы управления роботов. По мнению одного из ведущих исследователей в области нейроинформатики Р. Хехт-нильсена основной продукцией промышленных фирм через 10 лет будут "нейровычислительные роботы".

Цели работы. На основе анализа различных нейросетевых парадигм построить модель универсального нейрокомпьютера. Универсальный нейрокомпьютер должен иметь структуру, позволяющую реализовать большинство ней-росетевых парадигм.

Разработать метод описания конструирования нейронных сетей и язык записи архитектур нейронных сетей. Метод должен позволять описывать любые нейронные сети, функционирующие в дискретном времени. Описание должно позволять автоматически выделять фрагменты сети, которые могут функционировать параллельно.

Разработать тип оценок, позволяющих интерпретатору ответа оценивать уровень уверенности сети в ответе.

Разработать методы получения явных алгоритмов решения задачи с помощью нейронных сетей.

Разработать метод определения минимального набора входных данных, устойчивого к искажениям во входных данных.

Разработать сеть ассоциативной памяти максимальной информационной емкости.

Научная новизна и практическая ценность. В данной работе разработана функциональная модель универсального нейрокомпьютера. Определены принципы выделения функциональных компонентов. Проведена декомпозиция нейрокомпьютера на функциональные компоненты в соответствии с предложенными принципами. Показана универсальность разработанной модели - возможность реализации в рамках данной модели всех основных видов нейронных сетей. Предложенная модель позволяет проводить аргументированное сравнение различных реализаций отдельных компонентов нейрокомпьютера, отслеживать взаимосвязи между компонентами. Для каждого компонента разработан полный (исчерпывающий) список запросов. Это позволяет при разработке больших программных комплексов разрабатывать каждый компонент независимо от других. Более того, в пределах одной вычислительной платформы возможно использование один раз запрограммированного компонента в различных программных комплексах (например, при помощи динамически связываемых библиотек (DLL)). Четкое определение функций каждого компонента позволяет разрабатывать для каждого компонента наиболее эффективные реализации независимо от других компонентов.

Разработан принцип построения нового типа оценок, названный эффективной функцией оценки. Эффективность предложенного типа оценок состоит в том, что их использование позволяет ускорить обучение нейронной сети, оценить уровень уверенности нейронной сети в полученном ответе, обучить с малой надежностью сеть решению тех задач, которые сеть данной архитектуры не может решить с высокой надежностью, учесть при обучении различие в достоверности ответов в разных примерах.

Разработан метод получения явных знаний из данных с помощью логически прозрачных нейронных сетей, получаемых из произвольных обученных сетей специальной процедурой контрастирования (скелетонизации). Этот метод позволяет получить явные зависимости выходных сигналов нейронной сети от входных. В случае решения задач классификации в большинстве случаев удается получить схему логического вывода.

Разработан метод построения минимально необходимых наборов входных данных и построения на их основе наборов входных данных повышенной надежности (устойчивости к искажениям во входных данных). Доказаны теоремы, устанавливающие соотношения между такими наборами, построенными различными способами.

Разработан метод конструирования нейронных сетей из простейших элементов и более простых сетей. Предложен способ описания процесса конструирования и язык для записи его результата. Сформулировано три метода построения двойственных сетей и проведено их сравнение.

Получены оценки способности сети ассоциативной памяти к точному воспроизведению эталонов. В работе рассмотрена сеть Хопфилда, функционирующая в дискретном времени. Разработаны методы, позволяющие повысить ее информационную емкость. С помощью этих методов построены три сети ассоциативной памяти, имеющие большую информационную емкость и менее зависящие от степени коррелированности эталонов. Предложен метод конструирования сетей ассоциативной памяти со свойствами, необходимыми для решения конкретной задачи. Доказана теорема об информационной емкости ортогональной тензорной сети.

Предложенная функциональная модель была частично реализована в ряде программных продуктов, разработанных Красноярской группой Нейрокомп. Так в программе Eye, разработанной автором в 1989 году, впервые были реализованы и опробованы эффективные функции оценки. Данная программа широко использовалась в учебном процессе и послужила одной из базовых программ при проведении Первой Всесоюзной олимпиады по нейрокомпьютингу (Омск, 1991 год). В 1993 году автором была разработана серия программ, под общим названием «Нейроучебник», которые до сих пор используются в учебном процессе в ряде красноярских вузов. В программе Sigmoidl из этой серии впервые было реализовано контрастирование. На этой программе была получена первая логически прозрачная нейронная сеть. В программе Hopfield из той же серии впервые была реализована ортогональная сеть ассоциативной памяти.

В 1993-1995 годах на ВЦ СО РАН в г. Красноярске под руководством автора работал программистский семинар по разработке нейросетевых приложений. Одним из результатов работы семинара явилось появление программы MultyNeuron. Результаты использования программы в медицине опубликованы различными исследователями более чем в 50 работах.

В 1996-2000 годах по проекту «Разработка и программная реализация технологии производства явных знаний из данных с помощью обучаемых нейронных сетей» № 05.04.1291 подпрограммы «Перспективные информационные технологии» Федеральной целевой программы на 1996-2000 годы «Исследования и разработки по приоритетным направлениям развития науки и техники гражданского назначения» под руководством автора были разработаны три программы FAMaster [186], NeuroPro [237] и GISNNA [180]. На базе этих программ защищено три кандидатские диссертации. В приложении к диссертации приведены 26 актов о внедрении.

На защиту выносятся.

1. Функциональная модель универсального нейрокомпьютера. Принципы выделения функциональных компонентов. Декомпозиция нейрокомпьютера на функциональные компоненты в соответствии с предложенными принципами.

2. Принцип построения эффективных функций оценки, позволяющих ускорить обучение нейронной сети, оценить уровень уверенности нейронной сети в полученном ответе, обучить с малой надежностью сеть решению тех задач, которые сеть данной архитектуры не может решить с высокой надежностью.

3. Метод получения явных знаний из данных с помощью логически прозрачных нейронных сетей, получаемых из произвольных обученных сетей специальной процедурой контрастирования.

4. Метод построения минимально необходимых наборов входных данных и построения на их основе наборов входных данных повышенной устойчивости к искажениям во входных данных. Теоремы о соотношениях между различными видами таких наборов.

5. Метод описания процедуры конструирования нейронных сетей из простейших элементов и более простых сетей. Язык описания результатов конструирования.

6. Методы повышения информационной емкости сетей ассоциативной памяти, функционирующих в дискретном времени. Метод конструирования сетей ассоциативной памяти со свойствами, необходимыми для решения конкретной задачи. Теорема об информационной емкости ортогональной тензорной сети.

Публикации. По теме диссертации опубликовано более 40 работ, в том числе одна монография без соавторов, одна коллективная монография (сборник лекций) и одно учебное пособие.

Апробация работы. Основные положения и результаты работы докладывались на 1 Всероссийском рабочем семинаре «Нейроинформатика и нейрокомпьютеры», Красноярск (1993); 2, 3, 4, 5, 6, 7, 8 Всероссийских рабочих семинарах «Нейроинформатика и ее приложения», Красноярск (1994 - 2000); научно-технической конференции «Проблемы техники и технологий XXI века», Красноярск (1994); межрегиональной конференции «Проблемы информатизации региона» (1995); 1, 2 EEEE-RNNS Symposium, Rostov-on-Don (1992, 1995); ШЕЕ International Conference on Neural Networks, Houston, IEEE (1997); III Международной конференции "Математика, компьютер, образование". - Москва (1996); International Joint Conference on Neural Networks, Washington, DC, USA, 1999; 10th International. Congress of chemical engineering, chemical equipment design and automation, Praha (1990); Международном конгрессе «Индустриальная и прикладная математика», Новосибирск (1998).

Кроме того, основные положения работы были представлены на Всемирном конгрессе по нейронным сетям (WCNN'95) (1995).

Введение к диссертации

Термин «Нейрокомпьютер» не имеет четкого определения, поэтому определим, что называется нейрокомпьютером в данной работе: нейрокомпьютер это устройство для решения какой либо задачи, в качестве основного решающего устройства использующее искусственную нейронную сеть. Для данной работы не важно в каком виде существует нейронная сеть и весь нейрокомпьютер -в виде программной эмуляции, специализированного устройства или любом другом. Речь пойдет об универсальном (решающем любые задачи) идеальном (не привязанном к какой либо реализации или элементной базе) нейрокомпьютере. Однако прежде чем переходить к содержательному обсуждению, необходимо описать ситуацию в нейроинформатике в целом.

В нейроинформатике существует три направления, которые условно можно назвать биологическим, модельным и инженерным (эта классификация впервые была введена А.Н. Горбанем на лекциях по нейронным сетям, прочитанным в ЛЭТИ в 1991 году в ходе подготовки к Первой Всесоюзной Олимпиаде по нейрокомпьютингу среди студентов и школьников). Цель работ биологического направления - понять, как устроена нервная система (например, [15, 16, 23, 29, 102, 106, 113, 116, 137, 145, 172, 173, 179, 182, 242, 244, 263, 268, 293, 348, 369, 370, 372, 373, 378]). Как правило, работы этого направления проходят следующие этапы. Сначала выдвигается гипотеза о биологическом механизме решения, каким либо отделом мозга определенной задачи. Далее строится компьютерная модель для проверки этой гипотезы. В ходе построения модели используются либо уже известные нейронные сети, либо предлагается новый вид сети.

В работах модельного направления исследуются свойства искусственных нейронных сетей. Как правило, исследователи берут ранее известную нейронную сеть и исследуют ее возможности. В работах этого направления есть она особенность, которая является одновременно и сильным и слабым местом одновременно - фактический отказ от модернизации архитектуры нейронной сети. С точки зрения исследователя модельного направления сеть с модернизированной архитектурой это совсем другая сеть.

Работы инженерного направления посвящены использованию искусственных нейронных сетей для решения практических задач. При этом степень сходства используемой нейронной сети с биологическим аналогом не имеет значения. Инженерное направление заимствовало из естественных нейронных сетей два основных принципа: много простых элементов решают сложную задачу; обучение вместо программирования.

Инженерное направление в свою очередь делится на два поднаправления - теоретическое и практическое. Исследователи теоретического направления занимаются разработкой нейронных сетей для решения определенных задач и исследованием их возможностей. Основное отличие теоретического поднаправления от модельного направления состоит в том, что при необходимости архитектура нейронной сети, правила обучения и другие компоненты нейрокомпьютера свободно модифицируются для решения поставленной задачи. Содержание девятой главы может служить типичным примером работы теоретического инженерного подхода. Другие примеры работ данного направления можно найти , например, в [8, 37, 107, 176, 222, 224, 230, 231, 256, 349, 365, 367]. Работы практического направления, как правило, содержат решение конкретной прикладной задачи. На нейросетевых и медицинских конференциях в последние годы докладываются сотни работ этого направления. В Красноярске на базе нейросете-вого эмулятора MultyNeuron [193, 194, 287] разработано свыше двух десятком различных медицинских экспертных систем [18, 49 - 52, 73, 93 - 96, 163, 164, 169, 201]. Число нейросетевых экспертных систем в различных областях насчитывает несколько тысяч. Примерами таких работ могут служить следующие работы [24, 121, 246, 249, 252, 253, 257 - 260, 272, 275, 284, 287, 292, 308, 310, 314, 315, 318, 331, 333 - 335, 337, 339, 342 - 344, 346, 350, 356, 359, 363, 366, 368, 377].

Несмотря на то, что обычно большинство работ нельзя однозначно отнести к какому либо из перечисленных выше направлений, использование предложенной классификации работ позволяет яснее представить место работы в современной нейроинформатике. Автор относит свою работу к теоретическому поднаправлению инженерного направления.

Методы нейроинформатики успешно зарекомендовали себя в настолько широком круге приложений, что стали темой многих публикаций в изданиях, не имеющих прямого отношения к науке [99. 169]. Этот успех опирается на две предпосылки - универсальность нейронных сетей [38, 39, 57, 64, 70, 286] и способность вырабатывать нечто, напоминающее человеческую интуицию [101, 110, 254, 269, 270]. Безусловно, для большинства задач, решаемых методами нейроинформатики, существуют традиционные методы решения (см. например [4, 5, 17, 19, 89, 103, 109, 111, 113, 117 - 119, 128, 129, 271, 319, 360]). Более того, существует ряд работ, посвященных решению классических задач методами нейроинформатики (см. например, [89, 129, 176, 222, 276, 277, 299, 320, 328,

349]). Однако, для применения большинства традиционных методов необходимо, во-первых, знать о них, во-вторых, знать их область их применения и ограничения. В то время, как успех нейроинформатики основан на утверждении «нейронные сети могут все». Это утверждение долгое время было лозунгом нейроинформатики, а сравнительно недавно было строго доказано [38, 39, 57, 64, 70, 136, 266, 323]. Основные задачи и преимущества нейроинформатики подробно рассмотрены в [59 - 62, 71, 74, 108, 146, 151, 152, 170, 174, 245, 248, 262, 279, 281,288, 290,317]

Многолетние усилия многих исследовательских групп привели к тому, что к настоящему моменту накоплено большое число различных правил обучения и архитектур нейронных сетей, способов оценивать и интерпретировать их работу, приемов использования нейронных сетей для решения прикладных задач. Каждое правило, архитектура, система оценки и интерпретации составляют отдельный нейрокомпьютер. Причем каждый нейрокомпьютер уникален и отделен от других. Такой тип многообразия принято называть «зоопарком». Многообразие этого типа нетехнологично. Существует другой тип многообразия -технопарк. Такое многообразие строится как совокупность многих «машин» собранных из небольшого набора стандартных деталей. Основная цель данной работы состоит в том, чтобы преобразовать существующий зоопарк нейрокомпьютеров в технопарк.

В качестве примера приведем выдержку из монографии (учебного пособия) одного из наиболее известных Российских ученых-нейроинформатиков А.И. Галушкина [26].

Основными качественными характеристиками архитектур нейронных сетей являются:

1. Типы входных сигналов (размерность, дискретность и т. д.).

2. Тип операций, реализуемых в разомкнутой нейронной сети (дискретные или непрерывные).

3. Топология связей (прямые, перекрестные, латеральные, обратные и т.д.).

4. Наличие или отсутствие желания сымитировать в структуре конкретную биологическую систему (зрительный или слуховой анализатор, мозжечок, та-ламус и т.д.).

5. Наличие желания максимально повысить скорость вычислительных операций на нейронной сети.

6. Ограничения архитектуры, связанные с удобством (простотой) или ограничениями принятого способа технической реализации.

7. Способ объединения в группы процессорных элементов.

8. Способ функционирования во времени (дискретный или непрерывный).

9. Способ изменения весов связей (случайный или упорядоченный).

10. Способ соединения независимо настроенных (или настраиваемых) нейронных сетей вместе.»

Очевидно, что первый пункт приведенного списка относится в основном к методам предобработки и не имеет отношения к архитектуре нейронных сетей. Шестой пункт относится к способу реализации сети и лишь косвенно к архитектуре. Седьмой пункт относится к практике имитации нейронных сетей на компьютерах различной конфигурации. Нельзя считать, что полносвязная нейронная сеть прямого распространения с одним и тем же числом нейронов будет иметь разную архитектуру в зависимости от того, реализована она на обычном персональном компьютере или на нейрокомпьютере ЗупарБ 1. Очевидно, что архитектура нейронной сети будет в обоих случаях одинакова. Изменится только программная реализация сети и нейрокомпьютера в целом. Девятый пункт связывает в одно целое архитектуру сети и метод обучения. В программах группы Нейрокомп, и других разработчиков реализованы различные способы обучения нейронных сетей, как случайные, так и градиентные.

К сожалению, такая практика, соединения архитектуры нейронной сети и алгоритмов обучения в единое целое, имеет место и в разработках многих западных фирм [25, 141, 142].

Для перехода к разнообразию типа технопарк полезен такой подход: каждый нейрокомпьютер из зоопарка должен быть представлен как реализованный на идеальном нейрокомпьютере, имеющем заданную структуру. В пределах данной структуры возможен почти произвольный выбор комплектующих - архитектур сетей, предобработчиков, интерпретаторов ответа и других компонентов. Несомненно, структура этого идеального нейрокомпьютера со временем будет эволюционировать. Однако преимущества даже от первых шагов стандартизации несомненны. Подтверждением этому служит опыт двенадцатилетней работы Красноярской группы НейроКомп по использованию нейронных сетей в различных задачах: распознавания образов [65, 291, 295], медицинской диагностики [18, 49 - 52, 73, 92, 94, 163 - 165, 168, 188 - 192, 195 - 214, 261, 300 - 302, 321, 322, 351 - 355, 361, 372], прогноза [303-305, 374] и др.[89-91, 156,157, 166, 167, 175, 181, 238, 337].

Группа НейроКомп в течение двенадцати лет отрабатывала принципы организации нейронных вычислений. Различные варианты этих принципов были реализованы в серии программ-нейроимитаторов. Возможность формирования большинства архитектур, алгоритмов и способов использования нейронных сетей на основе небольшого числа стандартных блоков существенно облегчает создание программного обеспечения, и его использования при решении прикладных задач.

Особую актуальность приобретает задача создания универсального нейрокомпьютера в связи с тем, что в течении последних десяти лет десятки серьезных компаний заявили о разработке аппаратных нейрокомпьютеров. При этом существует две крайности. С одной стороны, аппаратно реализованные нейронные сети, способные решать только одну конкретную задачу (например, [10 -12, 21, 26, 105, 159, 221, 225]). С другой стороны - универсальные нейрокомпьютеры типа «Synaps I», предложенный фирмой Сименс-Никсдорф. Автор имел возможность ознакомиться с техническими характеристиками данного нейрокомпьютера и проектом программного обеспечения для него. К сожалению, этот компьютер является нейрокомпьютером только по названию, поскольку в действительности это обычный хороший высокоскоростной параллельный компьютер. Вся реализация всех типов нейронных сетей, заявленная фирмой Си-менс-Никсдорф, содержится полностью в программном обеспечении. Основная проблема, встающая на пути таких разработок - попытка реализовать исходный мелкозернистый параллелизм нейронных сетей, состоящих из простых элементов, на базе относительно малого числа сложных универсальных процессоров. Вопросы параллелизма нейронных сетей рассмотрены во многих работах (см. например, [152, 264]).

В данной работе описана функциональная структура идеального универсального нейрокомпьютера для реализации большинства нейронных сетей одного из крупных отделов «зоопарка». Речь идет о сетях работающих в дискретном времени. Изначально предполагалось, что на предложенном нейрокомпьютере можно будет реализовать только сети связанные с методом обратного распространения ошибки - это мощная и широко применяемая технология обучения нейронных сетей (см. например, [236, 312, 313, 355, 358]). К сожалению, она получила распространение в виде алгоритма, а не в виде способа построения алгоритмов. Более общая теория обучения нейронных сетей - принцип двойственности [9, 13, 14, 45, 55, 56, 65, 255. 256, 289, 295] - мало известна. На данный момент в литературе встречается описание более чем двух десятков различных алгоритмов обучения нейронных сетей по методу обратного распространения ошибки. Однако в ходе работы оказалось, что предложенная структура нейрокомпьютера позволяет реализовать любые сети функционирующие в дискретном времени.

На данный момент нейрокомпьютеры существуют, в основном, в виде программных имитаторов. Предложенный в данной работе подход - сборка нейрокомпьютера из небольшого числа реализаций восьми компонентов - позволяет существенно упростить процесс разработки таких имитаторов. Автором предложены два уровня стандарта нейрокомпьютера, приведенные в первом приложении к данной работе. Первый уровень состоит в разработанном едином языке описания функциональных компонентов нейрокомпьютера. При этом не важно, кем и для каких компьютеров был разработан программный имитатор. Возможность иметь внешнее, по отношению к программному имитатору, описание всех основных компонентов нейрокомпьютера призвана облегчить разработку и распространение архитектур нейронных сетей, правил интерпретации ответов и их оценки, алгоритмов обучения, методов контрастирования (скеле-тонизации) и т.д. При этом результат становится не зависящим от программы, при помощи которой он был получен, и воспроизводимым другими исследователями. Кроме того, единый подход к описанию структуры нейронной сети, предобработчика и других компонентов нейрокомпьютера облегчает разработку аппаратной реализации нейрокомпьютера или его отдельных компонентов.

Второй уровень предлагаемого проекта стандарта предусматривает возможность взаимозамены различных реализаций компонентов в пределах одной программы. Предполагается, что возможно использование компонентов одного разработчика программ совместно с компонентами, разработанными другими разработчиками. Этот стандарт по своему применению существенно уже первого, поскольку возможности переноса разработок между различными вычислительными платформами сильно ограничены.

Ранее уже было предложено несколько вариантов языка описания нейронных сетей. Примером таких языков может служить язык для описания нейронных сетей AXON [311, 324 - 326], разработанный и поддерживаемый группой исследователей под руководством Р. Хехт-Нильсона. Изначально, автор с коллегами из группы НейроКомп пошли по тому же пути [46]. Однако он оказался бесперспективным. Основным отличием способа описания нейрокомпьютера, предложенного в данной работе, от языка AXON является полнота охвата всех компонентов нейрокомпьютера. Язык AXON служит для описания только нейронных сетей, тогда как приведенный в приложении стандарт охватывает все компоненты нейрокомпьютера и средства интерфейса между ними.

Предложенная функциональная модель была частично реализована в ряде программных продуктов, разработанных Красноярской группой Нейрокомп. Так в программе Eye [83, 171], разработанной автором в 1989 году, впервые были реализованы и опробованы эффективные функции оценки. Данная программа широко использовалась в учебном процессе и послужила одной из базовых программ при проведении Первой Всесоюзной олимпиады по нейрокомпьютин-гу (Омск, 1990 год). В 1993 году автором была разработана серия программ, под общим названием «Нейроучебник», которые до сих пор используются в учебном процессе в ряде красноярских вузов. В программе Sigmoid 1 из этой серии впервые было реализовано контрастирование. На этой программе была получена первая логически прозрачная нейронная сеть. В программе Hopfield из той же серии впервые была реализована ортогональная сеть ассоциативной памяти.

В 1993-1995 годах на ВЦ СО РАН в г. Красноярске под руководством автора работал программистский семинар по разработке нейросетевых приложений. Одним из результатов работы семинара явилось появление программы MultyNeuron. Результаты использования программы в медицине опубликованы различными исследователями более чем в 50 работах [18, 49 - 52, 73, 93 - 95, 121,163, 164, 168, 188 - 192, 195 - 201, 203 - 214, 287, 300 - 302, 321, 322, 351 -355,361, 371].

В 1996-2000 годах по проекту «Разработка и программная реализация технологии производства явных знаний из данных с помощью обучаемых нейронных сетей» № 05.04.1291 подпрограммы «Перспективные информационные технологии» Федеральной целевой программы на 1996-2000 годы «Исследования и разработки по приоритетным направлениям развития науки и техники гражданского назначения» под руководством автора были разработаны три программы FAMaster, NeuroPro и GISNNA. На базе этих программ защищено три кандидатские диссертации [180, 186, 237]. В приложении к диссертации приведены 26 актов о внедрении.

Предложенная в данной работе функциональная модель нейрокомпьютера является нетрадиционной. Как правило, под моделью устройства понимают систему уравнений, описывающих ее функционирование. В данном случае такой подход в целом к нейрокомпьютеру затруднен многообразием нейрокомпьютеров. Реально в данной работе предложен двухэтапный способ построения модели нейрокомпьютера. На первом этапе на базе функциональной модели универсального нейрокомпьютера определяется состав специализированного нейрокомпьютера для решения исследуемой задачи. На втором этапе, когда состав и реализации компонентов нейрокомпьютера определены, автоматически получается системы уравнений, описывающие функционирование и обучение этого конкретного нейрокомпьютера.

Такой подход может оказаться эффективным и при аппаратной реализации нейрокомпьютеров. Как уже отмечалось выше, при попытке аппаратной реализации универсального нейрокомпьютера происходит изготовление очередного универсального параллельного вычислителя. Это связано с тем, что ап-паратно реализовать нейронную сеть, не наложив существенных ограничений на ее архитектуру, на данном этапе развития вычислительной техники невозможно. Наиболее перспективным выглядит следующий подход к аппаратной реализации нейрокомпьютера. Сначала на программном имитаторе универсального нейрокомпьютера производится отбор необходимых реализаций всех компонентов нейрокомпьютера. Далее на том же имитаторе производится обучение и, при необходимости, контрастирование нейронных сетей. После того, как получена нейросетевая модель задачи, наступает этап аппаратной реализации. Поскольку реализуется решатель конкретной задачи, то требуется не универсальная нейронная сеть, а сеть заданной архитектуры с уже известными параметрами и весами связей. Заранее известен вид используемой предобработки и способ интерпретации ответа. В большинстве случаев такие компоненты как учитель, контрастер, оценка не требуются, поскольку они сыграли свою роль на этапе подготовки нейрокомпьютера.

Несколько слов о структуре диссертации. В первой главе выделяются основные компоненты нейрокомпьютера по следующим признакам.

1. Относительная функциональная обособленность: каждый компонент имеет четкий набор функций. Его взаимодействие с другими компонентами может быть описано в виде небольшого числа запросов.

2. Возможность реализации большинства используемых алгоритмов.

3. Возможность взаимозамены различных реализаций любого компонента без изменения других компонентов.

Кроме того, в последней части первой главы описаны запросы, исполняемые всеми компонентами нейрокомпьютера.

Главы со второй по восьмую посвящены описанию одного или нескольких тесно связанных между собой компонентов нейрокомпьютера, каждая. В каждой главе детально описаны функции компонента, которому она посвящена, взаимосвязь этого компонента с другими компонентами. Кроме того, в большинстве глав содержатся оригинальные разработки, такие как эффективные оценки, логическая прозрачность и т.д. В последней части каждой главы приведено описание запросов к описываемому в данной главе компоненту нейрокомпьютера. В предпоследней части пятой главы приведена БНФ языка описания структуры нейронной сети, библиотек элементов и подсетей.

В девятой главе проиллюстрирован теоретический подход к решению задачи о построении сети ассоциативной памяти с максимальной информационной емкостью. Доказана теорема об информационной емкости тензорных сетей, приведены результаты численных экспериментов.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Миркес, Евгений Моисеевич

Заключение

В работе получены следующие основные результаты:

1. Разработана функциональная модель идеального нейрокомпьютера. Определены принципы выделения функциональных компонентов. Произведена декомпозиция нейрокомпьютера на функциональные компоненты в соответствии с предложенными принципами.

2. Разработан принцип построения нового типа оценок, названный эффективной функцией оценки. Эффективность предложенного типа оценок состоит в том, что их использование позволяет ускорить обучение нейронной сети, оценить уровень уверенности нейронной сети в полученном ответе, обучить с малой надежностью сеть решению тех задач, которые сеть данной архитектуры не может решить с высокой надежностью, учесть при обучении различие в достоверности ответов в разных примерах.

3. Разработан метод получения явных знаний из данных с помощью логически прозрачных нейронных сетей, получаемых из произвольных обученных сетей специальной процедурой контрастирования. Этот метод позволяет получить явные зависимости выходных сигналов нейронной сети от входных. При решении задач классификации в большинстве случаев удается получить логический вывод.

4. Разработан метод построения минимально необходимых наборов входных данных и построения на их основе наборов входных данных повышенной надежности (устойчивости к искажениям во входных данных). Доказаны теоремы, устанавливающие соотношения между такими наборами, построенными различными способами.

5. Развит метод описания процедуры конструирования нейронных сетей из простейших элементов и более простых сетей. Разработан язык описания результатов конструирования.

6. Получены оценки способности сети ассоциативной памяти к точному воспроизведению эталонов. В работе рассмотрена сеть Хопфилда, функциони

336 рующая в дискретном времени. Разработаны методы, позволяющие повысить ее информационную емкость. С помощью этих методов построены три сети ассоциативной памяти, имеющие большую информационную емкость и менее зависящие от степени коррелированности эталонов. Предложен метод конструирования сетей ассоциативной памяти со свойствами, необходимыми для решения конкретной задачи. Доказана теорема об информационной емкости ортогональной тензорной сети.

Большинство полученных результатов были реализованы в ряде программных продуктов, разработанных под руководством или при участии автора.

Список литературы диссертационного исследования доктор технических наук Миркес, Евгений Моисеевич, 2001 год

1. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений,- М.: Статистика, 1974,- 240 с.

2. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин,- М.: Наука, 1970,- 383 с.

3. Анастази А. Психологическое тестирование,- М. Педагогика, 1982. Книга 1.-320 е.; Книга 2,-360 с.

4. Андерсон Т. Введение в многомерный статистический анализ,- М.: Физ-матгиз, 1963,- 500 с.

5. Андерсон Т. Статистический анализ временных рядов,- М.: Мир, 1976.755 с.

6. Ануфриев А.Ф. Психодиагностика как деятельность и научная дисциплина// Вопросы психологии,- 1994,- № 2,- С. 123-130.

7. Аркадьев А.Г., Браверман Э.М. Обучение машины классификации объектов,-М.: Наука, 1971.- 172 с.

8. Барцев С.И. Некоторые свойства адаптивных сетей,- Красноярск, 1987.17 с. (Препринт / ИФ СО АН СССР; №71 Б)

9. Барцев С.И., Гилев С.Е., Охонин В.А. Принцип двойственности в организации адаптивных систем обработки информации // Динамика химических и биологических систем,- Новосибирск: Наука, 1989,- С.6-55.

10. Барцев С.И., Ланкин Ю.П. Моделирование аналоговых адаптивных сетей,- Красноярск, 1993,- 36 с. (Препринт / ИБФ СО РАН; № 203Б)

11. Барцев С.П., Ланкин Ю.П. Сравнительные свойства адаптивных сетей с полярными и неполярными синапсами,- Красноярск, 1993,- 26 с. (Препринт / ИБФ СО РАН; № 196Б)

12. Барцев С.И., Машихина Н.Ю., Суров С.В. Нейронные сети: подходы к аппаратной реализации,- Красноярск, 1990,- 14 с. (Препринт / ИФ СО АН СССР; № 122Б)

13. Барцев С.И., Охонин В.А. Адаптивные сети обработки информации.-Красноярск, 1986,- 20 с. (Препринт / ИФ СО АН СССР; №59Б)

14. Барцев С.И., Охонин В.А. Адаптивные сети, функционирующие в непрерывном времени // Эволюционное моделирование и кинетика.- Новосибирск: Наука, 1992,- С.24-30.

15. Беркинблит М.Б., Гельфанд И.М., Фельдман А.Г. Двигательные задачи и работа параллельных программ // Интеллектуальные процессы и их моделирование. Организация движения,- М.: Наука, 1991,- С.37-54.

16. Биотехника новое направление компьютеризации. Серия «Теоретическая и прикладная биофизика» / Ахапкин Ю.К., Всеволдов Н.И., Барцев С.И. и др.- М: Изд-во ВИНИИТИ, 1990,- 144 с.

17. Боннер P.E. Некоторые методы классификации // Автоматический анализ изображений,- М.: Мир, 1969,- С.205-234.

18. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирири-ческих данных. М.: Наука. Главная редакция физико-математической литературы, 1983,- 464 с.

19. Бурлачук Л.Ф., Коржова Е.Ю. К построению теории «измеренной индивидуальности» в психодиагностике // Вопросы психологии,- 1994,- № 5. С.5-11.

20. Вавилов Е.И., Егоров Б.М., Ланцев B.C., Тоценко В.Г. Синтез схем на пороговых элементах,- М.: Сов. радио, 1970,- 250 с.

21. Вапник В.Н., Червоненкис А.Ф. Теория распознавания образов,- М.: Наука, 1974.-398 с.

22. Веденов A.A. Моделирование элементов мышления,- М.: Наука, 1988,435 с.

23. Гаврилова Т.А., Червинская K.P., Яшин A.M. Формирование поля знаний на примере психодиагностики // Изв. АН СССР. Техн. Кибернетика,-1988,-№5,- С.72-85.

24. Галушкин А.И. Нейрокомпьютеры. Кн. 3: Учеб. пособие для вузов,- М.: ИПРЖР, 2000,- 528 с.

25. Галушкин А.И. Теория нейронных сетей. Кн. 1: Учеб. пособие для вузов.-М.: ИПРЖР, 2000,-416 с.

26. Галушкин А.И. Синтез многослойных схем распознавания образов. М.: Энергия, 1974,- 376 с.

27. Галушкин А.И., Фомин Ю.И. Нейронные сети как линейные последовательные машины. М.: Изд-во МАИ, 1991.-493 с.

28. Гельфанд И.М., Цетлин M.JI. О математическом моделировании механизмов центральной нервной системы // Модели структурно-функциональной организации некоторых биологических систем,- М.: Наука, 1966,-С.9-26.

29. Гилев С.Е. Forth-propagation метод вычисления градиентов оценки // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского рабочего семинара,- Красноярск, 1994,- С.36-37.

30. Гилев С.Е. Автореф. дисс. канд.физ.-мат. наук / Красноярск, КГТУ, 1997.-20 с.

31. Гилев С.Е. Алгоритм сокращения нейронных сетей, основанный на разностной оценке вторых производных целевой функции // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского рабочего семинара,- Красноярск, 1997,- С.45-46.

32. Гилев С.Е. Гибрид сети двойственности и линейной сети // Нейроинформатика и нейрокомпьютеры: Тез. докл. рабочего семинара 8-11 октября 1993 г.- Красноярск, 1993,- С.25.

33. Гилев С.Е. Метод получения градиентов оценки по подстроенным параметрам без использования back propagation // Нейроинформатика и ее приложения: Материалы III Всероссийского семинара, 6-8 октября 1995 г. Ч. 1,-Красноярск, 1995. С. 91-100.

34. Гилев С.Е. Нейросеть с квадратичными сумматорами // Нейроинформатика и нейрокомпьютеры: Тез. докл. рабочего семинара 8-11 октября 1993 г.-Красноярск, 1993,-С. 11-12.

35. Гилев С.Е. Сравнение методов обучения нейронных сетей // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского рабочего семинара,- Красноярск, 1995,- С.80-81.

36. Гилев С.Е. Сравнение характеристических функций нейронов // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского рабочего семинара.- Красноярск, 1995,- С.82

37. Гилев С.Е., Горбань А.Н. Плотность полугрупп непрерывных функций // Нейроинформатика и ее приложения: Тез. докл. 4 Всероссийского рабочего семинара,- Красноярск, 1996,- С.7-9.

38. Гилев С.Е., Горбань А.Н., Миркес Е.М. Малые эксперты и внутренние конфликты в обучаемых нейронных сетях // Доклады Академии Наук СССР,- 1991,- Т.320, N.1.- С.220-223.

39. Гилев С.Е., Горбань А.Н., Миркес Е.М., Коченов Д.А., Россиев Д.А. Ней-росетевая программа MultiNeiiron // Нейроинформатика и нейрокомпьютеры: Тез. докл. рабочего семинара 8-11 октября 1993 г.- Красноярск, 1993,-С.9.

40. Гилев С.Е., Горбань А.Н., Миркес Е.М., Новоходько А.Ю. Пакет программ имитации различных нейронных сетей // Нейроинформатика и нейрокомпьютеры: Тез. докл. рабочего семинара 8-11 октября 1993 г.- Красноярск, 1993,-С.7.

41. Гилев С.Е., Миркес Е.М. Обучение нейронных сетей // Эволюционное моделирование и кинетика,- Новосибирск: Наука, 1992,- С.9-23.

42. Гилев С.Е., Миркес Е.М., Новоходько А.Ю., Царегородцев В.Г., Чертыков П.В. Проект языка описания нейросетевых автоматов // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского рабочего семинара,-Красноярск, 1994.-С.35.

43. Гилева Л.В., Гилев С.Е., Горбань А.Н. Нейросетевой бинарный классификатор «CLAB» (описание пакета программ).- Красноярск, 1992,- 25 с. (Препринт / ИБФ СО РАН; № 194 Б)

44. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация,- М.: Мир, 1985,- 509 с.

45. Горбань А.Н. Алгоритмы и программы быстрого обучения нейронных сетей. // Эволюционное моделирование и кинетика,- Новосибирск: Наука, 1992,- С.36-39.

46. Горбань А.Н. Быстрое дифференцирование сложных функций и обратное распространение ошибки // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского семинара,- Красноярск, 1997,- С.54-56.

47. Горбань А.Н. Быстрое дифференцирование, двойственность и обратное распространение ошибки // Нейроинформатика.- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- С.73-100.

48. Горбань А.Н. Возможности нейронных сетей // Нейроинформатика. -Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- С. 18-46.

49. Горбань А.Н. Двойственность в сетях автоматов // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара,- Красноярск, 1995,- С.32-66.

50. Горбань А.Н. Мы предлагаем для контроля качества использовать нейрокомпьютеры // Стандарты и качество,- 1994,- № 10,- С.52.

51. Горбань А.Н. Нейрокомп // Нейроинформатика и ее приложения: Материалы III Всероссийского семинара, 6-8 октября 1995 г. Ч. 1,- Красноярск, 1995.-C.3-31.

52. Горбань А.Н. НейроКомп или 9 лет нейрокомпьютерных исследований в Красноярске // Актуальные проблемы информатики, прикладной математики и механики, ч. 3,- Новосибирск, 1996,- С. 13 37.

53. Горбань А.Н. Нейрокомпьютер, или Аналоговый ренессанс // Мир ПК,-1994,-№ 10,- С.126-130.

54. Горбань А.Н. Обобщение аппроксимационной теоремы Стоуна // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского семинара,-Красноярск, 1997,- С.59-62.

55. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной математики.- 1998,- Т. 1, № 1. С.11-24.

56. Горбань А.Н. Обучение нейронных сетей. М.: Изд-во СССР-США СП «ParaGraph», 1990,- 160 с.

57. Горбань А.Н. Проблема скрытых параметров и задачи транспонированной регрессии // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского семинара,- Красноярск, 1997,- С.57-58.

58. Горбань А.Н. Проекционные сетчатки для обработки бинарных изображений. // Математическое обеспечение и архитектура ЭВМ: Материалы научно-технической конференции «Проблемы техники и технологий XXI века», 22-25 марта 1994 г.- Красноярск, 1994,- С.50-54.

59. Горбань А.Н. Размытые эталоны в обучении нейронных сетей // Нейро-информатика и ее приложения: Тез. докл. 2 Всероссийского семинара,-Красноярск, 1994,- С.6-9.

60. Горбань А.Н. Решение задач нейронными сетями // Нейроинформатика,-Новосибирск: Наука, Сибирская издательская фирма РАН,- 1998,- С.47-72.

61. Горбань А.Н., Вашко Т.А., Миркес Е.М. Алгоритмы поиска дублирующих признаков. / Институт вычислительного моделирования СО РАН в г. Красноярске,- Красноярск, 2000,- 42 с. (Деп. в ВИНИТИ 24.05.00, № 1501800)

62. Горбань А.Н., Кошур В.Д. Нейросетевые модели и методы решения задач динамики сплошных сред и физики взаимодействующих частиц //10 Зимняя школа по механике сплошных сред: Тез. докл.- Екатеринбург, 1995,- С.75-77.

63. Горбань А.Н., Миркес Е.М. Информационная емкость тензорных сетей

64. Нейроинформатика и ее приложения: Тез. докл. 4 Всероссийского семинара." Красноярск, 1996,- С.22-23.

65. Горбань А.Н., Миркес Е.М. Кодирование качественных признаков для нейросетей // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского семинара,- Красноярск, 1994,- С.29.

66. Горбань А.Н., Миркес Е.М. Компоненты нейропрограмм // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара,- Красноярск, 1995,-С. 17

67. Горбань А.Н., Миркес Е.М. Контрастирование нейронных сетей // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара,-Красноярск, 1995,- С.78-79

68. Горбань А.Н., Миркес Е.М. Логически прозрачные нейронные сети // Изв. ВУЗов. Приборостроение,- 1996,- Т. 39, № 1,- С.64-67.

69. Горбань А.Н., Миркес Е.М. Логически прозрачные нейронные сети для производства знаний из данных / Вычислительный центр СО РАН в г. Красноярске,- Красноярск, 1997,- 12 е.: Библ. 12 назв. (Деп. в ВИНИТИ 17.07.97, №2434-В97)

70. Горбань А.Н., Миркес Е.М. Логически прозрачные нейронные сети // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара,-Красноярск, 1995.- С.32

71. Горбань А.Н., Миркес Е.М. Нейронные сети ассоциативной памяти, функционирующие в дискретном времени. / Вычислительный центр СО РАН в г. Красноярске,- Красноярск, 1997,- 23 е.: Библ. 8 назв. (Деп. в ВИНИТИ 17.07.97, № 2436-В97)

72. Горбань А.Н., Миркес Е.М. Нейросетевое распознавание визуальных образов «EYE» (описание пакета программ).- Красноярск, 1986,- 20 с. (Препринт / ИБФ СО АН СССР; № 193Б)

73. Горбань А.Н., Миркес Е.М. Оценки и интерпретаторы ответа для нейронных сетей двойственного функционирования // Изв. ВУЗов. Приборостроение,- 1996,- Т. 39, № 1,- С.5-14.

74. Горбань А.Н., Миркес Е.М. Оценки и интерпретаторы ответа для сетей двойственного функционирования / Вычислительный центр СО РАН в г. Красноярске.- Красноярск, 1997,- 24 е.: Библ. 8 назв. (Деп. в ВИНИТИ 25.07.97, № 2511-В97)

75. Горбань А.Н., Миркес Е.М. Помехоустойчивость тензорных сетей // Нейроинформатика и ее приложения: Тез. докл. 4 Всероссийского семинара.-Красноярск, 1996,- С.24-25.

76. Горбань А.Н., Миркес Е.М. Тензорные сети ассоциативной памяти // Нейроинформатика и ее приложения: Тез. докл. 4 Всероссийского семинара.-Красноярск, 1996,- С.20-21.

77. Горбань А.Н., Миркес Е.М. Функциональные компоненты нейрокомпьютера // Нейроинформатика и ее приложения: Материалы III Всероссийского семинара, 6-8 октября 1995 г., часть 1,- Красноярск, 1995,- С.79-90.

78. Горбань А.Н., Миркес Е.М., Свитин А.П. Метод мультиплетных покрытий и его использование для предсказания свойств атомов и молекул // Журнал физ. Химии,- 1992,- Т. 66, № 6,- С.1503-1510.

79. Горбань А.Н., Миркес Е.М., Свитин А.П. Полуэмпирический метод классификации атомов и интерполяции их свойств. // Математическое моделирование в химии и биологии. Новые подходы. Новосибирск : Наука, 1992.- С.204-220.

80. Горбань А.Н., Новоходько А.Ю., Царегородцев В.Г. Нейросетевая реализация транспонированной задачи линейной регрессии // Нейроинформатика и ее приложения: Тез. докл. 4 Всероссийского семинара.- Красноярск, 1996,- С.37-39.

81. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере // Новосибирск: Наука, 1996,- 276 с.

82. Горбань А.Н., Сенашова М.Ю. Метод обратного распространения точности,- Красноярск, 1996,- 8 с. (Препринт / ВЦ СО РАН;. № 17)

83. Горбань А.Н., Сенашова М.Ю. Погрешности в нейронных сетях / Вычислительный центр СО РАН в г. Красноярске,- Красноярск, 1997,- 38 е.: Библ. 8 назв. (Рукопись деп. в ВИНИТИ 25.07.97, № 2509-В97)

84. Горбань А.Н., Фриденберг В.И. Новая игрушка человечества // МИР ПК,-1993,- № 9,- С.111-113.

85. Гордиенко П.В. Стратегии контрастирования // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского семинара,- Красноярск, 1997.-С.69.

86. Грановская P.M., Березная И.Я. Интуиция и искусственный интеллект,-Л.: ЛГУ, 1991,- 272 с.

87. Гутчин И.Б., Кузичев A.C. Бионика и надежность.- М.: Наука, 1967,- 283 с.

88. Демиденко Е.З. Линейная и нелинейная регрессия,- М.: Финансы и статистика, 1981.-302 с.

89. Деннис Дж. мл., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений,- М.: Мир, 1988,- 440 с.

90. Дертоузос М. Пороговая логика,- М.: Мир, 1967.- 258 с.

91. Джордж Ф. Мозг как вычислительная машина,- М.: Изд-во иностр. лит., 1963,- 528 с.

92. Дискусия о нейрокомпьютерах / Под ред. В.И.Крюкова.- Пущино: Изд-во ЦБИ, 1988,- 197 с.

93. Дорофеюк A.A. Алгоритмы автоматической классификации (обзор) // Автоматика и телемеханика,- 1971,-№ 12,- С.78-113.

94. Доррер М.Г., Горбань А.Н., Копытов А.Г., Зенкин В.И. Психологическая интуиция нейронных сетей // Нейроинформатика и ее приложения: Материалы III Всероссийского семинара, 6-8 октября 1995 г., часть 1,- Красноярск, 1995,- С.114-127.

95. Дуда Р., Харт П. Распознавание образов и анализ сцен,- М.: Мир, 1976,512 с.

96. Дунин-Барковский В.Л. Информационные процессы в нейронных структурах,- М.: Наука, 1978,- 254 с.

97. Дунин-Барковский В.JI. Нейрокибернетика, нейроинформатика, нейрокомпьютеры // Нейроинформатика,- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- С.5-17.

98. Дунин-Барковский B.J1. Нейронные схемы ассоциативной памяти // Моделирование возбудимых структур,- Пущино, 1975,- С.90-141.

99. Дюк В.А. Компьютерная психодиагностика.- Санкт-Петербург: Братство, 1994.-364 с.

100. Ермаков C.B., Мышов К.Д., Охонин В.А. К вопросу о математическом моделировании базового принципа мышления человека,- Красноярск, 1992,- 36 с. (Препринт / ИБФ СО РАН; № 173Б)

101. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики,- М.: Наука, 1978,- вып. 33.-С.5-68.

102. Загоруйко Н.Г. Методы распознавания и их применение,- М.: Сов. радио, 1972.-206 с.

103. Загоруйко Н.Г., Елкина В.Н., Лбов Г.С. Алгоритмы обнаружения эмпирических закономерностей,- Новосибирск: Наука, 1985,- 110 с.

104. Захарова Л.Б., Полонская М.Г., Савченко A.A. и др. Оценка антропологического напряжения пришлого населения промышленной зоны Заполярья (биологический аспект).- Красноярск, 1989,- 52 с. (Препринт / ИБФ СО РАН; № 11 ОБ)

105. Захарова Л.М., Киселева Н.Е. Мучник И.Б., Петровский A.M., Сверчин-ская Р.Б. Анализ развития гипертонической болезни по эмпирическим данным // Автоматика и телемеханика,- 1977,- № 9,- С. 114-122.

106. Ивахненко А.Г. Персептроны. Киев: Наукова думка, 1974,- 378 с.

107. Ивахненко А.Г. Самообучающиеся системы распознавания и автоматического регулирования,- Киев: Техника, 1969,- 392 с.

108. Искусственный интеллект: В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник / под ред. Э.В.Попова.- М.: Радио и связь, 1990,-464 с.

109. Искусственный интеллект: В 3-х кн. Кн. 2. Модели и методы: Справочник / под ред. Д.А. Поспелова,- М.: Радио и связь, 1990,- 304 с.

110. Итоги науки и техники. Сер. «Физ. и Матем. модели нейронных сетей» / Под ред. А.А.Веденова. М.: Изд-во ВИНИТИ, 1990-92 - Т. 1-5.

111. Кендалл М., Стьюарт А. Статистические выводы и связи,- М.: Наука, 1973,- 900 с.

112. Кирдин А.Н., Новоходько А.Ю., Царегородцев В.Г. Скрытые параметры и транспонированная регрессия // Нейроинформатика,- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- С.247-263.

113. Кохонен Т. Ассоциативная память. М.: Мир, 1980,- 384 с.

114. Кохонен Т. Ассоциативные запоминающие устройства. М.: Мир, 1982. 468 с.

115. Коченов Д.А., Миркес Е.М. Определение чувствительности нейросети к изменению входных сигналов // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара,- Красноярск, 1995,- С.61

116. Коченов Д.А., Миркес Е.М. Синтез управляющих воздействий // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара,-Красноярск, 1995.-С.31

117. Коченов Д.А., Миркес Е.М., Россиев Д.А. Метод подстройки параметров примера для получения требуемого ответа нейросети // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского семинара.- Красноярск, 1994,- С.39.

118. Коченов Д.А., Россиев Д.А. Аппроксимация функций класса Са,Ь. нейросетевыми предикторами // Нейроинформатика и нейрокомпьютеры: Тез. докл. рабочего семинара, Красноярск, 8-11 октября 1993 г., Красноярск,- 1993,-С.13.

119. Крайзмер Л.П., Матюхин С.А., Майоркин С.Г. Память кибернетических систем (Основы мнемологии).- М.: Сов. радио, 1971,- 389 с.

120. Куссуль Э.М., Байдык Т.Н. Разработка архитектуры нейроподобной сети для распознавания формы объектов на изображении // Автоматика.- 1990.-№5,- С. 56-61.

121. Кушаковский М.С. Аритмии сердца.- Санкт-Петербург: Гиппократ, 1992.544 с.

122. Лбов Г.С. Методы обработки разнотипных экспериментальных данных,-Новосибирск: Наука, 1981,- 157 с.

123. Логовский A.C., Якушев Д.Ж. Нейропакеты: что, где, зачем // Зарубежная радиоэлектроника,- 1997,- № 2,- С. 35-41.

124. Логовский A.C. Зарубежные нейропакеты: современное состояние и сравнительные характеристики // Нейрокомпьютер.- 1998,- № 1, 2,- С. 44-53.

125. Лоули Д., Максвелл А. Факторный анализ как статистический метод,- М.: Мир, 1967.- 144 с.

126. Мазуров В.Д. Метод комитетов в задачах оптимизации и классификации.-М.: Наука, Гл. ред. физ.-мат. лит., 1990,- 248 с.

127. МакКаллок У.С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейрокомпьютер,- 1992,- № 3, 4,- С. 40-53.

128. Масалович А.И. От нейрона к нейрокомпьютеру // Журнал доктора Доб-ба,- 1992,-№ 1.- С.20-24.

129. Минский М., Пайперт С. Персептроны. М.: Мир, 1971.- 208с.

130. Миркес Е.М. Глобальные и локальные оценки для сетей двойственного функционирования // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара,- Красноярск, 1995,- С.76-77

131. Миркес Е.М. Использование весов примеров при обучении нейронных сетей // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара.- Красноярск, 1995,- С.75

132. Миркес Е.М. Логически прозрачные нейронные сети и производство явных знаний из данных // Нейроинформатика,- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- С. 283-292

133. Миркес Е.М. Нейроинформатика и другие науки // Вестник КГТУ, 1996,-вып. 6,- С.5-33.

134. Миркес Е.М. Нейрокомпьютер. Проект стандарта,- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- 337 с.

135. Миркес Е.М. Нейронные сети ассоциативной памяти // Нейроинформатика,- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- С. 264-282.

136. Миркес Е.М. Обучение сетей с пороговыми нейронами // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара,- Красноярск, 1995,- С.72

137. Миркес Е.М. Оценки и интерпретаторы ответа для сетей двойственного функционирования // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара.- Красноярск, 1995.- С.73-74

138. Миркес Е.М., Свитин А.П. Применение метода ассоциативных сетей для прогнозирования переносов заряда при адсорбции молекул. // Эволюционное моделирование и кинетика,- Новосибирск: Наука, 1992,- С.30-35.

139. Миркес Е.М., Свитин А.П., Фет А.И. Массовые формулы для атомов. // Математическое моделирование в химии и биологии. Новые подходы,-Новосибирск : Наука, 1992,- С. 199-204.

140. Миркин Б.Г. Анализ качественных признаков и структур,- М.: Статистика, 1980,- 319 с.

141. Мкртчян С.О. Проектирование логических устройств ЭВМ на нейронных элементах. М.: Энергия, 1977,- 482 с.

142. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия,- М.: Финансы и статистика, 1982,- 239 с.

143. Муллат И.Э. Экстремальные подсистемы монотонных систем. I, II, III // Автоматика и телемеханика,- 1976,- № 5,- С. 130-139; 1976,- № 8,- С. 169178; 1977,-№ 1.-С. 143-152.

144. Мучник И.Б. Анализ структуры экспериментальных графов // Автоматика и телемеханика,- 1974,- № 9,- С. 62-80.

145. Мызников A.B., Россиев Д.А., Лохман В.Ф. Нейросетевая экспертная система для оптимизации лечения облитерирующего тромбангиита и прогнозирования его непосредственных исходов // Ангиология и сосудистая хирургия,- 1995,-N2,- С.100.

146. Мызников A.B., Россиев Д.А., Лохман В.Ф. Прогнозирование непосредственных результатов лечения облитерирующего тромбангиита с помощью нейронных сетей.// Молодые ученые практическому здравоохранению. -Красноярск, 1994,- С.42.

147. Назаров Б.В. Прогностические аспекты некоторых нарушений ритма и проводимости при остром инфаркте миокарда: Автореф. дис. канд. мед. наук. / Новосибирск, 1982,- 22 с.

148. Назимова Д.И., Новоходько А.Ю., Царегородцев В.Г. Нейросетевые методы обработки информации в задаче восстановления климатических данных // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского семинара.- Красноярск, 1997,- С.124.

149. Народов A.A., Россиев Д.А., Захматов И.Г. Оценка компенсаторных возможностей головного мозга при его органических поражениях с помощью искусственных нейронных сетей // Молодые ученые практическому здравоохранению,- Красноярск, 1994,- С.30.

150. Научное открытие в России. // Красноярский комсомолец (газета).-Красноярск, 1992,- № 86.

151. Нейроинформатика / А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин, Е.М.Миркес, А.Ю.Новоходько, Д.А.Россиев, С.А.Терехов, М.Ю.Сенашова, В.Г.Царегородцев,- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- 296 С.

152. Нейропрограммы. Учебное пособие. В 2 ч. / Л.В.Гилева, С.Е.Гилев, А.Н.Горбань, П.В.Гордиенко, Д.И.Еремин, Д.А.Коченов, Е.М.Миркес, Д.А.Россиев, Н.А.Умнов Красноярск: Красноярский государственный технический университет, 1994 - 260 с.

153. Николаев П.П. Методы представления формы объектов в задаче константного зрительного восприятия // Интеллектуальные процессы и их моделирование. Пространственно-временная организация,- М.: Наука, 1991,- С.146-173.

154. Николаев П.П. Трихроматическая модель констант восприятия окраски объектов // Сенсорные системы. 1990,- Т.4, Вып. 4,- С.421-442.

155. Нильсен Н. Обучающиеся машины. М.: Мир, 1967,- 506 с.

156. Новоходько А.Ю., Царегородцев В.Г. Нейросетевое решение транспонированной задачи линейной регрессии // Математика, компьютер, образо-вание:Тез. докл. четвертой международной конференции,- Москва, 1997. С.175.

157. Охонин В.А. Вариационный принцип в теории адаптивных сетей,- Красноярск, 1987,- 18 с. (Препринт / ИФ СО АН СССР; № 61Б)

158. Парин В.В., Баевский P.M. Медицина и техника,- М.: Знание, 1968,- С.36-49.

159. Переверзев-Орлов B.C. Советчик специалиста. Опыт разработки партнерской системы,- М.: Наука, 1990,- 133 с.

160. Петров А.П. Аксиоматика игры «в прятки» и генезис зрительного пространства // Интеллектуальные процессы и их моделирование. Пространственно-временная организация,- М.: Наука, 1991.- С. 174-182.

161. Питенко A.A. Нейросетевой анализ в геоинформационных системах: Автореф. дисс. канд. тех. наук / Красноярск, КГТУ, 2000,- 20 с.

162. Питенко A.A. Нейросетевое восполнение пробелов данных в ГИС // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского семинара.-Красноярск, 1997.-С.140.

163. Позин И.В. Моделирование нейронных структур. М.: Наука, 1970,- 368с.

164. Пшеничный Б.Н., Данилин Ю.М. Численные методы в экстремальных задачах,- М.: Наука, 1975,- 319 с.

165. Распознавание образов и медицинская диагностика / под ред. Ю.М. Ней-марка,- М.: Наука, 1972,- 328 с.

166. Розенблатт Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга.- М.: Мир, 1965,- 480 с.

167. Россиев A.A. Итерационное моделирование данных с помощью многообразий малой размерности: Автореф. дисс. канд. физ.-мат. наук / Красноярск, КГТУ, 2000,- 20 с.

168. Россиев A.A. Генератор 0-таблиц в среде WINDOWS-95 // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского семинара,- Красноярск, 1997.-С.151.

169. Россиев Д.А. Медицинская нейроинформатика // Нейроинформатика Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.

170. Россиев Д.А. Нейросетевые самообучающиеся экспертные системы в медицине // Молодые ученые практическому здравоохранению.- Красноярск, 1994,- С. 17.

171. Россиев Д.А., Бутакова Е.В. Ранняя диагностика злокачественных опухолей сосудистой оболочки глаза с использованием нейронных сетей // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского семинара,- Красноярск, 1994,- С.44.

172. Россиев Д.А., Винник Н.Г. Предсказание «удачности» предстоящего брака нейросетевыми экспертами // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского семинара,- Красноярск, 1994,- С.45.

173. Россиев Д.А., Гилев С.Е., Коченов Д.А. МиШИеигоп, Версии 2.0 и 3.0 // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара." Красноярск, 1995,- С. 14

174. Россиев Д.А., Головенкин С.Е. Прогнозирование осложнений инфаркта миокарда с помощью нейронных сетей // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского семинара,- Красноярск, 1994,- С.40.

175. Россиев Д.А., Коченов Д.А. Пакет программ «MultiNeuron» -«Configurator» «Tester» для конструирования нейросетевых приложений // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского семинара.-Красноярск, 1994,-С.30.

176. Россиев Д.А., Мызников А.В. Прогнозирование непосредственных результатов лечения облитерирующего тромбангиита с помощью нейронных сетей // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского семинара,- Красноярск, 1994,- С.41.

177. Россиев Д.А., Суханова Н.В., Швецкий А.Г. Нейросетевая система дифференциальной диагностики заболеваний, прояляющихся синдромом «острого живота» // Нейроинформатика и ее приложения: Тез. докл. 2 Всероссийского семинара,- Красноярск, 1994,- С.43.

178. Сенашова М.Ю. Метод обратного распространения точности с учетом независимости погрешностей сигналов сети // Тез. конф. молодых ученых Красноярского научного центра,- Красноярск, 1996,- С.96-97.

179. Сенашова М.Ю. Метод обратного распространения точности. // Нейроинформатика и ее приложения: Тез. докл. 4 Всероссийского семинара,-Красноярск, 1996,- С.47

180. Сенашова М.Ю. Погрешности в нейронных сетях // Нейроинформатика.-Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- С.212-246.

181. Сенашова М.Ю. Упрощение нейронных сетей: приближение значений весов синапсов при помощи цепных дробей / Вычислительный центр СО

182. РАН в г. Красноярске,- Красноярск, 1997,- 11 е.: Библ. 6 назв. (Деп. в ВИНИТИ 25.07.97, № 2510-В97)

183. Сенашова. М.Ю. Упрощение нейронных сетей. Использование цепных дробей для приближения весов синапсов. // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского семинара,- Красноярск, 1997.-С.165-166.

184. Соколов E.H., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989. 238 с.

185. Степанян A.A., Архангельский C.B. Построение логических схем на пороговых элементах,- Куйбышев: Куйбышевское книжн. изд-во, 1967,- 348 с.

186. Судариков В.А. Исследование адаптивных нейросетевых алгоритмов решения задач линейной алгебры // Нейрокомпьютер,- 1992,- № 3,4,- С. 1320.

187. Тарасов К.Е., Беликов В.К., Фролова А.И. Логика и семиотика диагноза (методологические проблемы).- М.: Медицина, 1989,- 272 с.

188. Терехов С.А. Нейросетевые информационные модели сложных инженерных систем // Нейроинформатика,- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998,- С.101-136.

189. Транспьютерные и нейронные ЭВМ. / Под ред. В.К.Левина и А.И.Галушкина.- М.: Российский Дом знаний, 1992. 456 с.

190. Уидроу Б., Стирнз С. Адаптивная обработка сигналов,- М.: Мир, 1989,440 с.

191. Уоссермен Ф. Нейрокомпьютерная техника.- М.: Мир, 1992,- 463 с.

192. Федотов Н.Г. Методы стохастической геометрии в распознавании образов. М.: Радио и связь, 1990,- 144 с.

193. Фор А. Восприятие и распознавание образов,- М.: Машиностроение, 1989,-272 с.

194. Фролов A.A., Муравьев И.П. Информационные характеристики нейронных сетей. М.: Наука, 1988,- 254 с.231232233234235236237238239,240.241.242.243.244.

195. Фролов A.A., Муравьев И.П. Нейронные модели ассоциативной памяти." М.: Наука, 1987,- 160 с.

196. Фу К. Структурные методы в распознавании образов,- М.: Мир, 1977,- 320 с.

197. Фукунга К. Введение в статистическую теорию распознавания образов.-М.: Наука, 1979.- 367 с.

198. Хартман Г. Современный факторный анализ,- М.:Статистика, 1972,- 486с. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир, 1975.- 534 с.

199. Царегородцев В.Г. Транспонированная линейная регрессия для интерполяции свойств химических элементов // Нейроинформатика и ее приложения: Тез. докл. 5 Всероссийского семинара,- Красноярск, 1997,- С.177-178.

200. Цыганков В.Д. Нейрокопьютер и его применение,- М.: «Сол Систем», 1993.- 358 с.

201. Цыпкин Я.З. Основы теории обучающихся систем. М.: Наука, 1970. 252 с. Шварц Э., Трис Д. Программы, умеющие думать // Бизнес Уик,- 1992,-N.6.- С.15-18.

202. Alexander S. Th. Adaptive Signal Processing. Theory and Applications. -Springer, 1986,- 179 p.

203. Allen J., Murray A. Development of a neural network screening aid for diagnosing lower limb peripheral vascular disease from photoelectric plethysmography pulse waveforms // Physiol. Meas.- 1993,- V.14, № 1.- P.13-22.

204. Amari Sh., Maginu K. Statistical Neurodynamics of Associative Memory // Neural Networks.- 1988,- V.l, № 1,- P.63-74.

205. Arbib M.A. Brains, Machines and Mathematics.- Springer, 1987,- 202 p.

206. Astion M.L., Wener M.H., Thomas R.G., Himder G.G., Bloch D.A. Application of neural networks to the classification of giant cell arteritis // Arthritis Reum.-1994,- V.37, № 5,- P.760-770.

207. Aynsley M., Hofland A., Morris A.J. et al. Artificial intelligence and the supervision of bioprocesses (real-time knowledge-based systems and neural networks) // Adv. Biochem. Eng. Biotechnol.- 1993,- № 48,- P. 1-27.

208. Baba N. New Topics in Learning Automate Theory and Applications.- Springer, 1985,- 131 p.

209. Barschdorff D., Ester S., Dorsel T et al. Phonographic diagnostic aid in heart defects using neural networks // Biomed. Tech. Berlin.- 1990,- V.35, № 11,-P.271-279.

210. Bartsev S.I., Okhonin V.A. Optimization and Monitoring Needs: Possible Mechanisms of Control of Ecological Systems // Nanobiology.- 1993, V.2.-P.165-172.

211. Bartsev S.I., Okhonin V.A. Self-learning neural networks playing «Two coins»// Proc. of International Workshop «Neurocomputers and attention II».-Manchester, 1991,- P.453-458.

212. Bartsev S.I., Okhonin V.A. The algorithm of dual functioning (back-propagation): general approuch, versions and applications.- Krasnoyarsk, 1989,16 p. (Preprint/ Biophysics Institute SB AS USSR; № 107B)

213. Bartsev S.I., Okhonin V.A. Variation principle and algorithm of dual functioning: examples and applications // Proc. of International Workshop «Neurocomputers and attention II».- Manchester, 1991,- P.445-452.

214. Baxt W.G. A neural network trained to identify the presence of myocardial infarction bases some decisions on clinical associations that differ from accepted clinical teaching//Med. Decis. Making.- 1994,- V.14, № 3,- P.217-222.

215. Baxt W.G. Analysis of the clinical variables driving decision in an artificial neural network trained to identify the presence of myocardial infarction // Ann. Emerg. Med.- 1992,- V.21, № 12,- P.1439-1444.

216. Baxt W.G. Complexity, chaos and human physiology: the justification for nonlinear neural computational analysis // Cancer Lett.- 1994,- V.77, № 2-3,- P.85-93.

217. Baxt W.G. Use of an artificial neural network for the diagnosis of myocardial infarction // Ann. Intern. Med.-1991,- V.l 15, № 11,- P.843-848.

218. Brack J., Goodman J. W. On the power of neural networks for solving hard problems //J. Complex.- 1990,- 6, № 2,- P.129-135.

219. Budilova E.V., Teriokhin A.T. Endocrine networks // The RNNS/IEEE Symposium on Neuroinformatics and Neurocomputers, Rostov-on-Don, Russia, October 7-10, 1992,- Rostov-on-Don, 1992,- V.2.- P.729-737.

220. Carpenter G.A., Grossberg S. A Massivly Parallel Architecture for a Self-Organizing Neural Pattern Recognition Machine // Computer Vision, Graphics, and Image Processing, 1987. V.37.- P. 54-115.

221. Connectionism in Perspective / Ed. by R. Pfeifer, Z. Schreter, F.Fogelman-Soulie and L. Steels.- North-Holland, 1989,- 518 p.

222. Cybenko G. Approximation by superposition of a sigmoidal function // Mathematics of Control, Signals, and Systems.- 1989,- V.2.- P.303 314.

223. Diday E., Simon J.C. Clustering analysis, (dans Digital Pattern Recognition) / RedacteurK.S.F.U.- Berlin: Springer Verlag, 1980,-P.47-93.

224. Disordered Systems and biological Organization / Ed. by Bienenstock F., Fogelman-Soulie G. Weisbuch: Springer, 1986,- 405 p.

225. Dorrer M.G., Gorban A.N., Kopytov A.G., Zenkin V.I. Psychological intuition of neural networks // Proceedings of the WCNN'95 (World Congress on Neural Networks'95).- Washington DC, 1995,- P.193-196.

226. Dorrer M.G., Gorban A.N., Zenkin V.I. Neural networks in psychology: classical explicit diagnoses // Neuroinformatics and Neurocomputers: Proceedings of the second RNNS-IEEE Simposium.- Rostov-on-Don, 1995,-P.281-284.

227. Draper N. R. Applied regression analysis bibliographi update 1988-89 // Commun. Statist. Theory and Meth.- 1990,- V.19, № 4,- P.1205-1229.

228. Ercal F., Chawla A., Stoeker W.V. et al. Neural network diagnosis of malignant melanoma from color images // IEEE Trans. Biomed. Eng.- 1994,- V.41, № 9,-P.837-845.

229. Ferretti C., Mauri G. NNET: some tools for neural Networks simulation // 9th Annu. Int. Phoenix Conf. Comput. and Commun., Scottsdate, Ariz., March 2123, 1990,- Los Alamitos, 1990,- P.38-43.

230. Filho E.C.D.B.C., Fairhurst M.C., Bisset D.L. Adaptive pattern recognition using goal seeking neurons // Pattern Recogn. Lett.- 1991,- 12, № 3,- P.131-138.

231. Floyd C.E.Jr., Lo J.Y., Yun A.J. et al. Prediction of breast cancer malignancy using an artificial neural network // Cancer.- 1994,- V.74, №11,- P.2944-2948.

232. Forbes A.B., Mansfield A.J. Neural implementation of a method for solving systems of linear algebraic equations // Nat. Phys. Lab. Div. Inf. Technol. and Comput. Rept.- 1989,-№ 155,- P.l-14.

233. Fu H.C., Shann J.J. A fuzzy neural network for knowledge learning // Int. J. Neural Syst.- 1994,- V.5, № 1,- P.13-22.

234. Fukushima K. Neocognitron: A self-organizing Neural Network model for a Mechanism of Pattern Recognition uneffected by shift in position // Biological Cybernetics.- 1980,- V. 36, № 4,- P.193-202.

235. Fulcher J. Neural networks: promise for the future? // Future Generat. Comput. Syst.- 1990-1991,- V.6, № 4,- P.351-354.

236. Gallant A.R., White H. There exist a neural network that does not make avoidable mistakes // IEEE Second International Coferense on Neural Networks.- San Diego, CA.- 1988,- V. 1,- P.657-664.

237. Gecseg F. Products of Automata.- Springer, 1986,- 107 p.

238. Gemignani M. C. Liability for malfunction of an expert system // IEEE Conf. Manag. Expert Syst. Program and Proj., Bethesda, Md. Sept. 10-12, 1990: Proc.- Los Alamitos (Calif.), 1990,- P.8-15.

239. Genis C. T. Relaxation and neural learning: points of convergence and divergence // J. Parallel and Distrib. Comput.- 1989,- 6, № 2,- P.217-244.

240. George N., Wang hen-ge, Venable D.L. Pattern recognition using the ring-wedge detector and neural-network software // Proc. Soc. Photo-Opt. Instrum. Eng.- 1989,- P.96-106.

241. Gilev S.E. A non-back-propagation method for obtaining the gradients of estimate function // Advances in Modelling & Analysis.- AMSE Press, 1995,-V.29, № 1,- P.51-57.

242. Gilev S.E., Gorban A.N. On Completeness of the Class of Functions Computable by Neural Networks // Proc. of the World Congress on Neural Networks, Sept. 15-18, 1996, San Diego, CA, Lawrence Erlbaum Associates.-San Diego, 1996,-P.984-991.

243. Gilev S.E., Gorban A.N., Mirkes E.M. Internal Conflicts in Neural Networks // Transactions of IEEE-RNNS Simposium (Rostov-on-Don, September 1992). V.l. P.219-226.

244. Gilev S.E., Gorban A.N., Mirkes E.M. Several Methods for Accelerating the Traning Process of Neural Networks in Pattern Recognition // Advances in Modelling & Analysis .- AMSE Press, 1992,- V.l2, № 4,- P.29-53.

245. Gilev S.E., Gorban A.N., Mirkes E.M. Small Experts and Internal Conflicts in Leanable Neural Networks // Advances in Modelling & Analysis .- AMSE Press, 1992,- V.24, № 1,- P.45-50.

246. Gileva L.V., Gilev S.E. Neural Networks for binary classification// AMSE Transaction, Scientific Siberian, 1993, V.6: Neurocomputing.- P.135-167.

247. Gindi G.R., Darken C.J., O'Brien K.M. et al. Neural network and conventional classifiers for fluorescence-guided laser angioplasty // IEEE Trans. Biomed. Eng.-1991,- V.38, № 3,- P.246-252.

248. Gluck M.A., Parker D.B., Reifsnider E.S. Some Biological Implications of a Differential-Hebbian Learning Rule // Psychobiology.- 1988,- V.16, № 3,- P. 298-302.

249. Golub D.N. and Gorban A.N. Multi-Particle Networks for Associative Memory // Proc. of the World Congress on Neural Networks, Sept. 15-18, 1996, San Diego, CA, 1996,- P.772-775.

250. Gorban A.N. Neurocomputing in Siberia // Advances in Modelling & Analysis.-AMSE Press.- 1992,- V.34(2).- P.21-28.

251. Gorban A.N., Mirkes Ye.M. and Wunsch D.C. II High order ortogonal tensor networks: Information capacity and reliability // ICNN97 (The 1997 IEEE International Conference on Neural Networks), Houston, 1997,- P. 1311-1314.

252. Gorban A.N., Mirkes Ye.M. Functional Components of Neurocomputer // Математика, компьютер, образование: Тр. третьей международной конференции,- М., 1996,- С.352-359.

253. Gorban A.N., Mirkes Ye.M. Functional components of neurocomputer // Mathematics, computer, education: Abstracts of 3-d International conference.-Dubna, 1996,-p. 160.

254. Gorban A.N., Novokhodko A.Yu. Neural Networks In Transposed Regression Problem // Proc. of the World Congress on Neural Networks, Sept. 15-18, 1996,- San Diego, CA, 1996/- P.515-522.

255. Gorban A.N., Rossiev D.A., Gilev S.E. et al. "NeuroComp" group: neural-networks software and its application.- Krasnoyarsk, 1995,- 38 p. (Preprint / Russian Academy of Sciences, Krasnoyarsk Computing Center; № 8)

256. Gorban A.N., Waxman C. How many neurons are sufficient to elect the U.S.A. President?//AMSE Transaction, Scientific Siberian.- 1993,- V. 6,- P.168-188.

257. Gorban A.N., Waxman C. Neural networks for political forecast // Proceedings of the WCNN'95.- Washington DC, 1995,- P.179-184.

258. Gordienko P. Construction of efficient neural networks // Proceedings of the International Conference on Neural Information Processing (Oct. 17-20, 1994, Seoul, Korea).- V.I.- P.366-371.

259. Gordienko P. How to obtain a maximum of skills with minimum numbers of connections // AMSE Transaction, Scientific Siberian, 1993,- V.6.- P.204-208.

260. Gross G.W., Boone J.M., Greco-Hunt V. et al. Neural networks in radiologic diagnosis. II. Interpretation of neonatal chest radiographs // Invest. Radiol.-1990,- V.25, № 9,- P.1017-1023.

261. Grossberg S. Nonlinear Neural Networks: Principles, Mechanism and Architectures// Neural Networks.- 1988,- V. l, № 1.- P. 17-62.

262. Guo Z., Durand L.G., Lee H.C. et al. Artificial neural networks in computerassisted classification of heart sounds in patients with porcine bioprosthetic valves // Med. Biol. Eng. Comput.- 1994,- V.32, № 3,- P.311-316.

263. Hecht-Nielsen R. Neurocomputing.- Addison-Wesley, 1990,- 458 p.

264. Hecht-Nielsen R. Neurocomputing: Picking the Human Brain / IEEE Spectrum, 1988,-March.- P.36-41.

265. Heht-Nielsen R. Theory of the backpropagation neural network // Neural Networks for Human and Mashine Perception / By ed. H.Wechsler.- Boston, MA: Academic Press, 1992,- V.2.- P.65-93.

266. Hod H., Lew A.S., Keltai M. et al. Early atrial fibrillation during evolving myocardial infarction: a consequence of impaired left atrial perfusion // Circulation, 1987.- V.75, № 1,- P. 146-150.

267. Hoher M., Kestler H.A., Palm G. et al. Neural network based QRS classification of the signal averaged electrocardiogram // Eur. Heart J.- 1994,- V.15.-Abstr. Supplement Xll-th World Congress Cardiology (734).- P.l 14.

268. Hopfield J.J. Neural Networks and physical systems with emergent collective computational abilities // Proc. Nat. Sci. USA, 1982,- V.79.- P.2554-2558.

269. Hornik K., Stinchcombe M., White H. Multilayer Feedforward Networks are Universal Approximators // Neural Networks.- 1989,- V.2.- P.359-366.

270. Jeffries С. Code recognition with neural network dynamical systems // SIAM Rev.- 1990,- V.32, № 4,- P.636-651.

271. Kalman R.E. A theory for the identification of linear relations // Frontiers Pure and Appl. Math.: Collect. Pap. Dedicat. Jacques-Louis Lions Occas. His 60th Birthday: Sci. Meet., Paris, 6-10 June, 1988.- Amsterdam, 1991,- P. 117-132.

272. Keller J.M., Yager R.R., Tahani H. Neural network implementation of fuzzy logic // Fuzzy Sets and Syst.- 1992,- V.45, № 1,- P.l-12.

273. Kirdin A.N., Rossiev D.A., Dorrer M.G. Neural Networks Simulator for Medical, Physiological and Psychological Applications // Математика, компьютер, образование: Тр. третьей международной конференции,- М., 1996.-С.360-367.

274. Kirdin A.N., Rossiev D.A. Neural-networks simulator for medical and physiological applications // Mathematics, computer, education: Abstracts of 3-d International conference.- Dubna, 1996,- P. 162.

275. Kochenov D.A., Rossiev D.A. Approximations of functions of CA,B. class by neural-net predictors (architectures and results)// AMSE Transaction, Scientific Siberian, 1993,- V.6.- P. 189-203.

276. Kock, G., Serbedzija, N.B. Artificial Neural Networks: From Compact Descriptions to С++ // ICANN'94: Proc. of the Int. Conf. on Artificial Neural Networks, 1994.-P.548.

277. Kock, G., Serbedzija, N.B. Object-Oriented and Functional Concepts in Artificial Neural Network Modeling // Proc. Int. Joint Conf. on Neural Networks.-Nagoya (Japan), 1993.-P.483.

278. Kock, G., Serbedzija, N.B. Specification of Artificial Neural Networks based on the modified AXON Model // Proc. World Congress on Neural Networks.-Portland, 1993,- V. I.- P.433-436.

279. Koopmans T. Serial correlation and quadratic forms in normal variates // Ann. Math. Statist.- 1942,- V. 13.-P.14-33.

280. Korver M., Lucas P.J. Converting a rule-based expert system into a belief network//Med. Inf. Lond.- 1993,- V.18, № 3.- P.219-241.

281. Kosko В. Bidirectional Associative Memories // IEEE Transactions on Systems, Man, and Cybernetics.- 1988,- V. SMC-18.- P.49-60.

282. Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage // Advances in Neural Information Processing Systems II (Denver 1989).- San Mateo, 1990,-P.598-605

283. Lee H.-L., Suzuki S., Adachi Y. et al. Fuzzy Theory in Traditional Chinese Pulse Diagnosis // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29,- Nagoya, 1993,- V.l.- P.774-777.

284. Levine D.S., Parks R.W., Prueitt P.S. Methodological and theoretical issues in neural network models of frontal cognitive functions // Int. J. Neurosci.- 1993.-V.72, № 3-4,- P.209-233.

285. Maclin P.S., Dempsey J. Using an artificial neural network to diagnose hepatic masses // J. Med. Syst.- 1992,- V.16, № 5,- P.215-225.

286. Macukow B. Robot control with neural networks // Artif. Intell. and Inf.-Contr. Syst. Rob.-89: Proc. 5th Int. Conf., Strbske Pleso, 6-10 Nov., 1989,-Amsterdam, 1989,-P.373-376.

287. Mirkes E.M., Svitin A.P. The usage of adaptive neural networks for catalytic activity predictions // CHISA 10th Int. Congr. of chem. eng., chem. equipment design and automation. Praha, 1990. Prepr. B3.80 1418. 7 p.

288. Modai I., Stoler M., Inbar-Saban N. et al. Clinical decisions for psychiatric inpatients and their evaluation by a trained neural network // Methods Inf. Med.-1993,- V.32, № 5,- P.396-399.

289. Modha D.S., Heht-Nielsen R. Multilayer Functionals // Mathematical Approaches to Neural Networks / By ed. J.G.Taylor.- Elsevier, 1993,- P.235-260.

290. Narendra K.S., Amnasway A.M. A stable Adaptive Systems.- Prentice-Hall, 1988,-350 p.

291. Neural Computers / Ed. by R. Eckmiller, Ch. Malsburg.- Springer, 1989,- 556 p.

292. Okamoto Y., Nakano H., Yoshikawa M. et al. Study on decision support system for the interpretation of laboratory data by an artificial neural network // Rinsho. Byori.- 1994,- V.42, № 2,- P.195-199.

293. Pedrycz W. Neurocomputations in relational systems // IEEE Trans. Pattern Anal, and Mach. Intell.- 1991,- V.13, № 3,- P.289-297.

294. Pham D.T., Liu X. Statespace identification of dynamic systems using neural networks // Eng. Appl. Artif. Intell.- 1990,- V.3, № 3,- P.198-203.

295. Pineda F.J. Recurrent bakpropagation and the dynamical approach to adaptive neural computation//Neural Comput.- 1989,- V.l.- P.161-172.

296. Poli R., Cagnoni S., Livi R. et al. A Neural Network Expert System for Diagnosing and Treating Hypertension // Computer.- 1991,- № 3,- P.64-71.

297. Prechelt L. Comparing Adaptive and Non-Adaptive Connection Pruning With Pure Early Stopping // Progress in Neural Information Processing (Hong Kong, September 24-27, 1996).- Springer, 1996,- V.l.- P.46-52.

298. Real Brains, Artificial Minds / Ed. by J.L. Casti, A. Karlqvist.- Norton-Holland, 1987.- 226 p.

299. Rinast E., Linder R., Weiss H.D. Neural network approach for computerassisted interpretation of ultrasound images of the gallbladder // Eur. J. Radiol.-1993,- V.17, № 3,- P.175-178.

300. Rossiev D.A., Golovenkin S.E., Shulman V.A., Matyushin G.V. The employment of neural networks to model implantation of pacemaker in patients with arrhythmias and heart blocks // Modelling, Measurument & Control, C.-1995,- V. 48, № 2,- P.39-46.

301. Rossiev D.A., Savchenko A.A., Borisov A.G., Kochenov D.A. The employment of neural-network classifier for diagnostics of different phases of immunodeficiency // Modelling, Measurement & Control.- 1994,- V.42, № 2,-P.55-63.

302. Rozenbojm J., Palladino E., Azevedo A.C. An expert clinical diagnosis system for the support of the primary consultation // Salud. Publica Mex.- 1993,- V.35, № 3,- P.321-325.

303. Rummelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors //Nature.- 1986,- V.323.- P.533-536.

304. Saaf L. A., Morris G. M. Filter synthesis using neural networks // Pap. Opt. Pattern Recogn. II: Proc. Meet., Paris, 26-27 Apr., 1989,- Proc. Soc. Photo-Opt. Instrum. Eng.- 1989,- V.1134.- P.12-16.

305. Sandberg I.W. Approximation for Nonlinear Functionals // IEEE Transactions on Circuits and Systems 1: Fundamental Theory and Applications, Jan.- 1992,-V.39, № 1,- P.65 67.

306. Savchenko A.A., Zakharova L.B., Rossiev D.A. The employment of neural networks for investigation & diagnostics of Viliuisk encephalomyelitis // Modelling, Measurement & Control, C.- 1995,- V.48, № 4,- P. 1-15.

307. Senashova M.Yu., Gorban A.N. and. Wunsch D.C. II. Back-propagation of accuracy // ICNN97 (The 1997 IEEE International Conference on Neural Networks).- Houston, 1997,- P. 1998-2001.

308. Senna A.L., Junior W.M., Carvallo M.L.B., Siqueira A.M. Neural Networks in Biological Taxonomy // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993,- Nagoya, 1993,- V.I.-P.33-36.

309. Stefanuk V.L. Expert systems and its applications // The lectures of Union's workshop on the main problems of artificial intillegence and intellectual systems. Part 2,- Minsk, 1990,- P.36-55.

310. Sussman H.J. Uniqueness of the weigts for minimal feedforward nets wits a given input output map // Neural Networks.- 1992.- № 5,- P.589-593.

311. Sweeney J.W.P., Musavi M.T., Guidi J.N. Probabilistic Neural Network as Chromosome Classifier // Proceedings of 1993 International Joint Conference on Neural Networks, Nagoya, Japan, October 25-29, 1993,- Nagoya, 1993.-V.I.- P.935-938.

312. Tabatabai A., Troudet T. P. A neural net based architecture for the segmentation of mixed gray-level and binary pictures // IEEE Trans. Circuits and Syst.- 1991,-V.31-38, № 1,- P.66-77.

313. Tao K.M., Morf M. A lattice filter type of neuron model for faster nonlinear processing // 23th Asilomar Conf. Signals, Syst. and Comput., Pasific Grove,

314. Calif. Oct. 30-Nov. 1, 1989: Conf. Rec. V. 1,- San Jose (Calif.), 1989 -P.123-127.

315. The Adaptive Brain / By ed. S. Grossberg.- North-Holland, 1987,- V.l. Cognition, Learning, Reforcement, and Rhythm. 498 p.; V.2. Vision, Speech, Language, and Motor Control. 514 p.

316. The Computer and the Brain. Perspectives of Human and Artificial Intelligence / By ed. J.R. Brine, C.R. Haden, C. Burava.- North-Holland, 1989,- 300 p.

317. Vakhrushev S.G., Rossiev D.A., Burenkov G.I., Toropova L.A. Neural network forecasting of optimal parameters of laserotherapy in patients after tonsillectomy // Proceedings of World Congress on Neural Networks.- 1995,- P.176-178.

318. Van Leeuwen J.L. Neural network simulations of the nervous system // Eur. J. Morphol.- 1990,- V.28, № 2-4,- P. 139-147.

319. Varela F.J., Coutinho A., Dupire B. et al. Cognitive networks: immune, neural and otherwise // Teoretical immunology / By ed. Perelson A.- Addison Wesley, 1988,-Part 2,- P.359-375.

320. Waxman C. Neurocomputers in the human sciences: program: predictions of US presidential elections// Modelling, Measurement & Control, D.- 1992,- V.5, № 1,- P.41-53

321. Weckert J. How expert can expert systems really be? // Libr. and Expert Syst.: Proc. Conf. and Workshop Centre Inf. Stud., Riverina, July, 1990,- London, 1991,-PP. 99-114.

322. Wiedemann J. On the computation efficiency of symmetric neural networks // Theor. Comput. Sci.-1991.- V.80, № 2,- P.337-345.

323. Wong K.Y.M., Kahn P.E., Sherrington D. A neural network model of working memory exhibiting primacy and recency // J. Phys. A.- 1991,- V.24, № 5,-P.1119-1133.