Универсальный нейросетевой ускоритель для решения задач искусственного интеллекта тема диссертации и автореферата по ВАК РФ 05.27.01, кандидат технических наук Борисов, Виктор Леонидович

• Борисов, Виктор Леонидович
• кандидат технических наук
• 1999

Оглавление диссертации кандидат технических наук Борисов, Виктор Леонидович

ВВЕДЕНИЕ.

ГЛАВА 1. НЕЙРОСЕТЕВЫЕ ПРИНЦИПЫ ВЫЧИСЛЕНИЙ И АНАЛИЗ ПУТЕЙ ИХ УСКОРЕНИЯ

1.1. физиология биологического нейрона.

1.1.1. Функция сенсорных рецепторов.

1.1.2. Кодирование сипы раздражителя частотой импульсов.

1.1.3. Функция синапсов.

1.2. Принципы работы искусственных нейронов.

1.2.1. Модель нейрона перцептронного типа.

1.2.2. Многослойные сети без обратных связей.

1.2.3. Ансамблевая структура мозга.

1.3. ускорение нейросетевых операций.

1.4. Анализ устройств для ускорения нейросетевых операций.

1.4.1. Количественный анализ.

1.4.2. Качественный анализ.:.

Выводы к главе 1.

ГЛАВА 2. МЕТОДИКИ ОПТИМИЗАЦИИ НЕЙРОУСКОРИТЕЛЕЙ ДЛЯ РЕШАЕМЫХ ЗАДАЧ.

2.1. Методика биоимитации нейросетей.

2.2. Методика быстрого проектирования специализированных нейросетевых процессоров.

2.2.1. Параметры программируемых логических интегральных схем для нейропроцессоров.

2.2.2. Методика разработки нейропроцессора.

2.2.3. Программирование архитектуры нейросетевых устройств. выводы к главе 2.

ГЛАВА 3. НОВЫЙ УНИВЕРСАЛЬНЫЙ ОПТОЭЛЕКТРОННЫЙ НЕЙРОУСКОРИТЕЛЬ.

3.1. Недостатки существующих ОНС.

3.2. Базовая структура нейрона с "замороженной" фотопроводимостью.

3.3. Анализ возможности реализации базовой структуры нейрона.

3.3.1. НС с волоконной оптикой.

3.3.2. ОНС с излучением в свободное пространство.

3.4. Математическая модель входного узла устройства для моделирования нейрона.

3.4.1. Математическая модель для частного случая.

3.4.2. Исследование математической модели численными методами.

3.5. ОНС на основе разработанного оптоэлектронного нейрона.

Выводы к главе 3.

ГЛАВА 4. НЕЙРОСЕТЕВАЯ СБИС.

4.1. Разработка библиотеки нейронов.

- 3

4.1.1. Использование особенностей ПЛИС Xilirn.

4.1.2. Способы реализации умножителей.

4.1.3. Создание нейронов.

4.1.4. Описание нейрона на основе параллельной арифметики.

4.1.5. Описание нейрона на основе умножителей на константу.

4.1.6. Описание нейрона на основе параллельной распределенной арифметики.

4.1.7. Описание нейрона на основе последовательной распределенной арифметики.

4.2. Оценка быстродействия разработанных нейропроцессоров.

4.2.1. Оценка скорости прямого распространения сигнала в НС.

4.2.2. Оценка скорости вычислений при смене весов.

4.2.3. Пути дальнейшего увеличения быстродействия.

4.2.4. Оценка отношения быстродействия к цене.

Выводы К ГЛАВЕ 4.

Введение диссертации (часть автореферата) на тему «Универсальный нейросетевой ускоритель для решения задач искусственного интеллекта»

Актуальность темы.

Повышение быстродействия СБИС имеет физический предел, поэтому дальнейшее увеличение производительности вычислений достижимо только за счет их распараллеливания. Современная технология микроэлектроники позволяет производить миниатюрные и относительно дешевые процессоры, что обеспечивает возможность создания многопроцессорных систем. Распараллеливание вычислений между максимальным числом одновременно работающих процессоров столкнулось с проблемой нелинейного (медленного) роста производительности при увеличении числа процессорных элементов. Это происходит из-за экспоненциального роста времени, затрачиваемого на обмены данными и командами между процессорами, а также между процессорами и памятью. Таким образом, не столько решаются старые проблемы, сколько создаются новые [1]. На пути параллельных вычислений выигрышную позицию занимают нейроструктуры, т.к. за счет простоты процессорных элементов обеспечивают большее отношение производительности к стоимости. Более того, вычислительная математика уходит от применения старых "однопроцессорных" к новым параллельным алгоритмами [2].

Основными направлениями современного развития нейрокомпьютерных технологий являются:

- обработка мультимедийной информации, в частности, распознавание образов (человеческих лиц, речи, рукописного текста, аэрофотоснимков, показаний медицинских датчиков и т.д.), синтез звука и изображений, обеспечение виртуальной реальности (игры, обучение, компьютерная кинематография и анимация);

- управление динамическими системами, например, управление наземным, воздушным, подводным, космическим транспортом, а также технологическими процессами промышленного производства;

- создание систем поддержки принятия решений и прогнозирования (управление финансовой деятельностью, ведение боя, универсальные экспертные системы).

Резко возросло число военных разработок, в основном направленных на создание сверхбыстрых вычислителей. Если говорить о главном перспективном направлении - интеллектуализации вычислительных систем, придании им свойств человеческого мышления и восприятия, то здесь нейрокомпьютеры - практически единственный путь развития вычислительной техники.

Некоторые из указанных задач искусственного интеллекта можно успешно решать с помощью программ, выполняемых на компьютере с фон-неймановской архитектурой. Однако для расширения круга решаемых задач и повышения скорости вычислений целесообразнее разрабатывать нейрокомпьютеры, чаще представляющие собой стандартную конфигурацию управляющей ЭВМ и сопроцессор-ускоритель, построенный таким образом, чтобы ускорять именно операции вычисления в нейронных сетях.

Сегодня разработками нейрокомпьютеров занимаются более 300 зарубежных компаний, среди которых такие гиганты, как Intel и IBM [3]. Однако, созданные к настоящему времени нейрокомпьютеры обладают все еще недостаточно большим для массового распространения показателем производительность/стоимость —1,6 MCPS (миллионов соединений в секунду) за 1 доллар США и обладают фиксированной архитектурой, что сужает круг решаемых ими задач.

Таким образом, актуальность темы диссертационной работы обусловлена необходимостью увеличения производительности и снижения стоимости систем ускорения нейросетевых операций, а также обеспечением гибкости аппаратно реализованной логики.

Цель и задачи исследования.

Целью диссертационной работы является разработка специализированной СБИС и практическая реализация на ее основе сопроцессора ЭВМ, обладающего высоким показателем производительность/стоимость (более 1,6MCPS за $1) и имеющего настраиваемую нейросетевую архитектуру.

В соответствии с целью диссертации поставлены и решены следующие задачи:

- разработка методики быстрого проектирования архитектуры СБИС нейросетевого ускорителя с гибкой логикой;

- создание перестраиваемой (управляемой) оптоэлектронной модели биологического нейрона на основе эффекта "замороженной" фотопроводимости;

- формирование библиотеки схемотехнических модулей, отражающих поведение нейронных сетей различных моделей;

- разработка платы расширения персонального компьютера, имеющей интерфейс обмена данными стандарта PCI 2.1 и максимальное число программируемых логических интегральных схем (ПЛИС), а также контроллера данной шины (PCI) на основе части конфигурируемых логических блоков (КЛБ) одной из установленных на плате ПЛИС и драйвера созданного устройства;

- создание макета заказной СБИС, реализующей специализированный нейросетевой сопроцессор при установке данной СБИС на разработанную плату расширения ЭВМ.

Методы исследования. В работе используются методы вычислительной математики, физика полупроводников, теория искусственных нейронных сетей, методы математического моделирования.

Научная новизна. Основные результаты диссертации, имеющие научную новизну, следующие:

- разработана методика быстрого проектирования на основе ПЛИС специализированных нейросетевых процессоров, использующих различные модели нейронных сетей, в том числе и гибридные, при размещении на одной плате расширения ЭВМ до четырех таких процессоров, которая снижает время создания оптимизированной схемы для решения конкретной задачи искусственного интеллекта;

- предложено аналоговое оптоэлектронное устройство на основе эффекта "замороженной" фотопроводимости для моделирования нейрона, созданные на основе которого нейронные сети отличаются самообучением, адаптацией обучения и реализацией функции забывания аналогичными биопрототипу, т.е. максимально приближены к мозгу, обеспечивая большее быстродействие; построена математическая модель нейрона, позволяющая численным моделированием оптимизировать параметры устройства;

- сформирована библиотека схемотехнических макромодулей нейронов, отличающихся способом реализации умножителей, что позволяет разработчику нейросетевого приложения увеличивать быстродействие за счет уменьшения числа параллельно работающих нейронов;

- создана цифровая специализированная СБИС, используемая в составе разработанной и изготовленной PCI-платы расширения персонального компьютера и реализующая нейросетевые принципы обработки информации.

Практическая ценность работы заключается в следующем:

- предложена оптоэлектронная конструкция нейрона, позволяющая проводить моделирование процессов мышления в мозге;

- разработана и изготовлена 6-слойная плата сопряжения ПЛИС с персональным компьютером, четвертого класса точности, имеющая высокоскоростной PCI-интерфейс (132Мбайт/с) и содержащая до 4-х ПЛИС фирмы Xilinx серии Spartan или XC4000XLA;

- сконструирован схемотехнический макромодуль контроллера шины интерфейса персонального компьютера спецификации PCI 2.1 на основе части конфигурируемых логических блоков (КЛБ) одной из установленных на плате ПЛИС, что снижает стоимость создаваемого аппаратного комплекса;

- написан драйвер созданного устройства для операционной системы Windows NT 4.0, позволяющий производить операции чтения и записи информации на низком уровне;

- создан программно-аппаратный комплекс, ускоряющий выполнение нейросетевых операций, отличающийся повышением соотношений производительность/цена (в 9 раз по сравнению с известными аналогами), а также возможностью быстрой реализации широкого круга нейропарадигм в едином аппаратном базисе, в том числе и методы предобработки изображений, звука и т.д.

Реализация результатов работы. Результаты работы внедрены в ЗАО "РЕЛЭКС" (Реляционные экспертные системы), что позволило проводить научно -технические разработки, направленные на поиск преступника в базе данных по его изображению в ходе работ по договору с Главным управлением по борьбе с организованной преступностью (ГУБОП) МВД РФ, использующим модифицированную информационно - аналитическую систему "Невод", разработанную согласно госбюджетной НИР "Исследование представления и анализа разнородной информации в виде семантической сети" в интересах Министерства науки и технологий Российской Федерации.

Основные положения и результаты, выносимые на защиту. На защиту выносятся:

- методика быстрого проектирования специализированных нейросетевых процессоров;

- аналоговое оптоэлектронное устройство для моделирования нейрона;

- библиотека схемотехнических макромодулей цифровых нейронов;

- цифровая специализированная СБИС для ускорения выполнения нейросетевых операций.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на ежегодных научных конференциях профессорско-преподавательского состава Воронежского государственного университета (Воронеж, 1995-1999), ежегодных межвузовских научно - технических конференциях "Микроэлектроника и информатика" (Москва, 1996, 1997, 1998), II и V Всероссийских конференциях "Нейрокомпьютеры и их применение" (Москва, 1996, 1999), международной конференции "Математическое моделирование систем: методы, приложения и средства" (Воронеж, 1998), Всероссийской конференции "Интеллектуальные информационные системы" (Воронеж, 1999), 7-м Всероссийском семинаре "Нейроинформатика и ее приложения".

Публикации. По материалам диссертации опубликовано 14 печатных работ.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав с выводами и заключения. Работа содержит 133 страницы, включая 48 рисунков, 14 таблиц, 1 приложение и список литературы из 89 наименований.

Заключение диссертации по теме «Твердотельная электроника, радиоэлектронные компоненты, микро- и нано- электроника на квантовых эффектах», Борисов, Виктор Леонидович

Выводы к главе 4

1. Разработана библиотека схемотехнических модулей для создания СБИС, ускоряющей нейросетевые операции, отличающихся способом реализации умножителей. Приведено описание каждой из четырех СБИС.

2. Проведена оценка отношения производительности к стоимости разработанной СБИС в составе платы сопряжения с ПК.

3. Разработанное устройство обладает в 9 раз большим отношением быстродействие/цена по сравнению с мировым лидером.

4. Дальнейшее увеличение производительности возможно при изготовлении заказной СБИС на основе разработанного макета, однако, такой путь сделает невозможным применение разработанной методики быстрого создания нейроускорителей. Другими направлениями увеличения производительности являются: применение более ёмких и быстрых серий ПЛИС, а также наращивание системы механическим добавлением параллельно работающих нейроускорителей.

Заключение

В работе решена задача разработки сопроцессора ЭВМ, обладающего высоким показателем производительность/стоимость и имеющего настраиваемую нейросетевую архитектуру; основные результаты диссертации состоят в следующем:

1) проведенный анализ проблемы аппаратной реализации нейронных сетей показал необходимость увеличения гибкости аппаратных решений с целью их настройки на решаемую задачу и повышения быстродействия нейросетевых ускорителей;

2) Предложенное аналоговое оптоэлектронное устройство для моделирования нейрона, использующее эффект "замороженной" проводимости и позволяющее создавать нейронные сети, максимально приближенные к человеческому мозгу, обладает высоким быстродействием и возможностью изменения параметров нейрона в широких пределах (А. з. на патент РФ №96105745/09 от 01.04.96);

3) Разработанная методика быстрого создания специализированных нейросетевых процессоров отличается возможностью варьирования применяемых нейросетевых моделей и позволяет:

- сократить время и затраты на разработку каждого нового специализированного нейропроцессора;

- аппаратно реализовывать любую известную модель нейронной сети и создавать новые;

- объединять нейросетевой алгоритм обработки с системой предобработки данных на одном кристалле или плате;

- использовать алгоритм нейровычислений, оптимизированный для решаемой задачи, а не для фиксированной аппаратной логики;

- исключить этап программной эмуляции НС на ПК из технологического процесса создания интеллектуальной системы;

- повысить производительность нейросетевой системы.

4) Представленная библиотека схемотехнических макромодулей задаёт логику поведения установленных на плате ПЛИС в виде нейронных сетей, отличающихся способом реализации умножителей, что позволяет находить

-125 компромисс между быстродействием и задействованными аппаратными ресурсами;

5) создана 6-слойная плата расширения персонального компьютера 4-го класса точности, имеющая интерфейс обмена данными стандарта PCI 2.1 и максимальное число программируемых логических интегральных схем (ПЛИС); разработан контроллер шины интерфейса персонального компьютера спецификации PCI 2.1 на основе части конфигурируемых логических блоков (КЛБ) одной из установленных на плате ПЛИС, что снижает стоимость аппаратного комплекса; написан драйвер созданного устройства;

6) Изготовлен опытный образец заказной СБИС, реализующей специализированный нейросетевой сопроцессор при установке данной СБИС на разработанную плату расширения ЭВМ, повышающий отношение производительность/стоимость в 9 раз относительно мирового лидера на текущий момент.

Список литературы диссертационного исследования кандидат технических наук Борисов, Виктор Леонидович, 1999 год

1. Оптические нейрокомпьютеры: современное состояние и перспективы. Степанов М. В. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №2, 1997, с. 32-56.

2. Современные направления развития нейрокомпьютеров в России. Галушкин А.И. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №1, 1998, с. 3-17.

3. Современные направления развития нейрокомпьютерных технологий в России. Галушкин А.И. // Открытые системы, №4, 1997, с. 25-28.

4. Anil К. Jain, Jianchang Мао, K.M. Mohiuddin Artificial Neural Networks: A Tutorial, Computer, Vol.29, No.3, March/1996, pp. 31-44.

5. Яковлев B.H., Сергиенко A.B. Введение в общую физиологию центральной нервной системы (физиология нейрона). Воронежский государственный медицинский институт им. H.H. Бурденко, 1989. 76 с.

6. Словарь физиологических терминов / Под ред. акад. О.Г. Газенко. М.: Наука, 1987. 446 с.

7. Тасаки И. Нервное возбуждение, М.: Мир, 1971. 222 с.

8. Физиология человека / Под ред. Г.И. Косицкого, М.: Медицина, 1985. 544 с.

9. Физиология человека / Под ред. Р. Шмидта, Г. Тевса, М.: Мир, 1985, т.1. 272 с.

10. Ю.Ходжкин А. Нервный импульс. М.: Мир, 1965. 125 с.

11. Ходоров Б.И. Общая физиология возбудимых мембран, М.: Наука, 1975. 406 с.

12. Шаде Дж., Форд Д. Основы неврологии, М.: Мир, 1976. 350 с.

13. Экклс Дж. Физиология нервных клеток, М.: ИЛ., 1959. 298 с.

14. Экклс Дж. Физиология синапсов, М.: Мир, 1966. 396 с.

15. Экклс Дж. Тормозные пути центральной нервной системы, м.: Мир, 1971. 168 с.

16. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика / Пер. с англ. -М.: Мир, 1992. 240 с.

17. Rosenblatt F. Principles of neurodynamics. Spartan.: Washington, D. C., 1962. 162c.

18. Функциональная организация информационных процессов мозга и их связь со структурами нейронных сетей / Н.М. Амосов, А.Д. Гольцев, Э.М. Куссуль и др. -Кибернетика (Киев), 1988, N 5, с, 113-119.

19. Модели нейронных сетей для реализации отображений. http://www.neuralbench.ru/RUS/THEORY/THEORY.HTM

20. Оценка производительности нейрокомпьютеров. Галушкин А.И., Крысанов А.И. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №1, 1998, с. 22-33.

21. Нейрокомпьютеры восьмидесятых (начало очередной революции в области нейрокомпьютеров). Галушкин А.И. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №1, 1999, с. 3-16.

22. Neural Network Hardware, http://www.ehb.itu.edu.tr/~mey/nnwinhep.html

23. Особенности комплексного подхода к нейрокомпьютингу. Яфраков М.Ф., Корчагина Л.И. // Изв. вузов. Приборостроение. 1997, т. 40, №3, с. 5-10.

24. Intel Image Processing Library. Software Developer CD. Intel Corporation. 1997.

25. CNAPS Neural Network Accelerator Board, http://www.calsci.com/cnaps.html

26. Опытные образцы отечественных нейрокомпьютеров серии "Геркулес" на стандартной элементной базе. Кирсанов Э.Ю. // Нейрокомпьютер, №1, 2, 1997, с. 49-55.

27. SI-C31DSP Accelerator for PCI Bus. http://www.sheldoninst.com/dsppci.html

28. RC Module. "NeuroMatrix NM6403. Architectural overview". http://www.module.ru/files/archover.pdf

29. Digital Signal Processing Solutions TMS320C3x Tools. http://www.ti.com/sc/docs/dsps/tools/c3x/c3xdsk.htm

30. Hyperception. DSP University Program, http://www.hyperception.com

31. Однокристальный цифровой нейропроцессор с переменной разрядностью операндов. Виксне П.Е., Фомин Д.В., Черников В.М. // Изв. вузов. Приборостроение, 1996, т. 39, №7, с. 13-21.

32. Многопроцессорные наращиваемые вычислительные модули на базе микропроцессоров TMS320C40. Погорилый А.И. // Изв. вузов. Приборостроение, 1996, т. 39, №7, с. 31-33.

33. Параллельный перепрограммируемый вычислитель. Возможность применения для обработки изображений и программное обеспечение. С.И. Аряшев, С.Г. Бобков, Е.А. Сидоров и др. http://niisi.ras.ru/pap2.htm

34. Архитектурно-технологический облик интеллектуальных нейронных сетей на кремниевых пластинах и трехмерных нейрокомпьютеров. Бубенников А.Н. // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники., №1, 1998, с. 34-51.

35. Борисов В.Л. Оптоэлектронная нейронная сеть с гибкой моделью обучения. Магистерская работа. Воронежский государственный университет. Воронеж,1996, 70 стр.

36. Клюкин В.И., Борисов В.Л. Моделирование нейрона с учетом самообучения. Тезисы докладов межвузовской научно-технической конференции "Микроэлектроника и информатика 96", М.: МИЭТ, 1996, с. 231.

37. Борисов В.Л., Клюкин В.И., Суровцев И.С. Моделирование нейронных сетей на основе оптоэлектронного нейрона. Тезисы докладов межвузовской научно-технической конференции "Микроэлектроника и информатика 97", М.: МИЭТ,1997, с. 5.

38. Суровцев И.С., Клюкин В.И., Борисов В.Л. Моделирование функции "забывания" нейрона. Тезисы докладов 2-й Всероссийской научно-технической конференции "Электроника и информатика", М.: МИЭТ, 1997, с. 23.

39. Борисов В.Л., Клюкин В.И. Учёт нестационарности при аппаратной реализации нейронных сетей. Тезисы докладов межвузовской научно-технической конференции "Микроэлектроника и информатика 98", М.: МИЭТ, 1998, часть 2, с. 105.

40. Борисов В.Л., Фёдоров М.Г. Нейросетевое моделирование вольтамперной характеристики биполярного транзистора с изолированным затвором. Тезисы докладов межвузовской научно-технической конференции "Микроэлектроника и информатика 97", М.: МИЭТ, 1997, с. 6.

41. Борисов В.Л. Ассоциативный поиск в системах управления базами данных при ограниченных ресурсах ЭВМ. Сборник докладов V Всероссийской конференции "Нейрокомпьютеры и их применение", М.: Радио и связь, 1999

42. Борисов В.Л., Эксаревский A.B., Эксаревская М.Е. Нейросетевой алгоритм индексирования двоичных образов в информационной системе. Моделирование математических систем: методы, приложения и средства. Сборник научных трудов. Воронеж, ВГУ, 1999, с. 46-52.

43. Борисов В.Л., Эксаревский A.B. Нейросетевая информационная система для поиска объектов по фотографии. Труды Всероссийской конференции "Интеллектуальные информационные системы", Воронеж, ВГТУ, 1999.

44. Эксаревский A.B., Борисов В.Л. . Применение нейронных сетей для индексирования больших двоичных объектов в базе данных. Труды Всероссийской конференции "Интеллектуальные информационные системы", Воронеж, ВГТУ, 1999.

45. Борисов В.Л., Клюкин В.И., Фёдоров М.Г. Расширение применения нейроускорителей. Сборник трудов ВГТУ, Воронеж, ВГТУ, 1999.

46. Борисов В.Л., Цветков М.С. Методика быстрой аппаратной реализации произвольных нейросетей. Тезисы докладов VII Всероссийского семинара "Нейроинформатика и ее приложения", Красноярск, КГТУ, 1999, стр. 20

47. Программируемые логические ИМС на КМОП-структурах и их применение. П.П. Мальцев, Н.И. Гарбузов, А.П. Шарапов и др. М.: Энергоатомиздат, 1998, 160 с.

48. Xilinx Data Book, Xilinx, Inc., 1999.

49. Программируемые логические интегральные схемы фирмы Xilinx. Каталог продукции. Воронеж. Scan Engineering Telecom, 1999.

50. Реализация высокопроизводительных сверхкомпактных КИХ-фильтров на ПЛИС Xilinx. Мистюков В.Г., Капитанов В.Д. // Электроника и компоненты, 1998, №4.

51. Carpenter G.A., Grossberg S. Pattern Recognition by SelfOrganizing Neural Networks. Cambridge: MIT Press, 1991.

52. Grossberg S. Some networks that can learn, remember and reproduce any number of complicated space-time patterns // Journal of Mathematics and Mechanics, 19:53-91, 1969.

53. Hecht-Nielsen R. Applications of counterpropagation networks // Neural Networks 1:131-39, 1988.

54. Hecht-Nielsen R. Neurocomputing: picking the human brain //IEEE SPECTRUM, 1988 -V. 25. N3 c. 36-41.

55. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities. //Proc. Natl. Acad. Sci. 1984. V. 9. c. 147-169.

56. Hopfield J. J., Tank D. W. Neural computation of decision in optimization problems //Biol. Cybernet, 1985. V.52. c. 115.

57. Kohonen T. SelfOrganization and Associative Memory. Third Edition. New York: Springier-Yerlag, 1989.

58. Wasserman Philip D. Neural Computing. Theory and Practice. New York: Van Nostrand Reinhold, 1989. 314 c.

59. Применение ПЛИС Xilinx для построения нейронных сетей. Воронеж, Scan Engineering Telecom, 1999.-13166. Универсальная плата цифровой обработки сигналов XDSP-680: Техническое описание. Воронеж, Scan Engineering Telecom, 1998.

60. Нортон Д. Написание драйверов для Windows: Пер. с англ. М.: Мир, 1994. -560с.

61. Елинсон М.И. Оптоэлектроника. М.: Знание., 1977.

62. Дубинин Ф.Д. Оптоэлектронные модели однородных сред, М.: Радио и связь, 1984. 124 с.

63. Балкарей Ю.И., Елинсон М.И., Никулин М.Г, Автоволновая среда с памятью. -Микроэлектроника, 1977, т. 6, вып. 2, с, 152-156.

64. Носов Ю.Б. Дебют оптоэлектроники, М.: Наука, 1992. 240 с.

65. Бьюб Р. Фотопроводимость твердых тел / Пер. с англ. под ред. Т.М. Лифшица, М., 1962. 560 с.

66. Справочник по лазерной технике / Пер. с нем. М.: Энергоиздат, 1991, 544 с.

67. Веденов A.A. Моделирование элементов мышления. М.: Наука, 1988. 160 с.

68. Шеперд Г.М. Нейробиология. В 2-х томах. М.: Мир., 1987.

69. Волоконно-оптические системы передачи: учебник для вузов / М.И. Бутусов, С.М. Верник, С.Л. Галкин и др., Под ред. В.Н. Голезина. М.: Радио и связь, 1992. 416 с.

70. Бусурин В.И., Носов В.Р. Волоконно-оптические датчики. Физические основы, вопросы расчета и применения. М.: Энергоатомиздат. 1990. 256 с.

71. Мидвинтер Дж. Э. Волоконные световоды для передачи информации / Пер. с англ. М.: Радио и связь, 1983. 336 с.

72. Свечников Г.С. Интегральная оптика, Киев. Наукова думка, 1988. 168 с. 80.3атыкин A.A., Моршев С.К., Францессон A.B. Взаимодействие излучения споглощающей средой на участке световода с крутым изгибом. Квантовая электроника, 1983, № 11, с. 2283-2288.

73. Волноводная оптоэлектроника /Пер. с англ. под ред. Т. Тамира. М.: Мир, 1991. 575 с.

74. Бонч-Бруевич B.JL, Калашников С.Г. Физика полупроводников. Учеб. пособие для вузов. М.: Наука, 1990. -688 с.

75. Рекомбинационные свойства кремния, облученного протонами с энергией 660 Мэв. В.А. Евсеев, Р.Ф. Коноплева, A.A. Юферев и др. Радиационные дефекты в полупроводниках (расширенныетезисы докладов) Всесоюзный симпозиум. Изд-во БГУ им. Ленина. Минск, 1972.

76. Боглаев Ю.П. Вычислительная математика и программирование: Учеб. пособие для вузов. М.: Высш. шк., 1990. - 544 с.

77. А. з. на патент РФ №96105745/09 от 01.04.96. Устройство для моделирования нейрона / Авт.: В.Л. Борисов, В.И. Клюкин.

78. Искусственный интеллект: В 3-х кн. Кн. 2.Модели и методы: Справочник / Под ред. В.Н. Захарова, В.Ф. Хорошевского. М.: Радио и связь, 1990. - 368с.

79. Искусственный интеллект: Применение в интегрированных производственных системах / Под ред. Э. Кьюсиака; Пер. с англ. А.П. Фомина; Под ред. А.И. Дащенко, Е.В. Левнера. М.: Машиностроение, 1991. - 544с.