Некоторые модели клеточных нейронных сетей и их исследование тема диссертации и автореферата по ВАК РФ 05.13.16, кандидат физико-математических наук Панкратов, Виктор Анатольевич

• Панкратов, Виктор Анатольевич
• кандидат физико-математических наук
• 2000

Оглавление диссертации кандидат физико-математических наук Панкратов, Виктор Анатольевич

Введение

1. Клеточные нейронные сети

1.1. Модель клеточной нейронной сети дискретного типа.

1.2. Обучение клеточной нейронной сети.

2. Применение клеточной нейронной сети к задаче о выделении движения

2.1. Постановка задачи о выделении движущихся объектов на фоне помех.

2.2. Модель однослойной клеточной нейронной сети

2.3. Модель трехслойной клеточной нейронной сети

2.4. Анализ селективных свойств сети.

2.5. Идеальная селекция траекторий.

3. Нейрон с корреляционными синапсами

3.1. Нейрон с корреляционными синапсами и его свойства

3.2. Применение нейрона с корреляционными синапсами к задаче о выделении движущихся объектов. Модель пятислойной клеточной нейронной сети.

4. Нейрон с альтернативными синапсами

4.1. Формальная модель А-нейрона

4.2. Свойства А-нейрона.

4.3. Обучение нейрона с альтернативными синапсами. Правило Хебба.

4.4. Модель ассоциативной памяти на сети А-нейронов.

5. Клеточная нейронная сеть на нейронах с запаздыванием

5.1. Модель нейрона с запаздыванием

5.2. Роль запаздывания в борьбе с ложными образами

Введение диссертации (часть автореферата) на тему «Некоторые модели клеточных нейронных сетей и их исследование»

Искусственные нейронные сети сегодня с успехом находят широкое применение для решения задач, связанных с проблемой распознавания образов, реализацией ассоциативной памяти, выполнением прогнозов, оптимизацией, моделированием химических реакций, а также других задач обработки информации [25, 27, 30, 31, 32]. Интерес исследователей к нейронным сетям связан в первую очередь с тем, что принципы функционирования нейронных сетей базируются на известных биологических фактах о способах обработки информации мозгом. В основе функционирования мозга лежит коллективная параллельная работа большого числа относительно простых элементов — нейронов. Совместная работа коллектива нейронов обеспечивается огромным количеством связей между ними.

В то же время попытки аппаратной реализации некоторых моделей наталкиваются на значительные трудности, проистекающие, главным образом, из большого числа межэлементных связей в сети. Поэтому представляет интерес исследование нейронных сетей с локальным взаимодействием элементов. Они обладают многими свойствами полносвязных сетей и в то же время значительно проще в реализации.

Прототипом таких структур являются клеточные автоматы, впервые введенные в работах Джона фон Неймана и развитые в поздних работах. Клеточными автоматами (КА) принято называть сети из элементов, меняющих свое состояние в дискретные моменты времени по определенному закону в зависимости от того, каким было состояние самого элемента и его ближайших соседей по сети в предыдущий дискретный момент времени. Клеточные автоматы, у которых правила перехода между состояниями одни для всех элементов, называются однородными. Несмотря на свою структурную простоту (которая влечет простоту технической реализации), КА способны демонстрировать весьма сложное поведение. Примером может служить известная игра «Жизнь», предложенная в 1970 году Джоном Конвеем. В практическом плане КА можно применять для решения различных задач обработки информации, например, для моделирования гидродинамических течений, химических реакций и др. [15, 16, 29, 43, 50, 51].

Клеточные нейронные сети (КНС или CNN в англоязычной литературе), которые представляют собой частный случай клеточных автоматов, были предложены в работах Чуа и Янга в 1988 году. В [1, 2] под КНС понималось устройство, представляющее собой двумерный массив аналоговых нелинейных элементов, построенных на операционных усилителях, при этом каждый элемент связан лишь со своими ближайшими соседями. В отличие от К А элементы КНС не обладают памятью. В последние годы активно развивалась теория КНС, построенных на дискретных элементах типа простейших нейронов Мак-Каллока-Питтса [9]. В настоящее время под КНС понимается массив локально связанных (в смысле определенной окрестности) процессорных элементов практически любой природы [6]. Так, например, В. Г. Яхно рассматривал однородные нейроно-подобные системы с нелокальными связями, одним из частных случаев которых являются КНС специального типа [64].

КНС сочетают в себе свойства массового параллелизма вычислений с простотой технической реализации (в отличие от полносвязных сетей типа сетей Хопфилда). В настоящее время основная сфера использования КНС — обработка изображений, в том числе динамически меняющихся.

Актуальным примером такой задачи обработки динамически меняющихся изображений является задача о выделении траекторий движущихся объектов на фоне случайных помех. Эта задача в разных постановках решалась многими авторами. В основном предлагались последовательные алгоритмы [66]. В работах [50, 51] рассматривается модель КА для выделения траектории объекта, движение которого носит периодический характер. В данной работе предлагается подход, основанный на применении КНС. Полученные результаты являются актуальными, поскольку задача о выделении движения имеет широкое применение в различных областях науки и техники. В частности, важное практическое значение имеет задача анализа изображений звездного неба с целыо обнаружения и выделения (построения траекторий) движущихся объектов как техногенного, так и естественного происхождения на последовательности зашумленных астроснимков. Так, например, в настоящее время большое значение придается проблеме т. н. «астероидной опасности» [62, 63].

Краткое содержание диссертации.

В первой главе настоящей диссертации даются базовые сведения о КНС и методе их обучения. Рассматриваются КНС, построенные на цифровых элементах типа нейронов МакКал-лока-Питтса. Получено достаточное условие эволюции сети к стационарному состоянию при синхронной динамике переключения нейронных клеток. Описывается метод обучения КНС для решения конкретной задачи обработки изображений, основанный на формулировании локальных правил поведения клетки в зависимости от состояния ее соседей.

Во второй главе рассматривается задача о выделении движущихся точечных объектов на фоне случайных помех в следующей постановке. Пусть {К(1),., К(Т)} — последовательность цифровых бинарных изображений, каждый кадр К(£) = Е {0, 1}, которой содержит отметки от объектов и помех. Требуется выделить траектории движущихся объектов. Под выделением здесь понимается селекция и отображение траекторий за счет активизации соответствующих клеток сети и торможения клеток, отвечающих помехо-вым отметкам. Для решения этой задачи разработаны локальные правила поведения клеток, формализация которых дает возможность получить численные значения синаптических и сенсорных весов КНС. Проведенное компьютерное моделирование показывает, что однослойная сеть приемлемо решает задачу выделения траекторий для сравнительно невысокого уровня помех. Для повышения селективных свойств сети предлагается модель трехслойной КНС и исследуются ее свойства применительно к рассматриваемой задаче. Получена аналитически оценка коэффициента подавления помех за один такт обработки кадра. В этой же главе рассмотрена задача выделения траекторий, когда для помеховых отметок выполняется условие О ^ Kij(t) < 1. Показано, что в этом случае для любого наперед заданного уровня яркости помех в < 1 можно так подобрать веса, что КНС будет гарантированно подавлять все помеховые отметки с яркостью не более чем ©, т. е. осуществлять в некотором смысле «идеальную» селекцию траекторий.

С целью дальнейшего развития КНС применительно к задаче выделения движения в третьей главе рассматривается основанная на известных результатах биологических исследований модель нейрона с корреляционными синапсами1. Эта модель учитывает возможные взаимодействия между входами нейронов. В общем случае уровень активации нейрона с корреляционными синапсами вычисляется так:

Н(Х) = Cli1 Xi\ + "У*] а{^2ХЧХ12 "I" aiyi-2i3X4Xi2Xi3 + '" '

Ч 4^2 3 v-^ (Ю ' ' ' / , ai1.iNXi\ ' • • • ■ xiisn к:гк = UV, где N — количество входов (первого порядка) нейрона, \ (1) х = (xi,., ждг) — вектор входных сигналов нейрона, а\ — подобного рода нейроны в ряде работ [46, 47] называются нейронами высших порядков (Higher-Order Neurons). Всюду ниже будет использоваться термин «нейрон с корреляционными синапсами». синаптический вес входа ¿1, х^ ■. • £г/с — корреляционный вход порядка к, а^ ^ — вес корреляционного синапса порядка к.

Проводится сравнительный анализ нейронов МакКаллока--Питтса и нейронов с корреляционными синапсами применительно к простейшей задаче бинарной классификации следующего вида.

Рассмотрим в множество М, множества М\ и М2 такие, что М\ С М и М2 = М\М\. Элемент, выполняющий классификацию (нейрон), должен при поступлении на вход вектора х € М\ выдавать на выходе один сигнал (например, +1), и если х £ М-2 — другой (—1), т.е. выполнить отделение множества Мг от М-2

Показано преимущество нейрона с корреляционными синапсами в сравнении с нейроном МакКаллока-Питтса в задаче классификации, и доказана следующая

Теорема. Пусть М\ С где — множество всех бинарных N-мерных векторов. Тогда М\ и М2 = В]У\М1 разделимы нейроном с корреляционными синапсами.

Далее в третьей главе рассматривается КНС на нейронах с корреляционными синапсами применительно к задаче выделения движения. Предлагается модель пятислойной КНС, в качестве элементов которой использованы нейроны с расширенной рецептивной окрестностью и корреляционными синапсами. Использование в данной модели нейрона с корреляционными синапсами позволяет отличать непрерывные последовательности из пяти пикселов (которые возможно являются частью некоторой траектории) от прочих конфигураций (разрывные цепочки, очевидно, целиком не могут принадлежать траектории) (см. рис.10). Сформулированы локальные правила для обучения пятислойной КНС, и на их основе получены численные значения весовых коэффициентов сети. Проведены экспериментальные исследования компьютерной модели с данными параметрами при различных плотностях поля помех. Результаты исследований показывают существенно лучшие характеристики по подавлению случайных помех данной модели по сравнению с трехслойной КНС.

Так как основной полезной с практической точки зрения характеристикой КНС является локальность межэлементных взаимодействий, то при сохранении этого свойства дальнейшее развитие возможностей КНС может быть получено путем применения в качестве элементов сети более сложных моделей нейронов. Так, например, в работах Е. М. Ижикевича и Г. Г. Мали-нецкого [44, 45] рассмотрена модель нейрона с хаотическим поведением. Сравнительно недавние нейробиологических исследования привели к открытию пар согласованно функционирующих нейронов головного мозга [56, 60]. Важную роль таких нейронных структур в механизмах обработки информации мозгом отмечает Ю. Д. Кропотов в [52, 54, 55]. На основании этих биологических исследований в четвертой главе предлагается формальная модель нейрона с альтернативными синапсами (А-нейрона). Характерной особенностью А-нейрона является то, что один и тот же его входной сигнал хг суммируется с разными весами в зависимости от своего знака. Т. е. если хг > 0, то его синаптический вес аг+, а если Х{ ^ 0, то его вес а~. Фактически А-нейрон осуществляет преобразование С : М^ —К2ДГ, которое каждому вектору входных сигналов х Е ставит в соответствие вектор х = (х+, х~) £ М2ДГ, где А'-мерные вектора х+ = ., Ждг), х~ = (ж^,., х^) определяются следующим образом: Г ж,;, если Х{ > 0 ГО, если Х[ > 0

Х7 = \ . ~ X: = г

0, если х^ 0 1 I Хг, если х^ С 0

А-нейрон эквивалентен нейрону МакКаллока-Питтса, если для всех его входов соответствующие веса совпадают: аг+ = а^.

Рассмотрены свойства А-нейрона применительно к описанной выше задаче бинарной классификации. Получен следующий результат:

Теорема. Пусть Рдг — вероятность того, что 2N + 1 реализаций независимых случайных векторов щ (Е , после преобразования С, осуществляемого А-нейроном, перейдут в 2N-мерные вектора, которые находятся в общем положении, т. е. они не принадлежат одной плоскости размерности 2N— 1. Тогда lim PN = 1.

N-^oo

Смысл этого результата заключается в следующем. Как известно, нейрон МакКаллока-Питтса способен гарантированно решить задачу бинарной классификации в множестве, содержащим не более, чем N 1 векторов из К^, находящихся в общем положении. А-нейрон переводит эту задачу из пространства M.N в пространстве Жш А -нейрон способен решить задачу бинарной классификации на множестве из 2N + 1 векторов, находящихся в общем положении. Теорема утверждает, что случайно выбранные в M.N 2N + 1 векторов после преобразования С переходят с высокой вероятностью (при больших N) в вектора, обладающие общностью положения, для которых А-нейрон гарантированно решает задачу бинарной классификации.

В четвертой главе формулируется правило аналогичное правилу Хебба для обучения А-нейрона. Рассматривается модель ассоциативной памяти, построенной на А-нейронах, и сравнивается с аналогичной моделью на нейронах МакКаллока-Питтса2. Обе сети были обучены по правилу Хебба на одном и том же наборе из шести черно-белых образов. В процессе распознавания на вход сети подавались образы из обучающей последовательности, искаженные случайным шумом. Искажения

2Одним из первых формальные модели ассоциативной памяти предложил Т. Кохонен [36, 37]. Нейросетевые модели ассоциативной памяти изучались во многих работах, в т. ч. в работах В. JI. Дунина-Барковского [19, 20], A.A. Фролова и И. П. Муравьева [21, 22, 23], Г. И. Шульгиной [40, 41]. заключались в зачернении с вероятностью р пикселов входного паттерна. В устойчивом режиме работы сети измерялось расстояние Хемминга результата от исходного неискаженного образа.

Проведенное компьютерное моделирование показало значительное превосходство модели, построенной на А-нейронах, причем преимущество проявляется тем больше, чем выше уровень шума. Статистическая достоверность полученных результатов подтверждается критерием Вилкоксона.

В пятой главе предлагается формальная модель нейрона, учитывающая запаздывания в передаче сигналов от нейрона к нейрону, которые имеют место в функционировании биологических нейронов. Влияние такого запаздывания на процессы, протекающие в нервной системе, изучено недостаточно. Важную роль фактора запаздывания в механизмах обработки информации мозгом подчеркивает А. Н. Лебедев [38, 39]. В данной работе исследуется роль запаздывания в борьбе с ложными образами в модели ассоциативной памяти. Рассматривается модель нейрона с запаздыванием, функционирующего в непрерывном времени. Пусть х{1) — состояние нейрона в момент времени I. Выход нейрона определяется как ?/(£) = sign(ж(í)). Тогда динамика нейрона с запаздыванием описывается уравнением: где N — количество входов нейрона, a,j — синаптический вес входа j.

G(t) играет роль функции задержки, для которой должно быть выполнено условие: о

G(t) dt = 1 оо

Для функции задержки вида £?(£) = Хехг, А > О, решение уравнения (*) удается получить аналитически. Значение £ > О, при котором х{Ь) = 0, соответствует моменту переключения нейрона. Зная моменты переключений нейронов, можно проследить изменение состояния сети с течением времени. Следует отметить, что в сети с запаздыванием состояния равновесия с очевидностью те же, что и в сети без запаздывания.

При использовании функции задержки вида = АеЛ*, нейрон с запаздыванием выполняет усреднение значений входных сигналов по времени. Таким образом, случайные помехи (если их не слишком много), которые имели место во время промежутка запаздывания, не могут оказать существенного влияния на функционирование нейрона. Модель КНС, построенная на нейронах с запаздыванием, вследствие своей зависимости от состояний в предшествующие моменты времени, обладает свойством «инерционности», которое, предположительно, помогает ей «проскакивать» нежелательные устойчивые состояния. Для проверки этой гипотезы были проведены экспериментальные исследования на компьютерной модели КНС с запаздыванием. КНС была обучена по правилу Хебба на наборе из трех черно-белых образов. В процессе инициализации, в течение достаточно большого периода времени сети предъявлялся образ из обучающей последовательности. Кроме этого на каждую клетку сети поступал пуассоновский поток помех с интенсивностью одинаковой для всех нейронов сети. Помеха состоит в зачер-нении на некоторое малое фиксированное время соответствующей клетки. В момент окончания периода инициализации поступление помех прекращается, и сеть переходит в режим распознавания. По достижении сетью стабильного состояния измеряется расстояние Хемминга полученного образа от исходного эталона. Результаты экспериментов показывают существенное превосходство нейрона с запаздыванием. Наиболее отчетливо это преимущество проявляется при малых значениях параметра Л, что соответствует большему влиянию запаздывания. В этом случае, даже при большой интенсивности поля помех результат распознавания сетью предъявленного образа близок к оптимально возможному при данной процедуре обучения.

Заключение диссертации по теме «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)», Панкратов, Виктор Анатольевич

Заключение

Клеточные нейронные сети в силу своего основного свойства — локальности межэлементных взаимодействий, значительно проще в аппаратной реализации, чем полносвязные сети типа сетей Хопфилда. В настоящее время основная сфера использования КНС — обработка изображений, в том числе динамически меняющихся. Актуальным примером такой задачи обработки динамически меняющихся изображений является задача о выделении траекторий движущихся объектов на фоне случайных помех. Предложенная в настоящей диссертации модель КНС для решения этой задачи способна удовлетворительно выделять траектории движущихся объектов даже при сравнительно высоком уровне шума.

Так как основной полезной с практической точки зрения характеристикой КНС является локальность межэлементных взаимодействий, то при сохранении этого свойства дальнейшее развитие возможностей КНС может быть получено применением в качестве элементов сети более сложных моделей нейронов. В данной работе предложена формальная модель нейрона с корреляционными синапсами. Показано, что нейрон с корреляционными синапсами является идеальным классификатором в Вл. Рассматривается модель КНС на нейронах с корреляционными синапсами для решения задачи выделения движения.

Предложена модель нейрона с альтернативными синапсами. Показано, что нейрон с альтернативными синапсами обладает более сильными классифицирующими свойствами по сравнению с нейроном МакКаллока-Питтса.

Предложена формальная модель нейрона с запаздыванием. Модель КНС, в качестве элементов которой использованы нейроны с запаздыванием, позволяет свести к минимуму количество ложных образов в задаче ассоциативной памяти.

Таким образом, клеточные нейронные сети обладают достаточными возможностями для решения многих практических задач обработки информации. При этом свойство локальности межэлементного взаимодействия делает их привлекательными для аппаратной реализации.

Список литературы диссертационного исследования кандидат физико-математических наук Панкратов, Виктор Анатольевич, 2000 год

1. Chua L.O., Yang L. Cellular Neural Networks: Theory // 1.EE Trans. Circuit and Systems. 1988. V. 35. № 10. P. 1257-1290.

2. Chua L.O., Yang L. Cellular neural networks: Applications

3. IEEE Transactions on Circuits and Systems. 1988. V. 35. P. 1273.

4. Chua L.O., Roska Т., Venetianer P.L. The CNN is universal as the Turing machine // IEEE Trans. Circuit and Systems. 1993. V. 40. № 4. P. 289-291.

5. Second International Workshop on Cellular Neural Networks and their Applications // CNNA'92. Munich, Germany, 1992.

6. Proceedings of Second International Workshop on Cellular Neural Networks and their Applications // Munich, Germany, 1992.

7. Proceedings of Fifth International Workshop on Cellular Neural Networks and their Applications // London, GB, 1998.

8. R. Perfetti. On the Convergence of Reciprocal Discrete-Time Cellular Neural Network // IEEE Trans, on Circ. And Syst. 1993. V. 40. № 4. P. 286-288.

9. P. Civalleri, M. Gilli Some stability properties of CNN's with delay // Proceedings of Second International Workshop on Cellular Neural Networks and their Applications. Munich, Germany, 1992.

10. МакКаллок У.С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейрокомпьютер. 1992. № 3, 4. С. 40-53.

11. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. Nat. Acad. Sci. USA. 1982. V. 79, 8. P. 2554-2558.

12. Hopfield J.J. Neurons with gradual response have collective computational properties line those of two-state Neurons

13. Ibid. 1984. V. 81. P. 3088-3092.

14. Haikin J.J. Neural Networks. Comprehensive Foundation // Macmillan College Publishing Company. NY. 1995.

15. Muller В., Reinhardt J. Neural Networks. An introducion // Springer-Verlag. 1990.

16. Amit D.J. Modelling Brain Functions. The World of Attractor Neural Networks // Cambridge University Press. 1989. PP. 504.

17. Dab В., Boon J.-P. Cellular automata approach to diffusion problems // Cellular automata and modeling of Complex Phisical systems ed. by P. Manneville, Springer, Berlin, 1990. P. 277-283.

18. Frish V. and others. Lattice gas hidrodynamics in two and three dimensions // Complex systems. 1987. V. 1. P. 649-707.

19. Розенблатт Ф. Принципы нейродинамики 11 М.:Мир, 1965. 480 с.

20. Минский М., Пейперт С. Персептроны /1 М.:Мир, 1971. 264 с.

21. Дунин-Барковский В.Л. Информационные процессы в нейронных структурах // М.:Наука, 1978. 166 с.

22. Дунин-Барковский В.JI. Нейронные схемы ассоциативной памяти // Моделирование возбудимых структур. Пущино:ЦБИ, 1975. С. 90-141.

23. Фролов A.A., Муравьев И.П. Нейронные модели ассоциативной памяти // М.:Наука, 1987. 160 с.

24. Фролов A.A., Муравьев И.П. Информационные характеристики нейронных сетей1. М.:Наука, 1988. 156 с.

25. Фролов A.A. Структура и функции обучающихся нейронных сет,ей // Нейрокомпьютер как основа мыслящих ЭВМ. М.:Наука, 1993. С. 92-110.

26. Бонгард М.М. Проблема узнавания // М.:Наука. 1967.

27. Ф. Уоссермен. Нейрокомпьютерная техника: Теория и приложения // М.:Мир, 1992.

28. Рабинович М.И. Хаос и нейродинамика // Известия ВУЗов. Радиофизика. 1996. Т. XXXIX. № 6. С. 757-168.

29. Коваль В.А., Жук Ю.В. Оптимальные системы обнаружения и классификации движущихся объектов // Кибернетика и системный анализ. 1993. Вып. 5.1. С. 137-145.

30. Престон К., Дафф Дж.Б., Левьяльди С. и др. Основы клеточной логики с приложениями к обработке изображений в медицине // Тр. Ин-та инж. по электротехн. и электронике. М., 1979. Т. 67. № 5.1. С. 149-185.

31. Тоффоли Т., Марголус Н. Машины клеточных автоматов // М.:Мир, 1991. 278 с.

32. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере // Новосибирск: Наука. Сибирская издательская фирма РАН, 1996. 276 с.

33. Горбань А.Н. Обучение нейронных сетей // М.: СП "ParaGraph", 1990. 160 с.

34. Горбань А.Н. Проекционные сетчатки для обработки бинарных изображений // Математическое обеспечение и архитектура ЭВМ: Материалы науч.-техн. конф. «Проблемы техники и технологий XXI века», 22-25 марта 1994 г. — Красноярск: изд. КГТУ, 1995. С. 6-9.

35. Дмитриев А.С. Хаос и обработка информации в нелинейных, динамических системах // РЭ. 1993. Т. 38. № 1. С. 1-7.

36. Andreyev Yu., Belsky Yu., Dmitriev A., and Kuminov D. Inhomogéneos cellular neural networks: Possibility of functional device design // Proc. 2nd Int. Workshop CNNA-92, Munich, Germany, 1992, pp. 135-140.

37. Dmitriev A., Andreyev Yu. Edge of spatiotemporal chaos in cellular nonlinear networks // Proc. CNNA'98. 1998. London. England, pp.100-105.

38. Кохонен Т. Ассоциативная память // М.:Мир, 1980.

39. Кохонен Т. Ассоциативные запоминающие устройства // М.:Мир, 1982.

40. Лебедев А.Н. Память человека, ее механизмы и границы // Исследование памяти. М.:Наука, 1990. С. 104-118.

41. Лебедев А.Н. О физиологических основах восприятия и памяти // Психол. журн. 1992. № 2. С. 30-41.

42. Шульгина Г.И. Исследование роли ритмической активности в процессах фиксации и воспроизведения информации на модели из нероноподобных элементов // ДАН СССР, 1990. Т. 312, № 5, С. 1275-1279.

43. Фролов А.А., Шульгина Г.И. Модель памяти на основе пластичности тормозных нейронов // Биофизика. 1983. Т. 28. № 3. С. 445-480.

44. Костылев И.А., Малинецкий Г.Г., Потапов А.Б. Параметры порядка в нейронной сети Хопфилда

45. Ж. вычисл. матем. и матем. физ. 1994. Т. 34. № 11. С. 1773-1741.

46. Малинецкий Г.Г., Шакаева М.С. Клеточные автоматы в математическом моделировании и обработке информации // Препринт ИПМ им.Келдыша РАН. 1994. № 57.

47. Ижикевич Е.М., Малинецкий Г.Г. Модель нейронной сети с хаотическим поведением // Преп. Ин. прикл. матем. им. Келдыша РАН. № 17. Москва. 1993. 32 с.

48. Ижикевич Е.М., Малинецкий Г.Г. О возможной роли хаоса в нейросистемах 11 Докл. АН России. 1992. Т. 326. № 4. С. 626-632.

49. Baldi P., Venkatesh S.S. Number of stable points for spin-glasses and neural networks of higher orders.

50. Phys.Rev.Letters 1987. V.58. №.9. PP. 913-916.

51. Manykin E.A., Belov M.N. Higher-Order Neural Networks and Photon-Echo Effect. // Neural Networks Volume 4, Number 3, 1991. p. 417.

52. Галушкин А.И. Синтез многослойных схем распознавания образов // М.:Энергия, 1974.

53. Баблоянц А. Молекулы, динамика и жизнь: Введение в самоорганизацию материи // М.:Мир, 1990. 373 с.

54. Лоскутов А.Ю., Михайлов А.С. Введение в синергетику // М.:Наука, 1990.

55. Keirstead W., Huberman В.А. // Phys. Rev. Lett. 1986. V. 56. P. 1094-1097.

56. Кропотов Ю.Д. Мозговая организация восприятия и памяти: гипотеза о программировании действий // Физиология человека. 1989. Т. 15. № 3. С. 19-27.

57. Кропотов Ю.Д. Нейроинформатика: Основы, современное состояне и переспективы // Физиология человека, 1989. Т. 15. С. 130-149.

58. Кропотов Ю.Д., Пономарев В.А. Нейрофизиология целенаправленной деятельности

59. СПб.:Наука. Санкт-Петербург изд. фирма, 1993. 171 с.

60. Wassle Н., Boycott В.В., Illing R.B. Morphology and mosaic of on- and off-beta cells in the cat retina and some functional considerations // Proc. Roy. Soc. London. B. 1981. Vol. 212. P. 177-195.

61. Szentagothai J. Anatomical aspects of junctional transformation. In: Information processing in the nervous system, ed. Gerard R.W. // Amsterdam, Excerpta Medica, 1963.

62. Gray E.G. Electron microscopy of presynaptic organelles of the spinal cord // J. Anat. (bond.)., 97. P. 101-106 (1963).

63. Экклс Дж. Физиология синапсов // М.:Мир, 1966. 395 с.

64. Хьюбел Д., Визель Т. Центральные механизмы зрения // Мозг. М., 1982. С. 167-197.

65. Эльсгольц Л.Э., Норкин С.Б. Введение в теорию дифференциальных уравнений с отклоняющимся аргументом // М.:Наука, 1971.

66. А. Адеев. Космическая опасность: мифы и реальность // Международная конференция «Проблемы защиты Земли от столкновения с опасными космическими объектами (SPE-94)». Снежинск, 1994.

67. Международная конференция «Астероидная опасность-96». Тез. докладов. Ин-т теор. астрон. РАН. СПб.: Изд-во ИТА РАН, 1996.

68. В.Г. Яхно Автоволновая динамика однородных нейроноподобных систем // Диссертация на соискание ученой степени докт. физ.-мат. наук.1. Нижний Новгород, 1999.

69. Korotkin A.A. Detection of moving dot objects by a cellular neural network // Advances in Synergetics. Vol. 7. 1996.

70. Бондаренко В.А., Короткин А.А., Левин А.Ю., Малков A.H. Метод обнаружения и выделениядвижущихся объектов на последовательности зашумленных астроснимков // Тр. Межрегион, семинара «Системы цифровой обработки и анализа изображений». Рига, 1991. С. 65-67.

71. Короткин A.A., Майоров В.В. Обнаружение движущихся объектов клеточной нейронной сетью // Моделирование и анализ информационных систем. Ярославль. 1994. Вып. 2. С. 44-50.

72. Зафиевский A.B. Короткин A.A., Майоров В.В. Клеточные нейронные сети с релейной функцией отклика // Фундаментальные проблемы математики и механики. «Университеты России». Москва. Т.1. 1993.

73. Короткин A.A., Панкратов A.B. Клеточная нейронная сеть, описываемая уравнением с запаздыванием

74. Моделирование и анализ информационных систем. Ярославль. № 2. 1994. С. 147-152.

75. Короткин A.A., Панкратов A.B. Селекция траекторий клеточной нейронной сетью // Тезисы докладов III Всероссийского семинара «Нейроинформатика и ее приложение». Красноярск, 1995. С. 28.

76. Короткин A.A., Панкратов A.B. Селекция траекторий клеточной нейронной сетью // Известия вузов. Приборостроение. М. 1996. Т. 39. № 1. С. 44-48.

77. Короткин A.A., Панкратов A.B. Селекция движущихся объектов трехслойной клеточной нейронной сетью

78. Ж. вычисл. матем. и матем. физ. Т. 37. № 5. 1997. С. 615-621.

79. Короткин A.A., Панкратов A.B. Классифицирующие свойства нейронов с альтернативными синапсами

80. Моделирование и анализ информационных систем. Ярославль. 1997. Вып. 4. С. 118-123.

81. Панкратов А. В. Модель КНС на нейронах с запаздыванием // Моделирование и анализ информационных систем. Ярославль. 1999. Т. 6. С. 43-49.