Исследование динамики синаптического взаимодействия импульсных нейронов с запаздыванием тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Дунаева, Ольга Александровна

• Дунаева, Ольга Александровна
• кандидат физико-математических наук
• 2011

Оглавление диссертации кандидат физико-математических наук Дунаева, Ольга Александровна

Содержание

1 Введение

1.1 Биологический нейрон и биологические нейронные сети

1.2 Кодирование информации и модели нейрона

1.3 Краткий обзор нейросетевых моделей

1.4 Обзор диссертации

2 Химическое взаимодействие двух нейронов

2.1 Динамика изолированного нейрона

2.2 Модель синагггического взаимодействия

2.3 Построение асимптотики

2.4 Результаты компьютерного моделирования

3 Импульсные нейроны с ограниченной по времени чувствительностью

3.1 Нейрон-автогенератор с химическими ВБ-синапсами

3.2 Нейрон с модифицированным ВБ-синапсом

4 Импульсные нейронные сети

4.1 Импульсный нелинейный нейрон МакКаллока-Питца

4.2 Импульсный многослойный перцептрон

4.3 Импульсная сеть Хопфилда

5 Заключение 112 Список литературы 114 Приложение

Введение диссертации (часть автореферата) на тему «Исследование динамики синаптического взаимодействия импульсных нейронов с запаздыванием»

1 Введение

Настоящая работа посвящена изучению взаимодействия импульсных динамических элементов с запаздыванием, предложенных в работе [11] в качестве одной из реалистичных моделей биологического нейрона. Сам изучаемый динамический элемент с запаздыванием мы будем в дальнейшем называть импульсным нейроном, а систему взаимодействующих импульсных элементов — импульсной нейронной сетью.

1.1 Биологический нейрон и биологические нейронные сети

В этом разделе мы. в основном следуя [16]. приведем краткий обзор базовых биологических представлений, относящихся к функционированию как изолированного нейрона, так и нервной системы в целом. Нашей целью является выяснение места и роли изучаемых в настоящей работе моделей взаимодействия импульсных нейронов в современной теории нейронных сетей.

1.1.1 Биологические нейронные сети

Нервная система животных и человека образована огромным количеством взаимодействующих нервных клеток (нейронов), основная функция которых состоит в генерировании и передаче электрических импульсов. Нейроны-рецепторы, образующие сенсорные системы, превращают внешние физические стимулы в электрические импульсы, которые распространяются по нервной системе и подвергаются обработке. Результатом обработки внешнего стимула является возбуждение нейронов-эффекторов, которые управляют работой мышц

и желез и реализуют реакцию организма на внешний стимул. Таким образом, нервная система реализует процессы взаимодействия организма с окружающей средой и адаптации к изменению ее условий.

Важнейшим отличием биологических нейронных систем от классических систем искусственного интеллекта является обучение на основе примеров, когда способность к решению конкретной задачи приобретается путем «проб и ошибок» и накопления практического опыта. Другое важное отличие состоит в том. что нервная система представляет собой сложную распределенную систему, реализующую существенно параллельную обработку поступающей информации. Одно из проявлений этого свойства нервной системы состоит в ее высокой надежности по отношению к отказам составных элементов. Высокая степень параллелизма обработки информации в нервной системе проявляется также в том. что в рамках нервной системы сложные процессы обработки больших объемов входной информации в реальном масштабе времени реализованы на относительно медленной «элементной базе» биологического нейрона. Так. характерная продолжительность процесса активации одного нейрона составляет примерно 1 мс. что всего в 10 раз меньше характерного времени отклика нервной системы как целого.

Актуальность изучения процессов обработки информации в нервной системе связана с интересом к построению технических аналогов нервной системы — устройств, воспроизводящих основные особенности процессов обработки информации в нервной системе. Этот интерес подкрепляется тем фактом, что в рамках классических систем обработки информации до сих пор не удалось приблизиться к характеристикам нервной системы по таким параметрам как надежность.

степень параллелизма, скорость адаптации к изменяющимся условиям внешней среды.

Классические методы изучения нервной системы связаны в основном с нейрофизиологическим и психологическим подходами, в рамках которых изучаются структурные элементы нервной системы и связи между ними (нейрофизиологический подход) и высокоуровневые аспекты функционирования нервной системы как целого (психологический подход).

В последнее время наряду с классическими подходами к изучению нервной системы сформировалось альтернативное, т.н. нейросе-тевое направление исследований. В рамках этого направления в качестве основной задачи рассматривается построение биологически правдоподобных нейронных систем, демонстрирующих поведение, характерное для нервной системы в целом. Таким образом, нейросетевое направление исследований совмещает в себе существенные особенности нейрофизиологического и психологического подходов: в качестве структурных элементов изучаемых систем используются более или менее правдоподобные модели биологического нейрона, а сами системы моделируют высокоуровневое поведение нервной системы в том или ином аспекте ее функционирования (память, классификация и т.п.).

В рамках нейросетевого подхода было продемонстрировано, что в относительно простых нейронных сетях реализуются такие сложные высокоуровневые психологические феномены как классификация образов, запоминание и забывание информации, образование ложных образов при запоминании больших объемов информации и т.д. Успешное применение нейросетевых устройств и алгоритмов обработки ин-

формации к задачам классификации и распознавания образов демонстрирует эффективность и практическую ценность нейросетевого подхода. В целом в рамках нейросетевого подхода сформировалось представление о мозге как о гигантской распределенной аналоговой вычислительной системе, способной спонтанно порождать сложные упорядоченные структуры, рождение и эволюция которых представляет собой процесс мышления.

1.1.2 Биологический нейрон

Нервная система образована нервными клетками (нейронами) — специфическими клетками, ключевой особенностью которых является способность воспринимать и генерировать электрические импульсы. Динамика и молекулярные механизмы протекающих в нейроне электрических процессов достаточно хорошо исследованы. Здесь мы, следуя в основном [16] и [8], приведем схематичное описание процессов функционирования и взаимодействия биологических нейронов.

С точки зрения процессов обработки информации отдельный нейрон представляет собой относительно простую нелинейную электрическую систему, основная функция которой состоит в генерировании и передаче нервных импульсов (спайков) — коротких высокоамплитудных электрических импульсов, с помощью которых кодируется вся обрабатываемая нервной системой информация. Посредством спайков нейроны взаимодействуют с рецепторами (преобразователями внешних раздражителей в нервные импульсы), эффекторами (исполнительными органами — мышцами и железами) и между собой.

Электрическое состояние нейрона определяется мембранным потенциалом — разностью потенциалов между внутренней и внешней

поверхностями клеточной мембраны. Изменение мембранного потенциала во времени обусловлено процессами ионного обмена между внутренней (внутриклеточной) и внешней (межклеточной) средами. В покое мембранный потенциал нейрона отрицателен и велик по абсолютной величине, т.е. мембрана сильно поляризована (состояние поляризации). В процессе генерации электрического импульса мембранный потенциал нейрона начинает быстро расти, меняет знак, затем быстро восстанавливается и снова становится отрицательным и еще большим по абсолютной величине, чем в начале (состояние гиперполяризации). В результате происходит генерация спайка — короткого высокоамплитудного электрического импульса.

На молекулярном уровне процесс генерации спайка связан с лавинообразным открытием потенциалзависимых ионных каналов реагирующих на относительно небольшие изменения мембранного потенциала. Поэтому начало спайка обычно связывают с достижением мембранным потенциалом некоторого порогового значения. Потенциал мембраны нейрона может достичь порогового значения в результате открытия хемозависимых ионных каналов за счет химического воздействия со стороны других нейронов. Для т.н. нейронов-детекторов внешнее воздействие является единственной причиной генерации спайка. В то же время в нервной системе присутствуют также нейроны-пейсмейкеры (автогенераторы), для которых характерна самопроизвольная деполяризация мембраны, обусловленная внутри-нейронными процессами. Нейрон-пейсмейкер даже без внешнего воздействия рано или поздно достигнет порогового значения генерации и сгенерирует спайк, т.е. такой нейрон будет обладать свойством авторитмичности — спонтанной активности в генерации спайков. В то же

время внешнее химическое воздействие на нейрон-пейсмейкер может приблизить момент генерации спайка. Отметим, что любой нейрон после генерации спайка в течение некоторого времени оказывается абсолютно невосприимчивым к внешнему воздействию (находится в состоянии рефрактерности).

Нервная клетка состоит из тела, относительно коротких и сильно разветвленных дендритов и единственного длинного центробежного отростка, называемого аксоном. В местах контакта мембран аксона одного нейрона и дендритов других нейронов располагаются синапсы — специфические образования, обеспечивающие передачу импульсов от нейрона к нейрону. При рассмотрении конкретного синапса (места контакта аксона и дендрита) тот нейрон, которому принадлежит участвующий в синаптическом контакте аксон, называется пресинап-тическим нейроном, а тот нейрон, которому принадлежит участвующий в синаптическом контакте дендрит — постсинаптическим, нейроном. Наиболее распространены химические синапсы, в которых при поступлении спайка происходит выделение специфических белков (медиаторов), оказывающих на постсинаптический нейрон возбуждающее или тормозящее воздействие. Нервный импульс генерируется в теле пресинаптического нейрона, распространяется вдоль его аксона как волна деполяризации мембраны, достигает синапсов и через них оказывает влияние на постсинаптические нейроны.

1.2 Кодирование информации и модели нейрона

Исторически первой моделью биологического нейрона была предложенная Ходжкиным и Хаксли система дифференциальных уравнений четвертого порядка [23, 36, 7]. Эта система описывает про-

текающие в мембране нейрона процессы ионного обмена и хорошо согласуется с экспериментальными данными. Тем не менее, модель Ходжкина-Хаксли оказалась слишком сложной для ее непосредственного использования при моделировании нейронных систем [33] и вплоть до последнего времени развитие нейросетевого направления определялось более простыми моделями [26].

В рамках нейросетевого подхода в качестве структурных элементов изучаемых нейронных систем используются биологически правдоподобные модели нейрона, корректно отражающие те или иные свойства биологического нейрона [26]. Несмотря на то, что ключевым свойством биологического нейрона является его возбудимость, конкретная реализация этого свойства в разных биологически правдоподобных моделях оказывается существенно различной. Различия между моделями биологического нейрона в основном связаны с используемым подходом к кодированию обрабатываемой информации.

Вопрос о кодировании информации нервными импульсами является основополагающим для построения нейронных систем. Сами по себе нервные импульсы не несут информации о кодируемом ими сигнале, поскольку их форма и амплитуда определяются в основном внутренними свойствами нейрона и практически одинаковы для всех импульсов. Поэтому кодируемая информация может содержаться только в последовательности нервных импульсов, но относительно способа кодирования имеется несколько равноправных гипотез, причем от используемого способа кодирования существенно зависит выбор модели нейрона.

Заметим, что используемые при построении нейронных сетей модели биологического нейрона существенно отличаются друг от дру-

га по степени детализации моделируемых процессов, протекающих в биологическом нейроне. Многие модели абстрагируются от процессов генерации нервного импульса и механизма его воздействия на пост-синаптический нейрон, моделируя только процесс изменения тех или иных интегральных характеристик состояния нейрона. Такие модели мы будем называть формальными моделями биологического нейрона. Другие модели воспроизводят процесс формирования нервного импульса и более или менее детально описывают процесс влияния нервного импульса на постсинаптический нейрон. Эти модели, которые мы будем называть импульсными моделями биологического нейрона, занимают промежуточное положение между моделью Ходжкина-Хаксли, моделирующей ионный механизм генерации спайка, и простыми моделями нейрона, отражающими только интегральные характеристики состояния биологического нейрона. Импульсные модели на качественном уровне воспроизводят генерацию спайка и реакцию нейрона на внешнее воздействие, не моделируя протекающие при этом электрохимические процессы или моделируя их только в самых общих чертах.

1.2.1 Кодирование информации номером канала и пороговая модель нейрона

В рамках этой гипотезы информация в нервной системе кодируется номером нейрона, переходящего в активное состояние [35] или множеством нейронов, одновременно переходящих в активное состояние, т.е. фактически бинарным паттерном нейронной активности. Гипотеза о кодировании информации номером канала тесно связана с понятием рефлекторной дуги, а ее обоснованность подтверждается обширными биологические данными о структуре нейронных образо-

вании.

При использовании гипотезы о кодировании информации номером канала наиболее естественной оказывается пороговая модель нейрона, называемая также пороговым нейроном МакКаллока-Питца (см. [37]). Именно с этой моделью связано начало активного развития ней-росетевого подхода.

Формальный нейрон МакКаллока-Питца вычисляет взвешенную сумму своих входов и в зависимости от полученного значения и значения порога Н (внутренний параметр нейрона) выдает на выход одно из двух допустимых значений:

где д — бинарный выход нейрона. ©[•] — функция Хевисайда, р^ — бинарный выход ^'-го пресинаптического нейрона, а вес д^ характеризует эффективность синаптической связи с м пресинаптическим нейроном. Таким образом, формальный нейрон МакКаллока-Питца представляет собой устройство с двумя состояниями, переходящее из одного состояния в другое в зависимости от состояний воздействующих на него пресинаптических нейронов.

1.2.2 Частотное кодирование информации и модель нелинейного нейрона

В рамках гипотезы о частотном кодировании информация в нервной системе кодируется средней частотой следования нервных импульсов. причем сам поток спайков рассматривается как случайный поток событий, служащий носителем информации. Отметим, что сложные стимулы в рамках данной гипотезы кодируются паттерном

з

активности отдельных нейронов, т.е. фактически вектором, компоненты которого определяют частоты импульсов отдельных нейронов. Приходящий на синапс поток импульсов подвергается декодированию, при котором частота следования поступающих на нейрон входных импульсов оценивается и определяет частоту генерации нейроном собственных снайков.

При использовании гипотезы о частотном кодировании наиболее естественной оказывается нелинейная модель нейрона, называемая нами в дальнейшем нелинейным нейроном МакКаллока-Питца (см. [37]). Нелинейный нейрон вычисляет взвешенную сумму своих входов и выдает на выход значение

д = 5

- з

где д — аналоговый выход нейрона, б'(-) — сигмоидальная функция активации нейрона. Pj — аналоговый выход ^'-го пресинаптического нейрона, К — активационный сдвиг (внутренний параметр нейрона). д^ — эффективность синаптической связи с ^'-м пресинаптическим нейроном. Единственным отличием нелинейного нейрона от порогового нейрона является наличие у него аналогового выхода, значение которого вычисляется путем применения ко взвешенной сумме входов нейрона функции активации.

Если вернуться к биологическому прототипу, то состояние нелинейного нейрона соответствует уровню активности биологического нейрона как генератора спайков (т.е. частоте генерируемых нейроном спайков). При этом нелинейный нейрон не моделирует ни процесс кодирования информации (генерация спайков и изменение частоты генерации), ни процесс декодирование информации (оценива-

ние частоты внешнего импульсного воздействия). Были разработаны и более детализированные модели нейрона с частотным кодированием информации [34], в которых более полно моделируется процесс-кодирования и декодирования потока спайков.

Важным достоинством частотного кодирования информации является высокая помехозащищенность такой схемы кодирования. В то же время гипотеза о частотном кодировании обладает существенным недостатком, связанным со свойственным для нее ограничением на максимальную скорость обработки информации. Если характерное время генерации спайка для биологического нейрона составляет около 2 мсек, то необходимость оценивать на синапсе среднюю частоту импульсов в сочетании с оценкой среднего числа нейронов, вовлеченных в формирование простой поведенческой реакции дает оценку характерного времени отклика нервной системы, входящую в противоречие с экспериментальными данными о типичном времени отклика нервной системы [29]. Тем не менее, в целом модель нелинейного нейрона следует оценить как наиболее продуктивную в смысле разнообразия построенных на ее основе нейронных сетей, реализующих различные высокоуровневые функции нервной системы.

1.2.3 Фазовое кодирование информации и осцилляторные модели нейрона

Согласно гипотезе о фазовом кодировании информация в нервной системе кодируется фазой осцилляций отдельных нейронов и их групп, а обработка информации связана с процессами синхронизации осцилляторной активности нейронов. В рамках этой гипотезы представление сложного стимула связано с возникновением паттерна синхронной осцилляторной активности группы нейронов. Таким об-

разом, гипотеза о фазовом кодировании информации неявно использует гипотезу о кодировании номером канала с той лишь разницей, что бинарный паттерн активности нейронов заменяется на бинарный паттерн синхронно осциллирующих нейронов. Гипотеза о фазовом кодировании информации находит подтверждение в нейрофизиологических экспериментах, связанных с исследованием обонятельного и зрительного восприятия [39, 38, 2].

В рамках гипотезы о фазовом кодировании информации наибольший интерес представляют осцилляторные нейронные сети, элементами которых являются импульсные нейроны-пейсмейкеры [3]. В таких сетях изучаются процессы синхронизации, приводящие к образованию кластеров синхронно осциллирующих нейронов и задачи управления структурой таких кластеров. В решении этих задач в настоящее время сделаны только первые шаги [39, 38, 3].

Фазовое кодирование информации соединяет в себе положительные черты схемы кодирования номером канала и схемы частотного кодирования информации, сочетая эффективное использование способности отдельного нейрона генерировать спайки с уровнем помехозащищенности. сравнимым со случаем частотного кодирования.

При использовании гипотезы о фазовом кодировании информации в роли структурного элемента нейронной сети выступает одна из автогенераторных импульсных моделей биологического нейрона-пейсмейкера, с той или иной степень биологической реалистичности воспроизводящая процесс генерации спайка. Среди осцилляторных моделей биологического нейрона следует упомянуть широко используемые в сетях с фазовым кодированием модели Морриса-Лекара, Розе-Хиндмарш и Вилсона-Кована [39]. Сколько-нибудь полный об-

зор известных импульсных моделей нейрона-иейсмейкера далеко выходит за рамки настоящей работы (см. обзорные работы [39, 38, 2, 3]). Отметим, что изучаемая в данной работе импульсная модель нейрона [11], основанная на использовании дифференциального уравнения с запаздыванием, была предложена именно в рамках работ, связанных с построением осцилляторных нейронных сетей, использующих фазовое кодирование информации. Эта модель хорошо согласуется с биологическими данными, достаточно проста и допускает аналитическое исследование.

1.2.4 Импульсное кодирование информации и импульсные модели нейрона

Согласно гипотезе об импульсном кодировании информация в нервной системе представляется локальными временными характеристиками потока нервных импульсов. В роли таких локальных характеристик могут выступать индивидуальные продолжительности межспайковых интервалов или индивидуальные моменты спайков отдельных нейронов. Как и в случае использования фазового кодирования при импульсном кодировании в качестве структурного элемента нейронной сети используются импульсные модели биологического нейрона, воспроизводящие процесс генерации спайка, но, в отличие от фазового кодирования, здесь могут использоваться как автогенераторные, так и детекторные модели. Типичная нейронная сеть, основанная на импульсном кодировании информации, представляет собой систему взаимосвязанных импульсных нейронов, для каждого из которых момент генерации спайка определяется воздействием со стороны пресинаптических нейронов [21].

Вопрос о том, используется ли импульсное кодирование в нервной

системе животных и человека остается предметом оживленных дискуссий [32. 24]. Тем не менее, было экспериментально показано, что процесс восприятия входящего спайка отдельным нейроном обладает достаточной надежностью, чтобы сделать импульсное кодирование информации возможным [32]. Также имеются хорошо известные примеры специализированных нервных подсистем у животных, для которых значимость точного времени прихода спайков была продемонстрирована экспериментально — это электро-сенсорная система электрического ската [22], система эхолокации у летучих мышей [27] и аудиальная система сов [6]. Относительно центральной нервной системы человека имеются лишь косвенные экспериментальные данные, подтверждающие использование импульсного кодирования информации. Так, в работе [40] экспериментально продемонстрировано, что зрительная система человека способна осуществлять классификацию зрительных образов за время, в течение которого каждый образующий эту систему нейрон генерирует не более одного импульса. Также во многих экспериментах было показано, что тонкая временная структура последовательности спайков несет существенную информацию о воспринимаемом стимуле [4, 28, 5].

Необходимость управлять моментом генерации индивидуального спайка накладывает довольно жесткие ограничения на импульсные модели нейрона, используемые в качестве структурных элементов нейронных сетей с импульсным кодированием информации. Многие импульсные модели, успешно используемые в сетях с фазовым кодированием, оказываются слишком сложными для построения сетей с импульсным кодированием, особенно если иметь в виду получение аналитических результатов. Было предложено несколько импульсных

моделей нейрона, воспроизводящих процесс генерации спайка и адаптированных для использования в сетях с импульсным кодированием информации. Среди таких импульсных моделей наибольшей простотой и популярностью отличаются т.н. интегративно-пороговый элемент (Integrate-and-fire Model) и модель отклика на спайк (Spike Response Model, SRM) [21, 30]. На основе простейших интегративно-пороговых элементов были реализованы нейронные сети с импульсным кодированием информации, моделирующие многослойный пер-цептрон [29] и сеть Хопфилда [31]. В данной работе демонстрируется возможность построения слоистых и рекуррентных нейронных сетей с импульсным кодированием информации на базе предложенной в работах [11, 15] биологически правдоподобной импульсной модели нейрона, основанной на использовании дифференциального уравнения с запаздыванием.

1.3 Краткий обзор нейросетевых моделей

За 30 лет активного развития нейросетевого подхода было предложено большое число нейротетевых архитектур, предназначенных для решения различных прикладных задач и моделирующих различные высокоуровневые аспекты функционирования биологической нервной системы. Сколько-нибудь полный обзор результатов в этой области далеко выходит за пределы данной работы. Здесь мы приведем краткий обзор результатов, относящихся к тем нейросетевым архитектурам, для которых в основной части работы строятся импульсные аналоги. Под импульсными аналогами будем понимать нейронные сети, основанные на импульсном кодировании информации, состоящие из импульсных нейронов и демонстрирующие поведение,

аналогичное поведению сети-прототипа. Дополнительно приводится краткий обзор результатов, относящихся к нейронным сетям с фазовым кодированием информации, построенным на базе используемой нами импульсной модели нейрона, основанной на использовании уравнения с запаздыванием.

1.3.1 Многослойные перцептроны

Нейронная сеть называется слоистой, если образующие ее нейроны расположены в нескольких упорядоченных слоях, причем внутри слоя связи между нейронами отсутствуют, а каждый нейрон А;-го слоя оказывает воздействие на все нейроны (к + 1)-го слоя [37]. Слоистую сеть, состоящую из одного слоя (нескольких слоев) пороговых или нелинейных нейронов МакКаллока-Питца, называют также однослойным (многослойным) перцептроном.

Однослойный перцептрон, образованный пороговыми нейронами МакКаллока-Питца, был исторически первой нейронной сетью, предложенной в 1957 г. Ф. Розенблатом. Для однослойного перцептрона известен простой алгоритм подбора весов, основанный на минимизации ошибки выхода (т.н. метод коррекции ошибки), но вычислительные возможности однослойного перцептрона весьма ограничены. Тем не менее, уже двуслойный перцептрон при соответствующем выборе весов связей вычисляет значения произвольной логической функции своих входов.

Ясно, что однослойный перцептрон, образованный нелинейными нейронами, по своим свойствам мало отличается от однослойного перцептрона из пороговых элементов. В то же время уже для двуслойного перцептрона, состоящего из нелинейных нейронов, было пока-

зано [25], что при соответствующем выборе весов связей он реализует аппроксимацию произвольной непрерывной функции Я4 —> с произвольной наперед заданной точностью (по равномерной норме). Одновременно для многослойного перцептрона с гладкой функцией активации применим алгоритм обратного распространения ошибки, позволяющий эффективно вычислять частные производные ошибки выхода по значениям весов связей, что позволяет использовать для подбора весов связей эффективные алгоритмы оптимизации.

1.3.2 Сети Хопфилда

Сеть Хопфилда — простейшая нейронная сеть, реализующая такую важную высокоуровневую функцию центральной нервной системы как ассоциативная память. Формально классическая сеть Хопфилда представляет собой полносвязную нейронную сеть, состоящую из пороговых нейронов МакКаллока-Питца. Такая сеть является рекуррентной нейронной сетью, т.е. такой сетью, в которой выходы образующих ее нейронов используются в качестве входов тех же нейронов. Работа сети Хопфилда разбивается на такты, на каждом из которых происходит изменение состояния каждого нейрона сети под воздействием всех остальных нейронов. Поскольку эволюция состояния сети Хопфилда зависит от начального состояния всех нейронов, то такая сеть не имеет выделенного входа и входной вектор используется в качестве исходного состояния сети. Сеть Хопфилда также не имеет выделенного выхода и под результатом работы сети понимается состояние равновесия, в которое при некоторых условиях сеть попадает с течением времени, т.е. работа сети завершается в момент достижения ею стационарного состояния, в котором очередной шаг

не изменяет ее состояние.

Рассмотрим более подробно процесс изменения состояния нейронов на одном такте работы сети Хопфилда. На каждом такте каждый нейрон сети вычисляет взвешенную сумму своих входов и применяет к ней пороговую функцию, но в этот момент не происходит изменения состояния нейрона. Нейроны, для которых вычисленное значение оказалось отличным от их текущего состояния, считаются фрустри-рованными и могут на следующем шаге перейти в новое состояние. После определения множества фрустрированных нейронов производится обновление их состояния. Здесь возможны два сценария, называемых синхронным и асинхронным режимами работы сети Хопфилда. При асинхронном режиме на каждом такте производится переключение только одного из фрустрированных нейронов, тогда как при синхронном режиме одновременно переключаются все фрустри-рованные нейроны.

Для сетей Хопфилда известно правило выбора весов межнейронных связей (правило Хебба), позволяющее реализовать функцию ассоциативной памяти. Не останавливаясь на формальном описании правила Хебба для сети Хопфилда, отметим, что оно состоит в усилении всех синаптических связей, соединяющих нейроны, находящиеся в одинаковом состоянии для каждого образа из обучающей последовательности. При выборе весов в соответствии с правилом Хебба пространство состояний сети Хопфилда разбивается на множество попарно непересекающихся «бассейнов притяжения», каждый из которых соответствует одному из запомненных образов. Стартуя с произвольного образа, обученная сеть Хопфилда с течением времени переходит в состояние равновесия, совпадающее с одним из запомненных

образов. При этом сеть фактически ассоциирует поданный на вход произвольный стартовый образ с одним из запомненных образов, что и позволяет рассматривать сеть Хопфилда как реализацию ассоциативной памяти.

Описанная выше динамика имеет место только в том случае, когда количество запоминаемых образов значительно меньше количества нейронов в сети, а сеть работает в асинхронном режиме. При большом количестве образов в пространстве состояний могут возникать бассейны притяжения, соответствующие т.н. ложным образам, не входящим в обучающую последовательность. Для сетей с синхронной динамикой в пространстве состояний могут также возникать циклические траектории, имеющие собственные бассейны притяжения.

Отметим, что сеть Хопфилда была также реализована на основе полносвязной сети, состоящей из нелинейных нейронов.

1.3.3 Краткий обзор нейросетевых моделей на основе импульсного нейрона с запаздыванием

В данном разделе приведен краткий обзор нейросетевых моделей, построенных на основе используемой нами импульсной модели биологического нейрона с запаздыванием, предложенной в работе [И]. Все описываемые ниже нейросетевые модели используют фазовый подход к кодированию обрабатываемой информации. Систематическое изложение перечисленных ниже нейросетевых моделей содержится в [16]. Обзор нейросетевых моделей, основанных на других импульсных моделях нейрона, далеко выходит за рамки настоящей работы (см. обзоры [39, 38, 2, 3]).

В работе [11] предложено дифференциальное уравнение с запаздыванием, основанное на феноменологическом представлении о за-

держке калиевого ионного тока и описывающее изменение мембранного потенциала нейрона в процессе генерации спайка. В работе [13] построена асимптотика решения предложенного уравнения и показано, что описываемый таким уравнением импульсный нейрон генерирует короткие высокоамплитудные спайки, разделенные промежутками медленного изменения мембранного потенциала. Модель оказалась пригодной для описания как нейронов-пейсмейкеров, самопроизвольно генерирующих спайки, так и нейронов-детекторов, генерирующих спайки в ответ на внешнее воздействие. В работе [13] были предложены модели электрического и химического синапсов, реализующих внешнее воздействие на нейрон.

В работах [17, 18, 19] рассмотрено распространение волн в кольцевой нейронной сети, состоящей из импульсных нейронов. В них решена задача синтеза нейронной сети, генерирующей периодическую последовательность импульсов с заданными межспайковыми расстояниями. В работах [9, 14] изучены кольцевые структуры, состоящие из нейронных модулей, содержащих возбудительные и тормозные нейроны. Для таких нейронных сетей показано существование режимов, в которых заранее заданные возбудительные нейроны каждого модуля периодически и синхронно генерируют спайк. Если набор активных нейронов каждого модуля интерпретировать как образ, то данная нейронная сеть способна сколь угодно долго хранить заданную последовательность образов.

В работе [15] предложен алгоритм адаптации синаптических весов в кольцевой нейронной структуре. Под влиянием внешней периодической последовательности импульсов происходит модификация синаптических весов таким образом, что по окончании адаптации и

после отключения внешнего воздействия нейронное кольцо генерирует копию внешней импульсной последовательности. В работе [20] рассмотрено взаимодействие двух кольцевых нейронных структур, в результате которого происходит синхронизация их колебаний.

1.4 Обзор диссертации 1.4.1 Содержание работы

Работа состоит из четырех глав (первая из которых является вводной), заключения, списка литературы и приложения.

В первой главе приведен общий обзор предметной области: кратко охарактеризованы основные модели биологического нейрона и модельные представления, относящиеся к кодированию информации в нервной системе, дан обзор импульсных нейросетевых моделей.

Во второй главе рассмотрена модель импульного нейрона, основанная на уравнении с запаздыванием. Для этой модели получена оценка длительности спайка, имеющая первый порядок точности по величине, обратной к значению большого параметра. Для случая внешнего воздействия со стороны одного пресинаптического нейрона посредством химического синапса получена оценка длительности латентного периода, имеющая первый порядок точности.

В третьей главе предложены две альтернативные модели импульсного нейрона с ограниченной по времени чувствительностью — модель нейрона с химическими ВБ-синапсами и модель нейрона с моди-фицироваными ВБ-синапсами. Для модели нейрона с ВБ-синапсами получены асимптотические формулы, описывающие результат воздействия со стороны произвольного числа иресинаптических нейронов. Показано, что при использовании импульсного кодирования ин-

формации ВБ-нейрои может реализовывать суммирование входных сигналов. Для модели нейрона с МВЭ-синапсами получена асимптотическая оценка интервала чувствительности, имеющая нулевой порядок точности по величине, обратной к значению большого параметра. Также рассмотрен случай одного внешнего синаптического воздействия на МВБ-нейрон и доказано, что при определенных параметрах МВЭ-нейрон может моделировать функцию активации с насыщением.

В четвертой главе рассмотрены нейросетевые архитектуры, состоящие из импульсных нейронов с химическим синапсами. Построена конструкция импульсного нелинейного нейрона МакКаллока-Питца, воспроивзодящая работу нелинейного нейрона МакКаллока-Питца. На основе импульного нейрона МакКаллока-Питца построены сети, моделирующие работу многослойного перцептрона и рекуррентной сети Хопфилда.

В заключении подведены итоги работы и сформулированы некоторые задачи, ожидающие решения.

1.4.2 Результаты, выносимые на защиту

1. Получены оценки длительности спайка и латентного периода импульсного нейрона, имеющие первый порядок точности по величине, обратной к значению большого параметра.

2. Предложена модель химического ВЯ-синапса, для которой получены асимптотические формулы, описывающие результат воздействия произвольного числа пресинаитических нейронов и показано. что нейрон с ВЯ-синапсами способен вычислять взвешенную сумму своих входов.

3. Предложена модель химического МВЭ-синапса, для которой по-

лучена асимптотическая формула для интервала чувствительности и показано, что нейрон с МВБ-синапсом способен моделировать применение к своему входу функции активации с насыщением.

4. Описана конструкция импульсных нейросетевых архитектур, использующих импульсное кодирование информации, состоящих из биологически реалистичных модельных нейронов и воспроизводящих динамику нелинейного нейрона МакКаллока-Питца, многослойного перцептрона и рекуррентной сети Хоп-филда.

1.4.3 Актуальность и научная новизна работы

Исследование нейронных сетей — одна из перспективных областей современной прикладной математики, конечной целью которой является достижение понимания механизмов работы мозга и построение устройств и алгоритмов обработки информации, воспроизводящих особенности функционирования нервной системы живых существ. В настоящее время в центре внимания исследователей находятся импульсные нейронные сети, позволяющие моделировать процессы обработки информации, протекающие в нервной системе за время, сравнимое с временем генерации нейроном одного импульса. Актуальность данной работы определяется тем, что она посвящена исследованию синаптического взаимодействия в импульсных нейронных сетях, построенных на базе биологически правдоподобной модели нейрона.

Научная новизна работы состоит в следующем:

— Предложены новые модели синаптического взаимодействия им-

пульсных нейронов с запаздыванием, позволяющие в рамках нейронных сетей с импульсным кодированием информации, состоящих из биологически реалистичных модельных нейронов, воспроизвести процедуру взвешенного суммирования и применения функции активации с насыщением. Для предложенных моделей проведено исследование процессов синаптического взаимодействия импульсных нейронов с запаздыванием и получены асимптотические формулы, описывающие процесс взаимодействия.

— Предложен импульсный аналог нелинейного нейрона МакКаллока-Питца, на основе которого построены импульсные нейросетевые архитектуры, использующие импульсное кодирование информации, состоящие из биологически реалистичных модельных нейронов и воспроизводящие работу многослойного перцептрона и рекуррентной сети Хопфилда.

1.4.4 Публикации и апробация результатов

По теме диссертации опубликовано 9 статей, в том числе 5 в изданиях из списка ВАК.

Результаты работы были доложены на семинарах «Моделирование и исследование нейронных сетей», «Нелинейная динамика и синергетика» в Ярославском государственном университете им. П.Г. Демидова и представлены на следующих конференциях:

XII Всероссийская научно-техническая конференция «Нейроинформатика-2010» (Москва, 2010): Конференция «Наукоемкие информационные технологии» (Переславль-Залесский, 2010); XIII Всероссийская научно-техническая конференция «Нейроинформатика-2011» (Москва, 2011).

2 Химическое взаимодействие двух нейронов

2.1 Динамика изолированного нейрона

В работе [11] была предложена биологически правдоподобная модель импульсного нейрона-автогенератора, основанная на уравнении с запаздыванием.

Здесь и(Ь) — функция мембранного потенциала нейрона: Л > 0 — большой параметр, определяющий скорость процессов поляризации-деполяризации мембраны нейрона: /ка(^) и /к(^) — гладкие положительные функции, монотонно стремящиеся к нулю при и оо. Будем считать выполненным условие

гарантирующее при отсутствии внешнего воздействия неустойчивость нулевого состояния равновесия. В этом случае динамика мембранного потенциала изолированного нейрона имеет автогенераторный характер. В качестве начальной функции выбирается произвольная функция из множества

5 = е С[-1,0] : Л"1ехр(2Ла5) < ф) < Л"1 ехр(Лаз/2)} . (3)

Функции Дта(и) и /к(и), описывающие зависимость проводимости мембраны нейрона от мембранного потенциала, определяют свойства мембраны нейрона как нелинейной электрохимической системы [16]. Наличие в уравнении (1) постулируемого запаздывания калиевой про-

й = х \hiuit - 1)) - - 1] <г).

(1)

а = /к(0)-Ы0)-1>0.

(2)

водимости по отношению к натриевой делает данную модель феноменологической. Тем не менее, важно отметить, что рассматриваемая модель описывает протекающие в мембране нейрона процессы ионного обмена и хорошо согласуется с экспериментальными данными.

Решение уравнения для изолированного нейрона оказывается периодическим и имеющим импульсную структуру [16]. Моменты начала и конца импульса (спайка) свяжем с моментами, когда мембранный потенциал и(Ь) пересекает значение Л^1 с положительной и отрицательной скоростью соответственно. Для длительности импульса Т\ и периода Т\ имеют место следующие асимптотические оценки нулевого порядка точности [16]:

Сформулируем теоремы для динамики нейрона, описанного уравнением (1), в которых получены асимптотические оценки имеющие нулевой и первый порядок точности по величине, обратной к значению большого параметра Л [10].

Теорема 2.1. Для нейрона, описанного уравнением, (1) динамика мембранного потенциала u{t) при А —» оо в нулевом приближении определяется следующими асимптотическими формулами:

Ti = 1 + ai, T2 — T1 + I + a2/oi,

где

<*i = /k(0)-1, a2 = /Na(0) + l.

(4)

u(t) = <

rexp[Xai(t - n)], £E [71,7-2],

exp(Aai)exp[-A(i - 73)], t e [73,74],

exp[-Aa2(i - r5)], t€ [r5, r6],

^exp(—Aa2) exp[Aa(t - r7)], t e [r7, r8],

(5)

где

т\ = о( 1), т2 = 1,

тз = г2 +о(1), Т4 = т3 + а1,

т5 = т4 + о( 1), т6 = г5 + 1,

т7 = т6 + о(1), т8 = т7 + а2/а.

Для периода Т2 решения u(t) уравнения справедливо асимптотическое представление — Т2о + о(1), гс>е Т2о = 2 + cci + а2/а.

Символом о(1) обозначены слагаемые, стремящиеся при Л —> оо к нулю равномерно относительно выбора начальной функции ip € S.

Помимо оценки собственного периода нейрона важной характеристикой при исследовании взаимодействия импульсных нейронов является длительность спайка нейрона. Следующая лемма дает асимптотическую оценку первого порядка точности для длительности спайка.

Лемма 2.1. Пусть дважды непрерывно дифференцируемые положительные функции fNa(u) и Jk{u) монотонно убывают и при и —> оо стремятся к нулю быстрее, чем 0(и~~1), т.е. найдется такое е > О, что при и —> оо выполнены соотношения

Ыи) = 0{ul-% fK(u) = 0{и1~е). (6)

Пусть также выполнены соотношения f'Na(0) = f'K{0) = 0, а начальная функция (р выбрана из множества (3). Тогда для длительности спайка Т\ при А —> оо имеют место следующие асимптотические формулы: Т\ = Тц + о(А_1); где Тц — Тю + ATi; Тю = 1 + аг

Рис. 1: Схематический график решения уравнения нейрона.

и

ДГ1 =

1пА

а

А

+ А-1

«2- А"1

1т{и) - /лга(О)

'о

о «2[1 + 1т{и)} и 1 11к(и) - М0)]а + [/*» - /7Уа(0)] ^

и

+

- /тУа(и)]

° /а{ц) + ЫиЩц) - ЫО)] Ли

[ОН- 1ма{и)}[1 + }На{и)] и

■ (7)

Доказательство. При доказательстве мы будем пользоваться стандартным методом шагов, разбивая решение на подынтервалы, проведенное ниже рассуждение может быть проиллюстрировано рисунком 1.

Доказательству леммы 2.1 предпошлем ряд простых и полезных лемм.

Лемма 2.2. Если в начальной задаче вида

й = А ри, и( 0) = щ

при А —> оо числовой параметр р известен с точностью о(Х~^) при некотором ¡3 > 0, а начальное значение щ > 0 известно с относительной точностью о(Х~7) при некотором j > 0, то момент времени, в который решение достигает заданного уровня определяется с точностью порядка o(X~q), где q — min{/3,7 + 1}.

Доказательство.

Пусть определяется момент времени, когда решение достигает уровня U\ = Woexp(A<i). где d — некоторое вещественное число. Решение исходного уравнения для начального значения щ имеет вид u(t) = щ exp(Àpt) и достигает уровня щ в момент времени t\ = p~ld. Рассмотрим теперь начальную задачу

v = Х[р + о( v(0) = щ[1 + о(А-7)].

Решение этой задачи имеет вид

v(t) = щ[1 + о(А~7)] ехр[А(р + o(A"^))i]

Момент времени t[, когда это решение достигает уровня щ, определяется из уравнения

[1 + о(А~7)] ехр[А(р + o(X~P))t[] = ехр(А(i).

Логарифмируя это равенство и замечая, что 1п[1 + о(А-7)] = о(А~7). получаем уравнение о(А"~7) -+• А[р + o(X~i3)]t'l = A d, откуда о(А-7^1) + [р + o(X~~P)]t[ = d и окончательно t[ = p~ld + ¿»(А""7^1) + о(А_/3). что и доказывает лемму. □

Лемма 2.3. Если в начальной задаче вида

ù — Хри, и( 0) = Mo 32

при А —> оо числовой параметр р известен с точностью о(Х"!3) при некотором (3 > 0; то значение решения в фиксированный момент времени Ь — 0(1) определяется с относительной точностью порядка о(\~Р+1).

Доказательство.

Решение исходного уравнения имеет вид и(£) = щ ехр(Ар^), а решение уравнения V = Х[р + о(А_/3)]г> имеет вид

у(г) =и0ехр{Х[р + о(Х-(3)Щ = и(г) ехр[о(А_/т)*].

Учитывая, что ехр[о(А-/?+1)£] = 1 + о(и что для фиксированного £ верно равенство = о(А~^+1), получаем г>(£) = и(€)[ 1 + о(А~'й+1)]. что и доказывает лемму. □

Из лемм 2.2 и 2.3 непосредственно следует вывод относительно необходимой точности для каждого шага построения асимптотики. Для получения оценки периода с погрешностью порядка ¿»(А"1) длины всех временных интервалов также должны вычисляться с погрешностью порядка о(А-1). Для тех временных интервалов, окончание которых связано с достижением решением некоторого заданного значения, а начальное значение задано точно, требование к точности определяется леммой 2.2. Полагая формально 7 = со, получаем, что значения оператора Ь{и) должны быть определены с точностью не хуже о(А-1). Часть интервалов имеют фиксированную известную длину и неточность задания значений оператора Ь[и] на этих интервалах приводит к погрешности в определении значения решения на конце интервала, которая описывается леммой 2.3. Такая погрешность, в свою очередь, приводит к погрешности в определении длительности следующего интервала, которая снова описывается леммой 2.2.

В результате для такой пары интервалов для вычисления суммарной длительности с погрешностью порядка о(А-1) требуется на каждом интервале задавать значения оператора Ь[и] с точностью не хуже о(А-1). Таким образом, для получения оценки периода с погрешностью порядка о(А-1) значения оператора Ь[и) на каждом шаге должны быть определены с точностью не хуже о(А-1).

Лемма 2.4. Если /(ж) и д(х) — непрерывные функции, причем /(ж) ^ 0 и д(х) ^ 6 > 0; то

а л

, Ш^ + о^ЫХ).

] д{х) + о(Х-Р) х ] д(х) х л-1 л-1

Доказательство.

Утверждение леммы непосредственно следует из очевидного равенства

№ _/(*) _ № + о{х-Р)

и

д{х) + о( Х-13) д(х) д(х)[д{х) + о(А-^)] д(х)

того факта, что интегрирование функции Нр(х) = х~1о(по отрезку [А-1, А] дает величину порядка о(А_,01пА). Лемма доказана. □

Лемма 2.5. Пусть при каждом А > 0 определена непрерывно дифференцируемая функция /\(и), причем /а(0) = 0 и при X —» оо выполнено асимптотическое равенство /д(и) = о(А-1). Тогда при X —> оо справедлива оценка

/•А"1

/ /\(и)и 1 йи = о(А 1). ¿о

Доказательство. Для непрерывно дифференцируемых функций /л (и) из равенства /л(0) = 0 следует сходимость интеграла в левой

части выписанной формулы. Из непрерывной дифференцируемое™ функций /\(и). равенства /л(0) = 0 и асимптотического равенства /а (и) = о(Л~'1) непосредственно следует асимптотическое равенство f\(u)u~1 = о(1). Таким образом, имеем: пХ~1 гХ'1

/ ¡х(и)и~Чи = о(1)ди = о(1)Л-1 - с^А"1).

J О

□

Лемма 2.6. .Если непрерывной функции f(u) > 0 при некотором е > 0 выполнено равенство f(u) = 0(ti~1_e); то при А —» оо справедлива оценка

J f(u)u du = о(А ).

Доказательство.

Равенство /(w) = 0(w~1_e) позволяет для функции f(u) при некотором С > 0 записать следующую оценку: f(u) ^ Си~1~е. Таким образом, получаем:

роо !>00 у^г

/ /(и)гГ1^ < С / =-А-1""6 = ^А"1).

Jx Jx 1 + е

□

Доказательство леммы 2.1.

1. Рассмотрим интервал 0 ^ t ^ t\. где t\ — о(1). Поскольку на этом интервале выполнено неравенство — 1 ^ t — 1 ^ 0, то уравнение (1) может быть переписано следующим образом:

Ù = \[M<p(t - 1)) - Ыи) - 1 }и. 35

Кроме того, выполнено неравенство (р(£ — 1) ^ Л-1, поэтому с учетом равенства /¿(0) — 0 для функции /к (<£>(£ — 1)) имеет место следующее разложение в ряд Тэйлора:

МФ - 1)) = /к(0) + 0{ф - 1)) = /к(0) + о^-1). Пренебрегая слагаемыми порядка о(А-1), получаем уравнение

и = \[а\— Да (и)] и.

В силу того, что *и(0) = А-1 и — А, из этого уравнения следует равенство

¿1 = А"1 Г Г 1 1 -

1 Л-1 № - и'

Отметим, что а\ — Да(0) = а- поэтому из монотонности функции Д а(и) и из неравенства (2) следует неравенство Да (и) ^ Да(0) < ос г, гарантирующее положительность знаменателя в последней формуле. Локализуем особенности и выделим сингулярную составляющую каждого интеграла:

г\

¿1 = А

-1

1п А

а

1

+ А

-1

1п А

ах

+

1 ¿и

а и

лА -

Л а.\

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Дунаева, Ольга Александровна

5 Заключение

В работе рассмотрены процессы синаптического взаимодействия импульсных нейронов, описываемых уравнениями с запаздыванием.

Для случая химического взаимодействия применение метода большого параметра в сочетании с методами построения асимптотических разложений для несобственных интегралов позволило получить оценку латентного периода импульсного нейрона, имеющую первый порядок точности по величине, обратной к значению большого параметра. Развитая техника может быть использована для получения асимптотических оценок временных параметров, характеризующих различные процессы взаимодействия импульсных нейронов.

Также в работе предложены две новые модели синаптического взаимодействия импульсных нейронов (ВЭ-синапс и МВЭ-синапс), позволяющие на базе импульсных нейронных сетей воспроизвести процедуру взвешенного суммирования и применения функции активации с насыщением. Для предложенных моделей проведен асимптотический анализ процесса взаимодействия и получены оценки, описывающие результат воздействия пресинаптических нейронов. Показано, что нейрон с ВЭ-синапсами способен вычислять взвешенную сумму своих входов, а нейрон с МВБ-синапсом способен моделировать применение к своему входу функции активации с насыщением.

На базе предложенных моделей построен импульсный нейрон МакКаллока-Питца — конструкция, являющаяся импульсным аналогом нелинейного нейрона МакКаллока-Питца. Для импульсного нейрона МакКаллока-Питца получен ряд результатов, описывающих процессы взаимодействия таких нейронов. На основе импульсного нейрона МакКаллока-Питца построены импульсные нейросетевые архитектуры, воспроизводящие работу многослойного перцептрона и рекуррентной сети Хопфилда. Для всех предложенных конструкций импульсных нейронных сетей доказаны утверждения, описывающие процессы их функционирования.

В целом в работе продемонстрирована возможность построения импульсных нейронных сетей, воспроизводящих процессы обработки информации, характерные для классических нейросетевых архитектур. Возможность реализации классических нейронных сетей на основе импульсных нейронов имеет большое теоретическое значение. Традиционная реализация классических нейронных сетей на базе биологически правдоподобных нейронов использует частотное кодирование информации и приводит к нейронным сетям, требующим для обработки информации времени, значительно превосходящего время отклика нервной системы. Предложенные в работе импульсные реализации классических нейронных архитектур на базе биологически правдоподобных нейронных элементов используют импульсное кодирование информации и демонстрируют способность обрабатывать входную информацию за время, сравнимое со временем генерации каждым нейроном сети единичного спайка.

Список литературы диссертационного исследования кандидат физико-математических наук Дунаева, Ольга Александровна, 2011 год

Список литературы

1. Глызин, С. Д. Релаксационные колебания электрически связанных нейроподобных осцилляторов с запаздыванием / С. Д. Глызин // Моделирование и анализ информационных систем. — 2010. - Т. 17, № 2. - С. 28-47.

2. Борисюк, Г. Н. Осцилляторные нейронные сети, математические результаты и приложения / Г. Н. Борисюк, Р. М. Борисюк и др. // Математическое моделирование. — 1992. — Т. 4, N2 1. — С. 3-43.

3. Борисюк, Г. П. Модели динамики нейронной активности при обработке информации мозгом - итоги «десятилетия» / Г. Н. Борисюк, Р. М. Борисюк и др. // УФМН. - 2002. - Т. 172, № 10. -С. 1189-1214.

4. Bair, W. Temporal precision of spike trains in extrastriate cortex of the behaving macaque monkey / W. Bair, C. Koch // Neural Computation. - 1996. - Vol. 8(6). - Pp. 1185-1202.

5. Beierholm, U. Characterization of reliability of spike timing in spinal interneurons during oscillating inputs / U. Beierholm, C. Nielsen et al. Ц J. Neurophysiol. - 2001. - Vol. 86. - Pp. 1858-1868.

6. Carr, C. A circuit for detection of inter aural time differences in the brain stem of the barn owl / C. Carr, M. Konishi // J. Neurosci. — 1990. - Vol. 10. - Pp. 3227-3246.

7. Плонси, P. Биоэлектричество: количественный подход / P. Плон-си, Р. Барр. - М.: Мир, 1991. - 366 с.

8. Покровский, А. Н. Процессы управления в нервных клетках / А. Н. Покровский. - Л., 1987. - 85 с.

9. Майоров, В. В. Структура колебаной в кольцевой системе из однородных нейронных модулей / В. В. Майоров // Моделирование и анализ информационных систем. — 1994. — № 2. — С. 50-77.

10. Майоров, В. В. Поправка к периоду решения уравнения, моделирующего динамику мембранного потенциала нейрона / В. В. Майоров, М. Л. Мячин, И. В. Парамонов // Моделирование и анализ информационных систем. — 2008. — Т. 15, № 2. — С. 61-66.

11. Майоров, В. В. Математическое моделирование нейронной сети на основе уравнений с запаздыванием / В. В. Майоров, И. Ю. Мышкин // Математическое моделирование. — 1990. — Т. 2, № 11,- С. 64-76.

12. Майоров, В. В. Импульсные нейросети / В. В. Майоров, С. Е. Ануфриенко. — Ярославль, 2006. — 98 с.

13. Кащенко, С. А. Об одном дифференциально-разностном уравнении, моделирующем импульсную активность нейрона / С. А. Кащенко, В. В. Майоров // Математическое моделирование. — 1993. - Т. 5, № 12. - С. 13-25.

14. Кащенко, С. А. Волновые структуры в кольцевых системах из однородных нейронных модулей / С. А. Кащенко, В. В. Майоров // Докл. РАН. - 1995. - Т. 342, № 3. - С. 318-321.

15. Кащенко, С. А. Модель адаптации кольцевых нейронных ансамблей / С. А. Кащенко, В. В. Майоров // Радиотехника и Электроника. - 1998. — Т. 43, № 11. — С. 1-7.

16. Кащенко, С. А. Модели волновой памяти / С. А. Кащенко, В. В. Майоров. — М.: Книжный дом «ЛИБРОКОМ», 2009. —

288 с.

17. Кащенко, С. А. Исследование колебаний в кольцевых нейронных системах / С. А. Кащенко. В. В. Майоров, И. Ю. Мышкин // Докл. РАН. - 1993. - Т. 333, № 5. - С. 594-597.

18. Кащенко, С. А. Распространение волн в простейших кольцевых нейронных структурах / С. А. Кащенко, В. В. Майоров, И. Ю. Мышкин // Математическое моделирование.— 1995. — Т. 7, № 12. - С. 3-18.

19. Кащенко, С. А. Волновые образования в кольцевых нейронных системах / С. А. Кащенко, В. В. Майоров, И. Ю. Мышкин // Математическое моделирование. — 1997. — Т. 9, № 3. — С. 29-39.

20. Кащенко, С. А. Модель нейронной системы, синхронизирующей волновые пакеты / С. А. Кащенко, В. В. Майоров, И. Ю. Мышкин // Докл. РАН. - 1998. - Т. 360, № 4. - С. 463-466.

21. Gerstner, W. What's different with spiking neurons? / W. Gerstner // Plausible Neural Networks for Biological Modelling / Ed. by H. Mastebroek, H. Vos. — Kluwer Academic Publishers, 2001.-Pp. 23-48.

22. Heiligenberg, W. Neural nets in electric fish / W. Heiligenberg. — MIT Press, 1991.

23. Hodgkin, A. L. A quantitative description of membrane current and its application to conduction and excitation in nerve / A. L. Hodgkin, A. F. Huxley // J. Physiol - 1952. - Vol. 117,- Pp. 500-544.

24. Hopfield, J. Pattern recognition computation using action potential timing for stimulus representation / J. Hopfield // Nature. — 1995. —

Vol. 376. - Pp. 33-36.

25. Hornik, K. Multilayer feedforward networks are universal approximators / K. Hornik. M. Stinchcombe, H. White // Neural Networks. - 1989. - Vol. 2. - Pp. 359-366.

26. Izhikevich, E. M. Which model to use for cortical spiking neurons? / E. M. Izhikevich // IEEE Transactions on neural networks. — 2004. — Vol. 15, no. 5. - Pp. 1063-1070.

27. Kuwabara, N. Delay lines and amplitude selectivity are created in subthalamic auditory nuclei: the branchium of the inferior colliculus of the mustached bat / N. Kuwabara, N. Suga // J. Neurophysiol. — 1993. - Vol. 69. - Pp. 1713-1724.

28. Liu, R. Variability and information in a neural code of the cat lateral geniculate nucleus / R. Liu, S. Tzonev et al. // J. Neurophys. — 2001. - Vol. 86. - Pp. 2789-2806.

29. Maass, W. Fast sigmoidal networks via spiking neurons / W. Maass // Neural Computation. - 1997. - Vol. 9. - Pp. 279-304.

30. Maass, W. Networks of spiking neurons: the third generation of neural network models / W. Maass // Neural Networks. — 1997. — Vol. 10. — Pp. 1659-1671.

31. Maass, W. Networks of spiking neurons can emulate arbitrary hopfield nets in temporal coding / W. Maass, T. Natschlager // Network: Computation in Neural Systems.— 1997.— Vol. 9(4).— Pp. 355-372.

32. Mainen, Z. Reliability of spike timing in neocortical neurons / Z. Mainen, T. Sejnowski // Science.- 1995,- Vol. 268(5216).-

Pp. 1503-1506.

33. Meuniera, С. Playing the devil's advocate: is the hodgkin-huxley model useful? / C. Meuniera, I. Segev / / Trends in N euro sciences. — 2002. - Vol. 25, no. 11. - Pp. 558-563.

34. Тимофеев, E. А. Моделирование нейрона, передающего информацию плотностью потока импульсов / Е. А. Тимофеев // Автоматика и телемеханика. — 1997. — Xs 3. — С. 190-199.

35. Соколов, Е. Н. Нейроинтеллект: от нейрона к нейрокомпьютеру / Е. Н. Соколов, Г. Г. Вайткявичюс. — М.: Наука, 1989.- 238 с.

36. Ходжкин, А. Л. Нервный импульс / A. J1. Ходжкин. — М.: Мир, 1965. — 125 с.

37. Хайкин, С. Нейронные сети: полный курс / С. Хайкин.— М.: Издательский дом «Вильяме», 2006.— 1104 с.

38. Rabinovich, М. I. Dynamical principles in neuroscience / M. I. Rabinovich, P. Varona et al. // Rev. Mod. Phys. — 2006. — Vol. 78, no. 4. - Pp. 1213-1265.

39. Абарбанелъ, Г. Д. И. Синхронизация в нейронных ансамблях / Г. Д. И. Абарбанель, М. И. Рабинович и др. // УФМН. - 1996. -Т. 166, № 4. - С. 363-389.

40. Thorpe, S. Speed of processing in the human visual system / S. Thorpe, F. Fize, C. Marlot // Nature1996,- Vol. 381. — Pp. 520-522.