Применение импульсных рекуррентных нейронных сетей для решения задачи распознавания динамических образов тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Никитин, Кирилл Вячеславович

• Никитин, Кирилл Вячеславович
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Никитин, Кирилл Вячеславович

Оглавление

Оглавление

Введение

1. Импульсные рекуррентные нейронные сети з задачах распознавания образов

1.1. Рекуррентные нейронные сети

1.1.1. Классификация РНС

1.1.2. Структура РНС

1.1.3. РНС как динамическая система

1.1.4. Анализ динамики РНС

1.1.5. Обучение РНС

1.1.6. Вычисления в РНС

1.2. Импульсные НС

1.2.1 Импульсные нейроны

1.2.2. Химические синапсы

1.2.3. Импульсные НС

1.2.4. Обучение импульсных НС

1.2.5. Импульсное кодирование

1.2.6. Вычисления в импульсных НС

1.2.7. Моделирование импульсных НС

1.3. Распознавание динамических образов

1.3.1. Распознавание образов

1.3.2. Распознавание динамических образов

1.3.3. РНС в распознавании динамических образов

1.4. Выводы

2. Анализ исследуемой модели и ее состав

2.1. Интерпретация МНС с точки зрения ее функционирования

2.2. Структура модели МНС

2.3. Импульсные нейроны

2.3.1. Модели типа Интегрирование-Возбуждение

2.2.2 Детальная модель Ходжкина-Хаксли

2.3.3. Модели сокращенной размерности

2.2.2 Нейрон Ижикевича

2.3. Синапсы

2.3.1. Электрические синапсы

2.3.2. Химические синапсы

2.3.3. Динамические синапсы

2.3.4. Синапсы с пластичностью

2.3.5 Моделирование сигнала на входе импульсных нейронов

2.4. Импульсное кодирование

2.4.1. Кодирование да/нет

2.4.2. Фазовое кодирование

2.4.3. Частотное кодирование

2.4.4. Популяционное или пространственно-временное кодирование

2.4.5. Кодирование на основе синхронизации

2.5. Машина неустойчивых состояний

2.5.1. Математическая модель

2.5.2. Основные свойства системы распознавания на основе МНС

2.5.3. Резервуар МНС

2.5.4. Считыватели МНС

2.6. Итоговое аналитическое описание модели импульсной РНС

2.7. Метод исследования - кибернетическая физика

2.8. Выводы

3. Реализация среды моделирования импульсных РНС

3.1. Обоснование необходимости разработки среды моделирования

3.2. Требования к разрабатываемой среде моделирования

3.3. Функциональная декомпозиция

3.4. Пользовательский интерфейс

3.5. Алгоритмы моделирования

3.5.1. Особенность моделирования динамических синапсов

3.5.2. Особенность моделирования синаптической пластичности

3.5.3. Алгоритм моделирования импульсных РНС

3.6. Структура представления входных данных

3.7. Возможности разработанной среды моделирования

3.8. Выводы

4. Разработка методики синтеза импульсной РНС

4.1. Последовательность этапов разработки методики

4.2. Определение иерархии подсистем, составляющих модель

4.3. Исследование подсистем, составляющих импульсную РНС

4.3.1. Исследование способов представления входных данных

4.3.2. Исследование моделей нейронов

4.3.3. Исследование синапсов

4.3.4. Исследование структуры импульсных РНС

4.4. Определение иерархии параметров модели

4.4.1. Параметры входных данных

4.4.2. Параметры резервуара

4.4.3. Параметры считывателей

4.4.4. Обобщенная иерархия параметров

4.4.5. Анализ зависимости, выбор варьируемых и фиксированных параметров

4.4.6. Анализ влияния параметров и выбор диапазонов их изменения

4.5. Определение набора возможных задач и показателей качества

4.6. Исследование и анализ влияния параметров

4.7. Разработка обобщенной методики синтеза

4.8. Выводы

5. Применение методики

5.1. Применение на простых задачах

5.1.1. Описание задачи

5.1.2. Применение методики

5.2. Применение на реальных данных

5.2.1. Описание задачи

5.2.2. Применение методики

5.3. Выводы

Заключение

Список сокращений и условных обозначений

Список литературы

Приложение П1

П1.1. Общие сведения

П1.2. Главное окно программы

П1.2.1. Главное меню

П 1.2.2. Панель инструментов

П 1.2.3. Перемещение окон

П1.2.4. Символы работы

П1.3. Окно задания параметров

П 1.3.1. Общая информация

П1.3.2. Параметры эксперимента

П 1.3.3. Структура

П1.3.4. Нейрон

П1.3.5. Синапсы

П1.3.6. Обучение

П1.3.7. Задача или входные и выходные данные

П1.3.8. Моделирование

П1.3.9. Свойства

П1.4. Интерфейс окна визуализации

П 1.4.1. Общая информация

П1.4.2. Контекстное меню

Приложение П2

Введение диссертации (часть автореферата) на тему «Применение импульсных рекуррентных нейронных сетей для решения задачи распознавания динамических образов»

Введение

Актуальность темы исследования и степень ее разработанности

Искусственный интеллект. К настоящему времени окончательно сформировалось новое научное направление - искусственный интеллект (ИИ) [24]. В рамках этого направления разрабатываются различные теории с попыткой найти ключ к пониманию естественного интеллекта. Все эти теории можно отнести к двум группам в зависимости от подхода, который используется при их разработке. Первый подход - формально-логический - моделирует высокоуровневые процессы, происходящие в мозге. К нему относятся системы логического вывода [42], базы знаний [11] и экспертные системы [70]. Зачастую задействуются идеи из психологии [7, 44]. При биологическом подходе напротив сосредотачиваются на создании как можно более детальных моделей мозга и решении с их помощью интеллектуальных задач. К этому подходу относится теория нейронных сетей [64], эволюционные вычисления, генетические алгоритмы [113] и др.

В рамках формально-логического подхода, как правило, удается решить лишь небольшую часть интеллектуальных задач при достаточно жестких накладываемых ограничениях, этот подход может использоваться лишь для формализуемых задач [48]. Однако остается огромное количество неформализуемых задач, для которых не найдено эффективного способа решения в рамках формально-логического подхода - распознавание, сегментация визуальных, звуковых образов, координированное управление системами с большим числом степеней свободы, внимание и др.

Нейронные сети. Начиная с середины 20-го века, активно развивалась теория нейронных сетей - область науки, связанная с моделированием человеческого мозга по его образу и подобию [37, 64, 69]. За последующие полвека нейронаука успела дать большое количество моделей нейронных сетей (НС), решающих те или иные интеллектуальные задачи. Наибольшую известность получили такие модели НС [183], как персептрон Розенблатта [49], многослойные НС прямого распространения (НСПР), НС Хопфилда (НСХ), самоорганизующиеся карты признаков (SOM) Кохонена, сети адаптивного резонанса (ART) Гроссберга, нейронные сети с радиально-базисными функциями (РБФНС), рекуррентные НС (РНС).

Развитие компьютерных технологий дало новый импульс развитию НС. Если вначале исследовались более простые модели нейронов и НС, то развитие вычислительной техники позволило создавать более сложные модели нейронов с большей детализацией и учетом

подробностей, присущих биологическому прототипу [186]. Старые модели НС оказались «ограниченными» по возможностям, в их основе лежали классические принципы обработки информации. Новые открытия в нейробиологии потребовали внедрения в НС принципиально новых идей.

1. Начали использоваться более реалистичные модели нейронов и синапсов [109, 130]. Появилось понятие биологически ориентированной НС, составляющие которой максимально приближены к биологическим прототипам (импульсные нейроны, дендритные деревья, динамические синапсы). Это позволило выйти на другой уровень понимания обработки информации в НС. Большой вклад в развитие новых биологически приближенных моделей нейронов и НС внесли ученые: Ижикевич Е. [132], Романов С. П., Abbott L., Brúñele N., Cowan J., Dayan P. [98], Destexhe A., Fitzhugh R., Hodgkin A. [120], Huxley A., Gerstner W. [109], Kistler W.M., Lansky P., Nagumo J., Markram H. [152], Tuckwell H. C., Trappenberg T. [188], Tsodyks M.V, Wilson H [196].

2. Структура и топология НС претерпели изменения. От простых сетей прямого распространения исследования перешли на более сложные рекуррентные НС (РНС), имеющие сложную пространственную организацию [112]. Основы теории РНС были заложены в работах ученых: Прохоров Д. [165], Almeida L. [72], Amari S. А. [73], Amit D. [74], Anderson J. A., Elman J. L. [102], Grossberg S., Haykin S. [64], Haken H. [65], Hochreiter S. [119], Hopfield J. J. [121], Kohonen T. [20], Hinton G.E., Lippmann R. P. [145], McClelland J. L., Mozer M.C. [156], Rumelhart D.E. [168], Schmidhuber J., Sejnowsky T. J. [171], Sompolinsky H. [176], TankD. W. [180], Williams, R.J. [195], Zak M [198], Zipser D.

3. Началось активное исследование НС, работающих в сложных динамических режимах после открытия того, что динамический хаос в человеческом мозге является его нормальным режимом функционирования [6]. В результате появились осцилляторные [161] и хаотические [114] НС. Исследования динамических режимов и моделей НС отражены в работах ученых: Андреев Ю. В. [1, 75], Борисюк Р. М. [83], Казанович Я. Б. [138], Рабинович М. И. [108], Ermentrout В. [103], Freeman W. J. [106], Gray С. [162], Jirsa V. К. [133], Hoppensteadt F. С. [124], Ivancevic V. G. [129], Kaneko К. [136], Kelso S. [139], von der Malsburg C. [181], Wang D. L [192].

HC, построенные на данных идеях, стали применяться для решения новых задач и одной из основных таких задач стало распознавание динамических образов [91].

Распознавание динамических образов.

В задаче распознавания динамических образов входной сигнал, подлежащий распознаванию, рассматривается не в статике, а в динамике и основная информация об образе

содержится в траектории изменения входного сигнала во времени. В результате образ получает новое измерение - время, что значительно усложняет решение задачи распознавания.

Распознавание динамических образов имеет много практических приложений: в обработке аудио информации - распознавание речи [166], мелодий; в обработке видео последовательностей [30] и компьютерном зрении - распознавание жестов, мимики лица, детектирование движения, сопровождение целей; в прогнозировании - предсказание временных рядов; в диагностике - выставление диагнозов по ЭКГ [160], ЭЭГ, тремору пальцев; в управлении [13, 52] - идентификация и управление объектами.

Все существующие методы распознавания динамических образов делятся на структурные [62] (синтаксические) и статистические [9]. Структурные методы основаны на использовании априорной информации, синтаксисе входных сигналов, они разрабатываются под конкретный тип сигнала - речь, видеоряд, финансовые показатели, погода. Однако часто требуется решать задачу распознавания в такой постановке, при которой информация о структуре входного сигнала отсутствует. В этом случае используются статистические методы распознавания, основной проблемой которых является необходимость выбора соответствующих метрик и их настроечных коэффициентов для вычисления по сигналу показателей с последующим выделением признаков. Большой вклад в развитие методов распознавания динамических образов внесли как российские (советские) ученые - Айвазян С. А. [45], Айзерман М. А., Вапник В. Н. [9], Васильев В.И. [10], Галушкин А. И. [12], Журавлев Ю. И. [16, 47], Загоруйко Н.Г. [17], Местецкий Л. М. [28], Потапов А. С. [43], Радченко Ю.С. [46], Файн B.C. [58], Фомин В. Н. [59], Цыпкин Я. 3. [68] (общая теория распознавания), Аграновский А. В., Винцюк Т. К., Лобанов Б. M., Рамишвили Г. С., Сорокин В. Н. (распознавание речи), Сосулин Ю. Г. (радиолокация), Алпатов Б.А. [30], Визильтер Ю. В., Сойфер В. А., Фаворская M. Н. [57], Шлезингер М. И. (анализ видео-последовательностей), так и их зарубежные коллеги - Duda R.O. [15], Fukunaga К. [63], Gonzalez R.C. [111], Grenader U. [14], Hart P. E., Patrick E.A. [40], Rosenblatt F. [49], Tou J. T. [54] (общая теория распознавания), Fant G., Flanagan J. L., Lea W. A., Oppenheim A. V. [36], Rabiner L. R. [166], Rosenberg A.E., Schafer R. W. (распознавание речи и анализ сигналов).

Для решения задачи распознавания динамических образов в статистической постановке система должна обладать кратковременной памятью - хранить предысторию входных сигналов за некоторый период времени. Кратковременная память может быть реализована несколькими подходами:

- подачей одновременно на вход статической системы распознавания значений входных сигналов, взятых не только в текущий момент времени, но и в предыдущие (количество моментов времени определяется глубиной памяти);

- подачей на вход динамической системы распознавания значений входных сигналов, взятых в текущий момент времени; в результате динамика входного образа будет накладываться на динамику системы и по результирующей динамике можно будет произвести распознавание.

Первый подход позволяет использовать классические методы распознавания статических образов, но не является универсальным. Второй подход является более универсальным и как частный случай включает в себя первый.

Этот относительно новый подход был предложен в конце 90-х годов прошлого столетия и получил название резерву арные вычисления (РВ) [170]. Он основан на использовании РНС в качестве динамической системы и его ключевая особенность состоит в отказе от обучения РНС - обучением занимаются специальные считывающие устройства, анализирующие динамику РНС и выделяющие из нее полезную информацию.

Значительные результаты в области использования РВ для распознавания динамических образов были получены в работах ученых - Bertschinger N. [81], Burgsteiner Н. [77], Buonomano D. V. [89], Jan Van Campenhout, Cernansky M., Jaeger H. [182], Joshi P. [149], Legenstein R. [142], Maass W. [150], Markram H., Natschlager T. [157], Ozturk M. C., Principe J. C. [146], Schrauwen B. [170], Steil J. [179], Verstraeten D. [189], Vreeken J.

В рамках направления РВ была предложена модель машины неустойчивых состояний (МНС) [150]. Она в качестве резервуара использует РНС из специальных импульсных нейронов, приближенных по свойствам к реальным нейронам человеческого мозга. Эта модель является идеальным средством для решения задачи распознавания динамических образов так как имеет большие вычислительные возможности в теории, сложную нелинейную динамику, огромное число степеней свободы, сходство с биологическим прототипом. Однако для ее практического использования должны быть решены задачи синтеза резервуара - выбора параметров импульсной РНС и выбора считывателей в зависимости от сложности входного сигнала. К настоящему времени в научных работах, посвященных разработке и применению рассматриваемого типа РНС, отсутствует системный анализ параметров МНС, а их назначение выполняется либо случайным образом, либо путем последовательного перебора. Задача разработки методики выбора параметров РНС в зависимости от сложности входных образов является актуальной, так как ее решение позволит как повысить качество распознавания, так и

уменьшить трудоемкость разработки и применения РНС при использовании в различных практических приложениях.

Цель исследования

Цель диссертационного исследования - разработка методики синтеза РНС в составе МНС для решения задачи распознавания динамических образов.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Никитин, Кирилл Вячеславович

5.3. Выводы

Для проверки правильности разработанной методики, эта методика была применена при решении практических задач распознавания динамических образов. Задачи рассматривались двух типов: простая и сложная.

В качестве простой задачи была выбрана задача распознавания образов Ижикевича - двух пространственно-временных импульсных последовательностей, распространяющихся в разных направлениях. В соответствии с методикой был синтезирован резервуар из нейронов 1аБ, определены считывающие модули - сокращение признаков по алгоритму РСА и классификатор Байеса. В результате система без ошибок решила задачу распознавания. На примере графиков изменения двух главных компонент было наглядно проиллюстрировано изменение состояния резервуара в ответ на входные сигналы.

В качестве сложной задачи была выбрана задача распознавания ЭКГ - классификация типа биений сердца. Рассматривались биения с суправентикулярной аритмией и нормальные биения. В соответствии с методикой вначале были сформированы обучающие примеры в непрерывной форме. Далее была произведена нормализация входных сигналов во временной области так, чтобы память импульсной РНС была не меньше времени представления образа. Были синтезированы два резервуара - из нейронов 1аР и нейронов Ижикевича и выбраны считывающие модули - в данном случае помимо байесовского классификатора рассматривался нелинейный классификатор к-№М". В результате проведенного экспериментального исследования были получены показатели качества распознавания - вероятность правильного распознавания нормальных биений и биений с аритмией для рассматриваемой системы распознавания на основе МНС. Эти показатели качества были сравнены с имеющимися данными по качеству распознавания с помощью классических методов распознавания - статистического и структурного. Было проведено сравнение, которое показало, что система распознавания на основе МНС с резервуаром Ижикевича по качеству распознавания превосходит все классические методы - на 1-2 % при распознавания нормальных биений, на 5 % при распознавании биений с аритмией.

Полученные результаты подтверждают правильность построенной в работе методики синтеза импульсной РНС в составе МНС.

Заключение

При выполнения работы была достигнута поставленная цель и получены следующие новые результаты.

1. Разработана методика выбора параметров РНС в составе МНС с учетом особенностей решаемой задачи - распознавания динамических образов для обеспечения направленного синтеза структуры РНС.

Вначале была определена иерархия подсистем, составляющих модель. Затем было выполнено исследование подсистем, составляющих модель - нейронов, синапсов, обучающей системы, определены диапазоны рабочих значений параметров. Для нейронов 1аБ было получено несколько аналитических характеристик. Была произведена настройка параметров алгоритмов преобразования информации из непрерывной формы в импульсную. Было исследовано влияние параметров на генерируемую случайную структур РНС, а также рассмотрен вопрос визуализации матриц связности пространственных структур.

Были выделены все основные параметры МНС и определена их иерархия. Параметры импульсной РНС были проанализированы с точки зрения зависимости друг от друга, и в результате часть параметров была выделена как варьируемая, а часть - фиксированная. Для всех параметров были определены возможные диапазоны изменения их параметров.

Затем был определен класс решаемых задач распознавания, сформулированы требования к входным и выходным данным, определено понятие сложности задачи и заданы несколько критериев для оценки качества распознавания непосредственно по динамике РНС.

После этого было выполнено экспериментальное исследование в соответствии с предложенной схемой. В результате были определены рекомендуемые сочетания диапазонов значений параметров для всего множества параметров импульсной РНС. В итоге была построена обобщенная методика синтеза в зависимости от особенностей решаемой задачи с учетом всех этапов распознавания

2. На примере реальных данных - ЭКГ показано, что разработанная методика применима для решения задач обработки динамических образов и может дополнить существующие подходы в системах обработки информации для повышения качества и скорости их работы.

Для проверки правильности разработанной методики, эта методика была применена при решении практических задач распознавания динамических образов. Задачи рассматривались двух типов: простая и сложная.

В качестве простой задачи была выбрана задача распознавания образов Ижикевича - двух пространственно-временных импульсных последовательностей, распространяющихся в разных направлениях. В результате синтеза резервуара в соответствии с методикой система без ошибок решила задачу распознавания.

В качестве сложной задачи была выбрана задача распознавания ЭКГ - классификация типа биений сердца. Рассматривались биения с суправентикулярной аритмией и нормальные биения. В результате проведенного экспериментального исследования были получены показатели качества распознавания - вероятность правильного распознавания нормальных биений и биений с аритмией для рассматриваемой системы распознавания на основе МНС. Эти показатели качества были сравнены с имеющимися данными по качеству распознавания с помощью классических методов распознавания - статистического и. структурного. Было проведено сравнение, которое показало, что система распознавания на основе МНС с резервуаром Ижикевича по качеству распознавания превосходит все классические методы - на 1 -2 % при распознавания нормальных биений, на 5 % при распознавании биений с аритмией.

3. Разработана среда проектирования и исследования импульсных РНС. Данная среда обладает рядом преимуществ по сравнению с существующими средами. С ее помощью было выполнено экспериментальное исследования МНС при построении методики.

В связи с необходимостью выполнения большого количества экспериментов над моделью МНС потребовалась среда моделирования импульсных РНС. Анализ существующих сред моделирования выявил множество их недостатков, которые затрудняют или не позволяют полноценно выполнять исследование модели импульсной РНС. Поэтому было принято решение о разработке среды моделирования импульсных РНС.

Вначале к разрабатываемой среде были предъявлены требования, которым она должна удовлетворять: универсальность, удобство, визуализация, интерактивность и др. Затем была построена функциональная декомпозиция проектируемой среды моделирования. С ее помощью была получена модель взаимодействия между системами и подсистемами среды, которая легла в основу программного кода. С учетом требований был продуман и реализован настраиваемый МБ1-пользовательский интерфейс

После разработки среды моделирования для нее было написано руководство пользователя, позволяющее в короткие сроки овладеть навыками моделирования импульсных РНС. Среда использовалась в курсе лабораторных работ у студентов 5-го курса.

Анализ возможностей разработанной среды моделирования подтвердил ее соответствие выдвинутым требованиям и еще раз подтвердил правильность решения создавать собственную среду моделирования.

4. Предложен подход к исследованию свойств и настройке импульсных РНС в составе систем распознавания динамических образов, заключающийся в разделении динамической (резервуара) и статической (считывателя) частей системы распознавания, что позволяет исключить нежелательное влияние на результаты настройки статической части системы

5. Разработан математико-методологический базис моделирования импульсных РНС, включающий в себя:

- новый алгоритм моделирования импульсных РНС с разными типами нейронов, синапсов, пластичности и учетом задержек;

- обобщенную структуру представления входных/выходных данных, позволяющую подавать на вход МНС произвольные входные данные.

Для обеспечения универсальности среды в смысле моделирования РНС из произвольных нейронов, синапсов с учетом временных задержек, шума и возможности обучения был разработан специальный алгоритм моделирования импульсных РНС. Он состоит из основной части и нескольких вспомогательных функций. С помощью данного алгоритма могут моделироваться все основные модели импульсных нейронов, электрические и химические синапсы, синапсы с пластичностью и динамические синапсы. Преимуществом алгоритма является то, что добавление новых моделей нейронов, синапсов не требует изменения самого алгоритма.

Для обеспечения универсальности среды при подаче на вход произвольных входных данных была разработана унифицированная структура данных. С ее помощью на вход импульсной РНС можно подавать данные в непрерывной, импульсной форме, а также с преобразованием из непрерывной формы в импульсную с помощью нескольких алгоритмов.

6. Предложена новая модель резервуара, базирующаяся на нейронах Ижикевича и обеспечивающая более высокие показатели качества распознавания.

7. Разработана новая классификация РНС с позиций динамических систем и с учетом нового класса РНС, основанная на систематизации знаний в данной предметной области знаний. Эта классификация позволяет понять и оценить объемность направления, связанного с исследованием РНС и находящегося на стыке большого количества научных дисциплин.

Полученная систематизация знаний по РНС отсутствует в русскоязычной литературе и разрозненно представлена в иностранной.

На основании решенных в работе задач можно определить рекомендации и перспективы дальнейшей разработки темы:

1) использование разработанной методики для решения новых актуальных задач в нейро-управлении, идентификации и диагностике;

2) исследование динамики МНС при использовании новых моделей нейронов, синапсов;

3) исследование динамики МНС для новых способов формирования ее структуры, в том числе с адаптацией (самообучением) РНС в ходе ее функционирования;

4) исследование возможностей МНС при введении обратной связи со считывателей;

5) усовершенствование и разработка новых критериев выбора параметров РНС по ее динамике.

Список сокращений и условных обозначений

АКФ автокорреляционная функция

БПФ быстрое преобразование Фурье ду дифференциальное уравнение

КФ кибернетическая физика мнк метод наименьших квадратов

МНС машина неустойчивых состояний

МО математическое ожидание

НС нейронная сеть

НСПР нейронная сеть прямого распространения нсх нейронная сеть Хопфилда

НУ начальные условия онс осцилляторная нейронная сеть

РБФ радиально-базисная функция

РБФНС нейронная сеть на основе нейронов с РБФ-передаточной функцией

РВ резервуарные вычисления

РНС рекуррентная нейронная сеть ско среднее квадратическое отклонение хне хаотическая нейронная сеть

ЭКГ электрокардиограмма

ART adaptive resonance theory, теория адаптивного резонанса

BP back propagation, обратное распространение

BPDC backpropagation-decorrelation, обратное распространение с декорреляцией

ВРТТ back propagation through time, обратное распространение во времени

CML coupled map lattice, связанная решетка отображений

ESN echo state network, сеть эхо состояний

FS fast spiking, быстро генерирующий импульсы

GMM Gaussian mixture model - модель гауссовой смеси k-NN k nearest neighbors, к ближайших соседей

LSM liquid state machine, машина неустойчивых состояний

LSTM long short-term memory - длинная кратковременная память

IaF Integrate and Fire, нейрон интегрирования и возбуждения

LDA linear discriminant analysis, линейный дискриминантный анализ

NLDA nonparametric linear discriminant analysis, непараметрический линейный дискриминантный анализ NN neural network, нейронная сеть

NP non-deterministic polynomial, полиномиальный недетерминированный

PCA principal component analysis, анализ главных компонент RC reservoir computing, резервуарные вычисления

RNN recurrent neural network, рекуррентная нейронная сеть RS regular spiking, генерирующий импульсы с нормальной частотой

RTRL real-time recurrent learning, рекуррентное обучение в реальном времени SNIC saddle node on invariant circle, седло на инвариантной окружности SOM self-organizing map, самоорганизующаяся карта признаков STDP spike time dependent plasticity, синаптическая пластичность, основанная на времени импульсов

SVDB supraventricular arrhythmia database, база данных по суправентикулярной аритмии

SVM support vector machine, машина опорных векторов

Список литературы диссертационного исследования кандидат технических наук Никитин, Кирилл Вячеславович, 2013 год

Список литературы

1. Андреев, Ю. В. Хаотические процессоры [Текст] / Ю. В. Андреев, А. С. Дмитриев, Д. А. Куминов // Успехи современной радиоэлектроники. - 1997. - № 10. - С. 50-79.

2. Андриевский, Б. Р. Управление хаосом: методы и приложения. I. Методы [Текст] / Б. Р. Андриевский, A. JI. Фрадков // Автоматика и телемеханика. - 2003. - № 5. - С. 3-45.

3. Андриевский, Б. Р. Управление хаосом: методы и приложения. И. Приложения [Текст] / Б. Р. Андриевский, A. JI. Фрадков // Автоматика и телемеханика. - 2004. - № 4. - С. 3-34.

4. Анищенко, B.C. Нелинейная динамика хаотических и стохастических систем. Фундаментальные основы и избранные проблемы [Текст] / В. С. Анищенко, Т. Е. Вадивасова, В. В. Астахов. - Саратов : Изд-во Саратовского университета, 1999. - 368 с.

5. Бендерская, Е. Н. Функциональная диагностика систем управления [Текст] : учеб. пособие / Е. Н. Бендерская, Д. Н. Колесников, В. И. Пахомова ; под общ. ред. Д. Н. Колесникова. - СПб.: Изд-во СПбГПУ, 2003. - 144 с.

6. Бехтерева, Н. П. Здоровый и больной мозг человека [Текст] / Н. П. Бехтерева; под ред. С. В. Медведева. - М. : ACT ; СПб.: Сова, 2010. - 399 с.

7. Биркгофф, Г. Математика и психология [Текст] : [пер. с англ.] / Г. Биркгофф. - М.: Сов. радио, 1977. - 96 с.

8. Блаттер, К. Вейвлет-анализ. Основы теории [Текст]: [пер. с англ.] / К. Блаттер. - М.: Техносфера, 2004. - 280 с.

9. Вапник, В. Н. Теория распознавания образов. Статистические проблемы обучения [Текст] / В. Н. Вапник, А. Я. Червоненкис. - М. : Наука, Гл. ред. физ.-мат. лит-ры, 1974. - 416 с.

10. Васильев, В. И. Распознающие системы [Текст] : справочник / В. И. Васильев, 2-е изд. - Киев : Наукова Думка, 1983.-422 с.

11. Гаврилова, Т.А. Базы знаний интеллектуальных систем [Текст] / Т. А. Гаврилова, В.Ф. Хорошевский. - СПб. : Питер, 2000.-384 с.

12. Галушкин, А. И. Нейронные сети: основы теории [Текст] / А. И. Галушкин. - М. : Горячая линия-Телеком, 2010. -496 с.

13. Городецкий, А. Е. Управление и нейронные сети [Текст] / А. Е. Городецкий, И. J1. Тарасова. - СПб. : Изд-во Политехи, ун-та, 2005. - 312 с.

14. Гренадер, У. Лекции по теории распознавания образов [Текст] : [пер. с англ.] : в 3 т. / У. Гренадер. - М. : Мир, 1979-1983.-3 т.

15. Дуда, Р. Распознавание образов и анализ сцен [Текст]: [пер. с англ.] / Р. Дуда, П. Харт. - М.: Мир, 1976. - 511 с.

16. Журавлев, Ю. И. Распознавание. Математические методы. Программная система. Практические применения [Текст] / Ю. И. Журавлев, В. В. Рязанов, О. В. Сенько. - М.: Фазис, 2005. - 159 с.

17. Загоруйко, Н. Г. Методы распознавания и их применение [Текст] / Н. Г. Загоруйко. - М. : Сов. радио, 1972. -208 с.

18. Кащенко, С. А. Модели волновой памяти [Текст] / С. А. Кащенко, В. В. Майоров. - М. : Книжный дом «Либроком», 2009. - 288 с.

19. Князева, Е. Н. Основания синергетики: синергетическое мышление [Текст] / Е. Н. Князева, С. П. Курдюмов, 3-е изд., доп. - М. : Либроком, 2010. - 256 с.

20. Кохонен, Т. Ассоциативная память [Текст] / Т. Кохонен. - М. : Мир, 1980. - 240 с.

21. Крыжановский, Б. В. Параметрическая модель нейронной сети [Текст] / Б. В. Крыжановский, Л. Б. Литинский // Труды научных сессий МИФИ. Научная сессия МИФИ-2003. 4.1 Нейроинформатика-2003. - с. 109-116.

22. Лебедев, А. Н. Нейронный код [Текст] / А. Л. Лебедев // Психология. Журнал Высшей школы экономики. - 2004. - Т.1, № 3. - С. 18-34.

23. Ливанов М. Н. Нейронные механизмы памяти [Текст]. // Успехи физиологических наук, 1975, т.6, с. 66-89.

24. Люгер, Д. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем [Текст] : [пер. с англ.] / Джордж Ф. Люгер, 4-е изд. - М.: Вильяме, 2003. - 864 с.

25. Маккалок, У. С. Логическое исчисление идей, относящихся к нервной деятельности [Текст] : [пер. с англ.] / У. С. Маккаллок, У. Питтс; перевод с англ. Ю. Т. Медведева // Автоматы : сб. статей. - М. : Изд-во иностр. литературы, 1956.-С. 362-384.

26. Малинецкий, Г. Г. Математические основы синергетики: хаос, структуры, вычислительный эксперимент [Текст] / Г. Г. Малинецкий, 5-е изд. - М.: Изд-во ЛКИ, 2007. - 313 с.

27. Малинецкий, Г. Г. Нелинейная динамика и хаос. Основные понятия [Текст]: учебное пособие / Г. Г. Малинецкий, А. Б. Потапов. - М.: КомКнига, 2006. - 240 с.

28. Местецкий, Л. М. Математические методы распознавания образов [Текст]: курс лекций / МГУ, ВМиК, каф. «Мат. методы прогнозирования» ; Л. М. Местецкий. - М.: 2004. - 85 с.

29. Метастабильные и неустойчивые состояния в мозге [Текст] / В. И. Крюков [и др.]. - Пущино : ОНТИ НЦБИ АН СССР, 1986,- 114 с.

30. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление [Текст] / Б. А. Алпатов, П. В. Бабаян, О. Е. Балашов, А. И. Степашкин. - М. : Радиотехника, 2008. - 176 с.

31. Минский, М. Вычисления и автоматы [Текст] : [пер. с англ.] / М. Минский. - М.: Мир, 1971. - 364 с.

32. Никитин, К. В. Новый подход к применению рекуррентных нейронных сетей для решения задач распознавания образов [Текст] / К. В. Никитин, Е. Н. Бендерская // Научно-технические ведомости СПбГПУ. - 2007. - Т. 2, № 4, С. 85-92.

33. Никитин, К. В. Рекуррентные нейронные сети в задачах распознавания образов [Текст] / К. В. Никитин, Е. Н. Бендерская // Материалы IX межд. конференции «Интеллектуальные системы и компьютерные науки». - М., 2006.-Т. 1,№ 1.-С. 59-69.

34. Никитин, К. В. Идентификация параметров хаотической нейронной сети в задачах управления распознаванием образов [Текст] / К. В. Никитин, Е. Н. Бендерская, С. В. Жукова // Вычислительные, измерительные и управляющие системы: сб. науч. тр. - СПб., 2006. - С. 33-36.

35. Николис, Г. Самоорганизация в неравновесных системах [Текст]: [пер. с англ.] / Г. Николис, И. Пригожин. - М.: Мир, 1979.-512 с.

36. Оппенгейм А. Цифровая обработка сигналов [Текст] / А. Оппенгейм, Р. Шафер. - М.: Техносфера, 2007. - 856 с.

37. Осовский, С. Нейронные сети для обработки информации [Текст]: [пер. с польск.] / С. Осовский. - М.: Финансы и статистика, 2002. - 344 с.

38. Осцилляторные нейронные сети. Математические результаты и приложения [Текст] / Г. Н. Борисюк [и др.] // Математическое моделирование. - 1992. - Т. 4, № 1. - С. 3-43.

39. От нейрона к мозгу [Текст] : [пер. с англ.] / Дж. Г. Николлс, А. Р. Мартин, Б. Дж. Валлас, П. А. Фукс, 2-е изд.. -М. : Издательство ЛКИ, 2008. - 672 с.

40. Патрик, Э. А. Основы теории распознавания образов [Текст]: [пер. с англ.] / Э. А. Патрик. - М.: Советское Радио, 1980.-408 с.

41. Пенроуз, Р. Тени разума: в поисках науки о сознании [текст] : [пер. с англ.] / Р. Пенроуз. - Москва ; Ижевск : Институт компьютерных исследований, 2005. - 688 с.

42. Поспелов, Д. А. Моделирование рассуждения. Опыт анализа мыслительных актов [Текст] / Д. А. Поспелов. - М.: Радио и связь, 1989. - 184 с.

43. Потапов, А. С. Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания [Текст] / А. С. Потапов. - СПб.: Политехника, 2007. - 548 с.

44. Прибрам, К. Языки мозга: экспериментальные парадоксы и принципы нейропсихологии [Текст] : [пер. с англ.] / К. Прибрам. - М. : Книжный дом «ЛИБРОКОМ», 2010. - 464 с.

45. Прикладная статистика [Текст] : справочное издание : в 3 т. / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин, В. М. Бухштабер ; под ред. С. А. Айвазяна. - М.: Финансы и статистика, 1983-1989. - 3 т.

46. Радченко, Ю. С. Исследование спектрального алгоритма обнаружения изменений в видеопоследовательности [Текст] / Ю. С. Радченко, А. В. Булыгин, Т. А. Радченко // Изв. ВУЗов. Радиоэлектроника. - 2009. - № 7. -С. 49-59.

47. Распознавания, классификация, прогноз. Математические методы и их применение [Текст] : в 3 т. / Отв. ред. Ю. И. Журавлев. - М.: Наука, 1989-1992. - 3 т.

48. Рассел, С. Искусственный интеллект: современный подход [Текст] : [пер. с англ.] / С. Рассел, П. Норвиг, 2-е изд. - М. : Вильяме, 2006. - 1408 с.

49. Розенблатт, Ф. Принципы нейродинамики: перцептроны и теория механизмов мозга [Текст] : [пер. с англ.] / Фрэнк Розенблатт. - М.: Мир, 1965. - 480 с.

50. Синхронизация в нейронных ансамблях [Текст] / Г. Д. Абарбанель [и др.] // Успехи физических наук. - 1996. -Т. 166, №4.-С. 363-390.

51. Суханов В. Б. Общая система симметричной локомоции наземных позвоночных и особенности передвижения низших тетрапод [Текст] / В. Б. Суханов. - Л.: Наука, Ленингр. отд., 1968. - 225 с.

52. Терехов, В. А. Нейросетевые системы управления. Кн. 8 [Текст] : учебное пособие для вузов / В. А. Терехов, И. Ю. Тюкин, Д. Б. Ефимов ; под общ. ред. А. И. Галушкина. - М.: ИПРЖР, 2002.-480 с.

53. Тимофеев, А. В. Адаптивное управление и интеллектуальный анализ информационных потоков в компьютерных сетях[Текст] / А. В. Тимофеев. - СПб. : Анатолия, 2012. - 280 с.

54. Ту, Дж. Принципы распознавания образов [Текст] : [пер. с англ.] / Дж. Ту, Р. Гонсалес. - М.: Мир, 1978. -411 с.

55. Ухтомский, А. А. Доминанта [Текст] / А. А. Ухтомский. - М.; Л. : Наука, 1966. - 272 с.

56. Ухтомский, А. А. Избранные труды [Текст] / А. А. Ухтомский. - Л. : Наука, 1978. - 370 с.

57. Фаворская, М.Н. Модели и методы распознавания динамических образов на основе пространственно-временного анализа последовательностей изображений [Текст] : автореф. дис. ... докт. техн. наук : 05.13.17 / Фаворская Маргарита Николаевна. - Красноярск, 2010. - 36 с.

58. Файн, В. С. Опознавание изображений [Текст] / В. С. Файн. - М. : Наука, 1970. - 299 с.

59. Фомин, В. Н. Математическая теория обучаемых опознающих систем [Текст] / В. Н. Фомин. - Л. : ЛГУ, 1976. -235 с.

60. Фрадков, А. Л. Кибернетическая физика: принципы и примеры [Текст] / А. Л. Фрадков. - СПб. : Наука, 2003. -208 с.

61. Фролов, А. А. Информационная эффективность ассоциативной памяти типа Хопфилда с разреженным кодированием [Текст] / А. А. Фролов, Д. Гусек, И. П. Муравьев // Научная сессия МИФИ-2003. V всероссийская научно-техническая конференция «Нейроинформатика-2003»: Лекции по нейроинформатике. Часть 1. - М.: МИФИ, 2003.-С. 28-71.

62. Фу, К. С. Структурные методы в распознавании образов [Текст] : [пер. с англ.] / К. С. Фу. - М. : Мир, 1977. -317 с.

63. Фукунага, К. Введению в статистическую теорию распознавания образов [Текст] : [пер. с англ.] / К. Фукунага. -М. : Наука, гл. ред. ФМЛ, 1979.-368 с.

64. Хайкин, С. Нейронные сети: полный курс [Текст] : [пер. с англ.] / С. Хайкин, 2-е изд. - М. : Вильяме, 2000. -1104 с.

65. Хакен, Г. Принципы работы головного мозга: синергетический подход к активности мозга, поведению и когнитивной деятельности [Текст] : [пер. с англ.] / Г. Хакен. - М. : ПЕР СЭ, 2001.-351 с.

66. Хухо, Ф. Нейрохимия [Текст] [пер. с англ.] / Ф. Хухо. - М. : Мир, 1990. - 383 с.

67. Цукерман, В. Д. Математическая модель фазового кодирования событий в мозге [Текст] / В. Д. Цукерман // Математическая биология и биоинформатика - 2006. - Т. 1, № 1. С. 97-107.

68. Цыпкин Я. 3. Основы теории обучающихся систем [Текст] / Я. 3. Цыпкин. - М. : Наука, гл. ред. физ.мат.лит., 1970.-252 с.

69. Шкодырев, В. П. Нейроинформатика и нейротехнологии [Текст] : учеб. пособие / В. П. Шкодырев. - СПб : Издательство СПбГТУ, 2001. - 94 с.

70. Экспертные системы. Принципы работы и примеры [Текст] : [пер. с англ.] / А. Брукинг [и др.] ; под ред. Р. Форсайта. - М.: Радио и связь, 1987. - 224 с.

71. A relaxation model for memory with high storage density [Text] / С. M. Bachmann, L. N. Cooper, A. Dembo, O. Zeitouni //PNAS.- 1987.-Vol. 84.-P. 7529-7531.

72. Almeida, L. B. A learning rule for asynchronous perceptrons with feedback in a combinatorial environment [Text] / L. B. Almeida // IEEE First International Conference on Neural Networks. - 1987. - Vol. 2. - P. 609-618.

73. Amari, S. A. Dynamics of pattern formation in lateral-inhibition type neural fields [Text] / S. A. Amari // Biological Cybernetics. - 1977. - Vol. 27. - P. 77-87.

74. Amit, D. J. Modelling brain function. The world of attractor neural networks [Text] / D.J. Amit. - Cambridge : Cambridge University Press, 1989. - 504 p.

75. Andreyev, Y. V. Application of chaotic dynamical systems to the problems of recognition and classification [Text] / Y. V. Andreyev, A. S. Dmitriev, M. A. Matveyev // Proceeding of the 3-rd International Specialist Workshop on Nonlinear Dynamics of Electronic Systems (NDES-95). - 1995. - P. 249-252.

76. Arbib, M. A. Neural organization: structure, function, and dynamics [Text] / M. A. Arbib, P. Erdi, J. Szentagothai. -Cambridge [etc.]: The MIT Press, 1998.-407 p.

77. Auer, P. The p-Delta Rule for Parallel Perceptrons [Text] / P. Auer, H. M. Burgsteiner, W. Maass // Neural Computation. -2002.-Vol. 11.-P. 1213-1232.

78. Baird, B. Nonlinear dynamics of pattern formation and pattern recognition in the rabbit olfactory bulb [Text] / B. Baird //PhysicaD.- 1986.-Vol. 2, № 1-3.-P. 150-175.

79. Baldi, P. Computing with arrays of coupled oscillators. An application to preattentive texture discrimination [Text] / P. Baldi, R. Meir // Neural Computation. - 1990. - Vol. 2, № 4. - P. 458-471.

80. Berry, H. Structure and dynamics of random recurrent neural networks [Text] / H. Berry, M. Quoy // Adaptive Behavior. - 2006. - Vol. 14, № 2. - P. 129-137.

81. Bertschinger, N. Real-Time Computation at the Edge of Chaos in Recurrent Neural Networks [Text] / N. Bertschinger, T. Natschlager // Neural Computation. - 2004. - Vol. 16, № 7. - P. 1413-1436.

82. Bohte, S. M. Unsupervised clustering with spiking neurons by sparse temporal coding and multi-layer RBF networks [Text] / S. M. Bohte, J. A. La Poutre, J. N. Kok // IEEE Transactions on Neural Networks. - 2002. - Vol. 13, № 2. -P. 426-435.

83. Borisyuk, G.N. Analysis of oscillatory regimes of a coupled neural oscillator system with application to visual cortex modelling [Text] / G. N. Borisyuk, R. M. Borisyuk, A. I. Khibnik // Proceedings of the Workshop on Complex Dynamics in Neural Networks, June 17-21 1991 at IIASS, Vietri, Italy. - 1992. - P. 208-225.

84. Bower, J. M. The Book of GENESIS: Exploring realistic neural models with the GEneral NEural Simulation System [Text] / J. M. Bower D. Beeman, 2nd ed. - New York : Springer-Verlag, 1998. - 458 p.

85. Boyd S. Fading Memory and the Problem of Approximating Nonlinear Operators with Volterra Series / S. Boyd, L. Chua // IEEE Transactions on Circuits and Systems. - 1985. - Vol. 32, № 11. - P. 1150-1161.

86. Brown, A.G. Innovative Idea: An Oscillatory Associative Memory [Text]. / A. G. Brown, S. Collins // Proceedings of the Fourth International Conference on Microelectronics for Neural Networks and Fuzzy Systems. - 1994. - P. 186-191.

87. Brunei, N. Lapicque's 1907 paper: from frogs to integrate-and-fire [Text] / N. Brunei, M. C. Van Rossum // Biological Cybernetics. - 2007. - Vol. 97. - P. 337-339.

88. Buonomano, D.V. State-dependent computations Spatiotemporal processing in cortical networks [Text] / D. V. Buonomano, W. Maass // Neuroscience. - 2009. - Vol. 10. - P. 113-125.

89. Buonomano, D. V. Temporal information transformed into a spatial code by a neural network with realistic properties [Text] / D. V. Buonomano, M. M. Merzenich // Science. - 1995. - Vol. 267, № 5200. - P. 1028-1030.

90. Cessac, B. From neuron to neural networks dynamics [Text] / B. Cessac, M. Samuelides // The European Physical Journal Special Topics. - 2007. - Vol. 142, № 1. - P. 7-88.

91. Chen, K. On the dynamic pattern analysis, discovery and recognition [Text] / K. Chen // IEEE Systems, Man & Cybernetics Society E-Newsletter. - 2005. - Vol. 4, № 12.

92. Chow, L.O. A nonlinear dynamics perspective of Wolfram's new kind of science. Part I: threshold of complexity [Text] / L. O. Chow, S. Yoon, R. Dogaru // International Journal of Bifurcation and chaos. - 2002. - Vol. 12, № 12. -P. 2655-2766.

93. Clustering Data by Inhomogeneous Chaotic Map Lattices [Text] / L. Angelini [et al.] // Physical review letters. - 2000. -Vol. 85, №3,-P. 554-557.

94. Coherent oscillations: a mechanism of feature linking in the visual cortex? [Text] / R. Eckhorn [et al.] // Biological Cybernetics. - 1988. - Vol. 60. - P. 121-130.

95. Coombes, S. Waves, bumps, and patterns in neural field theories [Text] / S. Coombes // Biological Cybernetics. - 2005. -Vol. 93, №2.-P. 91-108.

96. Dasgupta, B. On the Complexity of Training Neural Networks with Continuous Activation Functions [Text] / B. Dasgupta, H. Siegelmann E. D. Sontag // IEEE Transactions on Neural Networks. - 1995. - Vol. 6, № 6. - P. 14901504.

97. Davey, N. High capacity associative memories and connection constraints [Text] / N. Davey, R. Adams // Connection Science. - 2004. - Vol. 16. - P. 47-65.

98. Dayan, P. Theoretical neuroscience: computational and mathematical modeling of neural systems [Text] / P. Dayan, L. F. Abbott. - Cambridge : MIT Press, 2005. - 460 p.

99. Dmitriev, A. S. Storing and recognizing information based on stable cycles of one-dimensional maps [Text] / A. S. Dmitriev, A. I. Panas, S. O. Starkov // Physics Letters A. - 1991. - Vol. 155, № 8, 9. - P. 494-499.

100. Dominey, P. F. Complex sensory-motor sequence learning based on recurrent state representation and reinforcement learning [Text] / P. F. Dominey // Biological Cybernetics. - 1995. - Vol. 73, № 3. - P. 265-274.

101. Dunin-Barkowski, W. L. Hebb-Hopfield neural networks based on one-dimensional sets of neuron states [Text] / W. L. Dunin-Barkowsky, N. B. Osovets //Neural Processing Letters. - 1995. - Vol. 2, № 5. -P. 28-31.

102. Elman, J. L. Finding structure in time [Text] / J. L. Elman // Cognitive Science. - 1990. - Vol. 14. - P. 179-211.

103. Ermentrout B. Neural networks as spatio-temporal pattern-forming systems [Text] / B. Ermentrout // Rep. Prog. Phys. -1998.-Vol. 61.-P. 353-430.

104. Far-from-equilibrium computation [Text] : tech. report: 04-01 / Center for Cognitive and Neural Studies (Coneural); R. V. Florian, D. Dumitrescu. - Cluj-Napoca, 2004. - 17 p.

105. Feng, J. Fixed-point attractor analysis for a class of neurodynamics [Text] / J. Feng, D. Brown // Neural Computation. -1998.-Vol. 10.-P. 189-213.

106. Freeman, W. J. Mass action in the nervous system [Text] / W. J. Freeman. - New York [etc.] : Academic Press, 2004. -489 p.

107. Freeman, W. J. Simulation of chaotic EEG pattern with a dynamic model of the olfactory system [Text] / W. J. Freeman // Biological Cybernetics. - 1987. - Vol. 56. - P. 139-150.

108. Generating and reshaping of sequences in neural systems [Text] / M. I. Rabinovich, R. Huerta, P. Varona, V. S. Afraimovich // Biological cybernetics. - 2006. - Vol. 95. - P. 519-536.

109. Gerstner, W. Spiking Neuron Models. Single Neurons, Populations, Plasticity [Text] / W. Gerstner, W. M Kistler. -Cambridge : Cambridge University Press, 2002. -480 p.

110. Goldman, M. J. Principles of Clinical Electrocardiography [Text] / M. J. Goldman, 12-th ed. - Los Altos : Lange Medical Publications, 1986.-450 p.

111. Gonzalez, R. C. Syntactic Pattern Recognition - an Introduction [Text] / R. C. Gonzalez, M. G. Thomason. - Boston [etc.]: Addison-Wesley, 1978.-283 p.

112. Handbook of brain connectivity [Text] / Edited by V. K. Jirsa, A. R. Mcintosh. - Berlin : Springer-Verlag, 2007. - 528 p.

113. Handbook of evolutionary computation [Text] / Edited by T. Bäck, D. B. Fogel, Z. Michalewicz. - London: Taylor & Francis, 1997. - 1130 p.

114. Hansel D. Synchronization and Computation in a Chaotic Neural Network [Text] / D. Hansel, H. Sompolinsky // Phys. Rev. Lett. - 1992. - Vol. 68. - P. 718-721.

115. Hebb, D. O. The Organization of behavior : a neuropsychological theory [Text] / D. O. Hebb. - Mahwah : Lawrence Erlbaum Associates, 2002. - 335 p.

116. Hemmen, J. L. 23 Problems in systems neuroscience [Text] / J. L. van Hemmen, T. J. Sejnowski. - New York : Oxford University Press, 2005. - 514 p.

117. Hertz, J. Introduction to the theory of neural computation [Text] : lecture notes / J. Hertz, A. Krogh, R. G. Palmer. -Boston : Addison-Wesley, 1990. - 327 p.

118. Hines, M. L. Discrete event simulation in the NEURON environment [Text] / M. L. Hines, N. T. Carnevale // Neurocomputing. - 2004. - Vol. 58. - P. 1117-1122.

119. Hochreiter, S. Long short-term memory [Text] / S. Hochreiter, J. Schmidhuber // Neural Computation. - 1997. - Vol. 8. -P. 1735-1800.

120. Hodgkin, A. L. A quantitative description of membrane current and its application to conduction and excitation in nerve [Text] / A. L. Hodgkin, A. F. Huxley // The Journal of physiology. - 1952. - Vol. 117, № 4. - P. 500-544.

121. Hopfield, J. J. Neural networks and physical systems with emergent collective computational abilities [Text] / J. J. Hopfield // PNAS. - 1982. - Vol. 79. - P. 2554-2558.

122. Hopfield, J. J. What is a moment Transient synchrony as a collective mechanism for spatiotemporal integration [Text] / J. J. Hopfield, C. D. Brody // PNAS. - 2001. - Vol. 98, № 3. - P. 1282-1287.

123. Hopfield, J. J. Rapid local synchronization of action potentials: toward computation with coupled integrate-and-fire neurons [Text] / J. J. Hopfield, A. V. Herz // PNAS. - 1995. - Vol. 92. - P. 6655-6662.

124. Hoppensteadt, F. C. Intermittent chaos, self-organization and learning from synchronous synaptic activity in model neuron networks [Text] / F. C. Hoppensteadt // PNAS. - 1989. - Vol. 86. - P. 2991-2995.

125. Hoppensteadt, F. C. Synchronization of laser oscillators, associative memory, and optical neurocomputing [Text] / F. C. Hoppensteadt, E. M. Izhikevich // Physical Review E. - 2000. - Vol. 62. - P. 4010-4013.

126. Huang, J. The Separation Property Enhancement of Liquid State Machine by Particle Swarm Optimization [Text] / J. Huang, Y. Wang Y., J. Huang // ISNN 2009, Part III, LNCS 5553. - 2009. - P. 67-76

127. Hyotyniemi, H. Turing machines are recurrent neural networks [Text] / H. Hyotyniemi // Proc. of STeP'96 - Genes, Nets and Symbols. - 1996. - P. 13-24.

128. Imada, A. A random behavior of spiking neurons: towards associative memory [Text] / A. Imada // Нейрокомпьютеры: разработка и применение. - 2004. - №1. - С. 19-22.

129. Ivancevic,V. G. High-dimensional chaotic and attractor systems: a comprehensive introduction [Text] / V. G. Ivancevic, Т. T. Ivancevic. - Dordrecht: Springer, 2007. - 700 p.

130. Izikevich, E.M. Dynamical systems in neuroscience: the geometry of excitability and bursting [Text] / E. M. Izikevich. -Cambridge : The MIT Press, 2007. - 505 p.

131. Izhikevich, E.M. Polychronization Computation with Spikes [Text] / E. M. Izhikevich // Neural Computation. - 2006. -Vol. 18.-P. 245-282.

132. Izhikevich, E. M. Which model to use for cortical spiking neurons? [Text] / E. M. Izhikevich // IEEE Transactions on Neural Networks. - 2004. - Vol. 15, № 5. - P. 1063-1070.

133. Jirsa, V. K., Connectivity and dynamics of neural information processing [Text] / Viktor K. Jirsa // Neuroinformatics. -2004. - Vol. 2, № 2. - P. 183-204.

134. Jordan, M. I. Serial order: a parallel, distributed processing approach [Text] / M. I. Jordan // Advances in connectionist theory: speech / Edited by J. L. Elman, D. E. Rumelhart. - Hillsdale, NJ : Lawrence Erlbaum, 1989.

135. Kaneko, K. Clustering, Coding, Switching, Hierarchical Ordering and Control in a Network of Chaotic Elements [Text] / K. Kaneko // Physica D: Nonlinear Phenomena. - 1990. - Vol. 41, № 2. - P. 137-172.

136. Kaneko, K. Life: an introduction to complex systems biology [Text] / K. Kaneko. - Berlin : Springer-Verlag, 2006. -369 p.

137. Kaneko, K. Pattern Dynamics in Spatiotemporal Chaos : Pattern selection, diffusion of defect and pattern competition intermittency [Text] / K. Kaneko // Physica D: Nonlinear Phenomena. - 1989. - Vol. 34, №1,2. P. 1-41.

138. Kazanovich, Y. B. Synchronization via phase-locking in oscillatory models of neural networks [Text] / Y. B. Kazanovich, V. I. Kryukov, T. B. Luzyanina // Neurocomputers and attention: neurobiology, synchronization and chaos v. 1 / Edited by A. V. Holden, V.l. Kryukov. - Manchester : Manchester University Press, 1991. - P. 269-284.

139. Kelso, J. A. S. Nonequilibrium phase transitions in coordinated biological motion: critical fluctuations [Text] / J. A. S. Kelso, J. P. Scholz, G. Schoner // Physics Letters A. - 1986. - Vol. 118, № 6. - P. 279-284.

140. Kleinfeld, D. Associative network models for central pattern generators [Text] / D. Kleinfeld, H. Sompolinsky // Methods in neural modeling: from synapses to networks / Edited by C. Coch, I. Segev. - Cambridge : The MIT Press, 1989. -P. 195-246.

141. Kopell, N. Coupled oscillators and the design of central pattern generators [Text] / N. Kopell, G. B. Ermentrout // Math. Bioscience. - 1988. - Vol. 90. - P. 87-109.

142. Legenstein, R. What makes a dynamical system computationally powerful? [Text] / R. Legenstein, W. Maass // New directions in statistical signal processing: from systems to train / Edited by Haykin S. [et al]. - Cambridge : MIT Press, 2007.-P. 127-154.

143. Li, Z. Modelling the olfactory bulb and its neural oscillatory processing [Text] / Z. Li, J. J. Hopfield // Biological Cybernetics. - 1989. - Vol. 61. - P. 379-392.

144. Liljenström H. Analyzing Biological Systems: The Brain as an Example [Text] / H. Liljenström, P. Arhem // Systems Approaches and Their Application / Edited by M. Olsson, G. Sjöstedt. - Dordrecht: Kluwer Academic Publishers, 2005. -P. 119-142.

145. Lippmann, R. P. Review of neural networks for speech recognition [Text] / R. P. Lippman // Neural Computation. - 1989. -Vol. l.-P. 1-38.

146. Liquid state machines and cultured cortical networks: the separation property [Text] / K. P. Dockendorf, I. Park, H. Ping, J. C. Principe [et al.] // Biosystems. - 2009. - Vol. 95. - P. 90-97.

147. Maass, W. Computation with spiking neurons [Text] / W. Maass // The Handbook of Brain Theory and Neural Networks / Edited by M. A. Arbib, 2nd ed. - Cambridge [et al.] : MIT Press, 2003. - P. 1080-1083.

148. Maass, W. Emulation of Hopfield networks with spiking neurons in temporal coding [Text] / W. Maass, T. Natschläger // Proc. of the 6-th annual conf. on Computational Neuroscience: trends in Research. - 1998. - P. 221-226.

149. Maass, W. Principles of real-time computing with feedback applied to cortical microcircuit models [Text] / W. Maass, P. Joshi, E. D. Sontag // Advances in Neural Information Processing Systems. - 2006. - Vo. 18. - P. 835-842.

150. Maass, W. Real-time computing without stable states: a new framework for neural computations based on perturbations [Text] / W. Maass, T. Natschläger, H. Markram // Neural Computation. - 2002. Vol. 11. - P. 2531-2560.

151. Malsburg, C. v.d. A neural cocktail-party processor [Text] / Christoph von der Malsburg, W. Schneider // Biological Cybernetics. - 1986. - Vol. 54. - P. 29-40.

152. Markram, H. Differential signaling via the same axon of neocortical pyramidal neurons [Text] / H. Markram, Y. Wang, M. Tsodyks // PNAS. - 1998. - Vol. 95. - P. 5323-5328.

153. Markram, H. Redistribution of synaptic efficacy between neocortical pyramidal neurons [Text] / H. Markram, M. Tsodyks //Nature. - 1996.-Vol. 382.-P. 807-810.

154. Merida-Casermeiroa, E. MREM: An associative autonomous recurrent network [Text] / E. Merida-Casermeiroa, J. Munöz-Perez // Journal of Intelligent & Fuzzy Systems. - 2002. - Vol. 12. - P. 163-173.

155. Moody, G.B. The MITBIH arrhythmia database on CDROM and software for use with it [Text] / G. B. Moody, R. G. Mark // Computers in cardiology. - 1990. - Vol. 17. - P. 185-188.

156. Mozer, M. C. A focused back-propagation algorithm for temporal pattern recognition [Text] / M. C. Mozer // Complex systems. - 1989.-Vol. 3.-P. 349-381.

157. Natschläger, T. Spatial and temporal pattern analysis via spiking neurons [Text] / T. Natschläger, B. Ruf // Network. -1998. - Vol. 9, № 3. - P. 319-332.

158. Nishimori, H. Retrieval of spatio-temporal sequence in asynchronous neural networks [Text] / H. Nishimori, T. Nakamura, M. Shiino // Physical Review A. - 1990. - Vol. 41. - P. 3346-3354.

159. Nikitin, K. Pattern recognition control by Synergetic Computer [Text] / K. Nikitin, S. Zhukova // Proc of the 11th International Student Olympiad on Automatic Control (BOAC-2006). - 2006. - P. 173-177.

160. Olszewski, R.T. Generalized Feature Extraction for Structural Pattern Recognition in Time-Series Data [Text] : PhD Thesis / Robert T. Olszewski. - Pittsburgh, 2001.-125 p.

161. Oscillations in neural systems [Text] / Edited by D. S. Levine, V. R. Brown, V. T. Sirey. - Mahwah : Lawrence Erlbaum Associates, 2000. - 435 p.

162. Oscillatory responses in cat visual cortex exhibit inter-columnar synchronization which reflects global stimulus properties [Text] / C. M. Gray, P. König, A. K. Engel, W. Singer // Nature. - 1989. - Vol. 338. - P. 334-337.

163. Pantic, L. Associative memory with dynamical synapses [Text] / L. Pantic, J. J. Torres, H. Kappen //Neural Computation.

- 2002. - Vol. 14. - P. 2903-2923.

164. PhysioNet: the research resource for complex physiological signals [Electronic resource]. - Electronic data and program.

- Cambridge : MIT ; Beth : Beth Israel Deaconess Medical Center ; Harvard : Harvard Medical School; Boston : Boston University ; Montreal: McGill University, 2013. - Mode of access: www.phvsionet.org.

165. Prokhorov, D. Echo State Networks: Appeal and Challenges / D. Prokhorov // Proc. of IJCNN, Montreal, Canada. -2005.

166. Rabiner, L. Fundamentals of speech recognition [Text] / L. Rabiner, B. H. Juang. - Englewood Cliffs, NJ : Prentice-Hall, 1993. - 507 p.

167. Rolls, E. T. An attractor network in the hippocampus: theory and neurophysiology [Text] / E. T. Rolls // Cold Spring Harbor Laboratory Press. - 2007. - Vol. 14. - P. 714-731.

168. Rumelhart, D. E. Learning internal representations by error propagation [Text] / D. E. Rumelhart, G. E. Hinton, R. J. Williams // Parallel Distributed Processing / D. E. Rumelhart, J. L. McClelland [et al.]. - Cambridge : The MIT Press, 1986.-Vol. l,chap. 8. - P. 318-362.

169. Samengo, I. Statistical description of associative memory [Text] /1. Samengo // AIP Conference Proceedings. - 2003. -Vol. 658, № 1.-P. 301-313.

170. Schrauwen, B. An overview of reservoir computing theory, applications and implementations [Text] / B. Schrauwen, D. Verstraeten, J. V. Campenhout // Proc. of the 15th European Symposium on Artificial Neural Networks. - 2007. -P. 471-482.

171. Sejnowski, T. J. Parallel networks that learn to pronounce English text [Text] / T. J. Sejnowski, C. R. Rosenberg // Complex Systems.-1987.-Vol. l.-P. 145-168.

172. Siegelmann, H. T. Neural and super-Turing computing [Text] / H. T. Siegelmann // Minds and Machines. - 2003. - Vol. 13.-P. 103-114.

173. Siegelmann, H. T. On the computational power of neural nets [Text] / H. T. Siegelmann, E. D. Sontag // Journal of Computer and System Sciences. - 1995.-Vol. 50, № l.-P. 132-150.

174. Simulation of networks of spiking neurons: a review of tools and strategies [Text] / R. Brette [et al.] // Journal of computational neuroscience. - 2007. - Vol. 23, № 3. - P. 349-398.

175. Smith, E. Efficient coding of time-relative structure using spikes [Text] / E. Smith, M. S. Lewicki //Neural Computation. -2004.-Vol. 17.-P. 19-45.

176. Sompolinsky, H. Chaos in random neural networks [Text] / H. Sompolinsky, A. Crisanti, H. J. Sommers // Physical Review Letters. - 1988. - Vol. 61. - P. 259-262.

177. Sporns, O. Graph theory methods for the analysis of neural connectivity patterns [Text] / O. Sporns // Neuroscience Databases. A Practical Guide / Edited by R. Kotter. - Boston : Kluwer Academic Publishers, 2002. - P. 171-186.

178. Stauffer, D. Efficient Hopfield pattern recognition on a scale-free neural network [Text] / D. Stauffer, A. Aharony, J. Adler // European Physic Journal. - 2003. - Vol. 32. - P. 395-399.

179. Steil, J. J. Backpropagation-decorrelation: recurrent learning with 0(N) complexity [Text] / J. J. Steil // Proc. IJCNN. -2004.-Vol. l.-P. 843-848.

180. Tank, D. W. Neural computation by concentrating information in time [Text] / D. W. Tank, J. J. Hopfield // PNAS. -1987.-Vol. 84.-P. 1896-1900.

181. The correlation theory of brain function [Text] : internal report: 81-2 / Max Planck Institute for Biophysical Chemistry, Department of Neurobiology ; Christoph von der Malsburg. - Göttingen, 1981. - 26 p.

182. The "echo state" approach to analyzing and training recurrent neural networks [Text]: GMD report 148 / German National Research Center for Information Technology ; H. Jaeger. - St. Augustin, 2001. - 43 p.

183. The handbook of brain theory and neural networks [Text] / Edited by Michael A. Arbib, 2nd ed. - Cambridge [etc.]: The MIT Press, 2003.- 1290 p.

184. The synaptic organization of the brain [Text] / Edited by G. M. Shepherd, 5-th ed. - New York : Oxford University Press, 2004.-719 p.

185. Theodoridis, S. Pattern recognition [Text] / S. Theodoridis, K. Koutroumbas, 4-th ed. - San Diego : Academic Press, 2009.-961 p.

186. Toward optical signal processing using Photonic Reservoir Computing [Text] / K. Vandoorne, W. Dierckx, B. Schrauwen [et al.]//Optics express.-2008.-Vol. 16, № 15.-P. 11182-11192.

187. Training Recurrent Networks by Evolino [Text] / J. Schmidhuber, D. Wierstra, M. Gagliolo, F. Gomez // Neurai computation. - 2007. - Vol. 19, № 3. - P. 757-779.

188. Trappenberg, T. P. Fundamentals of computational neuroscience [Text] / T. P. Trappenberg. - New York : Oxford University Press. - 2002. - 338 p.

189. Verstraeten, D. Isolated word recognition using liquid state machine: a case study [Text] / D. Verstraeten, B. Schrauwen, D. Stroobandt, J. Van Campenhout // Information Processing Letters. - 2005. - Vol. 95. - P. 521-528.

190. Viola, P. Robust Real-time object detection [Text] / P. Viola, M. Jones // International Journal of Computer Vision. -2001.-Vol. 57, №2.-P. 137-154.

191. Waibel, A. Modular construction of time-delay neural networks for speech recognition [Text] / A. Waibel // Neural Computation. - 1989. - Vol. l.-P. 39-46.

192. Wang, D. L. Locally excitatory globally inhibitory oscillator networks [Text] / D. L. Wang, D. Terman // IEEE transactions on neural networks. - 1995. - Vol. 6, № l.-P. 283-286.

193. Wang, D. L. Pattern segmentation in associative memory [Text] / D. L. Wang, J. Buhmann, Christoph von der Malsburg // Neural Computation. - 1990. - Vol. 2. - P. 94-106.

194. Wang, F. Neural dynamic associative memory for pattern recognition [Text] / F. Wang, J. Litva, H. Leung // Proc. of the 7-th International Conference on Signal Processing Applications & Technology. - 1996. - Vol. 2. - P. 1312-1316.

195. Williams, R. J. A learning algorithm for continually running fully recurrent neural networks [Text] / R. J. Williams, D. Zipser // Neural Computation. - 1989. - Vol. 1. - P. 270-280.

196. Wilson, H. A mathematical theory of the functional dynamics of cortical and thalamic nervous tissue [Text] / H. Wilson, J. Cowan // Kybernetik. - 1973. - Vol. 13. - P. 55- 80.

197. Zak, M. Terminal attractors in neural networks [Text] / M. Zak // Neural networks. - 1989. - Vol. 2. - P. 259-274.

198. Zak, M. From instability to intelligence Complexity and predictability in nonlinear dynamics [Text] / M. Zak, J. P. Zbilut, R. E. Meyers. - Berlin: Springer-Verlag, 1997. - 552 p.