Нейронные сети на сегментных импульсных моделях нейрона со структурным обучением тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Корсаков Антон Михайлович

• Корсаков Антон Михайлович
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Корсаков Антон Михайлович

ВВЕДЕНИЕ

1 АНАЛИЗ СОВРЕМЕННЫХ СПАЙКОВЫХ НЕЙРОННЫХ СЕТЕЙ В СИСТЕМАХ ОБРАБОТКИ ИНФОРМАЦИИ

1.1 Анализ существующих моделей нейронов и подходов к их созданию

1.2 Сегментная спайковая модель нейрона СБММ

1.3 Анализ методов обучения спайковых нейронных сетей

1.4 Среда моделирования сегментных спайковых нейронов и сетей КеигоМоёе1ег

1.5 Выводы по разделу

2 АЛГОРИТМЫ СТРУКТУРНОГО ОБУЧЕНИЯ И РЕШЕНИЕ ЗАДАЧИ КЛАССИФИКАЦИИ НА СЕГМЕНТНОЙ СПАЙКОВОЙ МОДЕЛИ НЕЙРОНА

2.1 Описание способа кодирования сигналов для СБ^М

2.2 Разработка общего алгоритма структурного обучения СБММ

2.3 Постановка задачи классификации

2.4 Решение задачи классификации на СБ^М с возможностью структурного обучения

2.5 Проведение исследований по решению задачи классификации с использованием СБ^М

2.6 Выводы по разделу

3 НЕЙРОМОРФНЫЕ ЭЛЕМЕНТЫ ИНФОРМАЦИОННО-УПРАВЛЯЮЩИХ СИСТЕМ РОБОТОТЕХНИЧЕСКИХ АГЕНТОВ

3.1 Реализация нейроморфных элементов информационно-управляющих систем робототехнических агентов на СБ^М с возможностью структурного обучения

3.2 Проведение исследований по решению задачи классификации на данных состояния автономного необитаемого подводного аппарата

3.3 Нейроморфная модель ассоциативной памяти при формировании описания

рабочей среды робототехнической системы

3.4 Предупреждение возникновения нештатных ситуаций в сложных технических системах с использованием нейроморфного подхода

3.5 Выводы по разделу

ЗАКЛЮЧЕНИЕ

Список использованных источников

Список работ, опубликованных автором по теме диссертации

Введение диссертации (часть автореферата) на тему «Нейронные сети на сегментных импульсных моделях нейрона со структурным обучением»

ВВЕДЕНИЕ

Актуальность темы диссертации. Фундаментальная научная задача, на решение которой направлено исследование - развитие знаний в области создания биологически-инспирированных интеллектуальных систем управления и обработки информации.

В современной парадигме искусственных нейронных сетей во главу угла ставится формализация и последующее решение частной прикладной задачи в контексте, заранее определенном обучающей выборкой. Новые компоненты и архитектуры нейронных сетей на основе нейроморфного подхода и специальные алгоритмы их обучения позволят создавать универсальные системы, эффективно решающие множество задач в пространствах высокой размерности. Для этого требуется разработать методы построения и обучения нейроморфных систем, способных адаптироваться, в частности, к изменению условий решаемой задачи и входных данных. Для существенного увеличения адаптивной способности искусственных нейронных сетей представляется необходимым рассматривать не только параметрическое, но и структурное обучение нейронных сетей, как на уровне изменения топологии связей между узлами (нейронами) сети, так и на уровне усложнения модели каждого узла путем перехода к сегментным моделям нейронов.

Также важным аспектом развития этого направления является построение элементов информационно-управляющих систем, основанных на нейроморфном подходе, таких как формирование ассоциативных связей, экстраполяция состояний технической системы, детекция нештатного состояния технической системы и др.

В основе работы лежит исследование новых принципов создания нейроморфных систем, базирующихся на особенностях топологии и развития естественных нейронных структур. Работа направлена на исследование и разработку архитектур спайковых (импульсных) нейронных сетей на основе

динамических сегментных моделей нейронов, методов и алгоритмов их обучения.

Степень разработанности темы. По мнению многих экспертов, технологический бум в области прикладных решений искусственного интеллекта начался примерно в 2015 году. Что касается нейроморфных решений, начиная с 2013 года активно патентуются методы и аппаратные решения, связанные с разработкой спайковых нейронных сетей, и их число постоянно растёт. Так в 2013 году было зарегистрировано менее 50 таких патентов, тогда как в 2021 году уже более 200.

Среди основных направлений развития нейроморфной тематики в настоящее время можно выделить следующие: моделирование биологических структур и моделей адаптивного поведения (Анохин К.В., Редько В.Г., Гордлеева С.Ю.), методы решения проблемы обучения спайковых нейронных сетей (Киселёв М.В., Лобов С.А.), аппаратные средства реализации спайковых нейронов и нейронных сетей (Канглер В.М.), разработка структурных моделей спайковых нейронов (Романов С.П., Бахшиев А.В.), нейроморфные системы управления робототехническими агентами (7. Krichmar, Станкевич Л.А., Жданов А.А.).

Цель и задачи исследования. Основной целью диссертационной работы является снижение количества обучающих примеров и числа нейронов в спайковой сети при решении задач классификации, посредством создания новых методов и алгоритмов структурного обучения сегментных спайковых моделей нейронов. Для достижения указанной цели в работе сформулированы и решены следующие задачи:

1. Анализ современных нейронных сетей в системах обработки информации, их недостатков и способов устранения этих недостатков. Выбор модели сегментного нейрона для решения задачи её структурного обучения.

2. Разработка и исследование алгоритмов структурного обучения моделей сегментных спайковых нейронов входному паттерну импульсов. В эту

задачу входят постановка задачи структурного обучения нейрона и распознавания паттерна импульсов.

3. Разработка и исследование архитектуры спайковой нейронной сети для решения задачи классификации.

4. Разработка нейроморфных элементов информационно-управляющих систем робототехнических агентов.

Объект исследований

Нейронные сети на сегментных спайковых моделях нейрона.

Предмет исследований

Алгоритмы структурного обучения и классификации на сегментных спайковых нейронах, а также методы их применения для реализации элементов систем управления и обработки информации.

Научная новизна

1. Разработаны новые алгоритмы структурного обучения искусственного нейрона паттерну импульсов, которые отличаются от существующих тем, что обеспечивают возможность динамического изменения древовидной структуры дендритов нейрона, а также динамического изменения числа синапсов на мембране нейрона, как адаптивную реакцию на временную структуру паттерна импульсов на входе нейрона.

2. Предложен новый метод решения задачи классификации, отличающийся от существующих способностью построения сети из предварительно обученных нейронов.

3. Предложены новые нейроморфные элементы информационно-управляющих систем робототехнических агентов, которые отличаются от существующих малым числом нейронов и способностью обучаться на малом числе обучающих примеров.

Теоретическая и практическая значимость работы. На основе модели спайкового нейрона разработаны модели спайковых сетей, в которых реализованы новые механизмы взаимодействия предложенных моделей

нейронов, а также способы их описания. Разработаны методы и алгоритмы оффлайн и онлайн обучения сегментной спайковой модели нейрона, включая алгоритмы структурного обучения, позволяющие наращивать дерево дендритов и синапсов мембраны нейрона.

Разработанные нейроморфные архитектуры сетей отличаются от традиционных нейросетевых решений тем, что в качестве главного компонента таких средств используются сегментные модели спайковых нейронов с настраиваемой структурой мембраны дендритного дерева. Разработанные алгоритмы обучения нейроморфных архитектур обеспечивают не только изменение параметров связей нейронов и числа нейронов, но и топологию сети через модификацию структуры мембраны дендритного дерева нейронов.

С практической точки зрения полученные архитектуры, модели и алгоритмы могут быть использованы при энергоэффективном решении задач классификации. Кроме того, разработанные элементы информационно-управляющих систем могут быть использованы в нейроморфных системах управления робототехнических агентов.

Методология и методы исследования. При анализе и синтезе моделей нейронов и нейронных сетей, а также алгоритмов их настройки, используются методы математического и численного моделирования. Для программной реализации моделей использованы методы структурного и объектно -ориентированного анализа и программирования. Предложенные решения отработаны с помощью компьютерного моделирования и экспериментальных исследований конкретных систем.

Положения, выносимые на защиту

1. Алгоритм структурного обучения сегментного спайкового нейрона обеспечивающий его настройку на распознавание отдельного паттерна импульсов или серии таких паттернов.

2. Метод решения задачи классификации на основе нейронных сетей со структурным обучением сегментных спайковых нейронов.

3. Нейроморфные элементы информационно-управляющих систем робототехнических агентов: нейроморфный детектор нештатных ситуаций, нейроморфный экстраполятор, нейроморфная модель формирования ассоциативных связей.

Степень достоверности и апробация результатов. Достоверность научных положений, основных выводов и результатов диссертации обеспечивается за счет анализа состояния исследований в данной области, согласованности теоретических выводов с результатами экспериментальной проверки алгоритмов, а также апробацией основных теоретических положений диссертации в печатных трудах и докладах на международных и российских научных специализированных конференциях, апробацией в проектах конкретных систем различного назначения. Достоверность полученных результатов подтверждается также итогами применения разработанных моделей и программных средств на практике.

Разработанные модели нейронов и нейроморфных систем использовались в учебном курсе «Математические методы искусственного интеллекта» СПбПУ.

Результаты исследования внедрялись в рамках договоров: № 075-0069724-00 от 05.01.2022 на выполнение НИР «Исследование и разработка биоподобной системы управления поведением мобильных роботов на базе энергоэффективных программно-аппаратных нейроморфных средств»; № 07500913-21-01 от 14.08.2019 на выполнение НИР «Разработка и исследование новых архитектур реконфигурируемых растущих нейронных сетей, методов и алгоритмов их обучения»; № 36-21 от 01.04.2021 на выполнение СЧ ОКР, «Проведение регламентных технических работ по обслуживанию системы «Витязь-ИУС», доработка системы «Витязь-ИУС» и участие в испытаниях комплекса «Витязь-Д»».

Основные положения и результаты диссертационной работы докладывались в 2020 - 2023 годах на XXII Международной научно-технической конференции «Нейроинформатика-2020»; XXIII Международной научно-

технической конференции «Нейроинформатика-2021»; второй международной научно-технической конференции «Cyber-Physical Systems & Control» (CPS&C -2021); VII всероссийской конференции «Нелинейная динамика в когнитивных исследованиях» (НДКИ - 2021); XXIV Международной научно-технической конференции «Нейроинформатика-2022»; VIII всероссийской конференции «Нелинейная динамика в когнитивных исследованиях» (НДКИ - 2023); XXV Международной научно-технической конференции «Нейроинформатика-2023».

Публикации. По материалам диссертации опубликовано 16 печатных работ, включая 5 публикаций в научных журналах, рекомендованных ВАК («Информатика и автоматизация», «Робототехника и техническая кибернетика», «Optical Memory and Neural Networks (Information Optics)»), 7 публикаций в изданиях, индексируемых в WoS/Scopus.

Личный вклад автора. Математические модели, теоретические выводы и практические решения, результаты тестирования. Основные научные положения сформулированы и изложены автором самостоятельно.

Структура и объем работы. Диссертация объемом 171 машинописных страниц содержит введение, три главы и заключение, список литературы (76 наименований), 10 таблиц, 1 26 рисунков.

В первом разделе проведено обобщение накопленных знаний, касающихся моделей нейронов, и, исходя из этой цели, для существующих моделей нейронов была приведена их классификация. Отмечается, что в рамках нейроморфного подхода недостаточное внимание уделяется многокомпонентным, или сегментным, моделям нейронов. Однако для существенного увеличения адаптивной способности искусственных нейронных сетей представляется необходимым рассматривать не только параметрическую, но и структурную адаптацию нейронных сетей, как на уровне изменения топологии связей между узлами (нейронами) сети, так и на уровне усложнения модели каждого узла путем перехода к сегментным моделям нейронов. В результате анализа источников установлено, что моделью, позволяющей

осуществлять такое структурное обучение, является сегментная спайковая модель нейрона CSNM, которая и была выбрана в качестве рабочей модели для настоящей работы.

Кроме того, в данном разделе проведён обзор способов кодирования сигналов, поступающих в сеть. Опираясь на этот обзор, а также исходя из особенностей выбранной модели нейрона можно сделать вывод, что наиболее подходящим для разработанного метода структурного обучения является временное кодирование сигналов, а конкретно - кодирование временем до первого спайка (Time-To-First-Spike, TTFS).

Создание моделей нейронных сетей с возможностью структурного реконфигурирования как самой сети, так и её элементов, подразумевает необходимость обеспечить возможность описывать системы, в которых заранее не определена топология связей между элементами системы и их структурное описание. Данным требованиям удовлетворяет среда разработки NeuroModeler, краткое описание которой приведено в данном разделе и которая будет использоваться в настоящей работе далее.

Во втором разделе рассмотрены алгоритмы структурного обучения модели нейрона CSNM. В результате структурного обучения модель нейрона приобретает конфигурацию, позволяющую получать отклик модели нейрона на паттерн импульсов, которому данная конкретная модель нейрона обучалась, т.е. решать задачу распознавания паттерна импульсов (бинарная классификация). В качестве развития разработан алгоритм обучения модели нейрона CSNM из произвольного состояния (переобучение модели), что, в свою очередь, позволяет предложить сценарии инкрементного обучения сегментной спайковой модели нейрона.

Далее была рассмотрена задача классификации на модели нейрона CSNM с возможностью структурного обучения. Поставлена задача классификации. Описан способ кодирования сигналов перед поступлением их в сеть. Отдельно описаны схемы построения логических элементов с использованием CSNM,

которые использовались в данном разделе и будут использоваться в дальнейшем. Предложена общая схема классификации паттернов импульсов с использованием CSNM. Описан программный модуль, разработанный на основе этой схемы. Представлены результаты экспериментов по решению задачи классификации с использованием CSNM на модельных общепринятых датасетах: Iris и MNIST.

В третьем разделе эффективность работы предложенного алгоритма структурного обучения сегментной спайковой модели нейрона CSNM в сети была показана на примере реализации нейроморфных элементов информационно-управляющих систем для робототехнических агентов. В качестве таких элементов рассмотрены: формирование ассоциативных связей, экстраполяция состояний технической системы, детекция нештатного состояния технической системы.

Кроме того, представлены результаты экспериментов по решению задачи классификации, полученные на реальных входных данных в ходе натурных испытаний робототехнического агента. В качестве робототехнического агента для испытаний выступал автономный необитаемый подводный аппарат (АНПА). Описано решение двух задач: определение расстояния АНПА до дна и определение характера движения АНПА. Результаты экспериментов показали соответствие рассчитанных характеристик движения и положения АНПА реальному его состоянию.

Приведены результаты исследования модели ассоциативной памяти при формировании описания рабочей среды робототехнического агента. Эксперименты проводились на синтетических данных и показали возможность построения описания рабочей среды робототехнического агента предложенными методами. Кроме того, приведена модель предупреждения возникновения нештатных ситуаций в технических системах. Исследования проводились на модельных данных и показали возможность применения разработанных схем для решения рассмотренной задачи.

1 АНАЛИЗ СОВРЕМЕННЫХ СПАЙКОВЫХ НЕЙРОННЫХ СЕТЕЙ В СИСТЕМАХ ОБРАБОТКИ ИНФОРМАЦИИ

В настоящем разделе диссертации предложена классификация существующих моделей нейронов. Отдельное внимание уделено сегментной спайковой модели нейрона С8КМ с обоснованием использования данной модели при дальнейшем проведении работы. Рассмотрены существующие способы обучения спайковых нейронных сетей. Сделан обзор программных средств моделирования нейронных сетей с акцентом на среду разработки №игоМоде1ег, использовавшуюся при дальнейшем проведении работы.

1.1 Анализ существующих моделей нейронов и подходов к их созданию

1.1.1 Классификация моделей нейронов

Большинство моделей нейрона, реализованных в нейроморфных системах, имеют некоторую концепцию накопления заряда и дальнейшего его распространения, но механизмы, с помощью которых эти процессы происходят, могут значительно варьироваться от модели к модели. Точно так же модели, которые не являются биологически правдоподобными, как правило, не реализуют аксонов или дендритов, хотя есть несколько исключений (как будет отмечено ниже).

Классификацию моделей нейронов можно производить по степени разработки математического описания модели нейрона и качественного описания поведения нейрона (рисунок 1.1).

Модели можно разделить по уровню абстракции [1]:

- биологические (биологически-правдоподобные) - модели, основанные на явном моделировании биохимических и физиологических процессов, которые, как следствие, приводят к определенному поведению нейрона в определенных режимах работы [2-5],

- феноменологические (биологически-вдохновленные) - пытаются воспроизвести поведение биологических нейронных систем, но не обязательно

биологически правдоподобным способом, таким образом описывается поведение нейрона в определенных режимах работы как «черный ящик» [6-17]. Отдельно среди феноменологических можно выделить модели порогового интегратора [18-21],

- формальные - модели с наивысшим уровнем абстракции, описывающие только основные свойства нейрона, которые являются производными от оригинального нейрона Мак-Калока - Питтса [22], используемого в большинстве литературы по искусственным нейронным сетям [23-30].

Рисунок 1.1 - Классификация моделей нейрона

По описанию динамических процессов нейроны можно разделить на:

- статические - их функция представляет собой зависимость входа от выхода без учета времени,

- динамические - учитывающие процессы временной суммации сигналов [31].

По описанию структуры мембраны:

- точечные - рассматривающие нейрон как объект, не имеющий выделенной пространственной структуры,

- с пространственной структурой - описание нейрона включает в себя дендритное дерево [32, 33].

По типу сигнала в нейронной сети:

- спайковые - нейроны, входные и выходные сигналы которых описываются последовательностью импульсов (спайков) [34],

- с непрерывным откликом - входными и выходными сигналами являются непрерывные величины, описывающие обобщенную частоту активности нейронов или некоторую вероятностную величину.

По уровню обобщения сети:

- одиночные - модели, описывающие отдельный биологический нейрон,

- популяционные - модели, описывающие поведение нейронной популяции как единого целого.

По учету стохастических процессов [35]:

- детерминированные - без учета случайных процессов,

- стохастические - описывающие нейрон как стохастический объект.

Каждая модель может соответствовать нескольким признакам из данной

классификации.

Существуют десятки распространенных моделей нейронов [36].

На рисунке 1.2 представлен обзор моделей нейронов, которые были реализованы аппаратно (размер секции определяет сравнительное количество различных реализаций соответствующей модели).

Компоненты биологически правдоподобных и биологически вдохновленных моделей могут включать:

- динамику клеточной мембраны, которая определяет такие факторы, как утечка заряда через клеточную мембрану нейрона,

- динамику ионных каналов, которые управляют потоком ионов в нейрон и из него, изменяя уровень заряда нейрона,

- аксональные модели, которые могут включать компоненты задержки,

- дендритные (сегментные) модели, которые определяют, сколько пре- и постсинаптических нейронов влияют на текущий нейрон.

Рисунок 1.2 - Иерархия моделей нейронов, которые имеют аппаратную

реализацию

Хороший обзор этих типов моделей спайковых нейронов приведён в [37].

1.1.2 Ограничения рассмотренных моделей нейронов

В настоящее время нейроморфные системы в основном создаются на спайковых (импульсных) нейронах. Спайковый нейрон - это искусственный нейрон, оперирующий с непрерывно поступающим многомерным потоком спайков как с потоком точечных событий. Нейроморфные системы, построенные на базе простых спайковых нейронов, настраиваются на задачи (адаптируются), в основном, путем параметрической настройки нейронов и сетей, то есть изменением весов связей и порогов нейронов. Однако известно, что в нервной системе осуществляется не только параметрическая, но и структурная адаптация нейронов и сетей под решаемую задачу.

Анализ приведенных примеров, демонстрирующих спайковые нейронные сети и методы их структурного и параметрического обучения, позволяет сделать вывод о том, что для существенного увеличения адаптивной способности таких сетей представляется необходимым рассматривать не только параметрическую, но и структурную адаптацию нейронных сетей, как на уровне изменения топологии связей между узлами (нейронами) сети, так и на уровне усложнения модели каждого узла, например, путем перехода к сегментным (компартментным) моделям нейронов. По мнению автора, это даст возможность более эффективной реализации поведенческих функций в нейроморфных системах управления, например, в робототехнике.

В качестве альтернативы традиционным стратегиям развития, регулирующим количество нейронов в процессе обучения и адаптирующим веса нейронов в динамическом режиме, в следующем подразделе предлагается подход, предлагающий, помимо возможности динамического изменения структуры нейронной сети и связей между отдельными нейронами, возможность структурной онлайн перестройки самой модели нейрона.

1.2 Сегментная спайковая модель нейрона CSNM

1.2.1 Структура сегментной модели нейрона

В основу работы положена модель, предложенная в [38-40]. В данной модели предполагается, что на входы поступают импульсные потоки, которые преобразуются в синапсах в аналоговые величины, описывающие процессы выделения и распада медиатора в синаптической щели. Входные и выходные сигналы нейрона равны нулю в отсутствии импульса, и константе на время действия импульса.

Мембрана сомы и дендритов нейрона представляется набором пар ионных механизмов, описывающих механизмы деполяризации и гиперполяризации. Выходом участка мембраны является пара значений гиперполяризации и

деполяризации, определяющая их вклад в суммарный внутриклеточным потенциал.

Более подробно структуру модели можно представить следующим образом (рисунок 1.3).

Г

Дендриты

1 Г

Сома _Л_

Низкопороговая зона _„

~1Г

' _л= , р

■{Е„И, ЕехН . л

1|П|1}

{"ши, "ах}

1|пИ 01,ма

1ех

у

Рисунок 1.3 - Структурная схема модели нейрона CSNM

Б

х

эх V

ЫБуп

Б

х

Такая модель обладает следующими свойствами.

Чем ближе участок мембраны расположен к генераторной зоне, тем эффективнее вклад его входов в общую картину возбуждения нейрона, что позволяет осуществлять синхронизацию входных сигналов, поступающих не одновременно и, следовательно, запоминать образы, формируемые динамически (на коротких интервалах времени).

На участках мембраны без обратной связи (сегменты дендритов) осуществляется пространственное и временное суммирование сигналов на значительных интервалах времени (малый вклад в возбуждение нейрона от каждого входа), и изменение состояния соответствующих преобразующих элементов не зависит от разрядов нейрона. На участках мембраны с обратной связью (Б1) от генератора выходного сигнала (тело нейрона) производится суммирование сигналов на коротких интервалах времени (большой вклад в возбуждение нейрона от каждого входа) и накопленный сигнал теряется при разрядах нейрона. Поэтому при одновременной активации этих входов приоритет получают сигналы, воздействующие на тело клетки.

В модели учитывается эффект пресинаптического торможения, которое заключается в снижении эффективности входного сигнала при высокой его интенсивности (эффект насыщения). Это дает возможность настраивать каждый вход нейрона на работу в конкретном диапазоне интенсивностей входного сигнала, а также исключить возможность паразитного самовозбуждения системы при высоких интенсивностях входных сигналов.

Эффективность группы синапсов пропорциональна не их общему числу, а числу активных синапсов.

Модель изначально разрабатывалась, как формализованное описание процессов преобразования последовательностей входных спайков, без привязки к решению задачи количественного описания протекающих в нейроне электрохимических процессов. При этом, однако, в основе модели лежит модель эквивалентной электрической схемы мембраны нейрона по Экклсу [41], поэтому параметры модели описываются в общепринятых терминах мембранного и синаптического сопротивлений и емкости.

В модели полагается, что нейроны обмениваются информацией через импульсы, которые можно представить, как:

где - время начала импульса,

Еу - постоянная амплитуда импульса, далее положим Еу=1, Дt - длительность импульса.

Далее будут рассмотрено математическое описание моделей функциональных элементов модели нейрона СБЫМ.

(1.1)

1.2.2 Модель синапса

На вход модели синапса поступает сигнал с выхода другого нейрона, вида (1.1). Выходным значением является синаптический ток. Модель синапса реализует основные особенности функционирования синаптической передачи. Первым из таких факторов является экспоненциальный характер выделения и распада медиатора, а также различие в скоростях протекания этих процессов (выделение медиатора, как правило, происходит значительно быстрее распада). Во-вторых, учитывается эффект пресинаптического торможения, проявляющийся в быстром снижении эффекта влияния синапса на ионный канал при превышении концентрацией медиатора некоторого предельного значения.

Стоит также отметить, что модели возбуждающих и тормозных синапсов идентичны друг другу, а различие в их воздействии на мембрану клетки определяется тем, к какому из ионных механизмов подключен каждый конкретный синапс.

Список литературы диссертационного исследования кандидат наук Корсаков Антон Михайлович, 2025 год

Список использованных источников

1. Bakhshiev A., Stankevich L. Prospects for the Development of Neuromorphic Systems / A. Bakhshiev, L. Stankevich // Advances in Neural Computation, Machine Learning, and Cognitive Research : Studies in Computational Intelligence / eds. B. Kryzhanovsky, W. Dunin-Barkowski, V. Redko. - Cham: Springer International Publishing, 2018. - P. 47-52.

2. Hodgkin A.L., Huxley A.F. A quantitative description of membrane current and its application to conduction and excitation in nerve//Bulletin of Mathematical Biology. -1990. - Vol. 52. - No. 1. - P. 25-71.

3. Castaños F., Franci A. The transition between tonic spiking and bursting in a six-transistor neuromorphic device / F. Castaños, A. Franci // 2015 12th International Conference on Electrical Engineering, Computing Science and Automatic Control (CCE) 2015 12th International Conference on Electrical Engineering, Computing Science and Automatic Control (CCE). - 2015. - C. 1-6.

4. Borisyuk A. Morris-Lecar Model. - 2014.

5. Gholami M., Saeedi S. Digital cellular implementation of Morris-Lecar neuron model / M. Gholami, S. Saeedi // 2015 23rd Iranian Conference on Electrical Engineering 2015 23rd Iranian Conference on Electrical Engineering. - 2015. -C. 1235-1239.

6. Binczak S., Jacquir S., Bilbault J.-M., Kazantsev V.B., Nekorkin V.I. Experimental study of electrical FitzHugh-Nagumo neurons with modified excitability//Neural Networks. - 2006. - Vol. 19. - No. 5. - P. 684-693.

7. Lu J., Yang J., Kim Y.-B., Kim K.K. Implementation of CMOS neuron for robot motion control unit / J. Lu и др. // 2013 International SoC Design Conference (ISOCC) 2013 International SoC Design Conference (ISOCC). - 2013. - C. 9-12.

8. Izhikevich E.M. Simple model of spiking neurons//IEEE Transactions on Neural Networks. - 2003. - Т. 14. - N 6. - C. 1569-1572.

9. Basu A. Small-Signal Neural Models and Their Applications//IEEE Transactions on Biomedical Circuits and Systems. - 2012. - Т. 6. - N 1. - C. 64-75.

10. Mihala§ §., Niebur E. A Generalized Linear Integrate-and-Fire Neural Model Produces Diverse Spiking Behaviors//Neural Computation. - 2009. - T. 21. - N 3. -C. 704-718.

11. Folowosele F., Hamilton T.J., Etienne-Cummings R. Silicon Modeling of the Mihala§-Niebur Neuron//IEEE Transactions on Neural Networks. - 2011. - T. 22. -N 12. - C. 1915-1927.

12. Grassia F., Levi T., Kohno T., Sai'ghi S. Silicon neuron: digital hardware implementation of the quartic model//Artificial Life and Robotics. - 2014. - Vol. 19.

- Silicon neuron. - No. 3. - P. 215-219.

13. Arthur J.V., Boahen K. Silicon neurons that inhibit to synchronize / J.V. Arthur, K. Boahen // 2006 IEEE International Symposium on Circuits and Systems 2006 IEEE International Symposium on Circuits and Systems. - 2006. - C. 4 pp.-.

14. Basu A., Hasler P.E. Nullcline-Based Design of a Silicon Neuron//IEEE Transactions on Circuits and Systems I: Regular Papers. - 2010. - T. 57. - N 11. -C. 2938-2947.

15. Hayati M., Nouri M., Haghiri S., Abbott D. A Digital Realization of Astrocyte and Neural Glial Interactions//IEEE Transactions on Biomedical Circuits and Systems. -2016. - T. 10. - N 2. - C. 518-529.

16. Erdener O., Ozoguz S. A new neuron and synapse model suitable for low power VLSI implementation//Analog Integrated Circuits and Signal Processing. - 2016. -Vol. 89. - No. 3. - P. 749-770.

17. Upegui A., Peña-Reyes C.A., Sanchez E. A functional spiking neuron hardware oriented model / A. Upegui, C.A. Peña-Reyes, E. Sanchez // Computational Methods in Neural Modeling : Lecture Notes in Computer Science / eds. J. Mira, J.R. Álvarez.

- Berlin, Heidelberg: Springer, 2003. - P. 136-143.

18. Kohno T., Sekikawa M., Aihara K. A configurable qualitative-modeling-based silicon neuron circuit//Nonlinear Theory and Its Applications, IEICE. - 2017. - T. 8. -N 1. - C. 25-37.

19. Tete A.D., Dr Design of Cortical Neuron Circuits With VLSI Design Approach//Scholars Journal of Science and Technology. - 2021. - Vol. 2. - No. 4. -P. 361-377.

20. Wen-peng L., Xu C., Hua-xiang L. A New Hardware-oriented Spiking Neuron Model Based on SET and Its Properties: 2011 International Conference on Physics Science and Technology (ICPST 2011)//Physics Procedia. - 2011. - Vol. 22. - P. 170176.

21. Gerstner W., Kistler W.M. Spiking Neuron Models: Single Neurons, Populations, Plasticity. Spiking Neuron Models / Google-Books-ID: Rs4oc7HfxIUC. - Cambridge University Press, 2002. - 498 p.

22. McCulloch W.S., Pitts W. A logical calculus of the ideas immanent in nervous activity//The bulletin of mathematical biophysics. - 1943. - Vol. 5. - No. 4. - P. 115133.

23. Zamanlooy B., Mirhassani M. Efficient hardware implementation of threshold neural networks / B. Zamanlooy, M. Mirhassani // 10th IEEE International NEWCAS Conference 10th IEEE International NEWCAS Conference. - 2012. - C. 1-4.

24. Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors//Nature. - 1986. - Vol. 323. - No. 6088. - P. 533-536.

25. Armato A., Fanucci L., Scilingo E.P., De Rossi D. Low-error digital hardware implementation of artificial neuron activation functions and their derivative/Microprocessors and Microsystems. - 2011. - Vol. 35. - No. 6. - P. 557567.

26. Al-Ruwaihi K.M. CMOS analogue neurone circuit with programmable activation functions utilising MOS transistors with optimised process/device parameters//IEE Proceedings-Circuits, Devices and Systems. - 1997. - T. 144. - N 6. - C. 318-322.

27. Lee S.T., Lau K.T. Low power building block for artificial neural networks//Electronics Letters. - 1995. - Vol. 31. - No. 19. - P. 1618-1619.

28. Deshmukh A., Morghade J., Khera A., Bajaj P. Binary Neural Networks - A CMOS Design Approach / A. Deshmukh et al. // Knowledge-Based Intelligent

Information and Engineering Systems : Lecture Notes in Computer Science / eds. R. Khosla, R.J. Howlett, L.C. Jain. - Berlin, Heidelberg: Springer, 2005. - P. 1291-1296.

29. Yamakawa T. Silicon implementation of a fuzzy neuron//IEEE Transactions on Fuzzy Systems. - 1996. - T. 4. - N 4. - C. 488-501.

30. Liu B., Konduri S., Minnich R., Frenzel J. Implementation of pulsed neural networks in CMOS VLSI technology / B. Liu h gp. // Proceedings of the 4th WSEAS International Conference on Signal Processing, Robotics and Automation : ISPRA'05.

- Stevens Point, Wisconsin, USA: World Scientific and Engineering Academy and Society (WSEAS), 2005. - C. 1-8.

31. Rabinovich M.I., Varona P., Selverston A.I., Abarbanel H.D.I. Dynamical principles in neuroscience//Reviews of Modern Physics. - 2006. - T. 78. - N 4. -C. 1213-1265.

32. Khan G.M., Miller J.F. In search of intelligence: evolving a developmental neuron capable of learning//Connection Science. - 2014. - T. 26. - In search of intelligence. -N 4. - C. 297-333.

33. Soltoggio A., Stanley K.O., Risi S. Born to learn: The inspiration, progress, and future of evolved plastic artificial neural networks//Neural Networks. - 2018. -Vol. 108. - Born to learn. - P. 48-67.

34. Maass W. Networks of spiking neurons: The third generation of neural network models//Neural Networks. - 1997. - Vol. 10. - Networks of spiking neurons. - No. 9.

- P. 1659-1671.

35. Pillow J., Paninski L., Simoncelli E.P. Maximum Likelihood Estimation of a Stochastic Integrate-and-Fire Neural Model. - Rochester, NY, 2003.

36. Finke C., Postnova S., Rosa E., Freund J.A., Huber M.T., Voigt K., Moss F.E., Braun H.A., Feudel U. Noisy activation kinetics induces bursting in the Huber-Braun neuron model//The European Physical Journal Special Topics. - 2010. - Vol. 187. -No. 1. - P. 199-203.

37. Izhikevich E.M. Which model to use for cortical spiking neurons?//IEEE Transactions on Neural Networks. - 2004. - T. 15. - N 5. - C. 1063-1070.

38. Бахшиев А.В., Романов С.П. Математическое моделирование процессов преобразования импульсных потоков в биологическом нейроне//Нейрокомпьютеры: Разработка, Применение. - 2009. - N 3.

39. Bakhshiev A.V., Gundelakh F.V. Mathematical Model of the Impulses Transformation Processes in Natural Neurons for Biologically Inspired Control Systems Development / A.V. Bakhshiev, F.V. Gundelakh // CEUR Workshop Proceedings. - 2015. - Vol. 1452. - P. 1-12.

40. Bakhshiev A., Demcheva A., Stankevich L. CSNM: The Compartmental Spiking Neuron Model for Developing Neuromorphic Information Processing Systems / A. Bakhshiev, A. Demcheva, L. Stankevich // Advances in Neural Computation, Machine Learning, and Cognitive Research V : Studies in Computational Intelligence / eds. B. Kryzhanovsky et al. - Cham: Springer International Publishing, 2022. - CSNM. -P. 327-333.

41. Экклс Дж. Физиология синапсов. - М.: Мир, 1966. - 396 с.

42. Balaska V., Bampis L., Boudourides M., Gasteratos A. Unsupervised semantic clustering and localization for mobile robotics tasks//Robotics and Autonomous Systems. - 2020. - Vol. 131. - P. 103567.

43. Gepperth A., Hammer B. Incremental learning algorithms and applications / A. Gepperth, B. Hammer // European Symposium on Artificial Neural Networks (ESANN). - Bruges, Belgium, 2016.

44. Hoi S.C.H., Sahoo D., Lu J., Zhao P. Online learning: A comprehensive survey//Neurocomputing. - 2021. - Vol. 459. - Online learning. - P. 249-289.

45. Lesort T., Lomonaco V., Stoian A., Maltoni D., Filliat D., Díaz-Rodríguez N. Continual Learning for Robotics: Definition, Framework, Learning Strategies, Opportunities and Challenges. Continual Learning for Robotics / arXiv:1907.00182 [cs]. - arXiv, 2019.

46. Лобов С.А., Степасюк В. STDP-подобная модель синаптической пластичности для реализации временного и частотного кодирования / С.А.

Лобов, В. Степасюк. - Институт прикладной физики Российской академии наук, 2023. - C. 75-78.

47. Guo W., Fouda M.E., Eltawil A.M., Salama K.N. Neural Coding in Spiking Neural Networks: A Comparative Study for Robust Neuromorphic Systems//Frontiers in Neuroscience. - 2021. - Т. 15. - Neural Coding in Spiking Neural Networks.

48. Lin P., Chang S., Wang H., Huang Q., He J. SpikeCD: a parameter-insensitive spiking neural network with clustering degeneracy strategy//Neural Computing and Applications. - 2019. - Vol. 31. - SpikeCD. - No. 8. - P. 3933-3945.

49. Park S., Lee D., Yoon S. Noise-Robust Deep Spiking Neural Networks with Temporal Information / S. Park, D. Lee, S. Yoon // 2021 58th ACM/IEEE Design Automation Conference (DAC) 2021 58th ACM/IEEE Design Automation Conference (DAC). - 2021. - C. 373-378.

50. Kim J., Kim H., Huh S., Lee J., Choi K. Deep neural networks with weighted spikes//Neurocomputing. - 2018. - Vol. 311. - P. 373-386.

51. Bakhshiev A.V., Fomin I.S., Gundelakh F.V., Demcheva A.A., Korsakov A.M. The architecture of a software platform for growing spiking neural networks simulator developing/Journal of Physics: Conference Series. - 2020. - Vol. 1679. - No. 4. -P. 042001.

52. Park S., Kim S., Na B., Yoon S. T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding. T2FSNN. - 2020.

53. UCI Machine Learning Repository: Iris Data Set. - URL: https://archive.ics.uci.edu/ml/datasets/iris (дата обращения: 22.04.2021).

54. Visualizing MNIST: An Exploration of Dimensionality Reduction - colah's blog. - URL: https://colah.github.io/posts/2014-10-Visualizing-MNIST/ (дата обращения: 12.10.2021).

55. Maaten L. van der, Hinton G. Visualizing Data using t-SNE//Journal of Machine Learning Research. - 2008. - Т. 9. - N 86. - C. 2579-2605.

56. Асратян Э.А. Учение академика И.П. Павлова о высшей нервной деятельности : Знание, Серия III. - М., 1956. - Вып. 1. - 32 с.

57. Кубарко А.И., Семенович А.А., Переверзев В.А., Александров Д.А., Лобанок Л.М., Харламов А.Н. Нормальная физиология. В 2 ч. Ч. 2: учебник. - Выш. шк. -Минск, 2014. - 604 с.

58. Korsakov A., Bakhshiev A. The Neuromorphic Model of the Human Visual System//Studies in Computational Intelligence. - 2021. - Vol. 925 SCI. - P. 339-346.

59. Melzack R., Wall P.D. Pain mechanisms: a new theory//Survey of Anesthesiology.

- 1967. - Vol. 11. - Pain mechanisms. - No. 2. - P. 89-90.

60. Е. А. Чагина, Е. П. Турмова, Л. А. Демкина, А. А. Май, Е. Р. Приймач Патофизиологические теории боли. - 2021. - Евразийское Научное Объединение. - N 11-1(81). - C. 54-58.

61. Popa L.S., Ebner T.J. Cerebellum, Predictions and Errors//Frontiers in Cellular Neuroscience. - 2019. - Т. 12.

62. Bastian A.J., Thach W.T. Structure and function of the cerebellum / A.J. Bastian, W.T. Thach // The Cerebellum and its Disorders / ред. M.-U. Manto, M. Pandolfo. -Cambridge University Press, 2001. - C. 49-66.

63. Popa L.S., Hewitt A.L., Ebner T.J. Predictive and Feedback Performance Errors Are Signaled in the Simple Spike Discharge of Individual Purkinje Cells/Journal of Neuroscience. - 2012. - Vol. 32. - No. 44. - P. 15345-15358.

64. D'Angelo E., Casali S. Seeking a unified framework for cerebellar function and dysfunction: from circuit operations to cognition//Frontiers in Neural Circuits. - 2013.

- Т. 6. - Seeking a unified framework for cerebellar function and dysfunction.

65. Pisotta I., Molinari M. Cerebro-Cerebellar Networks / I. Pisotta, M. Molinari // Essentials of Cerebellum and Cerebellar Disorders / eds. D.L. Gruol et al. - Cham: Springer International Publishing, 2016. - P. 385-389.

66. Molinari M., Masciullo M. The Implementation of Predictions During Sequencing//Frontiers in Cellular Neuroscience. - 2019. - Т. 13.

67. Экстраполятор : пат. SU 415672 A1 / Романов С.П. ; заявл. 02.07.1971 ; опубл. 15.02.1974.

68. Bakhshiev A., Fomin I., Gundelakh F., Demcheva A., Korsakov A. The architecture of a software platform for growing spiking neural networks simulator developing/Journal of Physics: Conference Series. - 2020. - T. 1679. - C. 042001.

Список работ, опубликованных автором по теме диссертации

Публикации в журналах из перечня рецензируемых научных изданий, в

которых должны быть опубликованы основные научные результаты

диссертаций на соискание учёной степени кандидата наук, на соискание

учёной степени доктора наук:

1. Korsakov A. M. Strategy of Incremental Learning on a Compartmental Spiking Neuron Model / Korsakov A. M., Isakov T. T., Bakhshiev A. V. // Optical Memory and Neural Networks. - 2023. - Т. 32. - №. Suppl 2. - С. S237-S243.

2. Демчева А.А. Предупреждение возникновения критических ситуаций в сложных технических системах с использованием нейроморфного подхода / А. А. Демчева, А. М. Корсаков, И. С. Фомин [и др.] // Робототехника и техническая кибернетика. - 2023. -№ 4 (11). - С. 281-291.

3. Корсаков, А.М. Нейроморфная модель ассоциативной памяти при формировании описания рабочей среды робототехнического агента / А.М. Корсаков // Робототехника и техническая кибернетика. - 2022. - №3 (10). - C. 190-200.

4. Корсаков, А.М. Применение сегментной спайковой модели нейрона со структурной адаптацией для решения задач классификации / А.М. Корсаков, Л. А. Астапова, А.В. Бахшиев // Информатика и автоматизация. - 2022. - №23 (21). - С. 493-520.

5. Корсаков, А. М. Реализация поведенческих функций на спайковых нейронных сетях / А. М. Корсаков, А.В. Бахшиев, Л.А. Астапова, Л. А. Станкевич // Информатика и автоматизация. - 2021. - №3 (20). - С. 590-621.

В зарубежных изданиях, индексируемых в Web of Science/Scopus:

6. Korsakov, A. The Method of Structural Adaptation of the Compartmental Spiking Neuron Model / A. Korsakov, L. Astapova, A. Bakhshiev // Lecture Notes in Networks and System. - 2023. Vol. 460 LNNS. - P. 545-553. Scopus.

7. Eremenko, E.A. The incremental learning algorithm for compartmental spiking neuron model / E.A. Eremenko, A.M. Korsakov, A.V. Bakhshiev // Journal of Physics: Conference Series. - 2022. Vol. 2388 (1). - P. 012036. Scopus.

8. Korsakov, A. Application of the compartmental spiking neuron model for the conditioned reflex implementation / A. Korsakov, L. Astapova, L. Stankevich, A. Bakhshiev // Studies in Computational Intelligence - 2022. Vol. 1008 SCI. - P. 187194. Scopus.

9. Astapova, L.A. Compartmental spiking neuron model for pattern classification / L.A. Astapova, A.M. Korsakov, A.V. Bakhshiev, E.A. Eremenko, E.Y. Smirnova // Journal of Physics: Conference Series. - 2021. Vol. 2094 (3). - P. 032032. Scopus.

10. Korsakov, A. The neuromorphic model of the human visual system / A. Korsakov, A.Bakhshiev // Studies in Computational Intelligence. - 2021. Vol. 925 SCI. - P. 339-346. Scopus.

11. Bakhshiev, A.V. The architecture of a software platform for growing spiking neural networks simulator developing / A.V. Bakhshiev, I.S. Fomin, F.V. Gundelakh, A.A. Demcheva, A.M. Korsakov // Journal of Physics: Conference Series. - 2020. Vol. 1679 (4). - P. 042001. Scopus.

12. Bakhshiev, A. The hierarchical memory based on compartmental spiking neuron model / A. Bakhshiev, A. Korsakov, L. Stankevich // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2020. Vol. 12177 LNAI. - P. 34-43. Scopus.

Материалы трудов конференций и публикации РИНЦ:

13. Демчева, А.А. Моделирование болевых ощущений для решения задач бинарной классификации / А.А. Демчева, А.М. Корсаков, А.В. Бахшиев // Экстремальная робототехника. - 2022. - №1 (1). - С. 355-361.

14. Корсаков, А.М. Формирование условного рефлекса на сегментной спайковой модели нейрона при моделировании поведенческих функций / А.М. Корсаков, Л.А. Астапова, А.В. Бахшиев, Л.А. Станкевич // В сборнике:

Нелинейная динамика в когнитивных исследованиях - 2021. Труды VII Всероссийской конференции. Нижний Новгород. - 2021. - С. 54-57.

15. Бахшиев, А.В. Структурная адаптация сегментной спайковой модели нейрона / А.В. Бахшиев, А.М. Корсаков, Л.А. Астапова, Л.А. Станкевич // В сборнике: Нелинейная динамика в когнитивных исследованиях - 2021. Труды VII Всероссийской конференции. Нижний Новгород. - 2021. - С. 30-33.

16. Бахшиев, А.В. Архитектура программной платформы для разработки средств моделирования растущих спайковых нейронных сетей / А.В. Бахшиев, И.С. Фомин, Ф.В. Гунделах, А.А. Демчева, А.М. Корсаков // В сборнике: Нейроинформатика, её приложения и анализ данных. Материалы XXVIII Всероссийского семинара. Красноярск. - 2020. - С. 3-10.

Интеллектуальная собственность:

17. Свидетельство о регистрации программы для ЭВМ №2021610927. Корсаков А.М., Бахшиев А.В., Астапова Л.А. Программа для обучения моделей нейронов решению задачи классификации методом структурной адаптации. 2021.