Устойчивость дискретных моделей стандартных конфигураций нейронных сетей с запаздывающими взаимодействиями тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Иванов, Сергей Александрович

• Иванов, Сергей Александрович
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Иванов, Сергей Александрович

Содержание

Введение

Глава 1 Метод конусов устойчивости

для диагностирования устойчивости нейронных сетей

1.1 Модели нейронных сетей

1.2 Формальное определение нейронных сетей

1.3 Цели главы 1

1.4 Кривая 1)-разбиения для данных к, т, а, р

1.5 Области т, а, р)

1.6 Конусы устойчивости для матричного уравнения х8 — Ах3^т + Вх3-к с одновременно триангулизируемыми матрицами

1.7 Алгоритм диагностирования устойчивости матричных разностных уравнений с двумя запаздываниями

1.8 Програмный продукт «Устойчивость матричных

разностных уравнений с двумя запаздываниями»

1.9 Сравнение результатов главы 1 с известными результатами

Глава 2 Устойчивость базовых конфигураций нейронных сетей

2.1 Устойчивость нейронной сети кольцевой конфигурации

2.2 Устойчивость нейронной сети линейной конфигурации

2.3 Сравнение областей устойчивости нейронных сетей кольцевой и линейной конфигураций. Парадоксальные точки

2.4 Устойчивость нейронной сети звездной конфигурации

2.5 Устойчивость нейронной сети двуслойной конфигурации

2.6 Устойчивость полносвязных нейронных сетей

2.7 Сравнение результатов главы 2 с известными результатами

Глава 3 Устойчивость нейронных сетей, полученных из базовых

сетей с помощью операции декартова умножения

3.1 Постановка задачи о декартовых произведениях сетей

3.2 Устойчивость нейронной сети гшанарной конфигурация (нейронной решетки)

3.3 Устойчивость нейронной сети с топологией связей многомерного куба (нейронного гиперкуба)

3.4 Устойчивость нейронной сети тороидальной конфигурации

3.5 Устойчивость нейронной сети цилиндрической конфигурации

3.6 Расширение области устойчивости при разрыве большого кольца нейронных сетей

3.7 Парадоксальные точки в малых кольцах нейронных сетей

3.8 Сравнение результатов главы 3 с известными результатами

Заключение

Литература

Приложение А. Исходный код программы для построения конуса /э-устойчивости

Приложение Б. Исходный код программы «Устойчивость

разностных матричных уравнений с запаздываниями»

Приложение В. Исходный код программы для построения областей устойчивости нейронных сетей

Введение диссертации (часть автореферата) на тему «Устойчивость дискретных моделей стандартных конфигураций нейронных сетей с запаздывающими взаимодействиями»

Введение

Актуальность темы исследования Нейронные сети изучают международные научные сообщества: International Neural Network Society (INNS), the European Neural Network Society (ENNS), the Japanese Neural Network Society (JNNS). Издаются журналы, посвященные исключительно нейронным сетям: Neural Networks (изд-во Elsevier), IEEE Transactions on Neural Networks and Learning Systems (IEEE, США), Advances in Artificial Neural Systems (изд-во Hindawi), Optical Memory&Neural Networks (Information Optics) (изд-во МАИК HAYKA/INTERPERIODICA), Neural Network World (АН Чехии) и т.д.

Всякую модель, в которой имеются узлы и связи между ними, в настоящее время можно рассматривать как нейронную сеть. Таким образом, нейронными сетями являются модели системы взаимодействующих вулканов [32], компьютерные сети [46, 47, 52], модели процесса извлечения слов из человеческой памяти [5], нервные системы живых существ.

Устойчивость нейронных сетей является одной из главных ее характеристик. Проблема устойчивости осложняется запаздываниями во взаимодействии нейронов. Поэтому ее изучение требует применения теории функционально-дифференциальных уравнений (ФДУ), если модель нейронной сети непрерывна, либо разностных матричных уравнений с запаздываниями, если модель дискретна. В теорию ФДУ внесли вклад Н.В. Азбелев, Р. Беллман, Ю.Ф. Долгий, H.H. Красовский, A.B. Ким, В.Г. Пименов, З.И. Рехлицкий, П.М. Симонов.

Данная диссертация посвящена устойчивости дискретных моделей нейронных сетей. Такие модели были построены в работах Е. Каслик и ее учителя С. Балинта [58-60] (2007-2009) как аналоги непрерывных моделей.

Общие результаты изучения устойчивости, применимые ко всем сетям, ввиду их общности, не могут дать полное представление о поведении отдельных классов сетей. Поэтому актуальна проблема описания условий устойчиво-

сти наиболее часто встречающихся конфигураций нейронных сетей: кольцевой, линейной, звездной, двуслойной, полносвязной, решетчатой, тороидальной, цилиндрической, а также сетыо с топологией связей многомерного куба. Именно этим проблемам применительно к дискретным моделям посвящена настоящая диссертация.

Степень разработанности темы Много работ посвящено глобальной устойчивости нейронных сетей (например, van der Driesche и Zou [45] (1998), Idels и Kipnis [53] (2009), И.В. Бойков [3] (2012). Меньшее внимание привлекала локальная устойчивость нейронных сетей, которая требует изучения матричных дифференциальных или разностных уравнений с запаздываниями. Проблема устойчивости дискретных сетей разработана гораздо меньше соответствующей проблемы для непрерывных сетей. Кроме того, в литературе отсутствуют систематические исследования устойчивости стандартных нейронных сетей. Только устойчивость кольцевой нейронной сети в ее непрерывных моделях можно считать достаточно разработанной (см. S. Campbell с соавторами [38, 87] (2005, 2004), Guo [49] (2008), Т. Хохлова и М. Кипиис [64] (2012)).

Недавно в диссертации Т. Хохловой [26] (2013) предпринято сравнительное исследование непрерывных моделей кольцевой и линейной нейронных сетей. Но в области дискретных моделей известны только вышеуказанные статьи Е. Каслик с соавторами. При этом методы Е. Каслик изучения устойчивости кольцевой нейронной сети недостаточны для изучения вопроса об утойчивости кольца с неограниченным количеством нейронов, и в работах Каслик не изучено влияние разрыва кольца на устойчивость сети.

Разработок по устойчивости многочисленных стандартных моделей нейронных сетей, таких как двуслойные сети, тороидальные, сети с топологией связей многомерного куба нет ни для непрерывных, ни для дискретных моделей. Настоящая диссертация восполняет этот пробел в области дискретных моделей.

Цели и задачи работы Цель работы — систематическое исследование областей устойчивости стандартных конфигураций нейронных сетей в пространстве их параметров. Мы ставим задачи выделить базовые стандартные конфигурации, изучить их устойчивость, а затем, определив декартово произведение нейронных сетей в духе соответствующего определения для весовых графов, изучить области устойчивости декартовых произведений базовых нейронных сетей.

Научная новизна В диссертации впервые даны методы анализа устойчивости разностных уравнений с запаздываниями, позволяющие находить точные границы областей устойчивости в пространстве параметров стандартных нейронных сетей. Эти методы обладают большей общностью и сферой применения, чем известные в литературе методы.

Впервые в множестве нейронных сетей выделены базовые нейронные сети, определены декартовы произведения нейронных сетей и созданы средства анализа их устойчивости. Впервые построены точные границы областей устойчивости в пространстве параметров дискретных моделей стандартных нейронных сетей: линейных, звездных, решетчатых, тороидальных и других.

Впервые обнаружены парадоксальные явления в дискретных моделях кольцевых нейронных сетей: потеря их устойчивости в результате разрыва. Доказано, что в больших кольцах нейронных сетей парадоксальные явления исчезают, и указаны условия их существования в малых кольцах.

Впервые для широкого класса нейронных сетей поставлены и решены вопросы: о сохранении или несохранении устойчивости сети в процессе неограниченного наращивания количества нейронов при неизменной архитектуре сети; о сохранении или несохранении устойчивости сети с односторонними воздействиями нейронов на соседние нейроны, при условии неограниченного возрастания силы воздействия.

Теоретическая и практическая значимость работы Исследование устойчивости стандартных нейронных конфигураций обогащает теорию нейронных сетей с запаздывающими взаимодействиями выявлением новых эффектов. Например, оно разделило нейронные сети по конфигурациям на два класса: в первом классе (линейные, решетчатые конфигурации) переход на односторонние взаимодействия гарантирует устойчивость сети, во втором классе (кольцевые, тороидальные) не гарантирует. Введение понятия парадоксальных точек также дает как теоретические перспективы их исследования в сложных нейронных сетях, так и возможности исключения нежелательных явлений в реальных нейронных сетях в процессе их разрыва. Практическим применением работы является также внедрение специальных курсов по устойчивости нейронных сетей в учебные программы магистров на факультете информатики Челябинского государственного педагогического университета. В рамках этих спецкурсов магистранты под руководством автора проделывали численные эксперименты по изучению устойчивости нейронных сетей [15-17].

Методология и методы исследования Автор разработал новый метод исследования матричных разностных уравнений с запаздываниями — метод конусов устойчивости, и применил этот метод к анализу устойчивости нейронных сетей. Этот метод сводит анализ устойчивости многомерных задач к анализу расположения некоторых точек трехмерного пространства относительно некоторой поверхности в трехмерном пространстве, называемой конусом устойчивости. Использованы также идеи метода ^-разбиений.

Результаты и положения, выносимые на защиту

1. Автор разработал новый метод конусов устойчивости для анализа устойчивости дискретных моделей нейронных сетей с произвольным количеством нейронов и произвольными запаздываниями. Метод реализован в виде алгоритмов и комплекса программ для вычисления границ областей устойчивости нейронных сетей в пространстве параметров.

2. Построены области устойчивости в пространстве параметров нейронных сетей базовых конфигураций: кольцевой, линейной, двуслойной, звездной, с учетом запаздываний как в демпфировании собственных колебаний нейронов, так и во взаимодействиях различных нейронов.

3. Определена операция декартова произведения нейронных сетей, указан метод анализа устойчивости декартова произведения нейронных сетей, благодаря чему построены области устойчивости в пространстве параметров нейронных сетей решетчатой (планарной), тороидальной, цилиндрической конфигураций и нейронных сетей с топологией связей многомерного куба. Показано, что разрыв большого кольца нейронных сетей благоприятствует устойчивости. В то же время найдены условия, при которых разрыв нейронного кольца может сопровождаться потерей устойчивости.

4. Построены классификации нейронных сетей: А) по признаку сохранения устойчивости в процессе неограниченного увеличения количества нейронов с сохранением архитектуры сети; Б) по признаку сохранения устойчивости при неограниченном увеличении силы действия нейронов в одном из направлений при условии нулевого воздействия в другом направлении.

Степень достоверности и апробация результатов Достоверность результатов диссертации подтверждается согласованностью теоретических выводов с результатами численных экспериментов. Основные результаты диссертации докладывались на следующих конференциях: на Международной конференции «Колмогоровские чтения V. Общие проблемы управления» (Тамбов, 2011 г.); на Всероссийской конференции «Статистика, моделирование, оптимизация (СМО)» (Челябинск, 2011); на Всероссийской конференции «Теория управления и математическое моделирование» (Ижевск, 2012); на Всероссийской научно-практической конференции «Информатика и информационные технологии» (Челябинск, 2013); на международной конференции «Applications of Mathematics in Engeneering and Economics» (Sozopol, Bulgaria, 2013).

Публикации Материалы диссертации изложены в 14 публикациях, из них 6 статей в рецензируемых журналах [6-9, 55, 56], 7 статей в сборниках трудов конференций [10,11,13-17] и свидетельство о регистрации программы для ЭВМ [12]. В статьях [9, 55, 56] М. Кипнису и В. Малыгиной принадлежат замысел и общее руководство работой. В трудах научных конференций [15-17] автор диссертации выступал как научный руководитель магистрантов-соавторов. Все конкретные результаты диссертации получены лично автором.

Структура и объем диссертации Диссертация состоит из введения, трех глав, заключения, библиографии и Приложений А, Б, В. Общий объем диссертации 135 страниц, включая 43 рисунка. Библиография включает 88 наименований на 10 страницах.

Глава 1

Метод конусов устойчивости для диагностирования устойчивости нейронных

сетей

1.1 Модели нейронных сетей

1.1.1 Модели биологических нейронных сетей

Чтобы понять, что происходит между нейронами внутри сети, нужно разобрать строение «типичного» нейрона [30, 31]. Основная масса биологических нейронов схожа по строению и свойствам с двигательными нейронами спинного мозга млекопитающих. Из сомы (тела нейрона) исходит много ветвей, называемых дендритами; сома и дендриты образуют входную поверхность нейрона. Из аксонного бугра нейрона выходит длинное волокно, называемое «аксон», ветви которого образуют дерево. Концы ветвей аксона, называемые нервными окончаниями, встречаются с другими нейронами или эффекторами. Рассмотрим сеть, составленную из п нейронов с мембранными потенциалами (1 ^ ^ ^ п). Согласно М. Арбибу [30, 31], уравнение мембранного потенциаладля нейрона с номером без учета связей с другими нейронами, имеет вид

= + (1-1)

где ^ равновесный потенциал j-гo нейрона, это мембранный потенциал, который устанавливается в отсутствии внешних сигналов, а^ постоянная времени, характеризующая инерционность .7-го нейрона.

Сигналы, полученные через дендриты нейроном с номером j от нейрона с номером г> (1 ^ у, V ^ п), обозначим посредством Учитывая (1.1),

получим для описания нейронной сети систему уравнений

йт п

а= + + ^ ¥*>®> 3 = 1,2,..., п. (1.2)

У=1

Поскольку дендриты данного нейрона проводят сигналы только других нейронов, имеем Уц = 0.

Естественно считать, что в (1.2) = ъи^т^), где весовые коэффи-

циенты зависит от свойств аксонов и-го нейрона, дендритов ^'-го нейрона и синапсов на их стыке. Поэтому система (1.2) становится системой

йт п

=-т^ + ^ + ^Щ*™»®' з = 1,2,... (1.3)

У=\

где — 0.

Аксон может иметь большую длину. Например, тело нейрона, который контролирует большой палец ноги человека, лежит в спинном мозге, а его аксон проходит по всей длине ноги. Скорость передачи нервных импульсов по нервным волокнам человека варьируется от долей метра в секунду (сигналы по немиелинезированным волокнам) до 120 м/сек (по быстропроводящим сенсорным волокнам). Еще меньше скорость нервных процессов простейших организмов (до 2 м/сек). Эти свойства делают обоснованным ввод запаздывания в уравнения нейронных сетей. Поэтому вместо системы (1.3) естественно рассматривать систему

= -тз(г) + + ¿^«"^(^ - тзу), 3 = 1,2> • • • >п (1Л)

с запаздываниями (1 ^ у, V ^ п).

Для исследований математических моделей нейронных сетей традиционными являются соглашения о равенстве всех запаздываний и показателей инерционности нейронов: = г, с^- = а. Введем матрицу }¥ — (ги^и)^Щ=1 и векторы га(£) = (т!^), ...,тп(£))т, Н = (/¿1, ...,/гп)г. Тогда система (1.4) примет вид

ат(Ь) = -т(€) + Н + ТУ ■ т(£ - т). (1.5)

Рассмотрим стационарное решение т(£) = т* уравнения (1.5). Имеет место равенство т* = У/ • т* + Н. Введем отклонения х{р) = га(£) — т*. Уравнение (1.5) в отклонениях примет вид

схх{£) = -хф + УУ-х(г-т). (1.6)

Матричное дифференциальное уравнение с запаздыванием (1.6) с интерпретацией, указанной выше, считается общепризнанной моделью нейронных сетей при их исследовании на устойчивость стационарных состояний (см., например, [86] (1999), [87] (2004), [64, 88] (2012), [26, 65] (2013)).

Но целью диссертации является изучение дискретных моделей нейронных сетей. Поэтому подвергнем дискретизации уравнение (1.6). Будем изучать поведение системы в моменты времени £ = £о + ~ 1)Д£> й € N = {1,2,...}. Введем обозначение для вектора состояния нейронной сети ж(£о + (з — 1)Д£) = х3. Предположим, что запаздывание г кратно Д£, то есть т = (к — 1)Д£ при некотором к € N = {1,2,...}. Заменим производную ¿(£) = ¿(¿о + (в — 1)Д£) в (1.6) разделенной конечной разностью (х3 — Тогда уравнение (1.6)

станет разностным матричным линейным однородным уравнением

Д£х Д£

хв = (1--)ха-г + —IV • х8-к1 з = 1,2,... 1.7)

а а

Назовем величину 7 = (1—^) коэффициентом демпфирования нейрона, введем обозначение ^МV = В. Окончательно, получим из (1.7) дискретную модель нейронной сети из п нейронов

х8 = 7х8-1 + Вха-к, з = 1,2,... (1.8)

где 7 коэффициент демпфирования нейронной сети, В матрица взаимодействий нейронов в сети, к запаздывание во взаимодействии различных нейронов. Диагональные элементы матрицы В равны нулю.

Мы не утверждаем, что модель (1.8) в каком-то смысле эквивалентна модели (1.6). Мы считаем, что модель (1.8) достойна изучения для понимания

процессов в нейронных сетях с запаздывающими взаимодействиями. Модель нейронных сетей (1.8) неоднократно повторялась в работах по дискретным моделям нейронных сетей, в частности, в работах Е. Каслик с соавторами [58-61].

Наши методы изучения устойчивости матричных разностных уравнений достаточно мощны, чтобы учесть возможность, когда запаздывание к во взаимодействии различных нейронов не кратно запаздыванию в демпфировании собственных колебаний нейронов, равному 1 в (1.8). Поэтому мы введем натуральное число га, такое что 1 ^ га ^ к, и будем изучать уравнение с двумя запаздываниями

Хд = 'У Хд — т -Ь В Хд—к, 5 = 1,2,... (1-9)

Натуральное число га будем называть запаздыванием в демпфировании собственных колебаний нейрона.

1.1.2 Модели искусственных нейронных сетей

Клетка в модели искусственной нейронной сети Хопфилда с добавлением Маркуса-Вестервельта представляет собой электрическую цепь, состоящую из емкости и активного сопротивления, 3-я клетка (искусственный нейрон) характеризуется емкостью и сопротивлением Щ [51, 73]. Уравнение для 3-й. клетки имеет вид

1 п

= + ¿^(щ^ - 7>)), з = 1,2 ... п, (1.10)

где электрическое напряжение, характеризующее 3-ю клетку, с10-у неко-

торые весовые коэффициенты (1 ^ з,у ^ п), функция С имеет сигмоидный вид. Например, можно положить С (г) =

1+ехр(-г)~ РассмотРим стационарное решение системы (1.10), в котором и^) = и*. Константы и*- удовлетворяют системе и*■ = Д,- ]С£=1 ^«^(и*), 3 = 1,2 ... п.

Как это принято в литературе (см., например, [45]), будем считать, что все характеристики нейронов С^-, Щ и запаздывания гсовпадают: С^ = С, = Я, т^ = т. Введем показатель инерционности а искусственого нейрона равенством а = ЯС. Введем отклонения = — и^. Тогда для век-

тор-функции х(£) = (ж1(£),... ,жп(£)) после линеаризации уравнения (1.10) получаем уравнение

ах(г) = -х(г) + • х(г - г),

где IV некоторая матрица, что совпадает с уравнением (1.6).

Далее, используя идеи предыдущего пункта, из этого дифференциального уравнения получаем уравнение

х3 = 7ж5_1 + Вх3-к,

что совпадает с результатом (1.8) моделирования биологической нейронной сети с последующей линеаризацией в предыдущем разделе диссертации.

В работах Е. Каслик и ее учителя С. Балинта [58-61] даны дискретные нелинейные уравнения для нейронной сети Хопфилда из п нейронов, похожие на формулу (1.10):

п

+ + ^ = 1,2..., (1.11)

У=1

Здесь х^ сигнал ^го искусственного нейрона в момент времени б Е ^ внешнее воздействие на ^'-й нейрон, независимое от времени, Б = (с1^)пхп матрица сил взаимодействий нейронов, С некоторая сигмоидная функция, ^ коэффициент демпфирования собственных колебаний j-гo нейрона, к запаздывание.

В результате линеаризации уравнения (1.11) вокруг любого стационарного состояния при естественном допущении, что ^ = 7 не зависит от j, получаем уравнение вида (1.8).

Итак, мы формулируем общие цели диссертации таким образом: мы изучаем устойчивость нейронных сетей посредством изучения уравнений (1.8), (1.9), выбирая матрицы В такими, чтобы они отражали системы связей в стандартных нейронных сетях. Элементы матрицы В е Мпхп являются силами взаимодействия между различными нейронами, поэтому считаем, что все диагональные элементы В суть нули.

Термину «стандартные нейронные сети» мы не даем формального определения. Мы понимаем «стандартные нейронные сети» как нейронные сети, часто встречающиеся в литературе. К ним относятся кольцевые, линейные, двуслойные, звездные, полносвязные, решетчатые (планарные), цилиндрические, тороидальные.

В диссертации мы разделим их изучение на две главы. В главе 2 мы изучим простые стандартные нейронные сети, которые мы назвали базовыми: кольцевые, линейные, двуслойные, звездные, полносвязные. В главе 3 мы изучим устойчивость декартовых произведений базовых сетей: решетчатых (планарных), цилиндрических, тороидальных.

1.2 Формальное определение нейронных сетей

Нейронные сети описываются либо линейными неоднородными (см. раздел 1.1.1), либо нелинейными уравнениями (см. раздел 1.1.2), но в рамках настоящей диссертации мы интересуемся локальной устойчивостью стационарных состояний нейронных сетей. Поэтому в следующем формальном определении нейронной сети будем рассматривать только линейные однородные уравнения, которые, как предполагается, являются результатом линеаризации нелинейных уравнений вокруг стационарных состояний.

Определение 1.1. Нейронной сетью назовем упорядоченную пятерку объектов Л = (7, к, га, п, В), где 76!, к,т е (к ^ га), В € Мпхп. Диагональные элементы матрицы В равны нулю.

Назовем (1.9) уравнением сети Л.

Представляющим графом нейронной сети Л = (7, к, га, п, В) мы назовем взвешенный направленный граф (V, Е) с множеством вершин V = {1,2,..., п} и множеством дуг Е, определенным следующим образом: (7, у) £ Е, если и только если Ъ^ Ф 0. В случае Ъ^ ф 0 вес дуги г?) есть Ъ^.

Ввиду того, что все диагональные элементы В мы считаем нулевыми, петель в представляющем графе нет.

Следует заметить, что представляющий граф неполностью характеризует нейронную сеть: в графе нет информации о характеристиках 7, к, т.

Поскольку кольцевая и линейная конфигурации играют важную роль в нашей работе, рассмотрим именно их в следующем примере.

Пример 1.1. Рассмотрим циркулянтную матрицу Сп(а, Ъ) (п ^ 3) и три-диагональную матрицу Ьп(а,Ь) (п ^ 2):

Сп(а, 6) =

0 6 0 а 0 Ь 0 а 0

. 0 а . 0 0 . 0 0

\

V

о о о ... о ъ

Ь 0 0 ... а 0

/

, Ьп(а, Ь)

/

0 6 0 а 0 6 О а О

V

ООО. ООО.

0 О О О О о

. 0 6 . а О

(1.12)

/

Нейронные сети Сп(а, 6) = (7, к, ш, п, Сп(а, 6)) и Сп{а, 6) = (7, к, т, п, Ьп(а, Ъ)) назовем кольцевой и линейной нейронной сетью соответственно. В матрице Сп(а, Ъ) сила действия нейрона на соседа против часовой стрелки есть 6, сила действия в противоположном направлении равна а. Нейронная сеть Сп(а, 6)

отличается от Сп(а, Ъ) только отсутствием связей между первым и последним нейроном.

Графы кольцевой Сз(а, Ъ) и линейной £2 (с, ¿0 нейронных сетей указаны на Рисунке 1.1. В дальнейшем мы будем изображать две разнонаправленные взвешенные дуги (у, г/), (у,в графах как одно ребро.

Наше определение нейронной сети как упорядоченной пятерки объектов будет активно использоваться в главе 3 диссертации, где будет введено понятие декартового произведения нейронных сетей.

1.3 Цели главы 1

В главе 1 мы излагаем созданный нами метод конусов устойчивости для анализа устойчивости разностного матричного уравнения

Здесь х : —» Сп; А, В € спхп, натуральные числа к, т — запаздывания (к^ т). Если А = 7/, где I единичная п х п матрица, 7 £ К, то мы получаем уравнение нейронной сети (1.9). Более общее уравнение (1.13) полезно, когда некоторые члены из второго слагаемого в правой части уравнения (1.9) перенесем в первое слагаемое. Это оправдано, когда некоторые из нейронов в исходной нейронной системе имеют меньшее запаздывание, чем основная масса нейронов.

ь

Рис. 1.1. Сети Сз(а, Ь) и С2(с,(1).

х3 — А х3—т + В б — 1,2,..

(1.13)

Характеристический полином порядка пк для уравнения (1.13) имеет

вид

ф(Х) = ¿еЬ(1\к - А\к~т - В). (1.14)

Мы называем уравнение (1.13) (асимптотически) устойчивым, если его нулевое решение (асимптотически) устойчиво.

Для устойчивости уравнения (1.15) требуется ограниченность всех его траекторий. Но иногда требуется либо ужесточить, либо ослабить требование устойчивости. Эти соображения оправдывают следующие определения (см., например, [28]).

Определение 1.2. Матричное уравнение (1.13) назовем р-устойчивым (р р > 0), если для любого его решения (х8) последовательность (|х5|//9в) ограничена. Уравнение (1.13) назовем асимптотически р-устойчивым, если для любого его решения (х8) имеет место Нт^оо \х3\/рв = 0.

При р — 1 понятие (асимптотической) р-устойчивости совпадает с понятием обычной (асимптотической) устойчивости. Для благозвучия будем называть (асимптотически) /»-неустойчивым уравнение, которое не являются (асимптотически) /9-устойчивым.

Очевидно, матричное уравнение (1.13) асимптотически р-устойчиво, если и только если все корни его характеристического полинома (1.14) лежат внутри круга радиуса р с центром в 0. Если хотя бы один корень полинома (1.14) лежит вне круга радиуса р с центром в 0, то матричное уравнение (1-13) р-неустойчиво.

Будем рассматривать уравнения вида (1.13) с одновременно триангулизи-руемыми матрицами А, В. Известно [25], что если А, В коммутируют, то они одновременно триангулизируемы.

1.4 Кривая 1)-разбиения для данных к,т,а,р

Рассмотрим скалярное уравнение

х8 = аж5_то + Ъх8-к, 5 = 1,2,... (1.15)

где т,к- запаздывания, х8 : N —> Ж. Проблема анализа устойчивости уравнения (1.15) с действительными коэффициентами а, 6 полностью изучена в работах [19, 20, 22, 23, 39, 43]. Рассмотрим уравнение (1.15) с комплексными коэффициентами а, Ь.

Характеристический многочлен для (1.15) имеет вид

/(Л) = Л^ - аХк~т - Ь. (1.16)

Если к — ¿к^т — ¿тх, € М, (I > 1, то траектория уравнения (1.15) распадается на (I независимых траекторий, а полином (1.16) после замены Хл = ¡1 понижает порядок:

Л(Л) = у/1 - ацк1~т1 - Ъ.

Поэтому часто (но не всегда) будем считать запаздывания т, к взаимно простыми.

Очевидно, уравнение (1-15) /^-устойчиво, если вне круга радиуса р с центром в начале координат нет корней полинома (1.16) и на границе этого круга нет кратных корней того же полинома. Уравнение (1.15) асимптотически р-устойчиво, если и только если все корни его характеристического полинома (1-16) лежат внутри круга радиуса р с центром в 0.

Как мы отметили ранее, при р = 1 пропорциональное изменение двух запаздываний к,т в уравнении (1.15) не влияет на /^-устойчивость. При р ф\ это не так. Легко видеть, что уравнение

х8 = ах8^т(1 + Ьх8-Ы (1-17)

асимптотически р-устойчиво тогда и только тогда, когда уравнение (1.15) асимптотически р^-устойчиво. Отсюда следует важный факт: пропорциональное увеличение запаздываний к,т с сохранением коэффициентов a,6 в уравнении (1.15) положительно влияет на асимптотическую р-устойчивость при р > 1 и отрицательно при р < 1.

Определение 1.3. Кривая D-разбиения для данных к,т 6 Z+; а £ С, р € М+ это кривая на комплексной плоскости переменной Ь, заданная уравнением

Ь(ш) = pk exp(ikuj) — \а\рк~т exp(i(k — т)и), wGt. (1.18)

В разных ситуациях нам будет удобно ограничивать пределы изменения параметра и в (1.18) по-разному. Кривую (1.18) мы будем также называть годографом.

Годограф (1.18) разбивает комплексную плоскость на связные области. Это разбиение называется D-разбиением [48]. Если положить а 6 1, а ) 0 и подставить на место коэффициента 6 в полином (1.16) любые две внутренние точки 61,62 одной из связных областей .D-разбиения, то два получившихся полинома будут иметь одинаковое количество корней внутри круга комплексной плоскости радиуса р. В частности, если аб1, а ^ 0, р=1и подстановка некоторой внутренней точки Ь\ одной из областей D-разбиения в уравнение (1.15) на место коэффициента 6 дает устойчивое уравнение, то подстановка любой другой внутренней точки этой же области дает также устойчивое уравнение. На этих соображениях основан метод D-разбиения.

Укажем важное свойство симметрии годографа (1.18).

Лемма 1.1. (о симметрии). Если к,т взаимно просты, то годограф (1.18) переходит в себя при повороте на угол2тт/т.

Доказательство. Для взаимно простых к,т найдутся такие s,t Е Z+, что

ks-mt = 1. (1.19)

Из (1.18), (1.19) вытекает

ехр(г27г/т) Ь(ш) = Ь(ш + 2тгs/m). (1.20)

Лемма 1.1 доказана. ■

В дальнейшем мы будем считать, что —7г < argz ^ 7Г для любого комплексного 2, в то время как Arg z будем считать многозначной функцией и равенство Arg z — v будем считать верным, если одно из значений Arg z равно v.

Список литературы диссертационного исследования кандидат наук Иванов, Сергей Александрович, 2014 год

Литература

1. Азбелев, Н. В., Симонов П.М., Устойчивость решений уравнений с обыкновенными производными / Н. В. Азбелев. — Изд-во Пермского университета, 2001.-229 с.

2. Беллман, Р., Кук К.Л., Дифференциально-разностные уравнения. / Р. Беллман. — М.: Мир, 1967—548 с.

3. Бойков, И. В. Устойчивость нейронных сетей Хопфилда с запаздыванием / И. В. Бойков // Известия ВУЗов. Поволжский регион. Физико-математические науки —2012. №2. С. 85-97.

4. Воеводин, В. В., Кузнецов, Ю. А. Матрицы и вычисления / В. В. Воеводин.

- М.: Наука, 1984.-320 с.

5. Гопыч, П.М., Трехэтапная количественная нейросетевая модель явления «на кончике языка» / П. М.Гопыч // Труды 1Х-Й Международной конференции «Знание-диалог-решение» (К03-2001), 19-22 июня 2001, С-Петербург. - С. 158-165. http://arXiv.org/abs/cs.CL/0107012.

6. Иванов, С. А. Устойчивость рекурсивных нейронных сетей со звездной топологией связей / С. А. Иванов // Естественные и технические науки. -2012. —Т.62. - №6. - С. 21-25.

7. Иванов, С. А. Область устойчивости в пространстве параметров рекурсивных нейронных сетей с топологией многомерного куба / С. А. Иванов // ^Вестник ЮУрГУ, серия Математика. Механика. Физика —2012. — №7.

- С. 157-160.

8. Иванов, С. А. Устойчивость двуслойных рекурсивных нейронных сетей / С. А. Иванов // Вестник ЮУрГУ, серия «Математика. Механика. Физика» -2013. -Т. 5. - т. - С. 151-154.

9. Иванов, С.А., Кипнис, М.М. Устойчивость кольца нейронов и ее изменения после разрыва кольца / С.А. Иванов // Естественные и технические науки. -2013. -Т.67. -№5. - С. 23-25.

10. Иванов, С.А. Устойчивость рекурсивных нейронных сетей тороидальной конфигурации / С. А. Иванов // Сб. научных статей II Международной научно-практической конференции студентов и аспирантов «Математика и ее приложения в современной науке и практике». —2012. Курск. — С. 112-116.

11. Иванов, С.А. Устойчивость рекурсивных полносвязных нейронных сетей / С. А. Иванов // Сб. научных статей III Международной научно-практической конференции студентов и аспирантов «Математика и ее приложения в современной науке и практике». —2013. Курск. — С. 139-143.

12. Иванов, С. А. Программный комплекс «Устойчивость матричных разностных уравнений с двумя запаздываниями»: свидетельство о регистрации электронного ресурса в ИНИМ РАО № 19417 / С. А. Иванов // ОФЭРНиО, 29.07.2013.

13. Иванов, С.А. Устойчивость рекурсивной нейронной сети круговой конфигурации / С. А. Иванов // Сб. трудов всероссийской конференции «Статистика, моделирование, оптимизация (СМО)» —2011. Челябинск. — С. 298-301.

14. Иванов, С.А. Устойчивость рекурсивной нейронной сети с топологией связей многомерного куба / С. А. Иванов // Труды Всероссийской конференции «Теория управления и математическое моделирование». —2012. Ижевск. - С. 19-21.

15. Иванов, С. А., Невзорова, Е. Н., Козлова, С. А. Устойчивость рекурсивных нейронных сетей цилиндрической архитектуры с запаздывающими взаимодействиями / С. А. Иванов // Материалы XVI международной за-

очной научно-практической конференции «Инновации в науке». —2013. Новосибирск. — С. 7-11.

16. Иванов, С. А., Пархоменко, А. А. Устойчивость плоского однородного нейронного поля / С. А. Иванов // Материалы XVI международной заочной научно-практической конференции «Инновации в науке». —2013. Новосибирск. — С. 11-16.

17. Иванов, С. А., Трум, О. Н. Устойчивость нейронной сети со структурой связей в виде дерева / С. А. Иванов // Сб. трудов международной конференции «Современные научные достижения» —2012. — Прага. — С. 59-62.

18. Ким, A.B., Пименов, В.Г. i-гладкий анализ и численные методы решения функционально-дифференциальных уравнений / А. В. Ким. — Изд-во: НИЦ "Регулярная и хаотическая динамика 2004.—256 с.

19. Кипнис, М. М., Нигматулин Р. М. Устойчивость некоторых разностных уравнений с двумя запаздываниями / М. М. Кипнис // Автоматика и телемеханика -2003. -Т.64. - №5. - С. 122-130.

20. Кипнис, М. М., Нигматулин Р. М. Устойчивость трехчленных линейных разностных уравнений с двумя запаздываниями / М. М. Кипнис // Автоматика и телемеханика —2004. —Т.65. — №11. — С. 1710-1723.

21. Лихтерман, Л. В., Лихтерман Б. Л. История запрета психохирургии в СССР / Л. Б. Лихтерман // Журнал «Вопросы нейрохирургии» имени H.H. Бурденко -2001. - №2 - С. 35-38.

22. Николаев, Ю. П. К исследованию геометрии множества устойчивых полиномов линейных дискретных систем / Ю. П. Николаев // Автоматика и телемеханика —2002. —№7. — С. 44-54.

23. Николаев, Ю. П. Анализ геометрии D-разбиения двумерной плоскости произвольных коэффициентов характеристического полинома дискретной

системы / Ю. П. Николаев // Автоматика и телемеханика —2004. —№12. — С. 49-61.

24. Рехлицкий, З.И. Об устойчивости решений некоторых линейных дифференциальных уравнений в банаховом пространстве / 3. И. Рехлицкий // Доклады АН СССР -1956. -Т.111 - С. 29-32.

25. Хорн, Р., Джонсон, Ч. Матричный анализ / Р. Хорн — М.: Мир, 1989—666 с.

26. Хохлова, Т.Н. Устойчивость моделей нейронных сетей кольцевой и линейной конфигураций с запаздывающими взаимодействиями: дис. ... канд. физ.-мат. наук: 05.13.18 / Хохлова Татьяна Наилевна. — Челябинск, 2013. - 132 с.

27. Цветкович, Д. М., Дуб, М., Сакс, X. Спектры графов: теория и применение / Д. М. Цветкович — Киев: Наукова Думка, 1984.—384 с.

28. Честнов, В. Н. Синтез Яоо-регуляторов многомерных систем заданной точности и степени устойчивости / В.Н. Честнов // Автоматика и телемеханика -2011. —Т.72. - №10. - С. 170-185.

29. Araki Т., Shibata Y., Diagnosability of networks represented by the cartesian product, IEICE Transactions Fundamentals (2000) V. E83-A, No. 3, 465-470.

30. Arbib, M. A., Erdi, P., and Szentagothai, J., Neural Organization: Structure, Function, and Dynamics, Cambridge, MA: MIT Press, 1998.

31. Arbib M., editor, The handbook of brain theory and neural networks, Cambridge, MA: MIT Press, 2003.

32. Baiesi M., Paczuski M., Scale-free networks of earthquakes and aftershocks, Physical Review E (2004) V. 69, 907-908.

33. Barabanov N.E., Prokhorov D.V., Stability analysis of discrete-time recurrent neural networks, IEEE Transactions of Neural Networks (2002) V. 13(2), 292-303.

34. Bassett D.S., Bullmore E., Small-world brain networks, Neuroscientist (2006) V. 12, 512-523.

35. Botelho F., Gaiko V., Global analysis of planar neural networks, Nonlinear Analysis (2006) V. 64(5), 1002-1011.

36. Brualdi R., Cvetkovich D., A Combinatorial Approach to Matrix Theory and Its Applications, Chapman and Hall/CRC, 2008.

37. Brouwer A. E., Haemers W. H., Spectra of graphs, Springer, 2011.

38. Campbell S.A., Yuan Y., Bungay S., Equivariant Hopf bifurcation in a ring of identical cells with delayed coupling, Nonlinearity (2005) V. 18, 2827-2847.

39. Cheng S.S., Huang S.Y., Alternate derivation of the stability region of a difference equation with two delays, Applied Mathematics E-Notes, 9 (2009) 225-253.

40. Cermak J., Jansky J., Kundrat P., On nesessary and sufficient conditions for the asymptotic stability of higher order linear difference equation, Journal of Difference Equations and Applications (2012), V. 18(11), 1781-1800.

41. Cohn A., Uber die Anzahl der Wurzeln einer algebraischen Gleichung in einem Kreise, Mathematische Zeitschrift (1922) V. 14(1), 110-148.

42. Dai A., Zhou W., Feng J., Fang J., Xu S., Exponential synchronization of the coupling delayed switching complex dynamical networks via impulsive control, Advances in Difference Equations (2013), doi:10.1186/1687-1847-2013-195.

43. Dannan F.M., The asymptotic stability of x(n + k) + ax(n) + bx(n — I) = 0, Journal of Difference Equations and Applications (2004) V. 10, 589-599.

44. Diblik J., Khusainov D.Ya., Representation of solutions of discrete delayed system x(k +1) = Ax(k) + Bx(k — m) + f(k) with commutative matrices, Journal of Mathematical Analysis and Applications (2005) V. 318, 63-76.

45. van den Dreissche P., Zou X., Global attractivity in delayed Hopfield neural network models, SIAM J. Applied Math. (1998) V. 58(6), 1878-1890.

46. Fan J., Diagnosability of the Möbius cubes, IEEE Transactions Parallel and Distributed Systems (1998) V.9(9), 923-928.

47. Gonzalez A., Valero-Garcia M., Diaz de Cerio L., Executing algorithms with hypercube topology on torus multicomuters, IEEE Transactions on parallel and distributed systems (1995) V. 6(8), 803-814.

48. Gryazina E.N., Polyak B.T., Stability regions in the parameter space: D-decom-position revisited, Automatica (2006) V. 42(1), 13-26.

49. Guo S., Lu X., Complete classification and stability of equilibria in a delayed ring network, Electronic Journal of Differential Equations (2008) V. 2008(85), 1-12.

50. Györi I., Härtung F., Stability results for Cohen-Grossberg Networks with delays, International Jornal of Qualitative Theory of Differential Equations and Applications (2007) V. 1(2), 142-156.

51. Hopfild J., Neurons with graded response have collective computational properties like those of two-state neurons, Proc. Nat. Acad. Sei. USA 81 (1984), 3088-3092.

52. Howlett R.J., Walters S.D., Multi-computer neural network architecture, Electronics Letters (1999) V. 35(6), 1350 - 1352.

53. Idels L., Kipnis M., Stability criteria for a nonlinear non-autonomous system with delays, Applied Mathematical Modelling (2009), V. 33(5), 2293-2297.

54. Imrich W., Klavzar S. and Rail D.F., Graphs and their Cartesian Products. A. K. Peters, 2008.

55. Ivanov S.A., Kipnis M.M., Stability analysis of discrete-time neural networks with delayed interactions: torus, ring, grid, line, International Journal of Pure and Applied Mathematics (2012) V. 78(5), 691-709.

56. Ivanov S.A., Kipnis M.M., Malygina V.V., The stability cone for a difference matrix equation with two delays, ISRN Applied Mathematics (2011) ID 910936, 1-19.

57. Kaslik E., Stability results for a class of difference systems with delay, Advances in Diference Equations (2009), Article ID 938492, 1-13.

58. Kaslik E., Dynamics of a discrete-time bidirectional ring of neurons with delay, Proceedings of Int. Joint Conf. on Neural Networks, Atlanta, Georgia, USA, June 14-19, 2009, IEEE Computer Society Press, 2009, 1539-1546.

59. Kaslik E., Balint St., Bifurcation analysis for a two-dimensional delayed discrete-time Hopfield neural network, Chaos, Solitons & Fractals, 34 (2007) 1245-1253.

60. Kaslik E., Balint St., Complex and chaotic dynamics in a discrete-time delayed Hopfield neural network with ring architecture, Neural Networks (2009) V. 22(10), 1411-1418.

61. Kaslik E., Sivasundaram S., Impulsive hybrid discrete-time Hopfield neural networks with delays and multistability analysis, Neural Networks (2011), V. 24(4), 370-377.

62. Kaslik E., Sivasundaram S., Multistability in impulsive hybrid Hopfield neural networks with distributed delays, Nonlinear Analysis: Real World Applications (2011) V. 12(3), 1640-1649.

63. Kavianpour A., Kim K.H., Diagnosabilities of hypercubes under the pessimistic one-step diagnosis strategy, IEEE Transaction Computing (1991) V. 40, NO 2, 232-237.

64. Kokhlova T.N., Kipnis M.M., Numerical and qualitative stability analysis of ring and linear neural networks with a large number of neurons, International Journal of Pure and Applied Mathematics (2012) V. 76 (3), 403-419.

65. Khokhlova T. N., Kipnis M. M., The breaking of a delayed ring neural network contributes to stability: the rule and exceptions, Neural Networks (2013) V. 48, 148-152.

66. Khokhlova T.N., Kipnis M.M., Malygina V.V., The stability cone for a delay differential matrix equation, Applied Mathematics Letters (2011) V. 24, 742-745.

67. Kipnis M.M., Levitskaya I.S., Stability of delay difference and differential equations: similarity and distinctions, Proceedings of the Int. Conf. Difference equations, special functions and orthogonal polynomials 2005, World Scientific (2007), 315-324.

68. Kipnis M.M., Malygina V.V., The stability cone for a matrix delay difference equation, International Journal of Mathematics and Mathematical Sciences (2011) ID 860326, 1-15.

69. Kuruklis S.A., The asymptotic stability of x(n + 1) — ax(n) + bx(n — k) — 0, Journal of Mathematical Analysis and Applications (1994) V. 188, 719-731.

70. Levin S.A., May R., A note on difference delay equations, Theoretical population Biology (1976) V. 9, 178-187.

71. Levitskaya I.S., A note on the stability oval for xn+\ — xn + Axn-k, Journal of Difference Equations and Applications (2005) V. 11, 701-705.

72. Marches! M., Orlandi G., Piazza F., Unchini A. Linear data-driven architectures implementing neural network models, Int. J. of Neural Networks (1992) V. 3(3), 101-120.

73. Marcus C.M., Westervelt R.M., Stability of analog neural network with delay, Phys. Rev. A 39 (1989), 347-359.

74. Matsunaga H., Stability regions for a class of delay difference systems, in: Elay-di, Saber (ed.) et al., Difference and differential equations. Proceedings of the 7th international conference on difference equations and applications (ICDEA),

Changsha, China, August 12-17, 2002. Providence, RI: American Mathematical Society (AMS). Fields Institute Communications 42 (2004) 273-283.

75. Matsunaga H., Exact stability criteria for delay differential and difference equations, Applied Mathematics Letters (2007) V. 20, 183-188.

76. Matsunaga H., Hajiri Ch., Exact stability sets for a linear difference system with diagonal delay, Journal of Mathematical Analysis and Applications (2010) V. 369, 616-622.

77. Owen M., Laing C., Cooinbes S., Bumps and rings in a two-dimensional neural field: splitting and rotational instabilities, New Journal of Physics (2007) V. 9(378).

78. Papanicolaou V., On the asymptotic stability of a class of linear difference equations, Mathematics Magazine (1996) V. 69, 34-43.

79. Sakas D.E., Panourias L. G., Singounas E., Simpson B.A., Neurosurgery for psychiatric disorders: from the excision of brain tissue to the chronic electrical stimulation of neural networks. In: Sakas, D.E.; Simpson, B.A. (eds). Operative Neuromodulation. Functional Neuroprosthetic Surgery. V. II: Neural Networks Surgery, p. 365-374. Springer, 2007.

80. Siljak D., Parameter space methods for robust control design: a guided tour, IEEE Transactions on Automatic Control (1989) V. 34, 674-688.

81. Sporns O., Zwi J., The small world of the cerebral cortex, Neuroinformatics (2004), V. 2(2), 145-162.

82. Stevic S., Dibli'k J., Iricanin B., Smarda Z., On some solvable difference equations and systems of difference equations, Abstract and Applied Analysis (2012) V. 2012, Article ID 541761, 11 pages.

83. Valenstein E. S., Great and desperate cures: The rise and decline of psychosurgery and other radical treatments for mental illness. Basic Books, New York, 1986.

84. Wang D., Diagnosability of enhanced hypercubes, IEEE Transaction Computing (1994), V. 43(9), 1144-1153.

85. Wang X., Zhang C., Symmetry discrete-time delayed neural network, Advances in Difference Equations (2012), V. 2012, 12 p.

86. Wei J., Ruan S., Stability and bifurcation in a neural network model with two delays, Physica D (1999), V. 130, 255-272.

87. Yuan Y., Campbell S.A., Stability and sinchronization ring of identical cells with delayed coupling, Journal of Dynamics and Differential Equations (2004) V. 16, 709-744.

88. Zhao D.-X., Wang J.-M., Exponential stability and spectral analysis of a delayed ring neural network with a small-world connection, Nonlinear Dynamics (2012) V. 68, 77-93.