Нелинейная динамика осцилляторных нейронных сетей в задачах кластерного анализа тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Новиков, Андрей Викторович

• Новиков, Андрей Викторович
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Новиков, Андрей Викторович

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1. АНАЛИЗ АЛГОРИТМОВ КЛАСТЕРНОГО АНАЛИЗА

1.1. Классические алгоритмы кластерного анализа

1.2. Модель синхронизации Курамото

1.3. Алгоритм кластеризации Sync

1.4. Иерархический алгоритм кластерного анализа hSync

1.5. Основные проблемы использования алгоритмов кластерного анализа

1.6. Выводы к главе 1

2. ОСЦИЛЛЯТОРНЫЙ МЕТОД КЛАСТЕРИЗАЦИИ С КОДИРОВАНИЕМ ВХОДНОГО ПРОСТРАНСТВА ПРИЗНАКОВ

2.1. Архитектура разработанного метода Sync-SOM

2.2. Результаты экспериментов и анализ разработанного метода Sync-SOM

2.3. Многоядерная реализация второго слоя осцилляторной сети

2.4. Выводы по главе 2

3. ОСЦИЛЛЯТОРНЫЙ МЕТОД СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ С НАРАЩИВАНИЕМ СЛОЕВ И КОДИРОВАНИЕМ ВХОДНОГО ПРОСТРАНСТВА ПРИЗНАКОВ

3.1. Архитектура разработанной осцилляторной сети

3.2. Результаты экспериментов и анализ метода сегментации

3.3. Выводы по главе 3

4. БИБЛИОТЕКА PYCLUSTERING

4.1. Общее описание разработанного программного обеспечения

4.2. Непрерывная интеграция (Continues Integration)

4.3. Выводы к главе 4

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ

Введение диссертации (часть автореферата) на тему «Нелинейная динамика осцилляторных нейронных сетей в задачах кластерного анализа»

ВВЕДЕНИЕ

Актуальность темы исследования и степень ее проработанности.

Повсеместный и неуклонный рост объема данных в различных сферах деятельности человека вызывает необходимость разработки новых методов обработки и анализа данных с целью извлечения необходимой и полезной информации для ее дальнейшего использования. Это делает задачу кластерного анализа актуальной и вызывает потребность исследования существующих и разработку принципиально новых подходов и методов с учетом повышающихся требований.

Существующие методы по-прежнему имеют ряд ограничений, которые проявляются на практике, и их можно условно разделить на четыре группы.

1. Необходимость априорной информации о входных данных, что приводит к необходимости указания на входе алгоритма таких параметров, как истинное число кластеров, плотность данных, выражаемая радиусом связности.

2. Сложности с обеспечением максимального быстродействия за счет распределения или распараллеливания данных, которые не позволяют задействовать все вычислительные ресурсы параллельных систем.

3. Необходимость иметь весь объем обрабатываемых данных в оперативной памяти вычислительного устройства, что характерно для большинства подходов и алгоритмов.

4. Высокая сложность пост-обработки результатов кластеризации, делающая извлечение полезной информации из выходного результата дорогостоящей процедурой.

Ввиду вышеназванных ограничений особенно актуален биоинспирированный подход, имитирующий когнитивные функции головного мозга, которые в соответствие с рядом исследований по состоянию на сегодняшний день, реализуются процессами синхронизации (самоорганизацией) выходной динамики между

нейронами, тем самым позволяя полностью распараллелить решение подобных задач, разрешая все неопределенности путем переключения механизмов внимания. На сегодняшний день большая часть моделей осцилляторных сетей именно имитируют работу нейронов без привязки к решению практических задач.

Математическая модель нейрона, описывающая динамику его работы и токи, протекающие в нем под внешним воздействием, была предложена А.Ходжкиным и Э.Хаксли. Эта модель является на сегодняшний день наиболее правдоподобной из существующих моделей, за что была отмечена нобелевской премией. Большой вклад в развитие теории осцилляторных сетей был внесен группой ученых, сосредоточенных именно на биологически правдоподобном моделировании работы и эволюции нейронных сетей на базе нейронов Ходжкина-Хаксли: Я.Казакевич, Р.Борисюк, Е.Тихонов. Ученые из этой группы смогли построить модель зрительной коры головного мозга, которая позволяет сегментировать простейшие изображения. Одна из известных моделей зрительной коры, способная сегментировать как монохромные, так и цветные изображения, была предложена Д.Вангом и Д.Терманом. Предложенная модель в своей основе использует осцилляторы Ван дер Поля и больше предназначена для решения уже практической задачи - сегментации изображений, а не для моделирования реальных процессов в головном мозгу. На практике моделирование данных сетей является ресурсоемкой задачей, поскольку динамика работы сетей описываются системами из нескольких дифференциальных уравнений. Также именно использование этих систем приводит к методам, имеющим ограничения по пост-обработке выходной динамики, поскольку для извлечения результатов работы сети требуется анализ динамики осцилляторов во временной плоскости, а соответственно необходимо либо хранение выходной динамики, либо ее анализ на каждом шаге моделирования.

На сегодняшний день существует ряд исследований, в которых утверждаетя, что именно процессы синхронизации являются фундаментом построения осцилляторных

сетей, поскольку, согласно результатам этих исследований, именно процессы синхронизации, протекающие в головном мозгу, реализуют когнитивные функции, путем кодирования признаков входного пространства. Иными словами, каждый ансамбль синхронных между собой осцилляторов кодирует только один признак, к примеру, в случае задачи кластерного анализа каждый ансамбль кодирует только один кластер данных. В случае сегментации каждый ансамбль может кодировать один из следующих признаков: цвет, объект, границу, яркость и т.п. Математическая модель синхронизации популяции осцилляторов, предложенная Е.Курамото, обеспечивает режим глобальной синхронизации в сети полностью связанных осцилляторов. Исследованием и развитием данной модели активно занимался коллектив ученых: Х.Асеброн, Л.Бонила, К.Висенти, Ф.Риторт, Р.Спиглер, С.Скардал, Х.Лоу, Дж.Сайкенс, А.Франци, Е.Васильева, М.Кузьмина, Э.Маныкин, И.Сурина, И.Блехман. На сегодняшний день проблема десинхронизации между осцилляторами и ансамблями осцилляторов в рамках модели Курамото является по-прежнему актуальной, поскольку именно за счет локальной (частичной) синхронизации осуществляется кодирование признаков входного пространства. Состояние сети по окончанию переходных процессов не является единственной отправной точкой для анализа результатов работы сети. При наличии дополнительной априорной информации анализ самой динамики сети во временной плоскости также позволяет извлечь дополнительные признаки из входного пространства, что в данном контексте дает право на относительно небольшую ошибку в параметрах настройки модели осцилляторной сети.

Единственным, эффективным способом обеспечения локальной синхронизации в осцилляторных сетях на базе Курамото, существующим на сегодняшний день, является ослабление или полный разрыв связей между ансамблями осцилляторов, кодирующих различные признаки. В противном случае система с течением времени может прийти к состоянию глобальной синхронизации и результаты могут быть

утеряны, что потребует, как было отмечено раннее, непосредственного анализа выходной динамики во временной плоскости для извлечения требуемой информации, если связи не были равнозначными. На основании данного подхода с целью решения задач кластерного анализа модифицированные модели Курамото были предложены различными коллективами ученых независимо друг от друга: К.Бохмом, Я.Шао, К.Плант с одной стороны и Т.Мияно, Т.Тсуши с другой. Ограничениями данных методов кластеризации являются вычислительная сложность из-за кубической зависимости сходимости процесса синхронизации от данных в случае вытянутых, близкорасположенных кластеров, и необходимость наличия всех данных входного пространства в оперативной памяти. Это делает невозможным кластеризации данных большого объема, когда один нейрон ставится в соответствие только одному объекту из входного пространства.

Цель диссертационного исследования. Разработка нового метода кластерного анализа на базе осцилляторной нейронной сети для преодоления недостатков существующих методов и обеспечения параллельной реализации. Разрабатываемый метод должен позволять решать задачу как кластеризации, так и сегментации. Задачи диссертационного исследования

1. Выполнение аналитического обзора в области методов кластерного анализа: задачи кластеризации и задачи сегментации для выявления возможных подходов преодоления недостатков существующих методов и определения путей их преодоления.

2. Разработка модели осцилляторной сети для решения задач кластерного анализа: a. Кластеризация данных, решающая проблемы ресурсоемкости пост-

процессинга выходной динамики сети, а также проблемы использования сети для анализа данных большого объема при невозможности их загрузки в оперативное запоминающее устройство вычислительной машины.

Ь. Сегментация изображений для извлечения заданного количества признаков входного пространства путем наращивания слоев сети и за счет кодирования внешних стимулов.

3. Разработка параллельной архитектуры обобщенной модели осцилляторной сети для решения задач кластерного анализа.

4. Разработка средств моделирования для исследования возможностей методов кластерного анализа и сравнительного анализа.

Объектом исследования является модель синхронизации Курамото с фазовым осциллятором. Предметом исследования являются свойства осцилляторных сетей на базе модели Курамото и их адаптация к решению практических задач кластеризации и сегментации.

Научная новизна

1. Разработанный метод кластеризации не имеет ограничений по объему входных данных, как большинство классических, так и био-инспирированных методов, тем самым обеспечивая высокое быстродействие за счет кодирования признаков входного пространства в первом слое.

2. Разработанный метод сегментации позволяет наращивать слои для извлечения дополнительных признаков за счет кодирования внешних стимулов.

3. Предложенная обобщенная модель сети обеспечивает полностью параллельный режим работы.

Теоретическая значимость работы

1. Проведена систематизация знаний в области применения и адаптации моделей осцилляторных сетей на базе модели Курамото для практического применения.

2. Предложен новый метод сегментации изображений, позволяющий варьировать количество слоев в зависимости от необходимости выделения дополнительных признаков из уже выделенных предыдущими слоями. При этом нет жесткой привязки правил выделения признаков слоями, все правила определяются только

методом кодирования входного пространства для каждого слоя в отдельности, тем самым обеспечивая универсальность сети - одна и та же сеть может сегментировать изображение по разным признакам. Таким образом, процесс сегментации развивается от анализа макро-признаков к анализу микропризнаков, позволяя снимать результаты с любого из слоев, что имеет значение для развития теории обработки данных и теории осцилляторных сетей, позволяя приблизиться к построению зрительной коры головного мозга.

3. Предложенный подход кодирования данных в первом слое применим во всех моделях осцилляторных сетей, предназначенных для обработки информации, и в которых допускается кодирование входного пространства, при этом сохраняется возможность параллельной реализации осцилляторной сети. Практическая значимость работы

1. Предложен новый метод кластеризации данных, позволяющий кодировать в первом слое входные данные, последовательно загружая и выгружая обработанные порции данных в оперативную память и тем самым сокращая размерность входного пространства, увеличивая скорость сходимости процесса синхронизации выходного слоя. Это позволяет существенно сократить время самого процессе кластеризации.

2. Предложена параллельная обобщенная модель осцилляторной сети, обеспечивающая параллельное исполнение на многопроцессорных станциях и увеличивающая быстродействие, что дает возможность задействовать осцилляторные сети для решения практических задач.

3. Разработана полноценная библиотека, доведенная до состояния продуктового кода, для моделирования осцилляторных сетей, анализа выходной динамики сетей и сравнения моделей с другими широко распространёнными алгоритмами кластеризации, а также тестирования возможностей кластерного анализа синтезируемых алгоритмах. Разработанная библиотека pyclustering находится в

открытом доступе репозитория github и зарегистрирована в официальном python сообществе pypi. Библиотека может быть использована как в учебных целях, так и для проведения НИР. Положения, выносимые на защиту

1. Метод кластерного анализа с кодированием входного пространства в первом слое (самоорганизующейся карте признаков) для обработки данных без полной загрузки их в оперативную память вычислительного устройства, что позволяет существенно увеличить производительность обработки информации.

2. Метод сегментации изображений с варьированием количества слоев в осцилляторной сети, позволяющий выполнять иерархическую сегментацию с наращиваемым числом признаком, что существенно увеличивает возможности метода по выявлению особенностей объектов изображения.

3. Новый подход к моделированию параллельно исполняемых осцилляторов на многопроцессорных вычислительных устройствах на примере осцилляторной сети с фазовым осциллятором на базе модели Курамото, что решает проблему обеспечения приемлемого времени обработки данных большой размерности и объема.

Методология и методы исследования. В работе использованы методы теории вероятностей и математической статистики, системного анализа, теории моделирования, теории динамических систем.

Внедрение и реализация результатов работы. Основные результаты диссертации были внедрены в исследовательский R&D центр Nokia для анализа и визуализации типов траффика в мобильных беспроводных сетях, что подтверждается актом о внедрении.

Степень достоверности и апробация результатов. Основные результаты диссертации докладывались и обсуждались на 6-ти конференциях, из них на 4-х международных конференциях:

1. The 11th International Conference "Pattern Recognition and Image Analysis: New

Information Technologies" (2013);

2. 3rd International Conference on Pattern Recognition Applications and Methods (2014);

3. Parallel Computing Technologies - 13th International Conference (2015);

4. 13th International Symposium on Neural Networks (2016),

а также на Всероссийской научной конференция по проблемам информатики (2013) и на Молодёжной научной конференции «Студенты и молодые учёные -инновационной России» (2013).

Результаты работы отмечены дипломом правительства Санкт-Петербурга победителю конкурса грантов Санкт-Петербурга для студентов и аспирантов (2014).

Публикации. По теме диссертационной работы опубликованы 10 печатных работ, из них 3 - в изданиях «Перечня ВАК» и 5 - в изданиях, индексируемых Scopus и Web Of Science.

Объем и структура работы. Диссертация состоит из введения, 4 глав, заключения и 1 приложения. Список использованной литераторы содержит 63 наименования. Основной текст диссертации содержит 105 страниц машинописного текста, включая 44 рисунка, 5 таблиц.

1. АНАЛИЗ АЛГОРИТМОВ КЛАСТЕРНОГО АНАЛИЗА 1.1. Классические алгоритмы кластерного анализа

В данной главе проанализированы алгоритмы кластерного анализа, получившие наибольшее распространение в сфере обработки данных: Agglomerative Hierarchical (Single-Link) [8, 25], BIRCH [62], CLARANS [45], CURE [28], DBSCAN [23], K-Means [25], K-Medians [25], K-Medoids (PAM) [25], OPTICS [9], ROCK [27], X-Means [51]. Также для исследования были использованы алгоритмы, основанные на осцилляторных и нейронных сетях: CNN [1], Sync [15, 44], hSync [53], SOM [37, 38]. Проанализируем каждый алгоритм и его модификации в отдельности, используя для исследования функциональных возможностей алгоритмов классический набор выборок для тестирования FCPS [55] - рисунок 1.1. Все алгоритмы и их модификации были реализованы в рамках библиотеки pyclustering, разработанной в рамках диссертационной работы, для исследования и анализа в единой среде на одной платформе, где каждый из алгоритмов представляет собой отдельный модуль.

Алгоритм Agglomerative Hierarchical (Single-Link) относится к классу иерархических, использующем метод единичной связи, входным параметром которого является число кластеров, которое должно быть извлечено из входного пространства. В общем случае иерархическими алгоритмами называется совокупность алгоритмов упорядочивания данных, подразумевающие построение дендрограмм (дерево, построенное по матрице мер близости), используя тот или иной способ построения вышеупомянутой дендрограммы. Для сравнительного анализа был выбран алгоритм с единичной связью (Евклидова дистанция между ближайшими объектами объединяемых кластеров), поскольку он обладает наилучшим быстродействием и качеством кластеризации среди других методов построения дендрограмм (с использованием центров кластеров, средней Евклидовой дистанцией

между объектами объединяемых кластеров, максимальной Евклидовой дистанцией между двумя объектами и т.д.). Недостатком данного алгоритма является квадратичная сложность поиска кандидатов на объединение.

(a) Lsuu (b) Target (с) TvroDiamouds (d) WimgNut

(i) Chain link (f> Hepta (g> Tetra (b) Atom

Рис. 1.1. Иллюстрация ряда основных тестовых выборок FCPS (Fundamental Clustering Problems Suite), с разными размерностями пространства, плотностями, формами и распределениями данных.

BIRCH алгоритм относится к семейству иерархических, который также кодирует входное пространство признаков путем использования CF-дерева. Входными параметрами являются: число кластеров, которые должны быть извлечены и параметры используемого CF-дерева. Данный способ кодирования будет рассмотрен далее. Отличительным достоинством является масштабирование и возможность работы с реальными базами данных без загрузки их в оперативную память устройства. Недостатком является описание кластеров, как сферических объектов (центр, радиус, диаметр), что сужает возможности по использованию. Алгоритм успешно справляется

с решением задач, в которых кластеры имеют или могут быть описаны сферической формой, например, Hepta, TwoDiamonds.

CLARANS является рандомизированным алгоритмом, который позволяет повысить эффективность алгоритма PAM (известный также как K-Medoids) путем случайного поиска минимума заданное пользователем количество раз. Входными параметрами алгоритма являются: число кластеров, которое должно быть извлечено, число итераций для поиска минимумов и число объектов-соседей, которые должны быть проанализированы на предмет возможного минимума. На каждой итерации алгоритма, когда извлечены кластеры, осуществляется оценка кластеров с помощью функции качества. Достоинством является то, что отпадает необходимость делать оценку для каждого из объектов входного пространства, что увеличивает производительность, но это же и является недостатком, поскольку могут быть извлечены кластеры, описываемые псевдо-локальными минимумами. Кроме того, алгоритм наследует возможности K-Medoids и способен работать с данными, в которых кластеры имеют сферическую форму с равномерным или Гаусовым распределением. Недостатком является наличие вероятности, при которой решение задачи не достигнет глобального минимума, то есть результаты кластеризации будут не корректными: содержать ошибку второго рода - объекты неверно соотнесены по кластерам.

Алгоритм CURE является представителем иерархической кластеризации. Каждый кластер описывается точками-представителями в пространстве признаков координатами, которые не являются объектами входного пространства и центром кластера. Точки-представители описывают форму кластера в пространстве признаков. За счет этого алгоритм является чем-то средним между алгоритмами, базирующихся на центрах кластеров и поиска экстремумов на базе всего объема данных. Входными параметрами алгоритма являются: число кластеров, которое должно быть извлечено, число точек-представителей в каждом кластере, коэффициент сжатия для разброс-

точек. На начальном этапе, как и в большинстве агломеративных иерархических алгоритмов, количество кластеров соответствует количеству объектов во входном пространстве, то есть каждый кластер содержит один объект, которой является центром, точкой-представителем и точкой-разбросом. На каждом шаге объединяются кластеры с ближайшими парами точек-представителей в евклидовом пространстве до тех пор, пока не будет достигнуто требуемое число кластеров. Объединение центров т кластеров не требует перерасчета всех данных [28]:

m + m2 nn

^=ЖЩ, (1Л)

Точки-представители rep при объединении рассчитываются следующим образом

[28]:

rePобъед = rePобъед ^ {xi + ^{mean объед ~ xi )} (1.2)

Достоинствами алгоритма является способность решать задачу кластеризации не только с данными, в которых кластеры имеют сферическую форму, как для большинства алгоритмов, базирующихся на использовании центров, но также с данными, имеющими вытянутую форму, хотя и с некоторыми ограничениями, к примеру, CURE успешно решает задачу на таких выборках, как Lsun, Target, TwoDiamonds, WingNut, но не способен решить задачу на таких выборках, как Atom или Chainlink.

DBSCAN алгоритм относится к семейству, базирующихся на плотности данных. В качестве входных данных используется радиус связности и минимальное число общих соседей между двумя узлами, требуемое для того, чтобы соединить эти узлы. Каждый узел ставится в соответствие только одному объекту, используя его описание в пространстве признаков. На начальном этапе, случайным образом выбирается узел, с которого начнется обход данных и формирование графов. Для выбранного узла вычисляется число соседей, с которыми он может быть соединен, если число соседей больше порогового, то данные соседи помещаются в очередь для дальнейшего обхода,

иначе, узел помечается, как шум и осуществляется переход к анализу следующего узла. Таким образом, все узлы принадлежат одному кластеру, если удается их обойти, удовлетворяя условиям алгоритма. Обходятся только те узлы, которые были добавлены в очередь. Добавляются в кластер только те узлы, которые удовлетворили условиям, соответственно соседи каждого помещенного в кластер узла добавляются в очередь для дальнейшего анализа. Как только очередь становится пустой, то кластер считает полностью сформированным и далее начинается новый обход с узла, который еще не был проанализирован, до тех пор, пока все данные не будет обработаны.

Достоинством алгоритма является высокое быстродействие и возможность извлечения кластеров различных форм и плотностей: задача кластеризации успешно решается на всех выборках БСРБ. Недостатком является использование радиуса связности и высокая зависимость корректности результатов на данных с вытянутыми кластерами, которые близко расположены друг к другу. К примеру, для нахождения верных параметров алгоритма на выборке Т,^В1атопёБ пришлось автоматизировать процесс поиска, поскольку получение верной экспертной оценки визуальным анализом является нетривиальной задачей. Для выборок Т,^В1атопёБ и малое изменение входных параметров алгоритма (радиус связности в, минимальное число соседей Ы) ведет к существенным изменениям результатов кластеризации -рисунок 1.2.

Из примера на рисунке 1.2 видно, что малое изменение параметров приводит либо к извлечению одного единственного кластера, либо большего числа кластеров, что наглядно демонстрирует недостаток данного алгоритма.

©£ = 0-10, N = 6; (Е) Ё = 0.12= N = бс (э) Е = 0.15= N = 6; (Ь) Е = 0.17, N = 6 Рис. 1.2. Результаты кластеризации DBSCAN на выборке TwoDiamonds, где проявляется высокая зависимость результатов кластеризации от входных параметров. В результатах и (1 наблюдается высокий уровень опознания объектов, как шумов - пустые области в ромбах.

К-Меаш - широко известный алгоритм, относящийся к классу алгоритмов разбиения. В общем случае единственным параметров алгоритма является число кластеров, которое должно быть извлечено, но для достижения более оптимальных результатов используют начальные значения центров кластеров. На первом шаге случайным образом выбираются центры кластеров Ш1 (если они не были указаны), далее на основании евклидовой дистанции между объектом хр и центром кластера определяются какие объекты принадлежат к каким кластерам Sг■ [25]:

з(' ) =

х

р ■

х

т

(')

<

х

т

(')

V/, 1 < / < к!

(1.3)

Далее, относительно рассчитанных кластеров определяются новые центры кластеров [25]:

2

2

mjt+1)=-^ V x

SíO

(1.4)

После чего процедура расчета кластеров повторяется. Процесс идет до тех пор, пока максимальное изменение центров кластера не станет меньше порогового или же пока не произойдет замедление сходимости. Алгоритм позволяет успешно извлекать кластеры сферической формы или описываемых Гаусовым распределением, применительно к коллекции FCPS это Hepta, Tetra, TwoDiamonds, при обработке остальных выборок из коллекции наблюдаются ошибки в результатах кластеризации, что является недостатком. Однако в качестве достоинств можно отметить простоту и высокую производительность.

K-Medians алгоритм, который относится к классу алгоритмов разбиения. По сути представляет собой вариацию алгоритма K-Means с тем отличием, что вместо среднего (центров кластеров) используется медиана т, [25]:

где N - число объектов, относящихся к i-му кластеру, d - текущее измерение в пространстве, Xi - вектор объектов i-го кластера.

В качестве входного параметра используется число кластеров, которое должно быть извлечено, и опционально начальные значения медиан. Достоинством является устойчивость к разбросу данных, иными словами влияние шума снижается. Аналогично K-Means справляется с данными, в которых кластеры имеют сферическую форму или описываются Гаусовым распределением, что является недостатком. Успешно задача решается для выборок Hepta, Tetra, TwoDiamonds. Достоинствами являются простота и высокая производительность на выборках малой размерности.

K-Medoids алгоритм (известный под именем PAM), который относится к классу алгоритмов разбиения. Также представляет собой вариацию алгоритма K-Means с тем отличием, что вместо среднего используется медоид кластера. В качестве входного

т,

[d] = {sorted(Xi )j[d][N¡ /2],

(1.5)

параметра используется число извлекаемых кластеров и опционально начальные значения медоидов. Самым важным отличием от K-Means и K-Medians заключается в том, что K-Medoids использует реальный объект входного пространства в качестве медоида mt [25]:

m

mt = argmin xt - y||2 , (1.6)

yeRn i=1

где m - набор объектов i-го кластера x1s x2, ..., xm, при этом xt £ Rn. В качестве стратегии определения принадлежности объекта к кластерам используется (1.3). Достоинством является также большая устойчивость к разбросу данных, как и K-Medians и обладает теми же недостатками.

Список литературы диссертационного исследования кандидат наук Новиков, Андрей Викторович, 2016 год

СПИСОК ЛИТЕРАТУРЫ

1. Бендерская Е.Н., Жукова С.В. Осцилляторные нейронные сети с хаотической динамикой в задачах кластерного анализа // Нейрокомпьютеры и их прим., РАДИОТЕХНИКА. - 2011. - №. 7 - С. 74-86.

2. Казанович Я.Б, Шматченко В.В. Осцилляторные нейросетевые модели сегментации изображений и зрительного внимания // Научная сессия МИФИ-2004, часть 1, Нейроинформатика-2004. Лекции по нейроинформатике. - 2004. -С. 15-68.

3. Новиков А.В., Бендерская Е.Н. Решение задач кластерного анализа на основе осцилляторных нейронных сетей // Нейрокомпьютеры: разработка, применение.

- 2013. - №. 12 - С. 31-36.

4. Новиков А.В., Бендерская Е.Н. Нейросетевые методы решения задач кластерного анализа // Нейрокомпьютеры: разработка, применение. - 2014. - №2. 2 - С. 48-53.

5. Новиков А.В., Бендерская Е.Н. SYNC-SOM: метод кластеризации, основанный на модифицированной модели Курамото и самоорганизующейся карте // Нейрокомпьютеры: разработка, применение. - 2015. - №. 7. С. 67-75.

6. Acebron A.J., Bonilla L.L., Vincente C.J.P., Rotort F., Spigler R. The Kuramoto Model: A Simple Paradigm for Synchronization Phenomena // Rev. Mod. Phys. - 2005.

- Vol. 77. - P. 137-185.

7. Angelini L., Carlo F., Marangi C., Pellicoro M., Nardullia M., Stramaglia S. Clustering data by inhomogeneous chaotic map lattices // Phys. Rev. Lett. - 2000. - Vol. 85. - P. 78-102.

8. Anil K., Dubes J.C., Dubes R.C. Algorithms for Clustering Data // Prentice Hall, Eng-lewood Cliffs, New Jersey. - 1998. - 320 p.

9. Ankerst M., Breunig M., Kriegel H., Sander J. OPTICS: Ordering Points To Identify the Clustering Structure // ACM SIGMOD international conference on Management of data. ACM Press. - 2009. - P. 49-60.

10. Arenas A., Diaz-Guilera A., Kurths Y., Moreno Y., Changsong Z. Synchronization in complex networks // Physics Reports. - 2008. - Vol. 469. - P. 93-153.

11. Basar. E. Brain function and oscillations // Springer-Varlag, New York. - 1998. - P. 364.

12. Benderskaya E.N., Zhukova S.V. Clustering by Chaotic Neural Networks with Mean Field Calculated Via Delaunay Triangulation // In: Corchado, E., Abraham, A., Pedrycz, W. (eds.) HAIS 2008. LNCS (LNAI). Springer, Heidelberg. - 2008. - Vol. 5271. - P. 408-416.

13. Benderskaya E.N., Zhukova S.V. Large-Dimension Image Clustering by Means of Frag-mentary Synchronization in Chaotic Systems // Pattern Recognition and Image Analysis. - 2009. - Vol. 19. - P. 306-316.

14. Benderskaya E.N., Zhukova S.V. Chaotic Clustering: Fragmentary Synchronization of Fractal Waves // Book chapter in Chaotic Systems, Book edited by: Esteban Tlelo-Cuautle, InTech. - 2011. - P. 187-202.

15. Bohm C., Plant C., Shao J., Yang Q. Clustering by synchronization // In: KDD '10 Proceeding of the 16th ACM SIGKDD international conference of Knowledge discovery and data mining. - 2010. - P. 583-592.

16. Chopra N., Spong M.W. On Exponential Synchronization of Kuramoto Oscillators // IEEE Transactions on Automatic Control. - 2009. - Vol. 54. - P. 353-357.

17. Costa J.A.F., Hujun Y. Gradient-based SOM Clustering and Visualisation Methods // In Proc. of the 2010 International Joint Conference on Neural Networks. - 2010. - P. 334-343.

18. Cumin D, Unsworth C. Generalizing the Kuramoto Model for the Study of Neuronal Synchronisation in the Brain // In: Report University of Auckland School of Engineering. - 2006. - Vol. 638.

19. Daido H. Quasientrainment and slow relaxation in a population of oscillators with random and frustrated interactions // Phys. Rev. Lett. - 1992. - Vol. 73. - P. 10731076.

20. Dimitriadou E., Weingessel A., Hornik, K. Voting-Merging: An Ensemble Method for Clustering // Lecture Notes in Computer Science. - 2001. - Vol. 2130. - P. 217-224.

21. Eckhorn R., Reitbock H., Arndt M., Dicke, P. A neural network for feature linking via synchronous activity: Results from cat visual cortex and from simulations // In: Rodney M. J. Cotterill, Models of Brain Function. Cambridge University Press. - 1989. - P. 255-272.

22. Eidswick J.A. On some fundamental problems in cluster set theory // Proceedings of the American mathematical society. - 1973. - Vol. 39 - P. 163-168.

23. Ester M., Kriegel H.P., Sander J., Xu X. A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise // KDD-96 Proceedings. - 1996. - P. 226-231.

24. Fujisaka H., Shimada T. Phase synchronization and nonlinearity decision in the network of chaotic flows // Phys. Rev. E. - 1997. - Vol. 55 - P. 2426-2433.

25. Gan G., Ma Ch., Wu J. Data Clustering Theory, Algorithms, and Applications // ASA-SIAM Series on Statistics and Applied Probability. - 2007. - 466 p.

26. Gu X. A New Approach to Image Authentication using Local Image Icon of Unit-linking PCNN // In: Proceedings of IJCNN'06. International Joint Conference on Neural Networks. - 2006. - P. 1036-1041.

27. Guha S., Rastogi R., Shim K. ROCK: A Robust Clustering Algorithm for Categorical At-tributes // Proceedings of the 15th International Conference on Data Engineering. -1999. - P. 512-521.

28. Guha S., Rastogi R., Shim K. CURE: An Efficient Clustering Algorithm for Large Databases // Information Systems. - 2001. - Vol. 26(1). - P. 35-58.

29. Haken H. Brain Dynamics. Springer // Verlag Berlin Neidelberg. - 2007. - 238 p.

30. Han J., Kamber M. Data Mining. Concepts and Techniques // The Morgan Kaufmann Series in Data Management Systems. Morgan Kaufmann - 2005. - 703 p.

31. Haykin S. Neural networks: A comprehensive foundation // Macmillan College Publishing Company. New York, 2nd edition. - 1999. - 842 p.

32. Hodgkin A., Huxley A. A quantitative description of membrane current and its application to conduction and excitation in nerve // In: Physiol. - 1952. - Vol. 117. -P. 500-544.

33. Ishihara H., Yoshioka K., Hirose M. Proposal on Image Compression Method using Synchronization // In: Proceedings of ISOT'12, International Symposium on Optomechatronic Technologies, Paris, 29-31 October. - 2012.

34. Jadbabaie A., Motee N., Barahona M. On the Stability of the Kuramoto Model of Coupled Nonlinear Oscillators // Proceedings of the 2004 American Control Conference Boston, Massachusetts June 30 - July 2. - 2004.

35. Kazanovich Y., Borisyuk R. Dynamics of neural networks with a central element // In: Neural Networks. - 1999. - Vol. 12. P. 441-454.

36. Kazanovich Y, Borisyuk R., Chik D., Tikhanoff V., Cangelosi A. A neural model of selective attention and object segmentation in the visual scene: An approach based on partial synchronization and star-like architecture of connections // In: ELSEVIER, Neural Networks. - 2009. - Vol. 22. - P. 707-719.

37. Kohonen T. Self-Organizing Maps // 3nd edition, Berlin: Springer. - 2001.

38. Kohonen T., Simula O., Visa A., Kangas J. Engineering Applications of the Self-Organizing Map // Proceeding of the IEEE. - 1996. - Vol. 84(10). - P. 1358-1384.

39. Kuramoto Y. Chemical Oscillations Waves, and Turbulence // Springer-Verlag Berlin Neidelberg New York Tokyo. - 1984.

40. Li Z. A neural model of contour integration in the primary visual cortex // In: Neural Computation. - 1998. - Vol. 10. - P. 903-940.

41. Li Z. Pre-attentive segmentation in the primary visual cortex // In: Spatial Vision. -2000. - Vol 13. - P. 25-50.

42. Lindblad T., Kisner J. Image Processing Using Pulse-Coupled Neural Networks // In: Springer-Verlag Berlin Heidelberg. - 2005. - 164 p.

43. MacQueen J.B. Some Methods for Classification and Analysis of Multivariate Observations // Proceedings of Fifth Berkley Symposium on Math. Statist. And Prob. - 1967. - P. 281-297.

44. Miyano T., Tsutsui T. Data Synchronization as a Method of Data Mining // Proceedings of the 2007 International Symposium on Nonlinear Theory and its Applications NOLTA'07. - 2007. - P. 224-227.

45. Ng R.T, Han J. CLARANS: a method for clustering objects for spatial data mining // IEEE Transactions on Knowledge and Data Engineering. - 2002. - Vol. 14(5). - P. 1003-1016.

46. Novikov A.V., Benderskaya E.N. The oscillatory neural networks based on Kuramoto model for cluster analysis // Conference Proceeding of The 11th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-11-2013). - 2013. - Vol. 1. - P. 106-109.

47. Novikov A.V., Benderskaya E.N. SYNC-SOM Double-layer Oscillatory Network for Cluster Analysis // 3rd International Conference on Pattern Recognition Applications and Methods, Proceedings, ESEO, Angers, Loire Valley, France, 6-8 March. - 2014. -P. 305-309.

48. Novikov A.V., Benderskaya E.N. Oscillatory Neural Networks Based on the Kuramoto Model // Pattern Recognition and Image Analysis. - 2014. Vol. 24(3). - P. 365-371.

49. Novikov A.V., Benderskaya E.N. Oscillatory Network Based on Kuramoto Model for Image Segmentation // Parallel Computing Technologies - 13th International

Conference, PaCT 2015, Petrozavodsk, Russia, August 31 - September 4. - 2015. - P. 210-221.

50. Novikov A.V., Benderskaya E.N. Networks of Coupled Oscillators for Cluster Analysis: Overview and Application Prospects // Advances in Neural Networks - ISNN 2016: 13th International Symposium on Neural Networks, ISNN 2016, St. Petersburg, Russia, July 6-8, 2016, Springer, LNCS. - 2016. - Vol. 9719. - P. 444-453.

51. Pelleg D., Moore A. X-means: Extending K-means with Efficient Estimation of the Number of Clusters // Proceedings of the Seventeenth International Conference on Machine Learning. - 2000. - P. 727-734.

52. Rogge J.A., Aeyels D. Existence of partial entrainment and stability of phase locking behavior of coupled oscillators // Progress Theoret. Phys. - 2004. - Vol. 112. P. 921942.

53. Shao J., He X., Bohm C., Yang Q., Plant C. Synchronization-Inspired Partitioning and Hierarchical Clustering // IEEE Transactions on Knowledge and Data Engineering. -2013. - Vol. 25. - P. 893-905.

54. Skardal P.S., Ott E., Restrepo J.G.. Cluster synchrony in systems of coupled phase oscillators with higher-order coupling // Phys. Rev. E84. 036208. - 2011.

55. Ultsch A. Clustering with SOM: U*C. Proceedings Workshop on Self-Organizing Feature Maps. Paris, France. - 2005. - P. 31-37.

56. Ultsch A. U*-Matrix: a Tool to visualize Clusters in high dimensional Data // Technical Report 36, CS Department, Philipps-University Marburg, Germany. - 2004. - 36.

57. Vassilieva E., Pinto G., Acacio J., Suppes P. Learning Pattern Recognition through Quasi-Synchronization of Phase Oscillators // In: IEEE Transactions on Neural Networks. - 2011. - Vol. 22(1). P. 84-95.

58. Wang D., Terman D. Locally Excitatory Globally Inhibitory Oscillator Networks // In: IEEE Transactions on Neural Networks. - 1995. - Vol. 6(1). - P. 283-286.

59. Wang D., Terman D. Image Segmentation Based on Oscillatory Correlation // In: Neural Computation. - 1997. - Vol. 9. - P. 805-836.

60. Wang X., Jiao L., Wu J. Extracting hierarchical organization of complex networks by dynamics towards synchronization // In: Physica A. - 2009. - Vol. 388. - P. 2975-2986.

61. Xin B.L., Qin B.Z. Adaptive Cluster Synchronization in Coupled Phase Oscillators // In-formation Engineering and Computer Science. ICIECS 2009. International Conference. - 2009.

62. Zhang T., Ramakrishnan R., Livny M. BIRCH: An Efficient Data Clustering Method for Very Large Databases // Proceedings of the SIGMOD'96 6/96. - 1996. - P. 103114.

63. Zhuravlev. Yu. I. An algebraic approach to recognition or classification problems // Pattern Recognition and Image Analysis. (Advances in Mathematical Theory and Applications). - 1998. - Vol. 8. - P. 59-100.