Решение задач кластеризации на основе хаотической нейронной сети тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Жукова, Софья Витальевна

• Жукова, Софья Витальевна
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Жукова, Софья Витальевна

ВВЕДЕНИЕ.

1. КЛАСТЕРНЫЙ АНАЛИЗ В ЗАДАЧАХ ОБРАБОТКИ ИНФОРМАЦИИ.

1.1. Предметная область «извлечение знаний» и задачи кластерного анализа.

1.2. Актуальность задачи кластеризации.

1.3. Формальная постановка задачи кластеризации.

1.4. Классические методы кластеризации.

1.5. Оценка качества решения задачи кластеризации.

1.6. Тестовые наборы данных.

1.7. Сравнительный анализ методов кластерного анализа и нерешенные задачи

1.8. Постановка задач диссертационной работы.

ВЫВОДЫ.

2. СИСТЕМАТИЗАЦИЯ ТЕОРЕТИЧЕСКИХ ОСНОВ МОДЕЛИ ХАОТИЧЕСКОЙ НЕЙРОННОЙ СЕТИ С УЧЕТОМ СПЕЦИФИКИ ЗАДАЧИ КЛАСТЕРИЗАЦИИ.

2.1. Анализ связи между хаотической динамикой и решением задачи кластеризации.

2.1.1. Связь явления синхронизации с феноменом образования кластеров.

2.1.2. Исследование явления синхронизации в задачах обработки информации.

2.1.3. Анализ возможности использования хаотических колебаний для решения задач кластеризации.

2.2. Структура алгоритм функционирования хаотической нейронной сети.

2.3. Сравнение хаотической нейронной сети с другими нейронными сетями.

2.3.1. Принцип функционирования соревновательной сети и результаты ее работы

2.3.2. Алгоритм функционирования сети Кохонена.

2.3.3. Анализ различий между хаотической нейронной сетью и сетью Кохонена.

2.3.4. Результаты имитационного моделирования нейронной сети Кохонена на тестовых наборах данных.

Выводы.

3. АНАЛИТИЧЕСКОЕ ИССЛЕДОВАНИЕ ХНС КАК ДИНАМИЧЕСКОЙ СИСТЕМЫ С ХАОСОМ.

3.1. Существующие подходы к анализу динамических систем с хаосом.

3.2. Исследование возможностей управления хаотической синхронизацией.

3.4. Аттрактор как колебательный кластер.

3.5. Анализ возможности использования модели Л. Ангелини для решения задачи кластеризации.

Выводы.

4. РАЗРАБОТКА И ИССЛЕДОВАНИЕ НОВОГО МЕТОДА КЛАСТЕРИЗАЦИИ НА ОСНОВЕ ХНС.

4.1. Имитационное моделирование ХНС по модели Ангелини.

4.1.1 Разработка имитационной модели ХНС.

4.1.2. Разработка плана экспериментов.

4.1.3. Принцип функционирования ХНС на примере простейшего изображения.

4.1.4. Исследование зависимости результатов кластеризации от начальных условий

4.1.5. Исследование зависимости результатов кластеризации от времени наблюдения

4.1.6. Исследование зависимости результатов кластеризации от времени переходного процесса.

4.1.7. Исследование зависимости результатов кластеризации от числа ближайших соседей.

4.1.8. Кластеризация сложных изображений с помощью хаотической нейронной сети.

4.2. Разработка нового метода кластеризации на основе ХНС.

4.2.1. Использование триангуляции Делоне для управления динамикой ХНС.

4.2.2. Недостатки существующего метода обработки значений выходов ХНС.

4.2.3. Типы синхронизации в хаотической нейронной сети.

4.2.4. Новый метод выявления фазовой синхронизации хаотических сигналов.

4.2.5. Новый метод выявления кластерной фрагментарной синхронизации хаотических сигналов в динамических системах большой размерности.

4.2.7. Анализ полученных результатов.

Выводы.

5. ПРАКТИЧЕСКОЕ ПРИЛОЖЕНИЕ ХАОТИЧЕСКОЙ НЕЙРОННОЙ СЕТИ.

5.1. Задача информационного поиска.

5.2. Кластеризация в задаче информационного поиска.

5.3. Анализ полученных результатов.

Выводы.

Введение диссертации (часть автореферата) на тему «Решение задач кластеризации на основе хаотической нейронной сети»

Актуальность работы обусловлена как актуальностью решаемой задачи кластерного анализа и актуальностью развития соответствующей области приложения результатов ее решения - автоматизированных и автоматических систем обработки и анализа информации, так и актуальностью исследования предлагаемых методов решения, связанных с активно развиваемыми в настоящее время теориями хаоса, синхронизации и синергетики.

Несмотря на наличие общей постановки задачи кластеризации, попытки учесть при ее решении ту или иную специфику обрабатываемых данных приводят к различного рода ограничениям и заведомо лишают универсальности предлагаемые методы решения. Кроме того, существующие методы кластеризации требуют привлечения эксперта на тех или иных этапах решения задачи, что препятствует разработке автоматических систем обработки информации. При этом особенно сильно назрела потребность именно автоматической сортировки и систематизации больших объемов информации различного назначения. Требуется привлечение новых принципов обработки информации для решения задачи кластеризации с высокими показателями качества в условиях отсутствия априорной информации о кластеризуемых объектах.

Предметная область исследования лежит на стыке нескольких научных направлений и относится с одной стороны к области «выявления знаний» (Data mining) и распознаванию образов, с другой стороны к нелинейной динамике и синергетике. Основные достижения в области теории и практики распознавания образов принадлежат научным школам М.А. Айзермана, В.И.Васильева, А.И. Галушкина, Ю.И. Журавлева, Н.Г. Загоруйко, В.В. Рязанова, Я.З. Цыпкина и другим, а из наиболее известных зарубежных разработчиков математических методов распознавания - У. Гренандер, Р. Дуда, Т. Кохонен, К. Фукунага, Г. Хакен,

Дж. Хопфилд, К. Фу и другие. Значительные результаты в исследовании нелинейной динамики и хаоса достигнуты в работах B.C. Анищенко, В.В. Астахова, Г.Н. Борисюка, A.C. Дмитриева, A.A. Короновского, А.П. Кузнецова, С.П. Кузнецова, А.Ю. Лоскутова, И.С. Пригожина, A.B. Шабунина, А.Е. Храмова и других, а также в исследованиях научных лабораторий под руководством JL Ангелини, К.Канеко, Дж. Куртса, JI. Майстренко, А. Михайлова, А. Пиковского, М. Романо, Н. Рулькова. Последние разработки и исследования в данных областях характеризуются их взаимным проникновением и, как указывается во многих работах, новые решения могут быть получены именно при системном и междисциплинарном подходах.

Анализ задачи кластеризации выполнен с системных позиций целостности и выявления общих закономерностей в существующем в природе явлении кластеризации. Как обобщающие системный и информационный подходы к анализу и решению задачи кластеризации привлекаются основные положения синергетики, изучающей процессы самоорганизации в различных системах.

Основное внимание в работе уделено развитию методов обработки информации и раскрытию связи с законами функционирования объектов различной природы (физической, химической и других), в которых также проявляется существование общего механизма упорядочивания, несмотря на присутствие хаоса в функционировании отдельных элементов системы. Проведенная систематизация и обобщение используются для решения задачи кластеризации и извлечения неочевидных знаний о наличии общности между объектами, а также могут быть полезны для решения задач прогнозирования и принятия других решений. Тема исследований связана с приоритетным направлением развития науки, технологий и техники Российской Федерации «Информационно-телекоммуникационные системы», утвержденным Президентом Российской Федерации и Правительством Российской

Федерации в 2006 году и относится к области разработки математического и программного обеспечения систем анализа и обработки информации, а также визуализации и анализу информации на основе компьютерных методов обработки информации.

Цели и задачи диссертационной работы. Цель данной работы заключается в разработке метода кластеризации не требующего привлечения эксперта при решении задачи кластеризации и ориентированного на обработку данных любого происхождения в условиях отсутствия какой-либо априорной информации об обрабатываемых данных. Достижение указанной цели позволит осуществлять разработку современных систем автоматической обработки информации и принятия решений.

Для этого необходимо решить следующие задачи.

1. Осуществить систематизацию существующих методов кластеризации и определить возможности методов и их ограничения, провести экспериментальную проверку на общепринятых тестовых задачах различной степени сложности.

2. Выполнить аналитическое исследование возможности применения теории нелинейных систем и хаоса для решения задач кластеризации.

3. Провести анализ теоретической базы хаотической нейронной сети и значимости явления синхронизации в функционировании хаотической нейронной сети.

4. Разработать план экспериментов для определения влияния параметров хаотической нейронной сети на динамические свойства сети и качество решения задачи кластеризации и разработать имитационную модель для экспериментального исследования динамики хаотической нейронной сети.

5. Провести экспериментальное исследование функционирования хаотической нейронной сети (ХНС) для определения диапазона ее параметров, при котором будет достигаться заданное качество кластеризации.

6. Провести анализ полученных результатов кластеризации для изображений различной степени сложности.

7. Определить, какие из возможных способов описания динамических процессов наиболее информативны (наглядны, применимы) в случае ХНС.

8. Определить влияние метода обработки информации на качество решения задач кластеризации и предложить новые методы, если применение имеющихся окажется недостаточным для получения результатов кластеризации с заданным качеством.

9. Определить области предпочтительного использования хаотической нейронной сети на основе обобщения полученных результатов.

В качестве объекта исследования выступает хаотическая нейронная сеть, а предметом исследования является явление кластеризации и возможность его использования для решения задач кластерного анализа.

Методы исследования. Методы теории распознавания образов, методы нелинейной динамики, методы теории информации, методы имитационного моделирования, методы системного анализа, методы матричных вычислений, методы теории вероятностей и математической статистики.

Обоснованность и достоверность полученных результатов обусловлена: всесторонним анализом поставленной цели и подходов к ее достижению; корректностью используемого математического аппарата; согласованностью полученных экспериментальных результатов с предполагаемыми результатами качественного анализа условий экспериментов; всесторонней проверкой предлагаемых методов путем экспериментальных исследований на различных исходных данных, охватывающих различные варианты сложности задачи кластеризации; практическим применением разработанных методов для решения задач информационного поиска и кластеризации текстовых документов специального корпуса документов русского языка; апробацией работы на 17-ти международных и всероссийских конференциях.

Основные научные результаты и их новизна

1. Предложен новый способ расчета масштабирующей константы в предлагаемом методе решения задачи кластеризации на основе ХНС, основывающийся на построении триангуляции Делоне и позволяющий преодолеть априорную неопределенность о пространственной конфигурации кластеров. Этот способ обеспечивает выход динамики ХНС в «упорядоченный» режим и позволяет обеспечить за счет этого требуемое качество кластеризации - отсутствие ошибок кластеризации при использовании соответствующих методов обработки выходов ХНС.

2. Предложены новые методы обработки информации с выходов ХНС, позволяющие добиться решения задачи кластеризации с существенным уменьшением ошибок при условии непротиворечивости исходных данных и отсутствия сильной разреженности данных в пространстве признаков: метод выявления фазовой синхронизации на основе конечных разностей и метод выявления фрагментарной хаотической синхронизации на основе анализа мгновенных значений выходов в системах большой размерности.

3. Предложен новый метод представления текстовых документов, основанный на учете структуры документа посредством учета распределения ключевых слов по документу и позволяющий повысить качество решения задачи категоризации документов.

Теоретическая значимость полученных результатов

1. Предложен новый метод кластеризации, позволяющий решать задачу кластеризации для условных изображений высокой сложности кластеры могут быть пространственно не разнесены и могут иметь общий центр кластеров) и при этом не требующий априорной информации о числе и топологии кластеров. Предлагаемый новый метод кластеризации на основе хаотической нейронной сети, включающий новый способ вычисления масштабирующей константы и новые методы выявления синхронизации в хаотических сигналах, имеют большое значение для развития теоретических основ систем автоматической обработки информации и принятия решений.

2. Предложенные в данной работе методы обработки хаотических последовательностей позволяют выявлять фазовую синхронизацию хаотических сигналов и кластерную фрагментарную синхронизацию, а также определять границы возникновения и разрушения синхронизации в динамических системах большой размерности, что важно для развития теории нелинейной динамики и хаоса.

Практическая значимость работы

1. Разработанный метод кластеризации на основе ХНС позволяет добиться решения задачи кластеризации с существенным уменьшением ошибок и может быть использован как база для разработки систем автоматической обработки информации и принятия решений (обработка изображений любой природы; 2Т>, ЗЭ, а также Ы-мерных образов, сегментация изображений, выделение объектов на изображении и др.) в составе информационных систем и информационно-управляющих комплексов.

2. Показано, что предложенный метод кластеризации и способ представления текстовых документов применимы для решения задачи информационного поиска, и могут дополнить существующие подходы в системах информационного поиска для повышения качества их работы.

3. Разработанная имитационная модель ХНС и программное средство для исследования динамических систем на базе дискретных отображений могут быть использованы как в учебных целях, так и для проведения НИР.

Апробация работы. Результаты работы докладывались и обсуждались на 17-ти международных и всероссийских конференциях, опубликованы в 23-х печатных работах, в том числе статья в издании из списка ВАК. Результаты работы отмечены: дипломом Политехнического симпозиума «Молодые ученые - промышленности Северо-Западного региона» (2005 г.), дипломом Санкт-Петербургского конкурса компьютер - центра «Кей» за лучшую научную работу (2005 г.), дипломом I степени Международной Балтийской олимпиады по управлению (2006 г.), дипломом победителя конкурса «Молодые таланты - будущее науки Политехнического университета» (2006 г.), дипломом лауреата стипендии Правительства РФ (2006 г.). По результатам работы получен грант фонда «Научный потенциал» (2007 г.).

Внедрение. Результаты работы использованы для решения научно-исследовательских и практических задач, что подтверждается двумя актами о внедрении - из МГУ им. Ломоносова и НПО «Импульс».

Структура и объем работы. Работа состоит из введения, пяти глав и заключения, содержит 187 стр., 19 табл. и 63 рис., список использованной литературы содержит 140 наименований.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Жукова, Софья Витальевна

Основные результаты работы состоят в следующем:

1. На основе проведенной систематизации существующих методов кластеризации и выявленных ограничений по их применению путем проверки работы на известных тестовых задачах кластеризации различной степени сложности определены причины неудовлетворительного решения задач кластеризации при отсутствии априорной информации о структуре и числе кластеров и показана необходимость привлечения новых принципов обработки информации. Полученные результаты могут служить основой для определения состава математического обеспечения систем автоматической обработки информации.

2. На основе проведенной систематизации результатов работ, связанных с исследованием нелинейных динамических систем большой размерности на базе логистического отображения, показана возможность и обоснована целесообразность их применения для решения задач кластеризации.

3. Определены диапазоны значений параметров метода кластеризации на основе ХНС, при которых достигается высокое качество кластеризации, что позволило сформулировать рекомендации по настройке ХНС.

4. Предложена новая математическая интерпретация модели ХНС в терминах матричных вычислений, позволяющая значительно уменьшить время получения результата кластеризации при программной реализации. Предложенная модель может служить основой для разработки аппаратной поддержки ХНС.

5. Предложен новый способ расчета масштабирующей константы в предлагаемом методе решения задачи кластеризации на основе ХНС, основывающийся на построении триангуляции Делоне и позволяющий преодолеть априорную неопределенность о пространственной конфигурации кластеров. Этот способ обеспечивает выход динамики ХНС в «упорядоченный» режим и позволяет обеспечить за счет этого требуемое качество кластеризации - отсутствие ошибок кластеризации при использовании соответствующих методов обработки выходов ХНС.

6. Предложены новые методы обработки информации с выходов ХНС, позволяющие добиться решения задачи кластеризации с существенным уменьшением ошибок при условии непротиворечивости исходных данных и отсутствия сильной разреженности данных в пространстве признаков: метод выявления фазовой синхронизации на основе конечных разностей и метод выявления кластерной фрагментарной синхронизации хаотических сигналов на основе анализа мгновенных значений выходов в системах большой размерности.

7. Показана применимость ХНС для решения задачи информационного поиска. А также предложен новый метод представления текстовых документов, основанный на учете структуры документа посредством учета распределения ключевых слов по документу и позволяющий повысить качество решения задачи категоризации документов.

8. Разработана имитационная модель ХНС и программное средство для исследования динамических систем на базе дискретных отображений.

Дальнейшие исследования должны быть направлены на разработку аппаратной поддержки ХНС, математическую основу для которой может составить предложенная матричная интерпретации модели ХНС, а также направлены на поиск подходов к сокращению вычислительных затрат разработанного метода выявления хаотической синхронизации в системах большой размерности.

ЗАКЛЮЧЕНИЕ

Проведенное системное исследование классических подходов к решению поставленной задаче и выполненный анализ возможных взаимосвязей решаемой задачи с другими активно развиваемыми направлениями нелинейной динамики и теории хаоса с учетом существования общего явления образования кластеров, как в живой, так и в неживой природе, позволили предложить метод кластеризации на основе хаотической нейронной сети и таким образом решить важную научно-техническую задачу и достичь цели данной работы - разработать новый метод кластеризации, не требующего привлечения эксперта при решении задачи кластеризации и ориентированного на обработку данных любого происхождения в условиях отсутствия какой-либо априорной информации об обрабатываемых данных. Достижение указанной цели позволяет осуществлять разработку современных систем автоматической обработки информации и принятия решений.

Список литературы диссертационного исследования кандидат технических наук Жукова, Софья Витальевна, 2007 год

1. Дюк В. Data mining: учебный курс.- СПб.: Питер, 2001. 370 с.

2. Бехтерева Н.П. О мозге человека. XX век и его последняя декада в науке о мозге человека,- СПб.: Нотабене, 1997. 70 с.

3. Хакен Г. Принципы работы головного мозга: Синергетический подход к активности мозга, поведению и когнитивной деятельности.- М.: PerSe, 2001.-350 с.

4. Пригожин И., Стегнерс И. Порядок из хаоса,- М.: УРСС, 2001. 310 с.

5. Мучник Г.Ф. Порядок и хаос // Наука и жизнь.- №3.- 1988.- С. 45-60 .

6. Потапов А. Б., Али М. К. Нелинейная динамика обработки информации в нейронных сетях // Сборник «Новое в синергетике: Взгляд в третье тысячелетие».- М.: Наука, 2002. С. 315-362 .

7. Журавлев Ю.И., Рязанов В.В, Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения.- М.: Фазис, 2006. 160 с.

8. Баргесян A.A., Куприянов М.С., Степаненко В.В., Холод H.H. Методы и модели анализа данных: OLAP и Data Mining.- СПб.: БХВ-Петербург, 2004. 336 с.

9. Васильев В.И. Распознающие системы. Киев: Наукова Думка, 1984. -420 с.

10. Горелик A.JL, Скрипкин В.А. Методы распознавания. М.: Высшая школа, 2004. - 260 с.

11. Батурин A.B. Методические материалы и документация по пакетам прикладных программ. Вып. 37. Пакет прикладных программ «Кластер». М.:МЦМТИ, 1988. - 114 с.

12. Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов. -М.: Статистика, 1977. 143 с.

13. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы кибернетики. М.: Наука, 1978.- вып. 33.- С. 23-56.

14. Morchen У., Ultsch F., Nocker A., Stamm М. Databionic visualization of music collections according to perceptual distance // In Proceedings 6th International Conference on Music Information Retrieval (ISMIR 2005).-London, 2005,- pp. 396-403.

15. Ultsch A. Density estimation and visualization for data containing clusters of unknown structure // Proceedings 28th Annual Conference of the German Classification SocietyK).- Dortmund, 2005.- pp. 232-239.

16. Загоруйко H. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. 203 с.

17. Мандель И. Д. Кластерный анализ. М.: Финансы и статистика, 1988. - 254 с.

18. Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. Киев: Наукова думка, 2004. - 163 с.

19. Chin-Teng Lin, С. S. George Lee. Neural fuzzy systems: a neuro-fuzzy synergism to intelligent systems.- Prentice-Hall, 1996.- 797 p .

20. Jyh-Shing, Roger Jang, Chuen-Tsai Sun, Eiji Mizutani. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence. Prentice-Hall, 2000.- 614 p.

21. Люгер Дж. Искусственный интеллект: стратегии и методы решения сложных проблем: 4-е издание: Пер. с англ. М.: Издательский дом 'Вильяме', 2003. - 864 с.

22. Потапов А. Б., Али М. К. Нелинейная динамика обработки информации в нейронных сетях // Сб. «Новое в синергетике: Взгляд в третье тысячелетие».- М.: Наука, 2002. С. 320-412.

23. Головко В.А. Нейронные сети: обучение, организация, применение.-М.: Радиотехника, 2001. -215 с.

24. Малинецкий Г. Г., Потапов А.Б. Современные проблемы нелинейной динамики,- М: УРСС, 2002. 357 с.

25. Лоскутов А.Ю., Михайлов А.С. Основы теории сложных систем. -М.: РХД, 2007. 612 с.

26. Лоскутов А.Ю., Михайлов А.С. Введение в синергетику. М: УРСС, 1990.-272 с.

27. Безручко Б.П., Короновский А.А., Трубецков Д.И., Храмов А.Е. Путь в синергетику. Экскурс в десяти лекциях. Серия "Синергетика: от прошлого к будущему". М: УРСС, 2005. - 304 с.

28. Пиковский А., Розенблюм М., Курте Ю. Синхронизация. Фундаментальное нелинейное явление. М.: Техносфера, 2002. - 496 с.

29. Блехман И.И. Синхронизация в природе и технике,- М.: Наука, 1981. -351 с.

30. Ухтомский А.А. Доминанта. М.: Наука, 1966.- 130 с.

31. Ухтомский А.А. Избранные труды, Л.: Наука, 1978.- 205 с.

32. Ливанов М.Н. Нейронные механизмы памяти // Успехи физиол. Наук.-1975.- Т.6.- С. 66-89.

33. Basar Е. EEG-brain dynamics. Relation between EEG and brain evoked potentials. Amsterdam:Elsevier, 1980.- 543 p.

34. Виноградова O.C. Гиппокамп и память. M.: Наука, 1975.- 311 с.

35. Баев К.В. Нейронные механизмы программирования спинным мозгом ритмических движений. Киев: Наукова думка, 1984.- 179 с.

36. Фриман У.Дж. Динамика мозга в восприятии и сознании: творческая роль хаоса // Синергетика и психология. Тексты. Выпуск 3. Когнитивные процессы. М.: Когито-центр, 2004.- С. 34-61.

37. Freeman WJ, Vitiello G. Nonlinear brain dynamics as macroscopic manifestation of underlying many-body field dynamics //Physics of Life, 2006.- Reviews 3.-pp. 93-118.

38. Stephens G.J., S. Neuenschwander, J.S. George, W. Singer and G.T. Kenyon. See globally, spike locally: oscillations in a retinal model encode large visual features // Biol Cybern. Epub, 2006.- V.95(4).- pp. 327-348.

39. Rodriguez R., Kallenbach U., Singer W., Munk M.H.J. Short- and long-term effects of cholinergic modulation on gamma oscillations and response synchronization in the visual cortex // J Neurosci, 2004,- V. 17(46).- pp. 10369-10378.

40. Abeles M. Local cortical circuits. An electrophysiological study. Berlin: Springer, 1982,- 490 p.

41. Atiya A., Baldi P. Oscillations and synchronizations in neural networks: an exploration of the labelling hypothesis // Intern. J. Neural Systems, 1989.-V. l.-N2.-pp. 103-124.

42. Norman K., Newman E., Detre G., Polyn S. How inhibitory oscillations can train neural networks and punish competitors // Neural computations, July 2006.- Vol. 18.- No.7. pp. 1577-1610.

43. Douglas A., Byrne J. Complex oscillations in simple neural networks //Biol. Bull., 1997.-V.192.-pp. 167-169.

44. Ward L. Synchronous neural oscillations and cognitive processes // TRENDS in Cognitive Sciences.- 2003.-V.7.- N.12.- pp. 34-78.

45. Crick F., Koch C. Consciouesness and neuroscience // Cerebral Cortex, 1998.- N8.- pp. 97-107.

46. GreyW. The Living Brain.-London, 1967.- 322 p.

47. Malsburg C. Binding in models of perception and brain function //Current Opinion in Neurobiology. 1995. - v. 5. - pp. 520-526.

48. Варфоломеев С.Д., Евдокимов Ю.М. Островский М.А. Сенсорная биология, сенсорные технологии и создание новых органов чувств человека // Вестник РАН, 2000.- Т.70.- №2,- С. 99-108.

49. Haken H. Information and Self-Organization. A Macroscopic approach to complex systems.- Berlin:Springer, 1999,- 643 p.

50. Кузнецов С.П. Динамический хаос. М.: Физматлит, 2001. - 296 с.

51. Рабинович М.И., Трубецков Д.И. Введение в теорию колебаний и волн.- М.: Наука, 2001. 560 с.

52. Динамические системы. Т.1-8. М.: ВИНИТИ, 1985-1992.- 754 с.

53. Дмитриев А. С., Панас А. И. Динамический хаос. Новые носители информации для систем связи. М: Физматлит, 2002.- 324 с.

54. Шустер Г. Детерминированный хаос. Введение. М.: Мир, 1988.-312с.

55. Берже П., Помо И., Видаль К. Порядок в хаосе. М.: Мир, 1991.- 402с.

56. Mikhailov A. S., Loskutov A. Yu. Chaos and Noise. Berlin: Springer, 1996.-356 p.

57. Ott E. Chaos in dynamical systems.- Cambridge University Press, 1993. 385 p.

58. Шарковский A.H., Майстренко Ю.А., Романенко Е.Ю. Разностные уравнения и их приложения. Киев: Наукова Думка, 1986. - 280 с.

59. Kaneko К. Phenomenology of spatio-temporal chaos // Directions in chaos.- Singapore, 1987.-pp. 272-353.

60. Kaneko K. Chaotic but regular posi-nega switch among coded attractors by cluster-size variations // Phys. Rev. Lett., 1989,- N63(14).- pp. 219-223.

61. Junji Ito, Kaneko K. Spontaneous structure formation in a network of dynamic elements // Phys. Rev. E., 2003.- N67(14).- pp.119-129.

62. Fujisaka H., Yamada T. Collective chaos indused by structures of complex networks // Prog. Theor. Phys., 1983.- N7,- pp. 171-219.

63. Fujisaka H., Yamada T. Stability theory of synchronized motion in coupled-oscillator systems // Prog. Theor. Phys., 1985.- N74.- pp. 918-921.

64. H. Daido. Population dynamics of randomly interacting self-oscillators // Prog. Theor. Phys., 1987.- N77.- pp. 622- 672.

65. Kapitaniak T., Maistrenko L. Yu. Chaos synchronization and riddled basins in two coupled one-dimensional maps // Chaos Solit. Fract., 1988.- N9.- pp. 271-282.

66. Zanette D. H., Mikhailov and A. S. Mutual synchronization of globally coupled neural networks // Phys. Rev. E, 1998.- N58.- pp. 872-895.

67. Manrubia, S.C., Mikhailov, A.S. Mutual synchronization and clustering in randomly coupled chaotic dynamical networks // Phys. Rev. E, 1999.-N60.- pp. 34-67.

68. Afraimovich V.S., Nekorkin V.I., Osipov G.V., Shalfeev V.D. Stability, structures and chaos in nonlinear synchronization networks.- Singapore World Scientific, 1994,- 763 p.

69. Anishenko V.S., Vadisova T.V., Postnov D.E., Safonova M.A. Synchronization of chaos // Int. J. Bifurc. Chaos, 1992.-N2.- pp. 633-644.

70. Blechman I.I., Landa P.S., Rosenblum M.G. Synchronization and chaotization in interacting dynamical systems // Appl. Mech. Rev., 1995.-N48(11).- pp.733 -752.

71. Brown R., Rulkov N. Designing a coupling that guarantees synchronization between identical chaotic systems //Phys. Rev. Lett., 1997a. N78(22).-pp. 4189-4192.

72. Chate H., Manneville P. Collective behaviors in spatially extended systems with local interactions and synchronous updating //Prog. Theor. Phys., 1992.-N87(1).- pp. 1-60.

73. Choi M.Y., Kim H.J., Hong H. Synchronization in a system of globally coupled oscillators with time delay // Phys. Rev. E, 2000.- N61(1). -pp. 371-381.

74. Gonzales-Miranda J.M. Communications by synchronization of spatially symmetric chaotic systems // Phys. Lett. A, 1999.- N251(2).- pp.115-120.

75. Graussberer P. Synchronization of coupled systems with spatiotemporal chaos // Phys. Lett. E, 1999.- N59(3).- pp. 2520-2522.

76. Kosarev L., Parlitz U. Synchronizing spatiotemporal chaos of partial differential equations // Phys. Rev. Lett., 1997.- N79(1).- pp. 51-54.

77. Pecora L.M., Caroll T.L., Johnson G.A., Mar D.J. Fundamentals of synchronization in chaotic systems, concepts and applications // Chaos, 1997.- N7(4).-pp. 520-543.

78. Иванова А.С., Кузнецов С.П. Волна кластеризации в цепочке систем, каждая из которых содержит набор элементов с внутренней глобальной связью // Известия вузов .'Прикладная нелинейная динамика, 2003.- т.11.- №4-5,- С. 80-88.

79. Blatt М., Wiseman S., Domany Е. Supermagnetic clustering //Phys. Rev. Lett., 1999.- N4.- pp. 763-825.

80. Angelini L., Carlo F., Marangi C., Pellicoro M, Nardullia M., Stramaglia S. Clustering data by inhomogeneous chaotic map lattices // Phys. Rev. Lett.,2000.- N85.-pp. 78-102.

81. Angelini L., Carlo F., Marangi C.,. Pellicoro M, Nardullia M., Stramaglia S. Clustering by inhomogeneous chaotic maps in landmine detection // Phys. Rev. Lett., 2001.- N86.- pp. 89-132.

82. Angelini L., Carlo F., Mannarelli M., Marangi C., Nardulli G., Pellicoro M., S. Stramaglia Chaotic neural networks clustering: application to antipersonnel mines detection by dynamical IR imaging // Proceeding of SPIE,2001.- V. 4170,-pp. 54-78.

83. Angelini L. Antiferromagnetic effects in chaotic map lattices with a conservation law. arXiv:cond-mat/0207136, Jul 2002.-V.1. (23/06/2007)

84. Haykin S. Neural networks: A comphensive foundation.-Prentice Hall, 1999.- 654 p.

85. Kohonen T. Self-Organizing Maps.- Berlin:Springer Verlag, 1995.- 412p.

86. Шкодырев В.П. Нейроинформатика и нейротехнологии. СПб.: Изд-во СПбГПУ, 2001,- 4.2.

87. Станкевич JI.A. Интеллектуальные технологии и представление знаний. Интеллектуальные системы. Учебное пособие.-СПб.:Изд-во СПбГТУ, 2000.

88. Анищенко B.C. Аттракторы динамических систем //Изв. вузов.: Прикладная нелинейная динамика,- 1997.- Т.5.- №1.- С. 109 127.

89. Ижикевич Е.М., Малинецкий Г.Г. О возможной роли хаоса в нейросистемах // ДАН, 1992.- Т.326.- С. 627-632.

90. Фрадков АЛ. Кибернетическая физика. СПб: Наука, 2003. - 207 с.

91. Андриевский Б.Р., Фрадков A.JI. Элементы математического моделирования в программных средах Matlab 5 и Scilab. СПб: Наука, 2001.-286 с.

92. Магницкий H.A., Сидоров C.B. Новые методы хаотической динамики. М.: УРСС, 2004. - 320 с.

93. Анищенко B.C., Астахов В.В., Вадивасова Т.Е. и др. Нелинейные эффекты в хаотических и стахостических системах. Москва-Ижевск: Институт компьютерных исследований, 2004. - 544 с.

94. B.C. Анищенко. Знакомство с нелинейной динамикой. Учеб. пособие. Москва-Ижевск: Институт компьютерных исследований, 2002. 146 с.

95. Чернавский Д.С. Синергетика и информация: Динамическая теория информации.- М.:УРСС, 2004. 288 с.

96. ПригожинИ., НиколисГ. Познание сложного. Введение. М.: УРСС, 2003.-311 с.

97. Кузнецов С.П. Система двух связанных отображений. Два типа связи. -http://www.sgtnd.narod.ru/science/cml/rus/index.htm (23/06/2007).

98. Шабунин А.В., Демидов В.В., Астахов В.В., Анищеко B.C. Количество информации, как мера синхронизации хаоса // Письма в ЖТФ, 2001 Т. 27, вып. 11. С. 78-85.

99. Maistrenko Y., Yanchuk S., Mosekilde E. Synchronization of time-continuous oscillators. Chaos, 2003,- V.13.- N 1,- pp. 388-400.

100. ЮЬКороновский A.A., M.K. Куровская, Храмов A.E. О соотношении фазовой синхронизации хаотических осцилляторов и синхронизации временных масштабов // Письма в ЖТФ, 2005.- Т. 31, вып. 19.- С. 5476.

101. Nikolaev S.M., Shabunin A.V., Astakhov V.V. Multistability of partially synchronous regimes in a system of three coupled logistic maps // PhysCon., 2005,- V.2.- pp. 432-465.

102. Belykh V.N., Belykh I.V., Mosekilde E. Cluster synchronization modes in an ensemble of coupled chaotic oscillators // Phys. Rev. E, 2001,- N63.-pp.98-102.

103. Купцов П.В. Кузнецов С.П.Синхронизация и коллективное поведение цепочки однонаправленно связанных отображений с периодическими граничными условиями// Изв. Вузов: ПНД, 2004.- Т. 12.- № 3.- С. 45-67.

104. Collins J.J., Chow C.C., Imhoff T.T. // Phys. Rev. E, 1995.- N52.-pp. 3321-3389.

105. Freund J.A., Schimansky-Geier // Phys. Rev. E, 1999.- N60.-pp. 1304-1334.

106. Shimada T. Kikuchi K. Periodic cluster attractors and their stabilities //

107. Symposium on Artificial Life and Robotics, 2001.- pp. 16-19.

108. Kaneko K., Willebooordse F. Kaneko K. Externally controlled attractor selection in a high-dimensional system // Phys. Rev. E, 2005.- N72.- pp. 1-7.

109. Kirill V. Nikitin, Sophya V. Zhukova. Pattern Recognition Control by Synergetic Computer // 11th International Student Olympiad on Automatic Control.-St. Petersburg, 2006.- pp. 173-177.

110. Ю.Бендерская E.H., Жукова C.B. Современные методы кластеризации на основе нейронных сетей и нечеткой логики // Труды международной научно-практической конференции «Системный анализ в проектировании и управлении».- СПб, 2004.- 4.2. С. 159-160.

111. Ш.Бендерская E.H., Жукова C.B. Сравнительный анализ хаотической нейронной сети и нейронной сети Кохонена // Материалы международной научной молодежной школы «Нейроинформатика и системы ассоциативной памяти Нейро-2005».- Москва-Таганрог, 2005-С. 172-176.

112. Жукова C.B., Бендерская E.H. Применение методов нелинейной динамики в задачах кластерного анализа // XXXIV неделя науки СПбГПУ. Материалы Всероссийской межвузовской научно-технической конференции.- 2006.- Ч. 5 С. 3-5.

113. И4.Бендерская E.H., Жукова C.B. Отражение динамики внешней среды в моделях самообучения хаотической нейронной сети // Труды международной научно-практической конференции «Компьютерное моделирование 2006».- СПб.: Изд-во СПбГПУ, 2006.- С. 134-135.

114. Пб.Бендерская E.H., Жукова C.B. Хаотическая нейронная сеть в задачах кластерного анализа // Научно-технические ведомости СПбГТУ, 2006.-№4(46).-С. 14-18.

115. П.Жукова C.B. Матричная интерпретация математической модели хаотической нейронной сети // Молодые ученые промышленности Северо-Западного региона: Материалы конференций Политехнического симпозиума 2006 года.- СПб.: Изд-во Политехи, унта, 2006.- С. 76-77.

116. Скворцов A.B., Костюк Ю.Л. Эффективные алгоритмы построения триангуляции Делоне // Геоинформатика. Теория и практика. Вып. 1.-Томск: Изд-во Том. ун-та, 1998.- С. 22-47.

117. Скворцов A.B. Триангуляция Делоне и её применение. Томск: Изд-во Том. ун-та, 2002. - 128 с.

118. Ш.Шабунин A.B., Демидов В.В., Астахов В.В., Анищеко B.C. Количество информации, как мера синхронизации хаоса // Письма в ЖТФ, 2001.Т. 27, Вып. 11.-С. 78-85.

119. Romano М.С., Thiel M., Kurths J., Kiss I.Z., Hudson J.L. // Europhys. Lett., 2005.- V. 71 (3).- pp. 466-487.

120. H.B. Золотова, Д.И. Понявин. Метод обнаружения скрытой синхронизации // Письма в ЖТФ, 2006.- Т. 32.- Вып. 21.- С. 34-65.

121. Короновский A.A., М.К. Куровская, Москаленко O.A., Храмов А.Е. Два сценария разрушения режима хаотической фазовой синхронизации // Письма в ЖТФ, 2007.- Т. 77.- Вып. 1.- С. 23-43.

122. Fujisaka H., Shimada Т. Phase synchronization and nonlinearity decision in the network of chaotic flows // Phys. Rev. E , 1997.- N55(3).- pp. 24262433.

123. Kapitaniak Т., Maistrenko Y. Different types of chaos synchronization in coupled chaotic oscillators // Phys. Rev. E, 1996.- N54(4).- pp. 3285-3292.

124. Kurths J., Pikovsky A., Rosenblum M. From phase to lag synchronization in coupled chaotic oscillators // Phys. Rev. Lett., 1997b.- N78.- pp. 41934196.

125. Кириченко K.M, Герасимов М.Б. Обзор методов кластеризации текстовой информации. -www.dialog-21.ru/Archive/2001/voIume2/ 226.htm (23/06/2007).

126. Некрестьянов И., Павлова Е. Обнаружение структурного подобия HTML- документов. http://meta.math.spbu.ru/ (23/06/2007).

127. Добрынин В.Ю. Методические указания к курсу «Теория информационно-логических систем». Информационный поиск. -http://ir.apmath.spbu.ru/ (23/06/2007)

128. Шейко Д. Технология поиска информации в Интернет. -http://www.limtu.ru/vt/zone/release-gold/pub/04.htm (23/06/2007).

129. Федотов A.M. Введение в Internet. Документация по Интернет технологиям. http://www.sbras.ru/rus/docs/html-gd/metawhat.html (23/06/2007).

130. Ш.Сегалович И.В. Как работают поисковые системы. www.dialog-21.ru/segalovich.htm (23/06/2007).

131. Бендерская Е.Н., Жукова С.В. Решение задач кластеризации с использованием хаотической нейронной сети // Сборник научных трудов 7-ой всероссийской научно-технической конференции «Нейроинформатика-2005».- Москва, 2005 г. чЛ, С. 54-60.

132. Бендерская E.H. Жукова C.B. Кластеризация текстовых документов с применением хаотической нейронной сети // Вычислительные, измерительные и управляющие системы. Сборник научных трудов, СПб.: Изд-во СПбГПУ, 2005,- С. 6-9.

133. Бендерская E.H., Жукова C.B. Применение хаотической нейронной сети для решения задач кластеризации // Сборник докладов второй всероссийской конференции «Управление и информационные технологии УИТ-2004».- Пятигорск, 2004.- Т.1.- С. 306-309.

134. МО.Бендерская E.H., Жукова C.B. Обработка текстовой информации с использованием хаотической нейронной сети // Материалы Всероссийской научной конференции «Квантитативная лингвистика: исследования и модели (КЛИМ-2005)».- Новосибирск, 2005. С. 271282.