Моделирование обобщенных процедур кластеризации и анализ данных сложной структуры тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Тарасова, Алина Сергеевна

• Тарасова, Алина Сергеевна
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Тарасова, Алина Сергеевна

ВВЕДЕНИЕ.

ГЛАВу^ 1. АНАЛИЗ ПОДХОДОВ К РЕШЕНИЮ ЗАДАЧИ КЛАСТЕРИЗАЦИИ И РАСПОЗНАВАНИЯ ДАННЫХ.

1.1. Кластерный анализ.

1.1.1. Постановка задачи кластеризации.

1.1.2; Этапы решения задачи кластеризации.

1.1.3.Сравнительный анализ подходов к решению задачи кластеризации .23.

1.2. Распознавание данных.

1.2.1. Постановка задачи распознавания.

1.2.2. Виды систем распознавания.

1.2.3. Модели для решения задач распознавания.36.

1.2.4: Нечеткие методы распознавания, основанные на продукционных правилах.

1.3s. Цель и задачи исследования.41*

Выводы к первой главе.

ГЛАВА 2. РАЗРАБОТКА МЕТОДОВ КЛАСТЕРИЗАЦИИ НА ОСНОВЕ

СХЕМЫ АЛГОРИТМА «ОБОБЩЕННЫЙ РОДЕН».

2:1. Алгоритм Роден.

2:2. Разработка алгоритмов, эффективных с точки зрения алгоритма «Форель» на основе схемы-алгоритма «Обобщенный Роден».

2.3. Разработка алгоритмов кластеризации,. эффективных с точки зрения алгоритма «КРАБ».

2.4. Разработка нечетких алгоритмов кластеризации. на основе схемы алгоритма «Роден».

Выводы ко второй главе.

ГЛАВА 3. РАЗРАБОТКА МЕТОДОВ ОПИСАНИЯ КЛАССОВ И

РАСПОЗНАВАНИЯ НОВЫХ ОБЪЕКТОВ.

3.1. Распознавание новых объектов на основе подбора весов признаков для классификационного разбиения.

312. Метод описания классов и распознавания новых объектов, позволяющий строить покрытие кластера множеством сферических правил различного радиуса.

3.3. Методы определения геометрической формы кластеров.

3:4. Построение и реализация кластеризационно-регрессионных нечетких алгоритмов на основе схемы алгоритма «Обобщенный Роден».

Выводы к третьей главе.

ГЛАВА 4. РЕАЛИЗАЦИЯ ПРЕДЛОЖЕННЫХ МЕТОДОВ И АНАЛИЗ

ВЫЧИСЛИТЕЛЬНОЙ ЭКСПЕРТИЗЫ.

4.1. Разработка методики сравнения результатов алгоритмов кластеризации

4.2. Описание программного комплекса КЛАССМОД, реализующего предложенные методы.

4.3. Программа для реализации метода распознавания данных с помощью правил различной геометрической формы.

4.4. Результаты практической апробации разработанных алгоритмов кластеризации и распознавания новых объектов на примере анализа данных о клиентах компании ООО «М-Бит».

Выводы к главе 4.

Введение диссертации (часть автореферата) на тему «Моделирование обобщенных процедур кластеризации и анализ данных сложной структуры»

ТСак известно, кластерный анализ предназначен для разбиения множества объектов на заданное или неизвестное число кластеров на основании некоторого математического критерия качества кластеризации. Процедуры кластерного анализа используются как на стадии предварительной обработки информации при решении задач управления, прогнозирования, принятия решений, позволяя решить проблемы сокращения размерности, структуризации и выявления скрытых закономерностей в имеющейся информации, так- и имеют самостоятельное значение (упорядоченная или неупорядоченная кластеризация объектов заданного множества). Алгоритмы кластеризации достаточно полно и подробно рассмотрены в литературе и отличаются большим разнообразием, которое обусловлено доступной исходной информацией; особенностями критерия качества кластеризации, и его формализацией; выбором метрики, отражающей схожесть объектов; нацеленностью на определенную структуру группировок объектов и др. В связи с этим возникает необходимость сравнения результатов кластеризации, полученной с помощью различных алгоритмов, и выявление такого алгоритма, который в наибольшей степени учитывает специфику данных. Важно, что при этом одно и то же (или почти одно и то же) классификационное разбиение может быть результатом нескольких процедур, поэтому актуальным является исследование существующих взаимосвязей между подходами к кластеризации и моделирования основных компонент процедуры кластеризации с тем, чтобы разбиение данных было нацелено на получение кластеров с определенными свойствами. Вопросы, касающиеся получения, кластеров с заранее заданными качествами, разрабатывались А.Д. Гвишиани, С.М. Агаяном, Ш.Р. Богоутдиновым. Важнейшим фактором, влияющим на выбор алгоритма, является неопределенность. Один из путей усовершенствования1 известных процедур кластерного анализа - их обобщение на «нечеткий» случай, Вопросами разработки нечетких алгоритмов кластеризации занимались J. Bezdek, Е. Gustafson, W. Kessel, I. Gath,. A. B. Geva, U. Kaymak, R. Babuska.

Многие алгоритмы кластеризации позволяют формировать кластеры определенной геометрической формы. Например, алгоритм С-средних (J. Bezdek) позволяет формировать кластеры в форме гиперсфер. Навязывание данным неприсущей им структуры приводит не только к неоптимальным, но иногда и к принципиально неверным результатам. Поэтому появились методы кластеризации, позволяющие извлекать кластеры различной геометрической формы. Е. Gustafson и W. Kessel разработали метод, позволяющий- выделять кластеры в форме гиперэллипсоидов. Вопросы, касающиеся форм кластеров, разрабатывал D.-W. Kim. R. Babuska разработал методы аппроксимации функций с помощью если-то правил эллипсоидальной формы. Проблема учета геометрической формы кластеров при анализе данных требует детального исследования, а разработка методов кластеризации, которые реконструируют форму кластера в процессе его нахождения, позволит повысить адекватность моделей и методов кластерного анализа.

Таким-образом, актуальность темы диссертационной работы обусловлена необходимостью решения перечисленных проблем кластерного анализа.

Связь с планом. Диссертационная работа выполнена в рамках комплексной программы научных исследований кафедры математических методов исследования операций Воронежского государственного университета по направлению «Анализ-и математическое моделирование сложных систем»;

Целью диссертационного исследования Целью диссертационного исследования является разработка новой обобщенной процедуры кластеризации и комплекса моделей и методов кластерного анализа с улучшенными классификационными характеристиками, а также моделей и методов распознавания новых объектов и описания классов, учитывающих особенности исследуемых данных и применимых для анализа данных сложной структуры.

Для достижения цели в диссертационной работе решались следующие задачи:

1. Анализ подходов к решению задачи кластеризации и выявление проблем, улучшающих качество классификационных разбиений.

2. Разработка обобщенного подхода к кластеризации.

3. Формирование модели геометрической формы классов и разработка методов описания классов, позволяющих' учитывать ее как особенность исследуемых данных; разработка методов распознавания новых объектов для данных сложной структуры.

4. Разработка программного обеспечения с современным интерфейсом для реализации комплекса предложенных методов, отличающегося возможностью анализа структуры сложных данных с использованием средств визуализации.

Методы исследования. В диссертационной работе для решения поставленных задач применялись методы оптимизации, линейной алгебры, теории нечетких множеств, теории графов. Для написания программного обеспечения использовалась технология объектно-ориентированного программирования.

Научная новизна работы. В работе получены следующие результаты, характеризующиеся научной новизной:

• Разработан новый унифицированный подход к кластеризации, основанный на схеме алгоритма «Обобщенный Роден», позволяющий получать классификационные разбиения, эффективные с точки зрения любого алгоритма кластеризации, строить кластеры с заранее заданными свойствами, сравнивать классификационные разбиения по качеству, положив основу для систематизации подходов к кластеризации, и встраивать новые критерии качества для получения кластеров с дополнительными полезными свойствами.

• Разработан алгоритм разбиения данных на кластеры с линейной зависимостью, отличающийся тем, что кластеризация данных и описание классов осуществляются одновременно, и позволяющий строить кусочно-линейную аппроксимацию данных.

• Разработан алгоритм распознавания новых объектов, позволяющий на основе подбора весов признаков для имеющегося классификационного разбиения выделять значимые признаки, строить функции принадлежности объектов к классам и распознавать новые объекты.

• Разработан метод распознавания новых объектов, позволяющий на основе выделения центров плотности и радиуса их действия для каждого класса, строить базу правил для описания классов сложной геометрической формы и распознавания новых объектов.

• Разработаны модели и алгоритм для описания геометрической формы классов, позволяющие учитывать особенности сложных данных при их анализе.

Достоверность научных результатов. Научные положения, теоретические выводы и практические рекомендации обоснованы корректным использованием математического аппарата, подтверждены значительным по объему вычислительным экспериментом.

Практическую значимость результатов диссертационного исследования представляет собой программный комплекс КЛАССМОД, разработанный на основе предложенных в работе алгоритмов и позволяющий решать задачи кластеризации, оценки и сравнения классификационных разбиений по системе критериев, описания классов и распознавания новых объектов, визуализации данных.

Результаты внедрения. Результаты диссертационной работы в форме моделей, алгоритмов и программ используются в учебном процессе Воронежского государственного университета и Воронежского государственного технического университета при чтении спецкурсов и для проведения лабораторных занятий. Кроме того, программа КЛАССМОД использовалась для кластерного анализа данных о рейтингах банков, о рейтинге инвестиционных компаний, о колебании курсов валют, для формирования групп клиентов компании ООО «М-Бит».

Апробация работы. Основные научные результаты диссертации докладывались и обсуждались на VII Всероссийской научной конференции с международным участием «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, 2004г.); IX Международной научной конференции «Системный анализ в проектировании и управлении» (Санкт-Петербург, 2005г.); XVIII Международной научной конференции «Математические методы в технике и технологиях - ММТТ-18» (Казань, 2005г.); Международной научной конференции «Современные проблемы прикладной математики и математического моделирования», (Воронеж, 2006г.); Международной научной конференции «Системный , анализ в проектировании и управлении», (Санкт-Петербург, 2006г.), Второй научной школы-семинара по проблемам управления большими системами (Воронеж, 2007 г.), а также на научных семинарах Воронежского госуниверситета.

Публикации. По результатам исследований опубликовано 11 научных работ, в том числе 2 - в изданиях, рекомендованных ВАК РФ. В работах, опубликованных в соавторстве, и приведенных в конце автореферата, лично соискателю принадлежит: в [35] — описание методов кластеризации, реализованных в среде MATLAB, в [56]~новый подход к кластеризации, основанный на выделении кластеров с заранее заданными свойствами, в [57] -основанная идея и алгоритм получения кластеров с линейной зависимостью, [58]-алгоритм «FCM-Роден».

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 121 наименования и 6 приложений на 11 страницах. Основная часть работы изложена на 148 страницах, содержит 70 рисунков и 25 таблиц.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Тарасова, Алина Сергеевна

Выводы к главе 4

I. Произведено сравнение алгоритмов «Форель», ФР1, ФР2. Для этого разработаны системы критериев качества для оценки разбиений на кластеры и предложен метод сравнения алгоритмов кластеризации. Данный метод может служить решающим правилом для выбора алгоритма кластеризации, который следует применять к конкретным данным.

Эксперименты показали, что в целом алгоритм «Форель» выдает более качественные разбиения, чем ФР1, а алгоритм ФР2 превосходит «Форель» на небольшую величину по качеству;

2. Методы кластерного анализа и методы описания кластеров и распознавания новых объектов, разработанные в предыдущих главах, нашли практическую реализацию в специальном программном обеспечении по кластерному анализу;

3. Разработаны структуры данных для эффективного хранения компонентов моделей в памяти и манипулирования списками элементов и параметрами моделей в оперативной памяти ЭВМ;

4. Содержательные компоненты пользовательского интерфейса и графические средства для визуализации данных, комплекс отчетов в текстовом и графическом виде позволяют качественно осуществить анализ данных и разработать эффективные стратегии принятия решений.

ЗАКЛЮЧЕНИЕ

Проведенные в рамках диссертации теоретические исследования позволили получить следующие результаты, имеющие прикладное и научное значение:

1. В рамках доказательства универсальности схемы алгоритма Обобщенный Роден разработаны алгоритмы: a) «Форель-Роден» (2 схемы, первая схема позволяет строить классификационные разбиения, эффективные с точки зрения критерия качества алгоритма «Форель», вторая схема позволяет строить классификационные разбиения с улучшенным качеством и повышенной равномерностью классов) b) «КРАБ-Роден» (разработано 2 схемы. Первая подходит только для неравномерных множеств, у которых есть один большой класс объектов, а остальные точки «фоновые». Вторая ведет к увеличению равномерности. Такой метод подходит как для равномерных, так и для неравномерных множеств), с) Нечеткий алгоритм «FCM-Роден». Предложено два вида степени принадлежности, изучено влияние управляющего параметра на сходимость метода и степень нечеткости классификационного разбиения, а также предложен способ комплексной оценки нечеткого классификационного разбиения.

2. Разработаны следующие алгоритмы описания кластеров и распознавания новых объектов: a) Предложен алгоритм распознавания новых объектов на основе подбора весов признаков для классификационного разбиения, позволяющий строить функции принадлежности объектов для каждого класса. Метод выдает более точные результаты, чем алгоритм кластеризации «Форель» и линейный метод распознавания новых объектов. b) Предложен алгоритм распознавания новых объектов, позволяющий строить покрытие каждого класса множеством гиперсфер разного радиуса. Преимущество данного метода состоит в том, что с его помощью можно описывать кластеры разной формы, а также с помощью правил-гиперсфер малого радиуса возможно достаточно точно описать кластеры, в случае когда близки границы двух кластеров. c) Предложен алгоритм определения геометрической формы кластеров. Он основан на подборе матрицы квадратичной формы для каждого класса и для каждой пары координат. Затем определяется кривая, соответствующая данной матрице - эллипс, гипербола или пара параллельных прямых. Предложено две версии метода. Одна из них находит матрицу квадратичной формы для каждого кластера, не накладывая при это никаких ограничений, во второй версии матрица квадратичной формы задает функцию расстояния, d) Предложен алгоритм кластеризации, который позволяет выделять кластеры с линейной зависимостью. Данный метод рекомендуется применять в том случае, если не удается применить метод линейной регрессии к данным. Метод позволяет строить кусочно-линейную зависимость данных. Предложено три вида функции принадлежности для работы с данным методом.

3. На основе предложенных алгоритмов создан программный комплекс «КЛАССМОД», позволяющий производить анализ данных предложенным методами и производить анализ результатов.

4. Основные теоретические и практические результаты работы прошли успешную проверку при анализе данных об инвестиционных компаниях, данные о рейтинге банков, колебание курсов валют евро-доллар, а также данные о клиентах компании ООО «М-Бит».

Список литературы диссертационного исследования кандидат технических наук Тарасова, Алина Сергеевна, 2007 год

1. Азарнова Т.В., Методы оптимизации. Элементы теории, алгоритмы и примеры/ Азарнова Т.В. Каширина И.Л., Чернышова Г.Д. // Воронеж: Изд-во ВГУ, 2000.

2. Айвазян С.А. Классификация многомерных наблюдений / Айвазян С.А., БежаеваЗ.И., Староверов О.В. М.: Статистика, 1974.-240 с.

3. Айвазян С.А. Прикладная статистика и основы эконометрики. Учебник для вузов / Айвазян С.А., Мхитарян B.C. М.: ЮНИТИ, 1998,-1022 с.

4. Айвазян С.А. Прикладная статистика. Классификация и снижение размерности / Айвазян С.А., Бухштабер В.М., Енюков И.С, Мешалкин Л.Д. -М.: Финансы и статистика, 1989, 607 с.

5. Александров В.В. Анализ данных на ЭВМ (на примере системы СИТО) / Александров В.В., Алексеев А.И., Горский Н.Д. М.: Финансы и статистика, 1990, 192 с.

6. Андерсон Т. Введение в многомерный статистический анализ. -М.:-ФИЗМАТГИЗ, 1963. 500 с.

7. Архангельский А.Я. Delphi 6. Справочное пособие./ А.Я. Архангельский. М: ЗАО «Издательство БИНОМ», 2001.-1024 с.

8. Бокий Г.Б. Вопросы классификации и системного подхода в минералогии / Классификация в современной науке. Сборник научных трудов, Новосибирск, Наука, 1989, с. 87 100.

9. Боровиков В. STATISTICA: искусство анализа данных на компьютере. Для профессионалов. СПб.: Питер, 2001. - 655 с.

10. Ю.Гайдышев И. Анализ и обработка данных. Специальный справочник. /И. Гайдышев. Спб: Питер, 2001.-355 с.

11. П.Гвишиани А.Д. О новом подходе к кластеризации / А.Д. Гвишиани, С.М. Агаян, Ш.Р. Богоутдинов //Кибернетика и системный анализ. 2002. —№2.-С.104-122.)

12. Гнеденко Б.В. Курс теории вероятностей. M.-JI.: 1950, 387 с.

13. Головкин Б.А. Машинное распознавание и линейное программирование/ Б.А. Головкин -М.: «Советское радио», 1973-100с.

14. Н.Горелик А. Д., Скрипкин В. А. Методы распознавания. М.: Высшая школа , 1986.

15. Гублер Е. В. Вычислительные методы анализа и распознавания патологических процессов. Л.: Медицина , 1984.

16. Деньги. №21 325. 30.05.2001.

17. Дорофеюк А.А. Алгоритмы автоматической классификации (обзор) //Автоматика и телемеханика, 1971, № 12, с. 78 113.

18. Дорофеюк А.А. Алгоритмы автоматической классификации (обзор) //Автоматика и телемеханика, 1971, № 12, с. 78 113.

19. Дубров A.M., Мхитарян B.C., Трошин Л.И. Многомерные статистические методы: Учебник. М.: Финансы и статистика, 2000. — 352 с.

20. Дюран Б., Оделл П. Кластерный анализ / Пер с англ.- М.: Статистика, 1977. -128 с.

21. Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов (Статистические методы классификации и измерения связей). М.: статистика, 1977, 245 с.

22. Жамбю М. Иерархический кластер анализ и соответствия: пер. с фр. -М.: Финансы и статистика, 1988, 243 с.

23. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений.-М.:Мир, 1976.-165 с.

24. Интерпретация и анализ данных в социологических исследованиях. М.: Наука, 1987. - 252 с.

25. Кендалл М., Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1976, - 736 с.31 .Классификация и кластер. Под ред. Дж. Вэн. Райзин. М.: Мир, 1980, 389с.

26. Князева Е.Н., Курдюмов СП. Будущее и его горизонты: методология в прогнозировании. В сб. Синергетика. Труды семинара. Т.4. Естественнонаучные, социальные и гуманитарные аспекты. М.: МГУ, 2001. -с.5- 19.

27. Кострикин А.И. Манин Ю.И. Линейная алгебра и геометрия. М.: Наука, 1986.

28. Кофман, А. Введение в теорию нечетких множеств / Пер. с фр. В. Б. Кузьмина; Под ред. С. И. Травкина .— М. : Радио и связь, 1982 .— 431, 1. с. : ил., табл. —Парал. тит. л. фр. — 25.00.

29. Леденева Т.М., Тарасова А.С., Татаркин Д.С. Основы нечеткого моделирования в среде MATLAB. Воронеж: Издательско-полиграфический центр ВГУ, 2006. - 52с.

30. Любищев А.А. О критериях реальности в таксономии. // Информационные вопросы семиотики, лингвистики и автоматического перевода. М.: ВИНИТИ, 1971, вып. 1, с.67 82.

31. Любищев А.А. О количественной оценке сходства. В сб.: Применение математических методов в биологии. ЛГУ, 1969.

32. Мальцев А.И. Основы линейной алгебры.М.: Наука, 1975.

33. Мандель И.Д. Кластерный анализ. М.: Финансы и статистика, 1988,-176 с: ил.

34. Математические методы анализа и интерпретация социологических данных. М.: Наука, 1989. - 173 с.

35. Математические методы анализа и интерпретация социологических данных. М.: Наука, 1989. - 173 с.

36. Матчо Д. Delphi /Д. Матчо, Д.Р. Фолкнер: Пер. с англ.- М:«Бином», 1995.-464 с.

37. Миркин Б.Г. Анализ.качественных признаков и структур/ Б.Г. Миркин.- М: «Статистика», 1980.-319 с.

38. Миркин Б.Г. Анализ качественных признаков. М.: Статистика, 1976, 166 с.

39. Многомерные классификации в социально экономических исследованиях. Отв. ред. В. Жуковская. М.: 1973, вып. 2.

40. Мучник И.Б., Новиков С.Г., Петренко Е.С. Метод структурный классификации в задаче построения типологии городов по социально- демографическим характеристикам населения // Социологические исследования, 1975, №2.

41. Орлов А.И. Заметки по теории классификации. Социология: методология,методы, математические модели. 1991, № 2, с.28 -50. 48.Орлов А.И. Эконометрика: учебник для вузов. М.: Экзамен, 2003, - 576 с.

42. Прим Р.К. Кратчайшие связывающие сети и некоторые обобщения / Р.К. Прим Кибернетический сборник. 1961.- №2. - С. 95-107.

43. Прохоров Ю.В., Розанов Ю.А. Теория вероятностей. -М.: Наука, 1967, 237 с. 51 .Распознавание образов в социальных исследованиях. Отв. ред. Загоруйко

44. Н.Г., Заславская Т.И. Новосибирск, Наука, 1968, 196 с.

45. Распознавание образов и медицинская диагностика / Под ред. Ю. Неймарка. М.: Наука, 1972.

46. Тарасова А.С. Методы определения оптимальной геометрической формы в задачах кластерного анализа // Информационные технологии 2007. -№11.- С. 14-21.

47. Тарасова А.С. Модификация алгоритма кластеризации С-средних на основе использования объемных прототипов и слияния схожих кластеров // Вестник ВГУ. Серия «Системный анализ и информационные технологии». -Воронеж: Изд-во ВГУ, 2007. №3. - С.

48. Тарасова А.С. Об одном методе распознавания данных // Современные проблемы прикладной математики и математического моделирования. — Воронеж: Изд-во ВГУ, 2006. С. 217 - 218.

49. Тарасова А.С. Об одном методе распознавания данных на основе если-то правил // Системный анализ в проектировании и управлении: Труды X Междунар. научн. конф. Санкт-Петербург: Изд-во Политехнического университета, 2006. - С.

50. Тарасова А.С. Адаптивные если-то правила / Вестник факультета прикладной математики и механики. Вып. 6. - Воронеж: Изд-во ВГУ, 2007. -С. 169-181.

51. Тарасова А.С. Индексы сходства и включения. Использование в задачах кластерного анализа // Управление большими системами. Труды второй научн. школы-семинара. М.: ИПУ РАН, 2007. - С.

52. Т.М. Леденева. Обработка нечеткой информации/ Воронеж: Воронежский государственный университет, 2006.-233 с.

53. Тейксейра С. Delphi 5. Руководство разработчика, том 1. Основные методы и технологии программирования / С. Тейксейра, К. Пачеко: Пер. с англ. М.: Издательский дом «Вильяме», 2001.-832 с.

54. Терёхина А.Ю. Анализ данных методами многомерного шкалирования/ А.Ю. Терёхина-М.: «Наука», 1986- 166 с.

55. Типология и классификация в социологических исследованиях. М.: Наука, 1982, 296 с.

56. Толстова Ю.Н. Глава 2. Этапы решения задач типологии. Комплексное использование математических методов. В кн.: Типология и классификация. М.: Наука, 1982, с. 29 - 56.

57. Тюрин Ю.Н. Анализ данных на компьютере/ 3-е изд., перераб. и. доп. М: ИНФРА-М, 2003.-543 с.

58. Факторный, дискриминантный и кластерный анализ: Пер. с англ./ Под ред. И. С. Енюкова. М.: Финансы и статистика. 1989. - 215с: ил.

59. Шрейдер Ю.А. Логика классификации. Научно -техническая информация, Сер. 1, 1973, №5, с.З - 7.

60. A1-Sultan, К. S. Computational experience on four algorithms for the hard clustering problem / K. S Al-Sultan, M. M. Khan // Pattern Recogn. Lett. 17, 3, 1996, 295-308.

61. Anderberg, M. R. Cluster Analysis for Applications / M.R. Anderberg // Academic Press, Inc., NewYork, NY. 1973.

62. Auguston, J.G. Ananalysis of some graph theoretical clustering techniques / J.G. Auguston, J. Minker// J. ACM 17, 4 (Oct. 1970), 571-588.

63. Babu, G.P. A near-optimal initial seed value selection in K-means algorithm using a genetic algorithm / G.P. Babu, M.N. Murty //Pattern Recogn. Lett. 14, 10 (Oct. 1993), 763-769.

64. Babuska, R. An Overview of fuzzy modeling for control/ R. Babuska, H.B. Verbruggen//Control Engineering Practice 4(11), 1996, pp. 1593-1600.

65. Babuska, R. Identification of composite linear models via fuzzy clustering/ R. Babuska, H.B. Verbruggen// Proceedings European Control Conference, Rome, Italy, 1995, pp.1207—1212.

66. Bezdek, J. Pattern Recognition with Fuzzy Objective Function. Plenum Press, New York, 1981.

67. Bhuyan, J.N. Genetic algorithm for clustering with an ordered representation / J.N. Bhuyan, V.V. Raghavan, K.E. Venkatesh // In Proceedings of the Fourth International Conference on Genetic Algorithms, 1991. 408-415.

68. Carpenter, G. ART3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures /G. Carpenter, S. Grossberg // Neural Networks 3, 1990. 129-152.

69. Chiu, Stephen L. An Efficient Method for Extracting Fuzzy Classification Rules from High Dimensional Data / Stephen L. Chiu // J. Advanced Computational Intelligence, Vol. l,No. 1, 1997

70. Chiu, Stephen L. Extracting Fuzzy Rules from Data for Function Approximation and Pattern Classification / Stephen L. Chiu // Fuzzy Information Engineering: A Guided Tour of Applications, ed. D. Dubois, H. Prade, and R. Yager, John Wiley & Sons, 1997.

71. Diday, E. Clustering analysis / E. Diday, J. C. Simon // Digital Pattern Recognition, Ed. Springer-Verlag, Secaucus, NJ, 1976, 47-94.

72. Diday, E. .The symbolic approach in clustering / E. Diday // Classification and Related Methods, Ed. North-Holland Publishing Co., Amsterdam, The Netherlands. 1988.

73. Dubes, R. C. How many clusters are best? — an experiment / R.C. Dubes // Pattern Recogn. 20,6 (Nov. 1, 1987), 645-663.

74. Everitt B. Cluster Analysis. New York, 1974.

75. Fisher, L. Admissible clustering procedures / L. Fisher, J. W. Van Ness // Biometrika 58, 1971.91-104.

76. Fu, K.S. A clustering procedure for syntactic patterns // K.S. Fu, S.Y. Lu/ЯЕЕЕ Trans. Syst. Man Cybern. 7, 1977. 734-742.

77. Fukunaga, K. Introduction to Statistical Pattern Recognition / K. Fukunaga // 2nd ed. AcademicPress Prof., Inc., San Diego, CA. 1990.

78. G.R. Dattatreya and L.N. Kanal, Decision Trees in Pattern Recognition / L.N. Kanal, A. Rosenfeld (Editors), Elsevier Science Publishers B.V. (North-Holland), 1985.

79. Gowda, К. C. Agglomerative clustering using the concept of mutual nearest neighborhood//K.C. Gowda, G. Krishna//PatternRecogn. 10, 1977. 105-112.

80. Gowda, K.C. Symbolic clustering using a new dissimilarity measure / K.C. Gowda, E. Diday // IEEE Trans. Syst. Man Cybern. 22, 1992. 368-378.

81. Gustafson, E. Fuzzy clustering with a fuzzy covariance matrix/ E. Gustafson, W. Kessel // Proc. IEEE Conf. Decision Control, 1979, 761-766.

82. Ichino, M. Generalized Minkowski metrics for mixed feature-type data analysis/

83. M. Ichino, H. Yaguchi// IEEE Trans. Syst. Man Cybern. 24, 1994, 698-708. 94.Ismail, M. A. Multidimensional data clustering utilizing hybrid search strategies / M. A. Ismail, M. S Kamel // Pattern Recogn. 22, Jan. 1989, 75-89.

84. Jain, A.K. Algorithms for Clustering Data / A.K. Jain, R. C. Dubes // Prentice-Hall advanced reference series. Prentice-Hall, Inc., Upper Saddle River, NJ. 1988.

85. Jarvis, R.A. Clustering using a similarity method based on shared near neighbors / R.A. Jarvis, E.A. Patrick // IEEE Trans. Com-put. C-22, 8 (Aug.), 1973. 10251034.

86. Jones, D. Solving partitioning problems with genetic algorithms / D. Jones, M.A. Beltramo // In Proceedings of the Fourth InternationalConference on Genetic Algorithms, 1991. 442-449.

87. Kim, D.-W. Detecting clusters of different geometrical shapes in microarray gene expression data/ D.-W. Kim, К. H. Lee, D. Lee // BIOINFORMATICS. № 21. - 09. 2005 .- C. 1927-1934.

88. Klawonn, F. Constructing a Fuzzy Controller from Data / F. Klawonn, R. Kruse // Fuzzy Sets and Systems, 85, pp. 177-193, 1997.

89. Knuth, D. The Art of Computer Programming / D. Knuth // Addison-Wesley, Reading, MA. 1973.

90. Kohonen, Т. Self-Organization and Associative Memory / T. Kohonen // 3rd ed. Springer information sciences series. Springer-Verlag, New York, NY. 1989.

91. L. Breiman, J.H. Friedman, R.A. Olshen and C.J. Stone, Classification and Regression Trees, Wadsworth & Brooks/Cole, Montrey, CA, 1984.

92. Mao, J. A self-organizing network for hyperellipsoidal clustering (НЕС) / J. Mao, A. K. Jain // IEEE Trans. Neural Netw. 7, 1996, 16-29.

93. Michalski, R. Automated construction of classifications: conceptual clustering versus numerical taxonomy /R. Michalski, R.E. Stepp, E. Diday // IEEE Trans. Pattern Anal. Mach. Intell. PAMI-5, 5 (Sept.), 1983.396-409.

94. Mishra, S. K. An empirical study of the performance of heuristic methods for clustering / S. К Mishra, V. V Raghavan // Pattern Recognition in Practice 1994, 425-436.

95. Nauck, D. Foundations of Neuro-Fuzzy Systems / D. Nauck, F. Klawonn, R. Kruse // Wiley, Chichester, 1997.

96. Ozawa, K. A stratificational overlapping cluster scheme / K. Ozawa // Pattern Recogn. 18, 1985.279-286.

97. Pal, N.R. Generalized clustering networks and Kohonen's self-organizing scheme / N.R. Pal, J.C. Bezdek, E. C-K. Tsao // IEEE Trans. Neural Netw. 4, 1993. 549-557.

98. Raghavan, V.V. A clustering strategy based on a formalism of the reproductive process in a natural system / V.V. Raghavan, K. Birchard // In Proceedings of the Second International Conference on Information Storage and Retrieval, 1979. 1022.

99. Raghavan,V.V. A comparison of the stability characteristics of some graph theoretic clustering methods / V.V. Raghavan, C.T. Yu // IEEETrans. Pattern Anal. Mach. Intell. 3, 1981. 393-402.

100. Rose, K. Deterministic annealing approach to constrained clustering // K. Rose, E. Gurewitz, F.C. Fox // IEEE Trans. PatternAnal. Mach. Intell. 15, 1993. 785-794.

101. Selim, S. Z. K-meanstype algorithms: A generalized convergence theorem and characterization of local optimality / S. Z Selim, M. A Ismail //IEEE Trans. Pattern Anal. Mach. Intell 6, 1984, 81-87.

102. Takagi,T. Fuzzy identification of systems and its application to modeling and control / T. Takagi, M. Sugeno // IEEE Trans. On Systms, Man & Cybernetics, vol.15, pp. 116-132, 1985.

103. Toussaint, G. T. The relative neighborhood graph of a finite planar set / G.T. Toussaint // PatternRecogn. 12, 1980. 261-268.

104. Usay Kaymak. Extended fuzzy clustering algorithms / Usay Kaymak and Magne Setnes // Erim Report Series Research in Management, November 2000, 24 pages.

105. Watanabe, S. Pattern Recognition: Human and Mechanical / S. Watanabe // John Wiley and Sons, Inc., New York, NY. 1985.

106. Wilson, D.R. Improved heterogeneous distance functions / D.R. Wilson, T. R. Martinez // J. Artif. Intell. Res. 6, 1997. 1-34.119. www.banks-rate.ru.

107. Zadeh, L. Fuzzy sets as a basis for a theory of possibility / Fuzzy Sets and Systems 1, 3-28, 1978.

108. Zahn, C.T. Graph-theoretical methods for detecting and describing gestalt clusters / C.T. Zahn // IEEE Trans. Comput. C-20 (Apr. 1971), 68-86.