Совершенствование самоорганизующихся нейронных сетей Кохонена для систем поддержки принятия решений тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Рыжков, Владимир Александрович

• Рыжков, Владимир Александрович
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Рыжков, Владимир Александрович

Введение.

Глава 1. Самоорганизующиеся карты Кохонена как метод аналитической обработки данных.

1.1. Анализ современных методов интеллектуального анализа данных.

1.2. Классическая модель СОКК и алгоритм ее обучения.

1.3. Подготовка и предобработка данных для нейронной сети.

1.4. Построение визуальных топографических карт для СОКК.

Выводы по главе 1.

Глава 2. Модель сети Кохонена с замкнутой решеткой, оценка ее точности и качества.

2.1. Проблемы применения классической модели СОКК.

2.2. Способы устранения граничного эффекта.

2.3. Новый метод связи соседних нейронов сети.

2.4. Новые модели СОКК с замкнутой решеткой для устранения граничного эффекта.

2.5. Оценка точности и качества обучения сети с замкнутой решеткой.

2.6. Сравнение с замкнутой сетью треугольной топологии.

Выводы по главе 2.

Глава 3. Применение методики анализа данных с помощью разработанной нейронной сети.

3.1. Методика анализа данных с помощью СОКК с замкнутой решеткой,

3.2. Анализ данных о производстве готовой продукции на ОАО "МЗКРС".

3.3. Анализ результатов конструкторских расчетов конических зубчатых передач с круговыми зубьями.

Выводы по главе 3.

Глава 4. Комплекс программ для анализа данных с применением карт Кохонена и расчет алгоритмической эффективности.

4.1. Основные модули комплекса программ.

4.2. Динамически присоединяемая библиотека, ее параметры и методы.

4.3. Разработанное приложение для Microsoft Excel.

4.4. Алгоритм принятия решений с помощью СОКК.

4.5. Алгоритм построения объемной сферической поверхности для визуального отображения глобуса замкнутой СОКК.

4.6. Расчет и оценка алгоритмической эффективности нового алгоритма поиска нейронов-соседей.

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Совершенствование самоорганизующихся нейронных сетей Кохонена для систем поддержки принятия решений»

Современный уровень развития аппаратных и программных средств с некоторых пор сделал возможным повсеместное ведение баз данных оперативной информации на всех уровнях управления. В процессе своей деятельности промышленные предприятия, корпорации, органы государственной власти и управления накопили большие объемы разнородных данных. Эти данные хранят в себе большие потенциальные возможности по извлечению полезной аналитической информации, на основе которой можно выявлять скрытые тенденции, строить стратегию развития, находить новые решения.

В последние годы используются следующие концепции накопления и анализа данных:

• хранилища данных (англ.: Data Warehouse) [1, 2, 3];

• оперативная аналитическая обработка данных (англ.: On-Line Analytical Processing, OLAP) [4];

• интеллектуальный анализ данных (англ.: Data Mining) [5].

Целью построения хранилища данных является интеграция, актуализация и согласование оперативных данных из разнородных источников для формирования единого непротиворечивого взгляда на объект управления в целом.

Задачами оперативной аналитической обработки данных является обобщение, агрегация, многомерный анализ и гиперкубическое представление информации, собранной в хранилище данных [7].

Интеллектуальный анализ данных — это процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей

5].

Системы обработки данных разделяются на два класса:

• системы, ориентированные на транзакционную обработку данных (СОД);

• системы, ориентированные на аналитическую обработку данных

- системы поддержки принятия решений (СППР).

СОД предназначены для решения хорошо структурированных задач, по которым имеются входные данные, известные алгоритмы, ведущие к решению задач. Система работает с минимальным участием человека. Основными функциями СОД являются сбор данных и перенос их на машинные носители, передача в места хранения и обработки, хранение, обработка информации по стандартным алгоритмам, вывод и представление информации пользователю в виде регламентных форм [6].

СППР используются для решения в режиме диалога плохо структурированных задач, для которых характерна неполнота входных данных, частичная ясность целей и ограничений. Участие человека в работе системы велико, он может вмешиваться в ход решения, модифицировать входные данные, процедуры обработки, цели и ограничения задачи, выбирать стратегии оценки вариантов решений. СППР используется на уровне стратегического планирования, оперативного и управленческого контроля [6].

Настоящая диссертационная работа посвящена вопросам повышения эффективности принятия решений с использованием*современных методов интеллектуального анализа данных в СППР.

С помощью современных методов интеллектуального анализа данных можно решаются следующие категории задач [8]:

1. Задачи классификации. Использование методов позволяет выявить признаки, характеризующие однотипные группы объектов - классы,

- для того чтобы по известным значениям этих характеристик можно было отнести новый объект к тому или иному классу. Методами решения задачи классификации являются: метод к-средних [9], байесовые сети [10], деревья решений [11], нейронные сети [12].

2. Задачи кластеризации. Логически продолжают идею классификации на более сложный случай, когда сами классы заранее не определены. Результатом использования методов, выполняющих кластеризацию, является определение тех присущих исследуемым данным признаков, которые разбивают их на группы. Такие группы данных называются кластерами. Объекты данных внутри кластеров "похожи" друг на друга и "отличаются" от объектов данных других кластеров. Методами решения задачи кластеризации являются нейронные сети, обучаемые без учителя - самоорганизующиеся карты Кохонена [13].

3. Задачи ассоциации. Методы выполняет поиск ассоциаций не на основе значений свойств одного объекта или события, а между двумя или несколькими одновременно наступающими событиями. При этом производимые правила указывают на то, что при наступлении одного события с той или иной степенью вероятности наступает другое.

4. Задачи выявления шаблонов последовательностей. Подобно ассоциациям, последовательности имеют место между событиями, но наступающими не одновременно, а с некоторым определенным разрывом во времени. Таким образом, ассоциация есть частный случай шаблона последовательности с нулевой временной задержкой.

5. Задачи прогнозирования. Методы выполняют оценку определенных будущих численных показателей системы на основе особенностей поведения текущих и исторических данных. Методами решения задачи являются методы получения статистических закономерностей, методы регрессионного и корреляционного анализа.

В диссертационной работе используются современные методы интеллектуального анализа данных, решающие задачи кластеризации, а именно самоорганизующиеся нейронные сети Кохонена.

Целью диссертационной работы является повышение эффективности систем поддержки принятия решений за счет применения усовершенствованной модели самоорганизующейся нейронной сети Кохонена.

Для достижения поставленной цели были решены следующие научные и практические задачи:

- исследование алгоритма работы классической модели самоорганизующейся нейронной сети Кохонена, его недостатков и существующих способов их устранения;

- разработка и исследование усовершенствованной модели нейронной сети Кохонена для устранения недостатков сетей этого типа: граничного эффекта и появления "мертвых" нейронов;

- повышение алгоритмической эффективности применения самоорганизующихся нейронных сетей при решении задач анализа данных в системах поддержки принятия решений; обеспечение встраиваемости полученных программно-алгоритмических результатов в различные системы поддержки принятия решений.

Методы исследования

При решении задач, поставленных в работе, были использованы методы теории нейронных сетей. Для анализа качества работы нейронных сетей использовался критерий энтропии, используемый в теории информации. Для программной реализации использованы методы структурного и объектно-ориентированного анализа и программирования.

Научная новизна работы заключается в следующих положениях:

- разработана и исследована усовершенствованная модель нейронной сети Кохонена, которая, устраняет недостатки нейронных сетей этого типа, а также повышает точность и качество аппроксимации анализируемых данных;

- предложен новый метод установки связей между нейронами в решетке сети разработанной модели, который упрощает алгоритм установления размеров топологических областей соседства;

- определена и доказана эффективность применения усовершенствованной модели сети Кохонена в задачах кластерного анализа.

Практическая ценность работы заключается в:

- разработке методики анализа данных с помощью предложенной модели нейронной сети Кохонена;

- разработке программного решения в виде динамической библиотеки функций с открытым интерфейсом, которая обеспечивает возможность встраивания и использования разработанной модели нейронной сети в системах поддержки принятия решений.

Достоверность положений

Достоверность научных положений настоящей работы подтверждена сравнением оценок точности и качества аппроксимации данных нейронными сетями разработанной и классической моделей Кохонена. В качестве критерия точности использовался критерий ошибки квантования из теории нейронных сетей, а в качестве критерия качества — критерий энтропии. Достоверность полученных результатов подтверждается также итогами применения разработанных алгоритмов на практике.

Апробация работы

Основные положения диссертационной работы докладывались и обсуждались на расширенных заседаниях кафедры "Теоретической механики" и научных семинарах в ГОУ ВПО МГТУ "Станкин", а также - международных и всероссийских научно-технических конференциях: VIII-ая научная конференция ГОУ ВПО МГТУ "Станкин" и "Учебно-научного центра математического моделирования ГОУ ВПО МГТУ "Станкин" - ИММ РАН", Москва, 2005 г.; Х-я Международная открытая научная конференция "Современные проблемы информатизации в технике и технологиях" (Воронеж, Воронежский государственный технический университет, 2005 г.); VIII Международная научно-техническая конференция "Информационно-вычислительные технологии и их приложения" (Пенза, МНИЦ ПГСХА, 2008 г.); Научно-методическая конференция "Машиностроение -традиции и инновации" (Москва, ГОУ ВПО МГТУ "Станкин", 2008 г.).

Реализация работы

Разработанное в настоящей диссертационной работе программное обеспечение (ПО), реализующее работу новой модели нейронной сети Ко-хонена, применялось для решения двух разнородных практических задач:

- разработанное ПО внедрено как модуль в систему менеджмента качества автоматизированной информационной системы управления производством шовного хирургического материала "ИГЛА" на ОАО "Московский завод координатно-расточных станков" (ОАО "МЗКРС") с целью выявления причин и скрытых закономерностей в появлении высокого процента брака готовой продукции. Имеется акт о внедрении в промышленную эксплуатацию;

- разработанное ПО использовалось на кафедре "Теоретическая механика" ГОУ ВПО МГТУ "Станкин" для анализа результатов моделирования работы конических зубчатых передач с круговыми зубьями в программном комплексе (ПК) "ЭКСПЕРТ", разработанном на кафедре, с целью выявления характеристик этих передач, влияющих на необходимость изготовления нестандартного режущего инструмента.

Публикации. По теме диссертационной работы опубликовано 7 научных работ, включая 2 научные работы в рецензируемых журналах из Перечня ВАК РФ, а также тезисы докладов, подготовленных для международных и региональных научно-технических конференций.

Структура и объем. Диссертация состоит из введения, 4 глав, основных результатов и выводов, списка используемой литературы из 68 наименований, изложена на 150 страницах машинописного текста, включая 54 рисунка и 12 таблиц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Рыжков, Владимир Александрович

Выводы по главе 4

Разработанное программное решение с открытым интерфейсом в виде динамически присоединяемой библиотеки обеспечивает возможность его встраивания в системы поддержки принятия решений для обеспечения возможности анализа данных с применением самоорганизующихся нейронных сетей Кохонена разработанной и классической моделей.

Новый метод поиска нейронов-соседей в решетке нейронной сети Кохонена, разработанный в настоящей диссертационной работе, является алгоритмически более эффективным по сравнению с классическим методом поиска нейронов-соседей в сети Кохонена при любом количестве нейронов в сети и при заданном диапазоне изменения значений радиуса соседства.

Заключение

В диссертационной работе получены следующие результаты:

Решена актуальная научная задача, имеющая существенное значение для повышения эффективности систем поддержки принятия решений за счет применения усовершенствованной модели самоорганизующейся нейронной сети Кохонена с замкнутой решеткой.

Установлены связи между способами соединения нейронов на границах решетки сети Кохонена и эффективностью аппроксимации ею входного набора анализируемых данных.

Разработан новый метод установки связи между нейронами в решетке замкнутой сети и описана его математическая модель, упрощающая алгоритм установления размеров топологических областей соседства.

На основании проведенных исследований подтверждено, что разработанная модель нейронной сети решает проблемы граничного эффекта и появления "мертвых нейронов", свойственные классической модели сети этого типа, а также увеличивает точность и качество аппроксимации анализируемых данных.

Разработано программное обеспечение в виде динамической библиотеки функций с открытым интерфейсом, обеспечивающей встраивание и возможность использования разработанных программных инструментов интеллектуального анализа данных в системах поддержки принятия решений.

Разработан программный интерфейс пользователя, позволяющий наряду с подготовкой данных и обучением нейронной сети выполнять автоматизированный поиск закономерностей в данных на основе результатов ее обучения.

Получены практические результаты, иллюстрирующие актуальность и эффективность применения новой модели сети Кохонена в задачах выявления скрытых закономерностей в данных, учитываемых при принятии решений на этапе массового производства шовного хирургического инструмента и этапе конструкторской разработки мелкосерийного производства конических зубчатых передач с круговыми зубьями.

Список литературы диссертационного исследования кандидат технических наук Рыжков, Владимир Александрович, 2010 год

1. 1.mon W. H. Building The Data Warehouse (Second Edition) // New York, NY: John Wiley, 1993.

2. Сахаров А. А. Концепция построения и реализации информационных систем, ориентированных на анализ данных // СУБД. 1996. - № 4. - С. 55-70.

3. Рыжков В.А. Концепции и технологии построения хранилищ данных на основе автоматизированной информационной системы поддержки принятия решений. ОБЪЕДИНЕННЫ НАУЧНЫЙ ЖУРНАЛ № 3 (131) // М.: Фонд научных публикаций, 2005. — с. 58- 60.

4. Codd Е. F., Codd S. В., Salley С. Т. Providing OLAP (On-Line Analytical Processing) to User-Analysts: An IT Mandate // E. F. Codd & Associates, 1993.

5. Parsaye K. A Characterization of Data Mining Technologies and Processes // The Journal of Data Warehousing, 1998. № 1.

6. Системный анализ и принятие решений: Словарь-справочник: Учебное пособие для вузов / Под ред. В. Н. Волковой, В. Н. Козлова. — М.: Высшая школа, 2004. 616 с.

7. Сахаров А. А. Принципы проектирования и использования многомерных баз данных (на примере Oracle Express Server) // СУБД, 1996. № 3. - С. 44-59.

8. Баин А. М. Современные информационные технологии систем поддержки принятия решений: учебное пособие // М.: ИД "ФОРУМ", 2009. 240 с.

9. Aha D. W., Salzberg S. L. Learning to Catch: Applying Nearest Neighbor Algorithms to Dynamic Control Tasks / In P. Cheesman & R. W. Oldford (Eds.) Selecting Models from Data: Artificial Intelligence and Statistics // New York, NY: Springer-Verlag, 1993.

10. Heckerman D. Bayesian Networks for Data Mining // Data Mining and Knowledge Discovery, 1997. № 1. - pp. 79-119.

11. Hunt E.B., Marin, J., Stone, P.J. Experiments in induction // New York: Academic Press, 1966.

12. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика // М.: Мир, 1992.

13. Kohonen Т. Self-organizing Maps // Springer Series in Information Sciences, V.30, Springer, Berlin, Heidelberg, New York, 2001. 501 p.

14. Болотова JI.С., Комаров М.Я., Смольянинов А. А. Системы искусственного интеллекта: Теоретически основы СИИ и формальные модели представления знаний: Учебное пособие // М.: Издательство МИРЭА (ТУ), 1998.-108 с.

15. Девятков В. В. Системы искусственного интеллекта: Учебное пособие // М.: Издательство МГТУ им. Н. Э. Баумана, 2001. 352 с.

16. Villman Т., Der R., Hermann M., Martinetz Т. M. Topology preservation in self-organizing maps: exact definition and measurement // IEEE Transactions on Neural Networks, 8, 1997. pp. 256-266.

17. Rodrigues J. S., Almeida L. B. In Proc. INN'90, Int. Neural Networks Conference // Kluwer, Dordrecht, Netherlands, 1990. — p. 813.

18. Rodrigues J. S., Almeida L. B. In Neural Networks: Advances and Applications, / ed. by Gelenbe E. — North-Holland, Amsterdam, Netherlands, 1991. -p.63

19. Fritzke B. In Proc. IJCNN'91, Int. Joint Conf. on Neural Networks // IEEE Service Center, Piscataway, NJ, 1991. p. 531.

20. Fritzke B. In Artificial Neural Networks / ed. by Kohonen T., Makisara K.,

21. Simula O., Kangas J. — North-Holland, Amsterdam, Netherlands, 1991. p.l-403.

22. Fritzke B. Arbeitsbericht des IMMD // Universität Erlangen-Nurnberg 25, 9, 1992.

23. Fritzke B. In Artificial Neural Networks / ed. by Aleksander I., Taylor J. -North-Holland, Amsterdam, Netherlands, 1992. p. 11-1051.

24. Fritzke B. PhD Thesis // Technische Fakultat, Universität Erlangen-Nurnberg, Erlangen, Germany, 1992.

25. Fritzke B. In Advances in Neural Information Processing Systems 5 / ed. by

26. Giles L., Hanson S., Cowan J. Morgan Kaufmann, San Mateo, CA, 1993. — p. 123.

27. Fritzke B. In Proc. 1993 IEEE Workshop on Neural Networks for Signal Processing // IEEE Service Center, Piscataway, NJ, 1993.

28. Fritzke B. Technical Report TR-93-026 // Int. Computer Science Institute, Berkeley, CA, 1993.

29. Fritzke B. In Proc. ICANN'93, Int. Conf. on Artificial Neural Networks / ed. by Gielen S., Kappen B. Springer, London, UK, 1993. - p. 580.

30. Blackmore J., Miikulainen R. Technical Report TR AI 92-192 // University of Texas at Austin, Austin, TX, 1992.

31. Blackmore J., Miikulainen R. In Proc. ICNN'93, Int. Conf. on Neural Networks // IEEE Service Center, Piscataway, NJ, 1991. p. 1-450.

32. Szepesvari S., Lurinez A.: In Proc. ICANN-93. Int. Conf. on Artificial Neural Networks / ed. by Gielen S., Kappen B. — Springer, London, UK 1993. p. 678.

33. Szepesvari S., Lurinez A.: In Proc. WCNN'93, World Congress on Neural Networks // INNS, Lawrence Erlbaum, Hillsdale, NJ, 1993. p. 11-497.

34. Allinson N. M., Brown M. Т., Johnson М. J.: In IEE Int. Conf. on Artificial Neural Networks, Publication 313 // IEE, London, UK , 1989. p. 261.

35. Allinson N. M., Johnson M. J.: In New Developments in Neural Com-putting, / ed. by Taylor J. G., Mannion C. L. T. Adam-Hilger, Bristol, UK, 1989.-p. 79.

36. Flexer A. On the Use of Self-Organizing Maps for Clustering and Visualization // Principles of Data Mining and Knowledge Discovery, 1999. pp. 80-88.

37. Нечаева О. И. Сравнительный анализ нейросетевых алгоритмов кластеризации символьных последовательностей // Автометрия. Том 41, №1, 2005. с. 57-70.

38. Ong J. Data Mining Using Self-Organizing Kohonen Maps: A Technique for Effective Data Clustering & Visualization // International Conference on Artificial Intelligence (IC-AI'99), 1999.

39. Mao J., Kraaijveld M. A., Jain A. K. A nonlinear projection method based on Kohonen's topology preserving maps // IEEE Transactions on Neural Networks, 1995. 6(3). - pp. 548-559.

40. Hammer В., Micheli A., Neubauer N., Sperduti A., Strickert M. Self Organizing Maps for Time Series // Proceedings of WSOM 2005, Paris, France. pp. 115-122.

41. Dar Ren Chen, Ruey Feng Chang, Yu Len Huang. Breast cancer diagnosis using Self-organizing Map for sonography // Ultrasound in Medicine and Biology, Vol. 26, 2000. pp. 405- 411.

42. Дебок Г., Кохонен Т. Анализ финансовых данных с помощью самоорганизующихся карт / Пер. с англ.- М.: Издательский Дом "АЛЬПИНА", 2001.-317 с.

43. Haykin S. Neural networks, a comprehensive foundation // N.Y.: Macmillan College Publishing Company, 1994.

44. Linsker R. From basic network principles to neural architecture // Proc. of National. Academy of Sciences of the USA, 1986. Vol. 83.

45. Оссовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. — М.: Финансы и статистика, 2004. 344 с.

46. Erwin Е., К. Obermayer and К. Schulten. "II: Self-organizing maps: Ordering, convergence properties and energy functions" // Biological Cybernetics, vol. 67, 1992. pp. 47-55.

47. ЕжовА.А., Шумский C.A. Нейрокомпьютинг и его применения в экономике и бизнесе (серия "Учебники экономико-аналитического института МИФИ" под ред. проф. В.В. Харитонова) // М.: МИФИ, 1998. 224 с.

48. Gorban A., Kegl В., Wunsch D., Zinovyev A. Principal Manifolds for Data Visualisation and Dimension Reduction // LNCSE 58, Springer, Berlin, Heidelberg, New York, 2007.

49. Ultsch A., Siemon H. Technical Report 329 // Univ. of Dortmund, Dortmund, Germany, 1989.

50. Kraaijveld M. A., Mao J., Jain A. K. In Proc. 11ICPR, Int. Conf. on Pattern Recognition // IEEE Comput. Soc. Press. Los Alamitos, CA, 1992. p. 41.

51. DeSieno D. Adding a conscience to competitive learning // Neural Networks, 1988.-Vol. l.-pp. 117-124.

52. Нечаева О.И. Сглаживание адаптивных сеток, построенных методом самоорганизующихся карт // Вестник Томского государственного университета, N4(5), 2008. с. 51-60.

53. Рыжков В.А, Лычкин E.H. Исследование моделей сферической топологии для устранения граничного эффекта в самоорганизующихся нейронных сетях Кохонена // М.: Издательство "Радиотехника", "Нейрокомпьютеры: разработка, применение", 2009. — №10. — с. 73 83.

54. Shannon С.Е., "A mathematical theory of communication" // Bell Systems Technival Journal, vol. 27, 1948. pp. 379-423, 623-656.

55. Gray R. M. Entropy and Information Theory, New York: Springer-Verlag, 1990.

56. Шевелева Г. И., Волков А. Э., Медведев В. И. Программный комплекс для подготовки производства спирально-конических зубчатых передач // Вестник машиностроения, 2005. № 9. - с. 6-14.

57. Кедринский В. Н., Писманик К. М. Станки для обработки конических зубчатых колес // М.: Машиностроение, 1967. 584 с.

58. Лычкин E.H., Рыжков В.А. Применение самообучающихся нейронных сетей для выявления закономерностей при расчете параметров зуборезного инструмента. Вестник МГТУ "Станкин". Научный рецензируемый журнал // М.: МГТУ "Станкин", 2009. №1 (5). - с. 45- 50.

59. Ульянов М. В. Ресурсно-эффективные компьютерные алгоритмы. Разработка и анализ. М: ФИЗМАТЛИТ, 2008. - 304 с.

60. Головешкин В. А., Ульянов М.В. Теория Рекурсии для программистов. М.: ФИЗМАТЛИТ, 2006. - 296 с.

61. Ульянов М. В. Классификация и методы сравнительного анализа вычислительных алгоритмов. М.: Издательство физико-математической литературы, 2004. — 212 с.модуля интеллектуального анализа данных в ООО «МЗКРС Шовные материалы»г.Москва "6" августа 2007 г.

62. Настоящий акт составлен в двух экземплярах, для каждой стороны.

63. Генеральный директор ООО «МЗКРС Исполнитель:по одному экземпляруУ