Алгоритмы автоматизированного генерирования ансамблей интеллектуальных систем для задач анализа данных тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Шабалов, Андрей Андреевич

• Шабалов, Андрей Андреевич
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Шабалов, Андрей Андреевич

Введение.

Глава 1. Основные методы вычислительного интеллекта.

1.1. Системы вычислительного интеллекта.

1.2. Искусственные нейронные сети.

1.3. Системы на нечеткой логике.

1.4. Нейро-нечектие системы.

Выводы.

Глава 2. Бионические методы оптимизации.

2.1. Основные понятия и алгоритмы эволюционных вычислений.

2.2. Роевой интеллект.

2.3. Экспериментальное исследование эффективности бионических методов оптимизации.

Выводы.

Глава 3. Автоматизированное генерирование алгоритмического ядра интеллектуальных компьютерных систем эволюционными алгоритмами.

3.1. Автоматизированное генерирование нейросетевых технологий.

3.2. Автоматизированное генерирование систем на нечеткой логике.

3.3. Автоматизированное генерирование нейро-нечетких систем.

3.4. Автоматизированное формирование ансамблей интеллектуальных систем

Выводы.

Глава 4. Практическая реализация разработанных алгоритмов.

4.1. Система автоматизированного проектирования нейросетевых моделей.

4.2. Система автоматизированного проектирования систем на нечеткой логике

4.3. Система автоматизированного проектирования нейро-нечетких систмем.

4.4. Система 7i-it-on автоматизированного проектирования ансамблей интеллектуальных информационных технологий для задач анализа данных.

4.5. Решение практических задач разработанными методами.

Выводы.

Введение диссертации (часть автореферата) на тему «Алгоритмы автоматизированного генерирования ансамблей интеллектуальных систем для задач анализа данных»

В настоящее время интеллектуальные методы анализа данных получили широкое распространение при решении практических задач в различных сферах человеческой деятельности. В области исследований интеллектуальных систем анализа данных помимо совершенствования отдельных технологий, можно выделить интенсивно развивающееся направление, заключающееся в совместном использовании различных типов интеллектуальных информационных технологий (ИИТ) с целью увеличения качественных характеристик конечной системы.

Искусственные нейронные сети (ИНС) характеризуются адаптивным обучением, самоорганизацией, возможностью работы в режиме реального времени, отказоустойчивостью. Область их применения охватывает широкий спектр практических приложений. Они обладают эффективной способностью извлекать существенные признаки из сложных и неточных данных, где другие компьютерные методы, как правило, не справляются с поставленной задачей. Однако нейронные сети представляют собой модель "черного ящика", т.е. интерпретация построенных решений является практически невозможной.

Отличительной чертой систем на нечеткой логике (НЛС) является построение решения в форме лингвистических правил-продукций, что предоставляет "прозрачную" модель (т.е. модель "белого ящика"). Нечеткие системы концептуально понятны, гибки, устойчивы к неточным данным, основываются на естественном языке. Они позволяют инкорпорировать опыт экспертов предметной области, а также способны моделировать нелинейные функциональные зависимости произвольной сложности. Однако нечеткие системы не имеют автоматических обучающих алгоритмов, вследствие чего они не могут быть использованы при отсутствии экспертных знаний.

Среди различных способов гибридизации технологий, выделяются нейро-нечеткие системы (ННС), объединяющие преимущества с ист6м ни нечеткой логике и аппарата нейронных сетей, а также эволюционные нейронные сети и эволюционные нечеткие системы, позволяющие автоматизировать процесс создания модели и решения задач анализа данных.

Обобщающая эффективность отдельной технологии может быть ограничена в виду сложности решаемой задачи. Выходом из данной ситуации могут служить ансамбли интеллектуальных систем, представляющие собой набор моделей, каждая из которых способна решить поставленную задачу и комбинация которых позволяет повысить эффективность и робастность системы в целом по сравнению с отдельной технологией.

Создание эффективного алгоритмического ядра интеллектуальных информационных технологий требует значительных временных и финансовых затрат и очень высокой квалификации разработчиков, что на практике конечным пользователям (врачам, инженерам, менеджерам и др.) далеко не всегда удается обеспечить. Автоматизация генерирования алгоритмического ядра ИИТ с помощью эволюционных алгоритмов позволяет значительно упростить процесс разработки интеллектуальных систем поддержки принятия решений для конечных пользователей, не являющихся экспертами в области интеллектуальных информационных технологий.

Таким образом, разработка и исследование методов автоматизированного генерирования алгоритмического ядра интеллектуальных информационных технологий и их коллективов при решении сложных задач анализа данных в различных областях человеческой деятельности, позволяющих повысить эффективность и надежность конечной системы при принятии решений, является актуальной научно-технической задачей.

Целью диссертационной работы является повышение обоснованности и надежности принятия решений при использовании интеллектуальных информационных технологий за счет автоматизации их проектирования и применения на основе эволюционных алгоритмов.

Достижение поставленной цели работы предполагает решение следующей совокупности задач:

1. Усовершенствовать стандартный генетический алгоритм для повышения его надежности при решении задач оптимизации на сложных структурах данных.

2. Автоматизировать процесс проектирования структуры искусственных нейронных сетей и настройки ее весовых коэффициентов.

3. Автоматизировать процесс проектирования базы правил и настройки семантики лингвистических переменных для систем на нечеткой логике.

4. Разработать подход, автоматически настраивающий семантику лингвистических переменных в нейро-нечетких системах.

5. Разработать метод автоматизированного проектирования коллективов ИИТ.

6. Реализовать предложенные методы и показать их работоспособность на тестовых и практических задачах анализа данных.

Методы исследования. При выполнении диссертационной работы использовались методы системного анализа, теории вероятности и математической статистики, теории обработки информации, теории оптимизации, теории эволюционных вычислений, методика разработки интеллектуальных информационных систем.

Научная новизна результатов диссертационной работы состоит в следующем:

1. Разработан новый самонастраивающийся эволюционный алгоритм для решения задач безусловной и условной оптимизации, отличающийся от известных сочетанием асимптотического генетического алгоритма с автоматическим выбором типа селекции.

2. Разработан новый эволюционный метод автоматизации проектирования структуры НЛС и одновременной настройки ее базы правил, отличающийся от известных представлением решения в виде хромосомы генетического алгоритма и позволяющий одновременно настраивать количество правил в базе и длину каждого правила.

3. Разработан новый алгоритм настройки лингвистических переменных в нейро-нечетких системах, отличающийся от известных способом представления решения и позволяющий одновременно выбирать центр и ширину базы лингвистических термов.

4. Разработан новый метод создания коллективов ИИТ на основе алгоритма генетического программирования, отличающийся от известных способом формирования коллектива и его решения и позволяющий получать более эффективные коллективы ИИТ.

Теоретическая значимость результатов диссертационного исследования состоит в том, что разработаны новые эволюционные алгоритмы для автоматического проектирования интеллектуальных информационных технологий и их коллективов, предназначенных для решения задач аппроксимации, классификации и прогнозирования, обладающие более высокой эффективностью, надежностью и адаптивностью, что имеет существенное значение для теории интеллектуальных технологий представления знаний и практики их применения в системах обработки информации и интеллектуального анализа данных.

Практическая ценность. На основе разработанных в ходе исследования алгоритмов и методов реализована программная система поддержки принятия решений при управлении реальными инвестициями машиностроительного предприятия на основе многоагентных стохастических алгоритмов, а также программная система, позволяющая осуществлять проектирование нейросетевых моделей, систем на нечеткой логике и нейро-нечетких систем, а также их коллективов на основе эволюционного подхода для решения сложных задач анализа данных: аппроксимации, классификации и прогнозирования. Полученные в диссертационной работе самонастраивающийся асимптотический генетический алгоритм, а также рекомендации по настройке параметров метода генетического программирования позволяют конечным пользователям, не являющимися экспертами в области эволюционных вычислений и проектирования ИИТ, применять программные системы при решении сложных задач в различных сферах человеческой деятельности. Программные системы апробированы на реальных практических задачах.

Реализация результатов работы. Диссертационная работа поддержана Фондом содействия развитию малых форм предприятий в научно-технической сфере по программе «У.М.Н.И.К.» («Участник молодежного научно-инновационного конкурса») в рамках НИОКР «Автоматизированное проектирование интеллектуальных информационных технологий для задач анализа данных на основе самонастраивающегося генетического алгоритма» на 2010-2012 гг. Работа финансировалась из средств госбюджета в рамках НИР 1.7.08 «Разработка теоретических основ решения задач автоматизации проектирования распределенных многопроцессорных вычислительных комплексов интеллектуального анализа данных в режиме реального времени» темплана ЕЗН СибГАУ, а также по проекту "Математическое моделирование инвестиционного развития региональных экономических систем" Аналитической ведомственной целевой программы "Развитие научного потенциала".

Результаты диссертационного исследования использовались при выполнении НИР 2.1.1/12096 «Математическое моделирование инвестиционного развития региональных экономических систем» АВЦП «Развитие научного потенциала высшей школы (2009-2011 годы)», НИР 2009-1.2.2 «Автоматизированная система решения сложных задач глобальной оптимизации многоагентными стохастическими алгоритмами» ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2011 годы и российско-германского проекта 2011-1.2.1-113-025-002 «Математическое и алгоритмическое обеспечение автоматизированного проектирования аппаратно-программных комплексов интеллектуальной обработки информации в распределенных высокопроизводительных системах космического назначения» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы (с участием научно-исследовательских и научно-образовательных организаций Германии)».

Созданная в ходе исследования программная система «Система поддержки принятия решений на основе многоагентных стохастических алгоритмов для управления реальными инвестициями машиностроительных предприятий» апробирована на реальных данных Химзавода - филиала ОАО «Красмашзавод» и передана для эксплуатации двум предприятиям.

Одна программная система прошла государственную экспертизу и была зарегистрированы во ВНТИЦ, четыре программные системы зарегистрированы в Роспатенте.

Разработанные в диссертации программные системы используются в учебном процессе Института информатики и телекоммуникаций СибГАУ при выполнении лабораторных и курсовых работ и, кроме того, переданы для использования в две инновационные 1Т-компании.

Основные защищаемые положения:

1. Самонастраивающийся асимптотический генетический алгоритм безусловной оптимизации обеспечивает эффективность, сравнимую со стандартным генетическим алгоритмом, но обладает значительно меньшим числом настроек.

2. Разработанные алгоритмы автоматизации проектирования ИИТ позволяют эффективно решать сложные задачи анализа данных и не требуют от конечного пользователя экспертных знаний в области эволюционных вычислений.

3. Разработанный подход к построению коллектива интеллектуальных информационных технологий на основе метода генетического программирования позволяет повысить эффективность и надежность принятия конечного решения в задачах аппроксимации и классификации по сравнению с альтернативными методами.

Апробация. Результаты диссертационной работы были доложены и обсуждены более, чем на 20 научных и научно-практических конференций, среди которых: International Conference on Hybrid Artificial Intelligence Systems (HAIS'12) и International Symposium on Distributed Computing and Artificial Intelligence (DCAI'12), г. Саламанка, Испания, 2012; Всероссийская научная конференции «Теория и практика системного анализа» (г. Рыбинск, Институт системного анализа РАН и РГАТА, 2012); Joint IEEE Conference "The 7th International Conference on Natural Computation & The 8th International Conference on Fuzzy Systems and Knowledge Discovery" - FSKD'2011, China, 2011; конференция-конкурс «Технологии Microsoft в теории и практике программирования» (г. Томск, ТПУ, 2011); Национальные конференции по искусственному интеллекту с международным участием КИИ-2010 и КИИ 2012 (г. Тверь, 2010, г. Белгород, 2012); Международные научно-практические конференции «Решетневские чтения» (г. Красноярск, СибГАУ, 2008, 2009, 2011); Всероссийские научно-практические конференции с международным участием «Информационные технологии и математическое моделирование» (г. Томск, ТГУ, 2008, 2009); Всероссийские научно-практические конференции «Актуальные проблемы авиации и космонавтики», (г. Красноярск, СибГАУ, 2008, 2009), а также ряд молодежных и студенческих конференций. Отдельные аспекты исследования обсуждались на научном семинаре института информационных технологий университета г. Ульм (Германия). Диссертация в целом обсуждалась на научных семинарах Института проблем управления РАН им. В.А. Трапезникова (г. Москва) и Института системного анализа РАН (г. Москва) и научно-техническом семинаре кафедры системного анализа и исследования операций СибГАУ.

Публикации. По материалам данной работы опубликовано более 25 печатных работ, в том числе 4 статьи в научных изданиях Перечня ВАК.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Шабалов, Андрей Андреевич

ВЫВОДЫ

В данной главе описаны программные системы, реализующие предложенные подходы, и проведена проверка эффективности алгоритмов на

119 тестовых задачах, показавшая их высокую работоспособность. Показано преимущество нейро-нечетких систем над другими технологиями.

Эффективность работы самонастраивающегося генетического алгоритма была исследована на реальной практической задаче формирования портфеля реальных инвестиций реструктурируемого предприятия. Показано его превосходство над стандартным генетическим алгоритмом, что объясняет целесообразность применения данного алгоритма при проектировании алгоритмического ядра интеллектуальных информационных технологий.

Разработанные алгоритмы автоматизированного проектирования ИИТ апробированы на реальных практических задачах. Результаты исследований показали более высокую эффективность нейро-нечетких систем в сравнении с другими технологиями. Нейронные сети показали наихудшее качество моделирования, что может быть связано с малой долей просматриваемого поискового пространства структур и весовых коэффициентов.

Показана работоспособность и перспективное направление развития предложенного метода генетического программирования при формировании коллектива интеллектуальных информационных технологий на основе частных решений.

Таким образом, можно утверждать, что цель исследования достигнута.

ЗАКЛЮЧЕНИЕ

В диссертационной работе получены следующие результаты:

1. Проведен анализ современных методов проектирования интеллектуальных информационных технологий.

2. Разработан самонастраивающийся генетический алгоритм, отличающийся от известных сочетанием асимптотического генетического алгоритма с автоматическим выбором типа селекции.

3. Предложены методы автоматического формирования нейронных сетей, систем на нечеткой логике и нейро-нечетких систем на основе генетического алгоритма.

4. Разработаны и апробированы программные системы, реализующие предложенные алгоритмы.

5. Проведен анализ эффективности разработанных алгоритмов на множестве задач анализа данных, показавший работоспособность предложенных подходов.

Таким образом, в диссертационной работе предложены, реализованы и исследованы новые алгоритмы автоматизации проектирования интеллектуальных информационных технологий и их коллективов, предназначенных для решения задач аппроксимации, классификации и прогнозирования, что является вкладом в теорию и практику интеллектуального анализа данных в системах обработки информации.

Список литературы диссертационного исследования кандидат технических наук Шабалов, Андрей Андреевич, 2012 год

1. Асаи К., Ватада Д., Иван С. и др. Прикладные нечеткие системы: Пер. с япон. / под редакцией Тэрано Т., Асаи К., Сугено М. М.: Мир, 1993. -368 е., ил.

2. Галушин П.В. Разработка и исследование асимптотического вероятностного генетического алгоритма. Journal of Siberian Federal University. Mathematics & Physics, 2(3), 2009, C. 319-3276.

3. Горбань A.H. Обучение нейронных сетей. M.": изд. СССР-США СП "ParaGraph", 1990. 160 с. (English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, pp. 1-134).

4. Горбань A.H., Дунин-Барковский В.Л., Кирдин A.H. и др. Нейроинформатика, Новосибирск: Наука. Сибирское предприятие РАН, 1998.-296с.

5. Дубровин В.И., Субботин С.А. Алгоритм ускоренного обучения персептронов. Нейроинформатика-2002.

6. Заенцев И. В. Нейронные сети: основные модели, Воронеж, 1999.

7. Клешков В.М., Семенкин Е.С. Модели и алгоритмы распределения общих ресурсов при управлении инновациями реструктурированного машиностроительного предприятия // Проблемы машиностроения и автоматизации, № 3. — 2006. С. 24-31.

8. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети М.: Физматлит, 2001.

9. Либерти Д., Джонс Б. Освой самостоятельно С++ за 21 день, 5-е издание.: Пер. с англ. М.: Издательский дом "Вильяме", 2006. - 784 е.: ил. -Парал. тит. англ.

10. Маркин М.И. Выбор начального приближения при обучении нейронной сети методами локальной оптимизации // Научная сессия МИФИ-2000. 4.1 Нейроинформатика-2000.

11. Олешко Д.Н., Крисилов В.А. Повышение качества и скорости обучения нейронных сетей в задаче прогнозирования поведения временных рядов, 2001.

12. Троелсен. Э. С# и платформа .NET. Библиотека программиста. — СПб.: Питер, 2004. 796 е.: ил.

13. Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика. -М.: Мир, 1992.

14. Хайкин С. Нейронные сети. Полный курс., Вильяме, 2006.

15. Хайниш С.В., Клешков В.М., Бородин А.Н. Российское предприятие ВПК: выжить и развиваться. (На примере реформирования и развития Химзавода филиала ФГУП «КРАСМАШ»). - М.: Рохос, 2003. -240 е., цв. Вкл. (Из опыта управленческого консультирования.)

16. Шумков Е.А., Карлов Д.Н. Скоростной метод обучения многослойного персептрона, 2011.

17. Abraham A. Adaptation of Fuzzy Inference System Using Neural Learning, StudFuzz 181, 2005, pp. 53-83.

18. Abraham A. EvoNF: A Framework for Optimization of Fuzzy Inference Systems Using Neural Network Learning and Evolutionary Computation, The 17th IEEE International Symposium on Intelligent Control, ISIC'02, IEEE Press, 2002, pp. 327-332.

19. Abraham A. Handbook of Measuring System Design. John Wiley & Sons, Ltd. ISBN: 0-470-02143-8. 2005.

20. Abraham A. Meta learning evolutionary artificial neural networks, Neurocomputing 56, 2004, pp. 1-38.

21. Abraham A. Nature and Scope of AI Techniques // Handbook of Measuring System Design, John Wiley & Sons, Ltd, 2005, pp. 893-900.

22. Abraham A. Optimization of evolutionary neural networks using hybrid learning algorithms, IEEE 2002 Joint International Conference on Neural Networks, Vol. 3, IEEE Press, New York, 2002, pp. 2797-2802.

23. Abraham A., Nath B. Optimal design of neural nets using hybrid algorithms, in: Proceedings of Sixth Pacific Rim International Conference on Artificial Intelligence (PRICAI 2000), Melbourne, Australia, 2000, pp. 510-520.

24. Alcala R., Casillas J., Cordon O., Herrera F. Building fuzzy graphs: features and taxonomy of learning non-grid-oriented fuzzy rule-based systems. Int J Intell Fuzzy Syst 11, 2001, pp. 99-119.

25. Bäck T., Hoffmeister F., Schwell H.P. A Survey of evolution strategies, Proceedings of the Fourth International Conference on Genetic Algorithms, Morgan Kaufmann, 1991, pp. 2-9.

26. Bayes P.T., Zelle J.M. Growing layers of perceptrons: introducing the exentron algorithm, Proceedings on the International Joint Conference on Neural Networks, Vol. 2, Beijing, China, 1992, pp. 392-397.

27. Bazaraa M.S., Sherali H.D., Shetty C.M. Nonlinear programming: theory and algorithms, John Wily and Sons, 2nd edition, 1993.

28. Berenji H.R., Khedkar P. Fuzzy Rules for Guiding Reinforcement Learning, In International. Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems (IPMU'92), 1992, pp. 511-514.

29. Berenji H.R., Khedkar P. Learning and Tuning Fuzzy Logic Controllers through Reinforcements, IEEE Transactions on Neural Networks, Vol (3), 1992, pp. 724-740.

30. Bezdek J.C. Editorial-fuzzy models: What are they and why, IEEE Trans, on Fuzzy Systems, vol. 1, 1993, pp. 1-5.

31. Bezdek J.C. What is computational intelligence? Computational Intelligence, Imitating Life, IEEE Computer Society Press, 1994, pp. 1-12.124

32. Boeringer D., Werner D. Particle swarm optimization versus genetic algorithms for phased array synthesis, IEEE Trans. Antennas Propagat., vol. 52, no. 3, Mar. 2004, pp. 771-779.

33. Boers E.J.W., Borst M.V., Sprinkhuizen-Kuyper I.G. Artificial neural nets and genetic algorithms, in: D.W. Pearson, et al., (Eds.), Proceedings of the International Conference in Ales, France, Springer, New York, 1995, pp. 333-336.

34. Breiman, L. "Bagging predictors," Machine Learning, vol. 24 (2), pp. 123-140,(1996)

35. Budura G., Botoca C., Miclau N. Competitive Learning Algorithms for Data Clustering SER.: ELEC. ENERG. vol. 19, no. 2, 2006, pp. 261-269.

36. Casillas J., Carse B., Bull L. Fuzzy-XCS: A Michigan genetic fuzzy system. IEEE Trans Fuzzy Syst 15(4), 2007, pp. 536-550.

37. Castellano G., Fanelli A.M. A self-organizing neural fuzzy inference network. In Proc. of IEEE Int. Joint Conference on Neural Networks, vol.5, Italy, 2000.

38. Castellano G., Fanelli A.M. Information granulation via neural network based learning. In Proc. of Joint 9th IFSA World Congress and 20th NAFIPS International Conference, 2001.

39. Castillo P.A., Merelo J.J., Prieto A., Rivas V., Romero G. G-Prop: global optimization of multilayer perceptrons using GAs, Neurocomputing 35, 2000, pp. 149-163.

40. Chem J. ART2 for optimal Test Series Design, Inf. Comput. Sci., 1997.

41. Coello C.A.C. Use of a self-adaptive penalty approach for engineering optimization problems, Computers in Industry, 41, 2000, pp. 113-127.

42. Cococcioni M., Ducange P., Lazzerini B., Marcelloni F. A Pareto-based multi-objective evolutionary approach to the identification of Mamdani fuzzy systems. Soft Comput 11(11)., 2007, pp. 1013-1031.

43. Cordon O., Herrera F., Hoffmann F., Magdalena L. Genetic fuzzy systems. Evolutionary tuning and learning of fuzzy knowledge bases. World Scientific, Singapore, 2001.

44. Cordon O., Herrera F., Villar P. Analysis and guidelines to obtain a good fuzzy partition granularity for fuzzy rule-based systems using simulated annealing. Int J Approx Reason 25(3), 2000, pp. 187-215.

45. Craenen B.G.W., Eiben A.E. Computational Intelligence, Encyclopedia of Life Support System, EOLSS Co. Ltd., 2003, http://www.eolss.net.

46. Crockett K.A., Bandar Z., Fowdar J., O'Shea J. Genetic tuning of fuzzy inference within fuzzy classifier systems. Expert Syst Appl 23, 2006, pp. 6382.

47. Deb K. An Efficient constraint handling method for genetic algorithms, Computer Methods in Applied Mechanics and Engineering, 186, 2000, pp. 311-338.

48. Deb K. Multi-objective optimization using evolutionary algorithms. Wiley, New York, 2001.

49. Deb K., Pratap A., Agarwal S., Meyarivan T. A fast and elitist multiobjective genetic algorithm: NSGA-II. IEEE Trans Evol Comput 6(2), 2002, pp. 182-197.

50. Dietterich T. G. An experimental comparison of three methods for constructing ensembles of decision trees: bagging, boosting, and randomization, Machine Learning, vol. 40, no. 2, pp. 139-158, 2000.

51. Dohnal I.J. Using of levenberg-marquardt method in identification by neural networks, 2003.

52. Dorigo M. Optimization, Learning and Natural Algorithms, PhD thesis, Politécnico di Milano, Italie, 1992.

53. Duch W. What is Computational Intelligence and what could it become? Challenges for Computational Intelligence, 2007.

54. Durbin R., Rumelhart D.E. Product Units: A Computationally Powerful and Biologically Plausible Extension to Backpropagation Networks. Neural Computation, 1, 1989, pp. 133-142.

55. Eberhart R., Kennedy J. A new optimizer using particle swarm theory, in Proc. 6th Int. Symp. Micro Machine and Human Science (MHS), Oct. 1995, pp. 39-43.

56. Eberhart R., Shi Y., Kennedy J. Swarm Intelligence. San Mateo, CA: Morgan Kaufmann, 2001.

57. Eberhart R., Simpson P., Dobbins R. Computational Intelligence PC Tools. Academic Press, Boston, 1996.

58. Engelbrecht A.P. Computational Intelligence: An Introduction, Second Edition, John Wiley and Sons, 2007.

59. Fullmer B., Miikkulainen R. Using marker-based genetic encoding of neural networks to evolve finite-state behaviour, in: F.J. Varela, P. Bourgine (Eds.), Proceedings of the First European Conference on Artificial Life, France, pp. 255-262, 1992.

60. Fahlman S.E., Lebiere C. The cascade—correlation learning architecture, in: D. Tourretzky(Ed.), Advances in Neural Information Processing Systems, Morgan Kaufmann, Los Altos, CA, 1990, pp. 524-532.

61. Fayyad U., Piatesky-Shapiro G., Smyth P. From data mining from knowledge discovery in databases. In: Fayyad UM, Piatetsky-Shapiro G, Smyth P, Uthurusamy R (eds) Advances in knowledge discovery & data mining, AAAI/MIT, 1996., pp 1-34.

62. Feng J.C., Teng L.C. An Online Self Constructing Neural Fuzzy Inference Network and its Applications, IEEE Transactions on Fuzzy Systems, Vol 6, No.l, 1998, pp. 12-32.

63. Fogel L.J., Owens A.J., Walsh M.J. Artificial Intelligence through Simulated Evolution, John Wiley, 1996.

64. Frean M. The upstart algorithm: a method for constructing and training feed forward neural networks, Neural Comput. 2, 1990, pp. 198-209.

65. Freeman J.A., Skapura D.M. Neural Networks Algorithms Applications and Programming Techniques, Addison-Wesley Publishing Company, 1991.

66. Friedman, J. H., Hastie, T., and Tibshirani, R. Additive logistic regression: a statistical view of boosting, Annals of Statistics, vol. 28, no. 2, pp. 337-374, (2000)

67. Fuller R. Neural Fuzzy Systems, Abo, 1995.9.

68. Gen M., Cheng R. A Survey of penalty techniques in genetic algorithms, Proceedings of the 1996 International Conference on Evolutionary Computation, IEEE, 1996, pp. 804-809.

69. Harp S.A., Samad T., Guha A. Towards the genetic synthesis of neural networks, in: J.D. Schapher (Ed.), Proceedings of the Third International Conference on Genetic Algorithms and their Applications, Morgan Kaufmann, Los Altos, CA, 1989, pp. 360-369.

70. Herrera F. Genetic fuzzy systems: taxonomy, current research trends and prospects, Evol. Intel. 1, 2008, pp. 27 46.

71. Holland J.H. Adaptation in Natural and Artificial Systems, University of Michigan Press, 1975.

72. Homaifar A., Lai S.H.Y., Qi X. Constrained optimization via genetic algorithms, Simulation, 62, 1994, pp. 242-254.

73. Hristev R.M. The ANN Book, 1998.

74. Jang R. Neuro-Fuzzy Modeling: Architectures, Analyses and Applications, Ph.D. Thesis, University of California, Berkeley, 1992.

75. Joines J. Houck C. On the use of non-stationary penalty functions to solve non-linear constrained optimization problems with GAs, Proceedings of the

76. First IEEE International Conference on Evolutionary Computation, IEEE Press, 1994, pp. 579-584.

77. Karr C. Genetic algorithms for fuzzy controllers. AI Expert 6(2), 1991, pp. 26-33.

78. Kasabov N. Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering. The MIT Press, Cambridge, Second printing, 1998.

79. Kasabov N., Qun S. Dynamic Evolving Fuzzy Neural Networks with m-out-of-n Activation Nodes for On-line Adaptive Systems, Technical Report TR99/04, Department of information science, University of Otago, New Zealand, 1998, pp. 271-274.

80. Kennedy J. The particle swarm: Social adaptation of knowledge, in Proc. IEEE Int. Conf. Evol. Comput., Apr. 1997, pp. 303-308.

81. Kennedy J., Eberhart R. A discrete binary version of the particle swarm algorithm, in Proc. IEEE Int. Conf. Syst., Man, Cybern.: Computational Cybernetics and Simulation (ICSMC), vol. 5, Oct. 1997, pp. 4104-4108.

82. Kennedy J., Eberhart R. Particle swarm optimization, in Proc. IEEE Int. Conf. Neural Netw. (ICNN), vol. 4, Nov. 1995, pp. 1942-1948.

83. Kim J.H., Myung H. Evolutionary programming techniques for constrained optimization problems, IEEE Transaction on Evolutionary Computation, 1, 1997, pp. 129-140.

84. Kim H.B., Jung S.H., Kim T.G., Park K.H. Fast learning method for back-propagation neural network byevolutionary adaptation of learning rates, Neurocomputing 11 (1) pp. 101-106, 1996.

85. King I., Lau T.K. Non-Hierarchical Clustering with Rival Penalized Competitive Learning for Information Retrieval, 1998.

86. Kitano H. Designing neural networks using genetic algorithms with graph generation system, Complex Syst. 4 (4) pp. 461-476, 1990.

87. Kosko B. Neural Networks and Fuzzy Systems: A Dynamical Systems Approach to Machine Intelligence, Prentice Hall, Englewood Cliffs, New Jersey, 1992.

88. Koza J.R. Genetic Programming: On the Programming of Computers by Means of Natural Selection, MIT Press, 1992.

89. Koziel S., Michalewicz Z. Evolutionary algorithms, homomorphous mapping and constrained parameter optimization, Evolutionary Computation, 7, 1999, pp. 19-44.

90. Krishnakumar K. Intelligent systems for aerospace engineering an overview, NASA Technical Report, 2003.

91. Krenker A., Bester J., Kos A. Introduction to the Artificial Neural Networks, 2001.

92. Krose B., Smagt P. An Introduction to Neural Networks, 1996.

93. Le Riche R., Knopf-Lenior C., Haftka R.T. A Segregated genetic algorithm for constrained structural optimization, Proceedings of the Sixth International Conference on Genetic Algorithms, Morgan Kaufmann, 1995, pp. 558-565.

94. Le T.V. Evolutionary approach to constrained optimization problems, Proceedings of the Second IEEE International Conference on Evolutionary Computation, IEEE Press, 1995, pp. 274-278.

95. Lin C.T., Lee C.S.G. Neural Network based Fuzzy Logic Control and Decision System, IEEE Transactions on Comput. (40(12), 1991, pp. 1320-1336.

96. Liu Y., Yao X. Evolutionary design of artificial neural networks with different node transfer functions, Proceedings of the Third IEEE International Conference on Evolutionary Computation, Nagoya, Japan, pp. 670-675, 1996.

97. Mamdani E.H. Applications of fuzzy algorithm for control a simple dynamic plant. Proc IEEE 121(12), 1974, pp. 1585-1588.

98. Mascioli F., Martinelli G. A constructive algorithm for binary neural networks: the oil spot algorithm, IEEE Trans. Neural Networks 6 (3), 1995, pp. 794-797.

99. McCarthy J. What Is Artificial Intelligence? 2007, http://www-formal.stanford.edu/jmc/whatisai/whatisai.html

100. Merril J.W.L., Port R.F. Fractally configured neural networks, Neural Networks 4 (1), 1991, pp. 53-60.

101. Michalewicz Z., Attia N. Evolutionary optimization of constrained problems, Proceedings of the Third Annual Conference on Evolutionary Programming, World Scientific, 1994, pp. 98-108.

102. Michalewicz Z., Janikow C.Z. Handling constraints in genetic algorithms, Proceedings of the Fourth International Conference on Genetic Algorithms, Morgan Kaufmann, 1993, pp. 151-157.

103. Michalewicz Z., Nazhiyath G. GENOCOP III: A Co-evolutionary algorithm for numerical optimization problems with nonlinear constraints, Proceedings of the Second IEEE International Conference on Evolutionary Computation, IEEE Press, 1995, pp. 647-651.

104. Michalewicz Z., Schouenauer M. Evolutionary algorithms for constrained parameter optimization problems, Evolutionary Computation, 4, 1996, pp. 1-32.

105. Michalewicz Z., Dasgupta D., Le Riche R., Schoenauer M. Evolutionary algorithms for constrained engineering problems, Computers & Industrial Engineering Journal, 30, 1996, 851-870.

106. Millonas M. Swarms, phase transitions, and collective intelligence, in Artificial Life III, Proc. Santa Fe Institute Studies in the Sciences of Complexity, C. G. Langton, Ed. New York: Addison-Wesley, vol. XVII, 1994, pp. 417-445.

107. Mikut R., Jäkel J., Groll L. Interpretability issues in data-based learning of fuzzy systems. Fuzzy Sets Syst 150, 2005, pp. 179-197.

108. Morales K.A., Quezada C.C. A Universal eclectic genetic algorithm for constrained optimization, Proceedings 6th European Congress on Intelligent Techniques & Soft Computing, EUFIT'98, 1998, pp. 518-522.

109. Muata K., Bryson O. Evaluation of decision trees: a multicriteria approach. Comput Oper Res 31, 2004, pp. 1933 1945.

110. Nasuto S., Bishop M. Convergence analysis of stochastic diffusion search. Journal of Parallel Algorithms and Applications, 14 (2). ISSN 1744-5779, 1999, pp. 89-107.

111. Nauck D., Kruse R. NEFCON-I: An X-Window Based Simulator for Neural Fuzzy Controllers. In Proceedings of the IEEE International Conference on Neural Networks, Orlando, 1994, pp. 1638-1643.

112. Nauck D., Kruse R. NEFCLASS: A Neuro-Fuzzy Approach for the Classification of Data, In Proceedings of ACM Symposium on Applied Computing, George K et al (Eds.), Nashville, ACM Press, 1995., pp. 461-465.

113. Nauck D., Kruse R. Neuro-Fuzzy Systems for Function Approximation, Fuzzy Sets and Systems, 101, 1999, pp. 261-271.

114. Nomura H., Hayashi I., Wakami N. A Learning Method of Fuzzy Inference Systems by Descent Method, In Proceedings of the First IEEE International conference on Fuzzy Systems, San Diego, USA, 1992, pp. 203-210.

115. Omlin C.W., Giles C.L. Pruning recurrent neural networks for improved generalization performance, Technical Report No 93-6, CS Department, Rensse-laer Institute, Troy, NY, 1993.

116. Pâlit A.K., Popovic D. Computational Intelligence in Time Series Forecasting, Springer, 2005.

117. Perdrycz W. Computational Intelligence: An Introduction. CRC Press, 1998.

118. Pedrycz W., Card H.C. Linguistic Interpretation of Self Organizing Maps, In Prroceedings of the IEEE International Conference on Fuzzy Systems, San Diego, 1992, pp. 371-378.

119. Pham D.T., Karaboga D. Optimum design of fuzzy logic controllers using genetic algorithms. J Syst Eng 1, 1991, pp. 114-118.

120. Polani D., Miikkulainen R. Fast reinforcement learning through eugenic neuro-evolution, Technical Report AI99-277, Department of Computer Sciences, University of Texas at Austin, 1999.

121. Porto V.W., Fogel D.B., Fogel L.J. Alternative neural network training methods, IEEE Expert 10 (4), 1995, pp. 16-22.

122. Powell D., Skolnick M.M. Using genetic algorithms in engineering design optimization with non-linear constraints, Proceedings of the Fifth International Conference on Genetic Algorithms, Morgan Kaufmann, 1993, pp. 424-430.

123. Rechenberg I. Evolution Strategy. Computational Intelligence: Imitating Life, 1994, pp. 147-159.

124. Reynolds R.G. Cultural Algorithms: Theory and Application. New Ideas in Optimization, McGraw-Hill, 1999, pp. 367-378.

125. Rudas I.J. Hybrid Systems: Integration of Neural Networks, Fuzzy Logic, Expert Systems, and Genetic Algorithms, In: Encyclopedia of Information Systems, Academic Press, 2002, pp. 114-1-114-8.

126. Russell S., Norvig P. Artificial Intelligence: A Modern Approach, 3rd Edition, Prentice Hall, New Jersey, 2010.

127. Sanchez L., Casillas J., Cordon O., del Jesus M.J. Some relationships between fuzzy and random classifiers and models. Int J Approx Reason 29, 2001, pp. 175-213.

128. Sanchez L., Couso I. Advocating the use of imprecisely observed data in genetic fuzzy systems. IEEE Trans Fuzzy Syst 15(4), 2007, pp. 551-562.

129. Schiffmann W., Joost M., Werner R. Optimization of the Backpropagation Algorithm for Training Multilayer Perceptrons, 1992.

130. Schoenauer M., Michalewicz Z. Evolutionary computation at the edge of feasibility, Proceedings of the Fourth International Conference on Parallel Problem Solving from Nature, Springer Verlag, 1996, pp. 22-27.

131. Schouenauer M., Xanthakis S. Constrained GA optimization, Proceedings of the Fifth International Conference on Genetic Algorithms, Morgan Kaufmann, 1993, pp. 473-580.

132. Schwefel H.P. Evolutionsstrategie und numerische Optimierung. PhD thesis, Technical University Berlin, 1975.

133. Sexton R., Dorsey R., Johnson J. Optimization of neural networks: a comparative analysis of the genetic algorithm and simulated annealing, Eur. J. Oper. Res. 114,1999, pp. 589-601.

134. Shah-Hosseini H. Problem solving by intelligent water drops. Proceedings of IEEE Congress on Evolutionary Computation, Swissotel The Stamford, Singapore, September, 2007, pp. 3226-3231.

135. Shi Y. Feature article on particle swarm optimization, IEEE Neural Network Society, Feature Article, Feb. 2004, pp. 8-13.

136. Skalak C.S., Shonkwiler R., Babar S., Aral M. Annealing a genetic algorithm over constraints, SMC, 1998.

137. Smith A., Tate D. Genetic optimization using a penalty function, Proceedings of the fifth International Conference on Genetic Algorithms, Morgan Kaufmann, 1993, pp. 499-503.

138. Smith A.E., Coit D.W. Constraint handling techniques penalty functions, Handbook of Evolutionary Computation, chapter C 5.2. Oxford University Press and Institute of Physics Publishing, 1997.

139. Stepniewski S.W., Keane A.J. Pruning back-propagation neural networks using modern stochastic optimization techniques, Neural Comput. Appl. 5, 1997, pp. 76-98.

140. Storn R., Price K. Differential Evolution A Simple and Efficient Heuristic for global Optimization over Continuous Spaces. Journal of Global Optimization, 11(4), 1997, pp. 431-359.

141. Takagi H. Introduction to Fuzzy Systems, Neural Networks, and Genetic Algorithms, Intelligent Systems: Fuzzy Logic, Neural Networks, and Genetic Algorithms, Ch.l, pp. 1-14, 1997.

142. Takagi T., Sugeno M. Fuzzy identification of systems and its application to modeling and control. IEEE Trans Syst Man Cybern 15(1), 1985, pp. 116-132.

143. Tano S., Oyama T., Arnould T. Deep combination of Fuzzy Inference and Neural Network, in Fuzzy Inference, Fuzzy Sets and Systems, 82(2), 1996, pp. 151-160.

144. Thrift P. Fuzzy logic synthesis with genetic algorithms. In: Proceedings of 4th international conference on genetic algorithms (ICGA'91), 1991., pp. 509-513.

145. Turing A.M. Computing Machinery and Intelligence, 1950, http://abelard.org/turpap/turpap.htm.

146. Turing Machine, 2004, http://www.turing.org.uk/turing/

147. Valenzuela-Rendon M. The fuzzy classifier system: a classifier system for continuously varying variables. In: Proceedings of 4th international conference on genetic algorithms (ICGA'91), 1991, pp. 346-353.

148. UCI Machine Learning Repository http://kdd.ics.uci.edu/

149. Valle Y., Venayagamoorthy G.K., Mohagheghi S., Hernandez J.-C., Harley R.G. Particle Swarm Optimization: Basic Concepts, Variants and Applications in Power Systems, IEEE transactions on evolutionary computation, vol. 12, no. 2, April 2008.

150. Wang L.X. Fuzzy systems are universal approximators. In Proceedings of the IEEE international conference on fuzzy systems, 1992, pp. 1163-1170.

151. Wilson S. Classifier fitness based on accuracy. Evol Comput 3(2), 1995, pp. 149-175.

152. Xu L. Rival penalized competitive learning, Scholarpedia, 2007.

153. Yager R.R., Filev D.P. Essentials of fuzzy modeling and control. Wiley, New York, 1994.

154. Yang J.R. Neuro-fuzzy and soft computing, Prentice-Hall, 1997.

155. Yang X.S. Firefly algorithms for multimodal optimization, in: Stochastic Algorithms: Foundations and Applications, SAGA 2009, Lecture Notes in Computer Sciences, Vol. 5792, 2009, pp. 169-178.

156. Yang X.S., Deb S. Cuckoo search via L'evy flights, Proceeings of World Congress on Nature & Biologically Inspired Computing (NaBIC 2009, India), IEEE Publications, USA, 2009, pp. 210-214.

157. Yao X. Evolving artificial neural networks, Proc. IEEE 87 (9 Suppl. 1), 1999, pp. 423-1447.

158. Yeniay O. Penalty function methods for constrained optimization with genetic algorithms, Mathematical and Computational Applications, Vol. 10, No. 1, 2005, pp. 45-56.

159. Zadeh L.A. Fuzzy Logic and Soft Computing: Issues, Contentions and Perspectives, In: Proc. of IIZUKA'94: Third Int.Conf. on Fuzzy Logic, Neural Nets and Soft Computing, Iizuka, Japan, 1994, pp. 1-2.

160. Zadeh L.A. Fuzzy Sets. Information and Control, 8, 1965, pp. 338353.

161. Статьи в ведущих рецензируемых научных журналах и изданиях.

162. Семенкин Е.С., Шабалов A.A. Система автоматизированного проектирования коллективов интеллектуальных информационных технологий для задач анализа данных // Программные продукты и системы. -№4 (100).-2012.-С. 51-54.

163. Shabalov A.A. Application of Neuro-Fuzzy Systems in Bank Scoring Problems // Vestnik. Scientific Journal of Siberian State Aerospace University named after academician M. F. Reshetnev. № 4 (44). - 2012.

164. Публикации в сборниках трудов конференций.

165. Соловьева, 2012. С. 69-79.

166. Шабалов А.А., Семенкин Е.С., Ефимов С.Н. Коллективные технологии интеллектуального анализа данных. Saarbruecken: LAMBERT Academic Publishing, 2012.- 100 с.

167. Shabalov A., Semenkin E., Galushin P. Integration of Intelligent Information Technologies Ensembles for Modeling and Classification // Hybrid Artificial Intelligence Systems. Lecture Notes in Computer Science, Volume 7208/2012, pp. 365-374.

168. Bukhtoyarov V., Semenkin E., Shabalov A. Neural Networks Ensembles Approach for Simulation of Solar Arrays Degradation Process // Hybrid Artificial Intelligence Systems. Lecture Notes in Computer Science, Volume 7208/2012, pp. 186-195.

169. Galushin P., Semenkina O., Shabalov A. Comparative analysis of two distribution building optimization algorithms // Distributed computing and artificial intelligence. Advances in Intelligent and Soft Computing, 2012, Volume 151/2012, pp. 759-766.

170. Шабалов А.А. Автоматизированное проектирование коллективов интеллектуальных информационных технологий // «Решетневские чтения». -Материалы XV Международной научной конференции. Красноярск: СибГАУ, 2011.-Ч. 2-С. 519-520.

171. Шабалов A.A. Система я-ПГ-оп Автоматизированное проектирование интеллектуальных информационных технологий для задач анализа данных // Молодежь и высокие технологии. - Вологда: ВоГТУ, 2010. -С. 55-57.

172. Шабалов A.A. Применение генетических алгоритмов в настройке нейро-нечетких систем // «Решетневские чтения». — Материалы XIII Международной научной конференции. Красноярск: СибГАУ, 2009. - Ч. 2. -С. 472-473.

173. Шабалов A.A. Применение нейро-нечетких систем в задачах моделирования и классификации // Актуальные проблемы авиации икосмонавтики: сб. науч. тр. Всероссийской научно-практической конференции. Красноярск: СибГАУ, 2009. - Т1, С 280.

174. Зарегистрированные программные системы.

175. Шабалов А. А., Семенкин Е.С., Ефимов, С.Н. Система автоматизированного проектирования нейросетевых моделей. М.: Роспатент, 2011. - № государственной регистрации программы для ЭВМ 2011617909 от 10.10.2011.

176. Шабалов А. А., Семенкин Е.С., Ефимов С.Н. Система автоматизированного проектирования систем на нечеткой логике. М.:

177. Роспатент, 2011. № государственной регистрации программы для ЭВМ2011618350 от 24.10.2011.

178. Шабалов A.A., Семенкин Е.С., Ефимов С.Н. Система автоматизированного проектирования нейро-нечетких систем. М.: Роспатент, 2011. - № государственной регистрации программы для ЭВМ2011618351 от 24.10.2011.