Модели, алгоритмы и программная платформа для реализации мета-обучения на основе метода группового учета аргументов тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Орлов, Андрей Александрович

• Орлов, Андрей Александрович
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Орлов, Андрей Александрович

ОГЛАВЛЕНИЕ

Сокращения

Введение

1. Обзор современных методик, алгоритмов и систем интеллектуального анализа данных

1.1. Математическое моделирование как основа интеллектуального анализа данных

1.2. Современные системы мета-обучения

1.3. Реализация систем мета-обучения: современные методы ИАД

1.4. Метод группового учета аргументов (МГУА)

1.4.1. Основные принципы и достоинства МГУА

1.4.2. Обзор алгоритмов МГУА: параметрические, непараметрические, многорядные

1.4.3. Обзор применений МГУА

1.5. Программные платформы интеллектуального анализа данных

1.5.1. Программные платформы для реализации систем мета-обучения

1.5.2. Обзор систем моделирования на основе МГУА

1.5.3. Обзор вычислительных архитектур, используемых для запуска алгоритмов интеллектуального анализа данных

1.6. Выводы по главе 1 и постановка задач диссертационного исследования

2. Архитектура системы интеллектуального анализа данных на основе мета-обучения

2.1. Методика ИАД на основе мета-обучения с поддержкой выбора оптимального алгоритма

решения задачи и вычисления оптимальных параметров его функционирования

2.2. Алгоритмы обучения, использования и дообучения системы

2.2.1. Алгоритмы, соответствующие методике «одна мета-модель на алгоритм»

2.2.2. Алгоритмы, соответствующие методике «две мета-модели на алгоритм»

2.3. Идентификация мета-моделей с помощью алгоритма дважды многорядной

полиномиальной сети МГУА

2.4. Вычислительный алгоритм идентификации полиномиально-гармонической модели

оптимальной сложности

2.5. Разработка архитектуры программной платформы мета-обучения

2.6. Разработка архитектуры программной платформы МГУА

2.7. Выводы по главе 2

3. Реализация программной платформы

3.1. Выбор средств реализации

3.2. Обеспечение критерия гибкости

3.3. Обеспечение критерия производительности

3.4. Обеспечение критерия универсальности

3.3. Выводы по главе 3

4. Практическое применение результатов диссертационного исследования

4.1. Автоматическая система мета-обучения для решения задачи прогнозирования

4.1.1. Состав экспериментов

4.1.2. Набор тестовых выборок данных «МЗ Competition»

4.1.3. Нижний уровень системы: прогнозирующие модели и алгоритмы их обучения

4.1.4. Нижний уровень системы: результаты идентификации прогнозирующих моделей

4.1.5. Верхний уровень системы (мета-уровень системы)

4.1.6. Верхний уровень системы: результаты идентификации мета-моделей

4.1.7. Результаты экспериментов по применению системы мета-обучения

4.2. Система прогнозирования нестационарных временных рядов

4.2.1. Структура системы прогнозирования нестационарных временных рядов

4.2.2. Результаты эксперимента по прогнозированию FX EUR/USD за 2009-2010 годы

4.3. Экспериментальное исследование вычислительного алгоритма идентификации

полиномиально-гармонической модели оптимальной сложности

4.3.1. Точность расчета частот гармонической части модели

4.3.2. Качество идентификации моделей при ненулевой ошибке расчета частот гармонической части

4.4. Экспериментальная проверка эффективности распараллеливания вычислений

4.5. Выводы по главе 4

Заключение

Список литературы

Приложение 1. Акт о внедрении результатов диссертации в компании Econophysica Ltd

Приложение 2. Акт о внедрении результатов диссертации в компании ООО «Эко-Томск»

Приложение 3. Акт о внедрении результатов диссертации в ФБГОУ ВПО «Томский

государственный университет систем управления и радиоэлектроники»

Сокращения

ГА - генетический алгоритм.

ИАД - интеллектуальный анализ данных (в англоязычной литературе используется

термин «Data Mining»).

ИИ - искусственный интеллект.

ИНС — искусственная нейронная сеть.

KJI - кластер.

МГУА - метод группового учета аргументов.

МНК - метод наименьших квадратов.

МПС - многопроцессорная система.

MX - мета-характеристика.

МЯП - многоядерный процессор.

HJI - нечеткая логика.

ПНС - полиномиальная нейронная сеть.

ПП - потоковый процессор.

ПЭ - показатель эффективности.

PC - распределенная система.

Введение диссертации (часть автореферата) на тему «Модели, алгоритмы и программная платформа для реализации мета-обучения на основе метода группового учета аргументов»

Введение

Актуальность работы

Задачей Интеллектуального Анализа Данных (ИАД, в англоязычной литературе используется термин «Data Mining») является обнаружение (извлечение) в доступных исследователю исходных данных ранее неизвестных, неочевидных, но практически полезных знаний [1,2]. При этом знания «представляют собой краткое обобщенное описание основного содержания информации, представленной в данных» [3,стр. 6].

В фундаментальных работах различных авторов [2,3] в качестве доминирующей формы представления знаний используются математические модели. С точки зрения операций, совершаемых над моделями в процессе ИАД, выделяются два основных направления [3]: обучение (когда модель известна априори) и идентификация модели (априорный выбор модели отсутствует) - основой которых является математическое моделирование.

В настоящее время ИАД успешно применяется для решения задач в области распознавания образов, анализа и понимания изображений, прогнозирования сложных процессов, создания экспертных систем, а также многих других прикладных задач искусственного интеллекта - на сегодняшний день исследователям в области ИАД доступно большое число алгоритмов ИАД, в том числе алгоритмы искусственного интеллекта (включая машинное обучение), математической статистики, оптимизации и прогнозирования и пр.

Для решения каждой новой практической задачи ИАД требуется осуществление выбора как наиболее подходящих (с точки зрения эффективности решения задачи ИАД) моделей и/или алгоритмов, так и их оптимальных параметров. Впервые формализация методики выбора алгоритма была предложена Джоном Райсом (John R. Rice) в 1976 году [5]. Идея заключалась в определении экспертами так называемых мета-характеристик данных (некоторых количественных и/или качественных свойств решаемой задачи и исходных данных) и выборе оптимального алгоритма решения задачи путем использования имеющихся мета-знаний (информации о зависимости эффективности решения известными алгоритмами различных задач от мета-характеристик данных).

Развитие идей Райса в направлении использования возможностей вычислительной техники (Machine Leaming) привело к возникновению к середине 2000-х годов в области ИАД отдельного научного направления, названного «мета-обучение» (Meta-Learning). Наибольший вклад в развитие области мета-обучения внесли следующие ученые: J. Rice, D.H.Wolpert, R. Vilalta, Y. Drissi, K.A. Smith-Miles, R.B.C. Prudencio, T.B Ludermir, N. Jankowski, K. Grabczewski,

W. Duch, J. Vanschoren, C. Soares, P.B. Brazdil, A. Kalousis, M. Hilario, D. Francois, M. Matijas, J.A.K. Suykens, S. Krajcar.

До настоящего времени разработано более 40 систем мета-обучения, каждая из которых показала свою эффективность при решении разнообразных задач ИАД. Однако проведенный автором анализ показал, что каждая из существующих систем требует привлечения эксперта в процессе решения поставленной задачи ИАД, что сопряжено с высокими материальными и временными затратами. А отсутствие единой методики построения систем мета-обучения, вследствие чего каждая из существующих систем обладает специфичными структурными особенностями, дополнительно ограничивает потенциальный спектр решаемых ими задач ИАД. Решение указанных проблем определяет актуальность диссертационной работы.

Существующие системы мета-обучения, как правило, используют различные модели и/или алгоритмы для решения задач ИАД («нижний уровень») и для накопления, выделения и использования мета-знаний («верхний уровень»). Это увеличивает сложность систем и трудоемкость их реализации. В то же время известно множество успешных применений индуктивного метода самоорганизации моделей (также известного как метод группового учета аргументов, МГУ А) для решения широкого спектра задач ИАД: классификации, прогнозирования, идентификации сложных систем, нахождения эмпирических зависимостей, кластеризации и т.д. Поэтому актуальным видится применение алгоритмов МГУА как на «нижнем», так и на «верхнем» уровнях системы.

Большой вклад в развитие области МГУА внесли работы ученых А.Г. Ивахненко, B.C. Степашко, Г.А. Ивахненко, Ю.П. Зайченко, Е.А. Савченко, А. Сарычева, JI. Сарычевой, O.A. Кошулько, А.И. Кошулько, Н. Кондрашовой, Е. Бодянского, J. Muller, F. Lemke, М. Snorek, P.Kordik, M. Alexandrov, Т. Kondo, N. Nariman-zadeh, H.R. Madala, S. Farzi, S.-K. Oh, T. Aksenova, E. Devilopoulos.

Объектом исследования является процесс интеллектуального анализа данных.

Предметом исследования является комплекс моделей, алгоритмов и программ интеллектуального анализа данных, реализующий подход мета-обучения и основанный на методе группового учета аргументов.

Целью диссертационной работы является разработка моделей, алгоритмов и программного комплекса для реализации системы мета-обучения с использованием метода группового учета аргументов.

Поставленная цель диссертационной работы определила необходимость решения следующих задач исследования.

1. Аналитический обзор существующих решений (методик, алгоритмов, систем), существующих программных комплексов (систем, платформ, библиотек), предназначенных

для ИАД, в областях мета-обучения и МГУА; выработка требований к разрабатываемой системе мета-обучения и к программному комплексу для ее реализации.

2. Разработка методики ИАД на основе мета-обучения путем выбора оптимального алгоритма ИАД и оптимальных параметров его функционирования.

3. Разработка алгоритмов функционирования системы мета-обучения, обеспечивающих автоматический режим:

• обучения системы,

• использования системы,

• накопления мета-знаний и построения мета-моделей,

• выбора оптимальных алгоритмов и расчета оптимальных параметров их работы,

• самодиагностики.

4. Адаптация существующего вычислительного алгоритма МГУА для идентификации мета-моделей и разработка вычислительного алгоритма идентификации моделей полиномиально-гармонического базиса.

5. Анализ предметных областей мета-обучения и МГУА и разработка объектной архитектуры программного комплекса, включающего программные платформы мета-обучения и МГУА; разработка необходимых модулей и компонентов.

6. Проведение исследований эффективности разработанной системы (и алгоритмов в ее составе) на типовых контрольных примерах и тестовых выборках данных, а также в прикладных задачах.

Методы исследований

В диссертационной работе применялись положения теории индуктивного моделирования, методы численного решения задач линейной алгебры и оптимизации, методы статистической обработки результатов. При реализации программного комплекса применялись парадигмы структурного и объектно-ориентированного программирования.

Достоверность результатов обеспечивается строгостью применения математических методов, сопоставлением результатов проведенных численных экспериментов с данными, полученными другими авторами. Научная новизна

В диссертационной работе получены следующие новые научные результаты. 1. Впервые сформулированы классификационные признаки систем интеллектуального анализа данных на основе мета-обучения, позволяющие единообразным образом характеризовать внутреннюю организацию существующих систем, что дает возможность их систематизации.

2. Предложена методика ИАД на основе мета-обучения, отличающаяся использованием мета-моделей, отражающих взаимосвязь между значениями мета-характеристик данных, значениями параметров работы алгоритмов и значениями показателей эффективности решения ими задачи ИАД, что обеспечивает одновременно как выбор оптимального алгоритма решения задачи ИАД, так и расчет оптимальных параметров его работы.

3. Разработаны алгоритмы функционирования предложенной системы мета-обучения, отличающиеся одновременной реализацией функций обучения системы, использования системы, накопления мета-знаний и построения мета-моделей, выбора оптимальных алгоритмов и расчета оптимальных параметров их работы, а также самодиагностики, что позволяет обеспечить автоматический режим функционирования системы.

4. Разработан вычислительный алгоритм идентификации полиномиально-гармонических моделей, отличающийся оригинальной процедурой генерации набора структур полиномиальной и гармонической частей, процедурой совместной оценки их параметров, включающей оригинальную численную процедуру расчета частот гармонических составляющих, основанную на преобразовании Фурье и методе градиентного спуска, что позволяет осуществлять полный перебор структур полиномиально-гармонических моделей в рамках заданных ограничений на сложность модели и оценку параметров этих моделей.

5. Впервые разработана архитектура программного комплекса (программных платформ мета-обучения и МГУ А), позволяющая реализовывать системы мета-обучения, а также известные алгоритмы (параметрические, непараметрические и многорядные), базисы, методы обучения и критерии селекции моделей МГУА.

Практическая значимость диссертационной работы заключается в следующем.

1. Разработанная методика ИАД на основе мета-обучения может применяться непосредственно для решения различных задач, стоящих перед экспертом в области ИАД (как то: идентификации моделей систем, классификации, прогнозирования и пр.), путем выбора оптимального алгоритма и оптимальных параметров его функционирования.

2. Разработанный программный комплекс (программные платформы мета-обучения и МГУА) способен функционировать в составе автоматических технических систем ИАД, в автоматическом режиме осуществляя обучение, выбор значимых мета-характеристик используемых данных, выбор оптимальных алгоритмов и настройку их параметров, а также накопление мета-знаний и самодиагностику.

3. Применение разработанного программного комплекса (программных платформ мета-обучения и МГУА) позволяет уменьшить трудоемкость реализации существующих и разработки новых систем мета-обучения, а также любых алгоритмов, базисов, методов обучения и критериев селекции моделей МГУА, необходимых эксперту для проведения

исследований и экспериментов в области ИАД, за счет унификации интерфейсов и реализации компонентов архитектур программных платформ. 4. Разработанные механизмы распараллеливания вычислений алгоритмов МГУ А, поддерживающие пять современных архитектур параллельных вычислений (потоковые процессоры, многоядерные процессоры, многопроцессорные системы, кластеры, распределенные системы) и реализованные на основе программной платформы МГУ А, позволяют увеличить качество решения задач ИАД за счет кратного увеличения количества генерируемых, обучаемых и отбираемых в единицу времени моделей.

Апробация работы

Основные положения работы докладывались и обсуждались на международной научной конференции на английском языке: «4th International Conference on Inductive Modelling (ICIM-2013)», Киев, Украина, 2013 г.

Результаты диссертационной работы в форме лекции докладывались на Международной Научной Школе «Индуктивное моделирование - теория и применение» (Жукин, Украина, 2011г.) - по приглашению ведущей в области индуктивного моделирования организации, Отдела информационных технологий индуктивного моделирования (ИТИМ) Международного научно-учебного центра информационных технологий и систем Национальной Академии Наук Украины.

Полученные в ходе диссертационной работы результаты обсуждались на семинарах лаборатории Интеллектуальных Систем, Когнитивной Робототехники и Автоматизации (ИСКРА) кафедры Промышленной Электроники ТУСУР, а также на Томских IEEE-семинарах «Интеллектуальные системы моделирования, проектирования и управления» (ТУСУР).

Защищаемые положения: 1. Новая методика интеллектуального анализа данных на основе мета-обучения позволяет осуществлять выбор оптимального алгоритма и оптимальных параметров его работы на основании мета-характеристик данных:

• с построением одной мета-модели на каждый из алгоритмов, когда вычисление оптимальных параметров работы алгоритма и прогнозирование его эффективности осуществляется с применением одной модели;

• с построением двух мета-моделей на каждый из алгоритмов, когда вычисление оптимальных параметров работы алгоритма производится с применением одной модели, а прогнозирование его эффективности - с применением другой.

Соответствуют пункту 1 паспорта специальности: Разработка новых математических методов моделирования объектов и явлений.

2. Алгоритмы функционирования системы мета-обучения обеспечивают автоматический режим обучения системы, использования системы, накопления мета-знаний и построения мета-моделей, выбора оптимального алгоритма и расчета оптимальных параметров его работы, а также самодиагностики.

Соответствуют пункту 3 паспорта специальности: Разработка. обоснование и тестирование эффективных вычислительных методов с применением современных компьютерных технологии.

3. Разработанный вычислительный алгоритм идентификации полиномиально-гармонических моделей обеспечивает как совместную генерацию полного набора структур полиномиальной и гармонической частей (в рамках заданных ограничений на сложность модели), так и совместную оценку их параметров, включающую численную процедуру расчета частот гармонических составляющих, основанную на преобразовании Фурье и методе градиентного спуска.

Соответствуют пункту 3 паспорта специальности: Разработка, обоснование и тестирование эффективных вычислительных методов с применением современных компьютерных технологий.

4. Предложенная архитектура программной платформы:

• позволяет реализовывать системы мета-обучения, а также известные алгоритмы (параметрические, непараметрические и многорядные), базисы, критерии селекции и методы обучения моделей метода группового учета аргументов без необходимости ее изменения;

• дает возможность использования как в качестве независимой системы ИАД (диалоговой, интерактивной и т.д.), так и элемента другой системы (в том числе и в составе технической системы);

• реализует механизмы распараллеливания вычислений и управления памятью для пяти современных архитектур параллельных вычислений (потоковые процессоры, многоядерные процессоры, многопроцессорные системы, кластеры, распределенные системы).

Соответствуют пункту 4 паспорта специальности: Реализация_эффективных

численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента.

Публикации по теме работы

Всего автором опубликовано 14 научных работ, включая 2 публикации в рецензируемых журналах из перечня ВАК РФ и 6 публикаций в рецензируемых зарубежных изданиях, и

зарегистрировано 3 объекта интеллектуальной собственности (1 патент на изобретение, 1 патент на полезную модель и 1 свидетельство о регистрации программы для ЭВМ).

Непосредственно по теме диссертации опубликовано 4 научные работы: 2 статьи - в рецензируемых журналах из перечня ВАК РФ; 1 статья в Международном научном журнале; 1 статья в сборниках трудов Международных конференций (на англ. языке).

Получено 1 свидетельство об официальной регистрации программы для ЭВМ -Свидетельство: № 18980 от 23.02.2013 г., «Программная платформа для реализации алгоритмов метода группового учета аргументов (МГУА)».

Принята к публикации и находится в печати глава в монографии, написанной международным коллективом авторов («GMDH - Methodology and Implementation in С» под редакцией Prof. Godfrey С. Onwubolu, Imperial College Press, London), вместе с которой поставляется CD-диск с авторским программным обеспечением.

Внедрение результатов диссертационного исследования

1. Разработанная в рамках диссертационной работы методика интеллектуального анализа данных и разработанный программный комплекс, включающий программные платформы мета-обучения и МГУА, были использованы в рамках проектов, выполняемых на базе компании Econophysica Ltd (Англия, идентификационный номер компании 4056562), и позволили произвести анализ изменения свойств нестационарного временного ряда и выработать экспертные рекомендации касательно построения прогнозов.

2. Разработанный в ходе выполнения диссертационной работы программный комплекс, включающий программные платформы мета-обучения и МГУА, был использован в составе предложенной автором структуры системы прогнозирования при выполнении проекта «Высокочастотный трейдинг» в компании ООО «Эко-Томск» (ОГРН 1047000092776), что позволило превзойти требования заказчика в части эффективности прогнозирующих моделей, построение которых осуществлялось системой прогнозирования (получено значение критерия качества прогнозирующих моделей 0.614 при заданном 0.6).

3. Результаты диссертационной работы в части реализации алгоритмов прогнозирования на основе предложенной методики интеллектуального анализа данных на основе мета-обучения и в части анализа архитектур параллельных вычислений, разработки подсистем параллельных вычислений и управления памятью программной платформы метода группового учета аргументов были получены в рамках Государственного задания Министерства образования и науки РФ на выполнение НИР в 2012—2014 гг. на тему «Развитие методов синтеза и адаптивного управления энергонасыщенными объектами на основе теории производящих функций, теории нормальных структур, методов комбинаторной генерации и самоорганизации моделей», проект № 7.2868.2011.

Личный вклад автора

Основные результаты диссертационной работы получены лично автором. Автор самостоятельно разработал архитектуру программного комплекса, включающего программные платформы мета-обучения и метода группового учета аргументов, и выполнил его реализацию.

Структура и объем работы

Диссертация состоит из введения, основной части, включающей в себя четыре главы, заключения, списка используемой литературы из 133 источников, 3 приложений. Объем диссертационной работы составляет 183 страницы. Работа иллюстрируется 37 рисунками и 26 таблицами.

В первой главе диссертации приводится аналитический обзор алгоритмов и программных систем ИАД. Предлагаются классификационные признаки, характеризующие внутреннюю организацию систем интеллектуального анализа данных на основе мета-обучения, которые были положены в основу систематизации существующих систем мета-обучения. Формулируются требования к реализации системы мета-обучения (требования А-О). Приводится обзор метода группового учета аргументов, в том числе дается подробное описание наиболее известных параметрических, непараметрических и многорядных алгоритмов. На основании аналитического обзора программных комплексов для реализации систем ИАД и алгоритмов МГУА формулируются требования к реализации программной платформы (гибкости, универсальности, производительности). Анализируются особенности аппаратной реализации пяти современных архитектур параллельных вычислений. Формулируются задачи диссертационного исследования.

Во второй главе диссертационной работы рассматривается предлагаемая методика ИАД на основе мета-обучения. Приводится описание разрабатываемой системы мета-обучения на основе предложенной методики, лишенной недостатков существующих систем и удовлетворяющей всем сформулированным в первой главе требованиям. Приводятся разработанные алгоритмы обучения и применения системы мета-обучения, а также ее дообучения (в том числе накопления ею мета-знаний). Рассматривается адаптация существующего вычислительного алгоритма МГУА для идентификации мета-моделей и описывается разработка вычислительного алгоритма идентификации моделей полиномиально-гармонического базиса. Производится объектно-ориентированный анализ предметных областей мета-обучения и МГУА с целью выявления ключевых сущностей. В результате объектно-ориентированного проектирования разрабатывается архитектура программных платформ мета-обучения и МГУА, удовлетворяющих сформулированным требованиям гибкости, универсальности и производительности.

В третьей главе рассматривается реализация разнообразных алгоритмов, базисов, критериев селекции и методов обучения моделей МГУА на базе разработанной во второй главе архитектуры программной платформы (показано соответствие критерию гибкости). Приводится описание механизмов параллельных вычислений и управления памятью (для всех пяти видов параллельных архитектур - соответствие критерию производительности). Дается описание внешних интерфейсов разработанной программной платформы и способов взаимодействия со сторонним программным обеспечением (продемонстрировано соответствие критерию универсальности).

В четвертой главе диссертационной работы приведены результаты экспериментальных исследований и представлены примеры практических применений разработанной системы мета-обучения в задаче прогнозирования нестационарных временных рядов. В главе также демонстрируются результаты экспериментов, относящиеся к предложенному численному алгоритму идентификации полиномиально-гармонических моделей и к способу распараллеливания вычислений.

В заключении формируются основные результаты диссертационного исследования.

В приложении приведены документы, подтверждающие практическое применение результатов диссертационной работы.

1. Обзор современных методик, алгоритмов и систем интеллектуального анализа данных

1.1. Математическое моделирование как основа интеллектуального

анализа данных

Задачей Интеллектуального Анализа Данных (ИАД, в англоязычной литературе используется термин «Data Mining») является обнаружение (извлечение) в доступных исследователю исходных данных ранее неизвестных, неочевидных, но практически полезных знаний [1;2,стр. 58-59]. При этом знания «представляют собой краткое обобщенное описание основного содержания информации, представленной в данных» [3,стр. 6].

В фундаментальных работах различных авторов [2,3] в качестве доминирующей формы представления знаний используются математические модели. С точки зрения операций, совершаемых над моделями в процессе ИАД, выделяются два основных направления [3].

1. Анализ доступных данных с использованием модели, которая известна априори с точностью до параметров. В этом случае задача ИАД сводится к задаче поиска оптимальных значений параметров модели, обеспечивающих максимизацию некоторого показателя качества модели, задаваемого исследователем (специалистом, участвующим в процессе ИАД). В литературе процесс решения данной задачи часто именуют «обучением модели».

2. Анализ доступных данных при отсутствии априорного выбора модели. В этом случае в процессе ИАД осуществляется выбор (построение) модели и ее параметров таких, которые максимизируют некоторый показатель качества решения конкретной задачи ИАД (зачастую с литературе используется термин «идентификация модели»).

Несмотря на очевидные различия, можно отметить, что неотъемлемой частью, основой обоих направлений является математическое моделирование.

В настоящее время существует большое количество алгоритмов искусственного интеллекта (включая машинное обучение), математической статистики, оптимизации и прогнозирования и пр., применяемых для решения задачи ИАД как в части обучения (первое направление), так и в части идентификации моделей (второе направление): искусственные нейронные сети, генетические алгоритмы, деревья решений, алгоритмы нечеткой логики, корреляционный и регрессионный анализ и т.д.

Каждый из существующих алгоритмов показал свою эффективность при решении разнообразных практических задач: распознавания образов, анализа и понимания изображений, прогнозирования сложных процессов, создания экспертных систем и т.п. Однако в работе [4]

было показано, что не существует единственного алгоритма, способного максимально эффективно решать задачу ИАД во всех возможных практических применениях, поэтому решение каждой новой практической задачи требует привлечения некоторых экспертных знаний для выбора наиболее подходящего алгоритма из числа доступных.

В работе [5] была формализована методика выбора алгоритма (рисунок 1): на основании набора мета-характеристик (meta-features, MF) /(х) е F (F - пространство мета-

характеристик) для выборки данных х из пространства проблем (задач) X функция («selection mapping») производит выбор такого алгоритма а из пространства доступных алгоритмов А , что его эффективность p{ct,x) («performance mapping») на выборке данных х

максимальна (р х) - показатель эффективности, ПЭ).

Здесь под «мета-характеристиками» данных подразумевается некоторая априори доступная информация либо рассчитываемые характеристики заданной выборки данных («данные о данных», «знания о данных»). Термином «алгоритм» обозначена последовательность действий по осуществлению математического моделирования с целью решения конкретной задачи ИАД. А функция «selection mapping» отражает первый этап ИАД -выбор алгоритма решения конкретной задачи ИАД.

Рисунок 1. Выбор алгоритма на основании мета-характеристик данных

Методика, предложенная в работе [5], предполагает, что выполнение функции «selection

mapping» возложено на эксперта в области ИАД, либо в качестве ^ (/(*)) используется

составленный экспертом набор правил (эвристик) выбора алгоритма. Очевидным недостатком применения методики является необходимость привлечения экспертов на стадии разработки системы ИАД либо на стадии ее использования. С одной стороны это требует дополнительных материальных и временных затрат, а с другой стороны ограничивает применение данного подхода в автоматических системах ИАД. Более того, возникает проблема эффективности накопления экспертных знаний и улучшения имеющихся эвристик выбора алгоритма, поскольку данные процессы основываются на увеличении уровня квалификации самого эксперта.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Орлов, Андрей Александрович

Заключение

В результате диссертационной работы решена важная и актуальная научно-практическая задача по разработке автоматической системы мета-обучения, в результате решения которой предложена методика, модели, алгоритмы и программный комплекс ИАД на основе мета-обучения с использованием метода группового учета аргументов.

Основные научные и практические результаты состоят в следующем.

1. В результате аналитического обзора известных систем мета-обучения, были сформулированы классификационные признаки, характеризующие внутреннюю организацию систем мета-обучения. Данные признаки были положены в основу систематизации существующих систем мета-обучения. Выработаны требования к системе мета-обучения на основе МГУ А, а также требования к ее программной реализации.

2. Разработана методика ИАД на основе мета-обучения, обеспечивающая выбор одновременно как оптимального алгоритма решения задачи интеллектуального анализа данных, так и оптимальных параметров его работы. Предложены два варианта (методики): «одна мета-модель на алгоритм» и «две мета-модели на алгоритм».

3. Разработаны алгоритмы функционирования предложенной системы мета-обучения, обеспечивающие автоматический режим обучения системы, использования системы, накопления мета-знаний и построения мета-моделей, выбора оптимальных алгоритмов и расчета оптимальных параметров их работы, а также самодиагностики.

4. Разработан вычислительный алгоритм идентификации полиномиально-гармонических моделей, отличающийся оригинальной процедурой генерации набора структур полиномиальной и гармонической частей, процедурой совместной оценки их параметров, включающей оригинальную численную процедуру расчета частот гармонических составляющих, основанную на преобразовании Фурье и методе градиентного спуска, что позволяет осуществлять полный перебор структур полиномиально-гармонических моделей в рамках заданных ограничений на сложность модели и оценку параметров этих моделей.

5. Разработана архитектура программного комплекса, позволяющая реализовывать известные системы мета-обучения, а также алгоритмы (параметрические, непараметрические, многорядные), базисы, критерии селекции и методы обучения моделей МГУА.

6. Реализованы 6 алгоритмов МГУА (относящихся к параметрическим, непараметрическим и многорядным), 2 базиса, 4 критерия селекции и 3 метода обучения моделей МГУА. Разработаны механизмы параллельных вычислений и управления памятью, поддерживающие пять известных параллельных архитектур. Представлены внешние

интерфейсы разработанной программной платформы и способы взаимодействия со сторонним программным обеспечением.

7. Разработанная в рамках диссертационной работы методика ИАД и разработанный программный комплекс, включающий программные платформы мета-обучения и МГУА, были использованы в рамках проектов, выполняемых на базе компании Econophysica Ltd (Англия).

8. Разработанный в ходе выполнения диссертационной работы программный комплекс, включающий программные платформы мета-обучения и МГУА, был использован в составе предложенной автором структуры системы прогнозирования при выполнении проекта «Высокочастотный трейдинг» в компании ООО «Эко-Томск».

9. Часть результатов диссертационной работы была получена в рамках Гос. задания Министерства Образования и Науки РФ на выполнение НИР в 2012-2014 гг., проект №7.2868.2011.

По результатам исследований, представленных в диссертации, опубликовано 4 научных работы: 2 статьи — в рецензируемых журналах из перечня ВАК РФ; 1 статья в Международном научном журнале; 1 статья в сборнике трудов Международных конференций (на англ. языке).

Получено 1 свидетельство об официальной регистрации программы для ЭВМ (Свидетельство: № 18980 от 23.02.2013 г.) «Программная платформа для реализации алгоритмов метода группового учета аргументов (МГУА)».

Список литературы диссертационного исследования кандидат наук Орлов, Андрей Александрович, 2014 год

Список литературы

1 From Data Mining to Knowledge Discovery in Databases / U. Fayyad, G. PiatetskyShapiro, P. Smyth // AI Magazine: International Journal. - AAAI Press, Palo Alto, CA, USA, 1996. - V.17, No.3.-P. 37-54.

2 Анализ данных и процессов: учеб. пособие / А. А. Барсегян, М. С. Куприянов, И. И. Холод, М. Д. Тесс, С. И. Елизаров. - 3-е изд., перераб. и доп. - СПб.: БХВ-Петербург, 2009. -512 е.: ил. + CD-ROM.

3 Загоруйко Н.Г. Прикладные методы анализа данных и знаний. - Новосибирск: ИМ СО РАН, 1999.-270 с.

4 Wolpert D.H. The Lack of A Priori Distinctions Between Learning Algorithms // Neural Computation: International Journal. - MIT Press Cambridge, MA, USA, 1996. - V.8, Iss.7. - P. 1341-1390.

5 Rice J. The Algorithm Selection Problem // Advances in Computers. - Academic Press Inc. (Elsevier), Waltham, MA, USA, 1976. - V.15.-P. 65-118.

6 Vilalta R., Drissi Y. A Perspective View and Survey of Meta-Learning // Artificial Intelligence Review: International Journal. - Kluwer Academic Publishers, Norwell, MA, USA, 2002. -V.18, Iss.2. - P. 77-95.

7 Meta-Learning in Computational Intelligence / под ред. N. Jankowski, W. Duch, K. Grabczewski // Studies in Computational Intelligence Series. - Springer, 2011. - V. 358. - 359 p.

8 Prudencio R.B.C., Ludermir T.B. Selecting and ranking time series models using the NOEMON approach // Proceedings of the Joint International Conference on Artificial Neural Networks and Neural Information Processing (ICANN/ICONIP 2003). - Istanbul, Turkey, 2003. - P. 654-661.

9 Prudencio R.B.C., Ludermir T.B. Active Meta-Learning with Uncertainty Sampling and Outlier Detection // Proceedings of the IEEE International Joint Conference on Neural Networks (IJCNN 2008). - Hong Kong, 2008. - P.346-351.

10 A meta-learning approach for recommending a subset of white-box classification algorithms for Moodle datasets / C. Romero, J.L. Olmo, S. Ventura // Proceeding of the 6th International Conference on Educational Data Mining (EDM 2013). - Memphis, Tennessee, USA, 2013. - P. 268-271.

11 Load forecasting using a multivariate meta-learning system / M. Matijas, J.A.K. Suykens, S. Krajcar // Expert Systems with Applications: International Journal. - Elsevier, 2013. - V.40. -Iss.ll.-P. 4427-4437.

12 Evolutional meta-learning framework for automatic classifier selection / S. Cacoveanu, C. Vidrighin, R.Potolea // Proceedings of the 5th International Conference on Intelligent Computer Communication and Processing (IEEE ICCP 2009). - Cluj-Napoca, Romania, 2009. - P. 27-30.

13 Algorithm Selection: From Meta-Learning to Hyper-Heuristics / L. Cruz-Reyes, C. Gomez-Santillan, J. Perez-Ortega, V. Landero, M. Quiroz, A. Ochoa // Intelligent Systems. - InTech, 2012. - Ch.6. - 27 p. URL: http://www.intechopen.com/ books/ intelligent-systems/ algorithm-selection-from-meta-leaming-to-hyper-heuristics (дата обращения 04.04.2014).

14 Rule induction for forecasting method selection: Meta-learning the characteristics of univariate time series / X. Wang, K. Smith-Miles, R. Hyndman // Neurocomputing: International Journal. -Elsevier Science Publishers, Amsterdam, 2009. - V.72. - Iss.10-12. - P. 2581-2594.

15 Landmarking for Meta-Learning using RapidMiner / S.D. Abdelmessih, F. Shafait, M. Reif, M. Goldstein // Proceedings of the RapidMiner Community Meeting and Conference. - Dortmund, Germany, 2010. - 6 p. URL: http://www.dfki.de /web /forschung /iwi /publikationen /renameFileForDownload? filename=Sarah-Landmarking-RCOMM 10.pdf &file_id=uploads_781 (дата обращения 08.09.2014).

16 Meta-Learning Approach for Automatic Parameter Tuning: A Case Study with Educational Datasets / M. M. Molina, J. M. Luna, C. Romero, S. Ventura // Proceeding of the 5th International Conference on Educational Data Mining (EDM 2012). - Chania, Greece, 2012. -P.180-183.

17 Musliu N., Schwengerer M. Algorithm Selection for the Graph Coloring Problem // Proceedings of the 7th International Conference on Learning and Intelligent Optimization (LION 7). -Catania, Italy, 2013. - P.389-403.

18 Tuned data mining: A benchmark study on different tuners / W. Konen, T. Bartz-beielstein , P. Koch , M. Friese , O. Flasch , B. Naujoks // Proceedings of the 13th Annual Conference on Genetic and Evolutionary Computation (GECCO '11). - ACM New York, NY, USA, 2011. - P. 1995-2002.

19 Soares C., Brazdil P.B. Selecting parameters of SVM using meta-learning and kernel matrix-based meta-features // Proceedings of the ACM symposium on Applied computing (SAC '06). -New York, NY, USA, 2006. - P. 564-568.

20 Meta-learning for evolutionary parameter optimization of classifiers / M. Reif, F. Shafait, A. Dengel // Machine Learning: International Journal. - Kluwer Academic Publishers Hingham, MA, USA, 2012. - V.87, Iss.3. - 24 p.

21 Sleeman D., Rissakis M., Craw S., Graner N., Sharma S. Consultant-2: pre- and post-processing of machine learning applications // International Journal of Human-Computer Studies. -Academic Press, Inc. Duluth, MN, USA, 1995. - V.43, Iss.l. - P. 43-63.

22 Kalousis A., Hilario M. Representational issues in meta-learning // Proceedings of the 20th International Conference on Machine Learning (ICML-03). - Washington, DC, USA, 2003. -P.313-320.

23 Kordik P., Cerny J. Self-organization of Supervised Models. // In book Meta-Leaming in Computational Intelligence, Studies in Computational Intelligence, Vol. 358, Springer, Berlin, 2011 - P. 179-223

24 A. Andrakhanov, A. Tyryshkin. Robot Control on basis of Inductive Method of Self-organization of Models // International Journal of Advanced Robotic Systems, - Intech, 2014 r. - (in publishing).

25 Ивахненко А.Г., Индуктивный метод самоорганизации моделей сложных систем, «Наукова Думка», Киев, 1982 г. - 296 с.

26 GMDH - General Description of the GMDH [Электронный ресурс]. URL: http://www.gmdh.net/GMDH_abo.htm (дата обращения 03.06.2014).

27 GMDH - Spectrum of GMDH algorithms [Электронный ресурс]. URL: http://www.gmdh.net/GMDH_alg.htm (дата обращения 03.06.2014).

28 A.G. Ivakhnenko, G.A. Ivakhnenko. The Review of Problems Solvable by Algorithms of the Group Method of Data Handling // International Journal of Pattern Recognition and Image Analysis: Advanced in Mathematical Theory and Applications, 1995, Vol. 5, No. 4, pp. 527-535.

29 Muller J.A., Lemke F. Self-Organising Data Mining. An Intelligent Approach to Extract Knowledge from Data. - Dresden, Berlin: Books on Demand GmbH, 1999. - 225 p.

30 Madala H.R., Ivakhnenko A.G. Inductive Learning Algorithms for Complex System Modeling. -Boca Raton; Ann Arbor; London; Tokyo: CRC Press, 1994. - 368 p.

31 Anastasakis L., Mort N. The development of self-organization techniques in modelling: A review of the Group Method of Data Handling (GMDH). // Research Report No. 813, The University of Sheffield, United Kingdom, 2001 - 38 pp.

32 Катаев С.Г., Катаев М.Ю. Математический метод и алгоритм сжатия многомерных временных рядов. - Доклады ТУСУР. - Томск, 2012. - С.208-212.

33 O.A.Koshulko, A.I. Koshulko. Adaptive parallel implementation of the Combinatorial GMDH algorithm // In Proceedings of International Workshop on Inductive Modelling (IWIM-2007), Prague, 2007-P.71-77.

34 Степашко B.C. Костенко Ю.В. Исследование свойств комбинаторно- селекционного (многоэтапного) алгоритма МГУА // Сборник научных трудов международного научно-учебного центра информационных технологий и систем, научный совет НАН Украины по проблеме «Кибернетика». Моделирование и управление состоянием эколого-экономических систем региона, Киев, 2001. - С. 96-100.

35 Крисилов В.А., Побережник С.М. Аппроксимация сложных зависимостей структурно-гибкими полиномиальными и гармоническими рядами // Международный журнал «Управляющие системы и машины». - Киев, 2003. - №2. - С.80-86.

36 Мицель А.А., Козлов С.В. Разложение функции затрат на компоненты с использованием гармонического анализа циклической составляющей переменных затрат // Горный Информационно-Аналитический Бюллетень: Научно-Технический Журнал. - М.Ж Горная книга, 2010. - Т. 3. - № 12. - С.245-252.

37 Tauser J., Buryan P. Exchange Rate Predictions in International Financial Management by Enhanced GMDH Algorithm // Prague Economic Papers No.3, University of Economics, Prague, 2011 - pp.232-249.

38 Aksenova Т., Volkovich V., Villa A. Robust Structural Modeling and Outlier Detection with GMDH-Type Polynomial Neural Networks // In proceedings of 15th International Conference Artificial Neural Networks: Formal Models and Their Applications - ICANN 2005, Warsaw, Lecture Notes in Computer Science Volume 3697, Springer, 2005 - pp 881-886

39 Kondo Т., Pandya A. GMDH-type Neural Networks with a Feedback Loop and their Application to the Identification of Large-spatial Air Pollution Patterns // In proceedings of the 39th SICE Annual Conference International Session Papers, 112A-4, Iizuka, Japan, 2000 - P. 1-6.

40 Bodyanskiy Ye., Vynokurova O., Dolotov A., Kharchenko O. Wavelet-Neuro-Fuzzy-Network Structure Optimization Using GMDH for the Solving Forecasting Tasks // In Proceedings of 4th International Conference on Inductive Modelling (ICIM-2013). - Kyiv, Ukraine, 2013,-P. 61-67.

41 Ивахненко Г.А. Алгоритм комплексирования аналогов для самоорганизации дважды многорядных нейронных сетей / Прогнозирование с применением аналогов // Международный журнал «Управляющие системы и машины», Киев, 2003, №2. -С. 100-107.

42 Кошкин Г.М, Пивен И.Г. Непараметрическая идентификация стохастических систем: монография // Международный журнал Прикладных и фундаментальных исследований. -Пенза: Издательский Дом "Академия Естествознания", 2013. - № 2. - С.88-90.

43 Sarycheva L. Using gmdh in ecological and socio-economical monitoring problems // Systems Analysis Modelling Simulation. - Taylor & Francis, 2003, - V.43. - No. 10. - P. 1409-1414.

44 Ivakhnenko A.G., Kovalishyn V.V., Tetko I.V., Luik A.I. et al. Self-Organization of Neural Networks with Active Neurons for Bioactivity of Chemical Compounds Forecasting by Analogues Complexing GMDH algorithm // In proceedings of 9th International Conference on Neural Networks (ICANN 99), 1999.

45 Ивахненко А.Г., Мюллер И.А. Самоорганизация прогнозирующих моделей. -Киев: Техника, 1985; Берлин: ФЕБ Ферлаг Техник, 1984. - 223 с.

46 Stepashko, V., Bulgakova, О. Generalized iterative algorithm (GIA) GMDH // In Proceedings of 4th International Conference on Inductive Modelling (ICIM-2013). - Kyiv, Ukraine, 2013.-P. 119-123.

47 GMDH - Examples of Applications [Электронный ресурс]. URL: http://www.gmdh.net/GMDH_exa.htm (дата обращения 08.09.2014).

48 Devilopoulos Е., Theocharis J.B. A modified PNN algorithm with optimal PD modeling using the orthogonal least squares method // An International Journal "Information Sciences" No. 168, 2004-pp 133-170.

49 Kondo Т., Ueno J. Medical Image Recognition of Abdominal X-ray CT Images by RBF GMDH-type Neural Network // In proceedings of International Conference on Instrumentation, Control and Information Theory (SICE Annual Conference 2007, ICASE, IEEE). - Kagawa, Japan, 2007.-P.l 112-1116.

50 Garaev Т., Alexandrov M., Koshulko O. Text Classifier as a Tool for Short-Term Forecast of Currency Rate: GMDH vs Regression Analysis // In proceedings of 4th International Conference on Inductive Modelling (ICIM-2013). - Kyiv, Ukraine, 2013. - P.261-266.

51 Krishnaveni V., Jayaraman S., Gunasekaran A., Ramadoss K. Automatic Removal of Ocular Artifacts using JADE Algorithm and Neural Network // International Journal of Intelligent Systems and Technologies. - 2006. - P.322-333.

52 Tyryshkin A.V., Andrakhanov A.A., Orlov A.A. GMDH Application for autonomous mobile robot's control system construction// In proceedings of 2nd International Conference on Inductive Modelling (ICIM-2008). - Kyiv, Ukraine, 2008. - P.306-309.

53 Schetinin V. Polynomial Neural Networks Learnt to Classify EEG Signals // In proceedings of NATO Advanced Study Institute on Neural Networks for Instrumentation, Measurement, and Related Industrial Applications: Study Cases, - Crema, Italy, 2001, - 8 p.

54 Semeniv O. Nonlinear models identification for space weather prediction with inductive modelling // In proceedings of 4th International Conference on Inductive Modelling (ICIM-2013). -Kyiv, Ukraine, 2013. - P.209-216.

55 Andrakhanov A.A. Navigation of Autonomous Mobile Robot in Homogeneous and Heterogeneous Environments on Basis of GMDH Neural Networks // In proceedings of 4th International Conference on Inductive Modelling (ICIM-2013). - Kyiv, Ukraine, 2013. - P.133-138.

56 Pilny A., Kordik P., Snorek M., Cepek M., Kubelkova R. Application of Feature Selection Methods in Age Prediction // In proceedings of 3rd International Conference on Inductive Modelling (ICIM-2008). - Yevpatoria, Ukraine, 2008. - P.167-171.

57 J. Bouska, P. Kordik. Time Series Prediction by means of GMDH Analogues Complexing and GAME // In proceedings of International Workshop on Inductive Modelling (IWIM-2007), Prague, 2007-P. 278-287.

58 Anastasakis L., Mort. N. Exchange rate forecasting using a combined parametric and nonparametric self-organising modelling approach // Expert Systems with Applications: An International Journal, vol. 36, issue 10, 2009 - P. 12001-12011.

59 Farzi S. A New Approach to Polynomial Neural Networks based on Genetic Algorithm // International Journal of Computer Systems Science and Engineering, 2008, P.180-187.

60 Зайченко Ю.П., Заец И.О, Камоцький О.В., Павлюк О.В. Исследование разных видов функций принадлежности параметров нечетких прогнозирующих моделей в нечетком методе группового учета аргументов // Международный журнал «Управляющие системы и машины», Киев, 2003, №2. - С.56-67.

61 Stepashko V., Yefimenko S., Voloshuk R. Investmant Activity Prediction with the Use of Multiple Autoregression Models // In Proceedings of the 3rd International Conference on Inductive Modelling, Yevpatoria, 2010 - P. 149-151.

62 Zhao X., Song Z., Li P., A Novel NF-GMDH-IFL and Its Application to Identification and Prediction of Nonlinear Systems // In Proceedings of IEEE Region 10 Conference on Computers, Communications, Control and Power Engineering (TENCON), vol.3, Beijing, China, 2002 -P.1286-1289.

63 Onwubolu G. et.al. Hybrid Particle Swarm Optimization and Group Method of Data Handling for Inductive Modeling // In proceedings of International Conference on Inductive Modelling, Kiev, 2008-pp 96-103.

64 Elattar E., Goulermas J., Wu Q. Short Term Load Forecasting Using Evolutionary Modified Locally Weighted GMDH // In Proceedings of the 14th International Middle East Power System Conference (MEPCON'IO), Cairo, Egypt, 2010

65 Huseynov A.F., Yusifbeyli N.A., Hashimov A.M. Electrical system load forecasting with polynomial neural networks (based on combinatorial algorithm) // In Proceedings of the International Symposium "Modern Electric Power Systems" (MEPS), Wroclaw, Poland, 2010 -pp. 1-5.

66 Kordik P., Fully Automated Knowledge Extraction using Group of Adaptive Models Evolution // PhD thesis, Prague, 2006 - 136 pp.

67 Y. Zaychenko. The Investigations of Fuzzy Group Method of Data Handling with Fuzzy Inputs in the Problem of Forecasting in Financial Sphere // In Proceedings of the 2nd International Conference on Inductive Modelling, Kiev, 2008. - P. 129-133.

68 Выявление закономерностей во временных рядах в задачах распознавания состояний динамических объектов: монография / В.Г. Букреев, С.И. Колесникова, А.Е. Янковская; Томский политехнический университет. -2-е изд., испр. и дополн. - Томск: Изд-во Томского политехнического университета, 2011. - 254 с.

69 van Dijk D., Terasvirta, Т., Franses, P. Smooth Transition Autoregressive Models - A Survey of Recent Developments // In Working Paper Series in Economics and Finance, vol. 380, Stockholm School of Economics, 2001 - 55 pp.

70 Stock J, Watson M. A Comparison of Linear and Nonlinear Univariate Models for Forecasting Macroeconomic Time Series. // In: Engle R, White H "Cointegration, Causality and Forecasting: A Festschrift for Clive W.J. Granger", Oxford University Press, Oxford, 1999 - pp. 1-44.

71 Lemke C. Combinations of Time Series Forecasts: When and Why Are They Beneficial? // PhD Thesis, Bournemouth, UK, 2010- 127 pp.

72 Riedel, S. and Gabrys, B. Evolving Multilevel Forecast Combination Models - An Experimental Study // In proceedings of the Nature-Inspired Smart information Systems (NiSIS) Symposium, Albufeira, Portugal, 2005 - 10 pp.

73 KEEL: Knowledge Extraction based on Evolutionary Learning (официальный ресурс, содержащий документацию, исходные коды и обучающие материалы). - Spain, 2013. URL: http://www.keel.es/ (дата обращения: 25.05.2014).

74 KEEL Data-Mining Software Tool: Data Set Repository, Integration of Algorithms and Experimental Analysis Framework / J. Alcala-Fdez, A. Fernández, J. Luengo, J. Derrac, S. García, L. Sánchez, F. Herrera // Journal of Multiple-Valued Logic and Soft Computing. - Old City Publishing, Philadelphia, USA, 2011. - V. 17. - P.255-287.

75 KNIME Analytics Platform (официальный ресурс, содержащий документацию, исходные коды и обучающие материалы).- Zurich, Switzerland, 2014. URL: http://www.knime.org/knime (дата обращения: 25.05.2014).

76 Davis Е. King. Dlib-ml: A Machine Learning Toolkit // Journal of Machine Learning Research. -2009. - V. 10.-P. 1755-1758.

77 Dlib С++ Library (официальный ресурс, содержащий документацию и исходные коды). -SourceForge, 2014. URL: http://sourceforge.net/projects/dclib/ (дата обращения: 25.05.2014).

78 Encog Machine Learning Framework (официальный ресурс, содержащий документацию и исходные коды). - Heaton Research, Chesterfield, МО, USA, 2014. URL: http://www.heatonresearch.com/encog (дата обращения: 25.05.2014).

79 GraphLab Open Source (официальный ресурс, содержащий документацию, исходные коды и обучающие материалы). - GraphLab Inc., Seattle, WA, USA, 2014. URL: http://graphlab.org/projects/index.html (дата обращения: 25.05.2014).

80 Jubatus: Distributed Online Machine Learning Framework (официальный ресурс, содержащий документацию, исходные коды и обучающие материалы). - Japan, 2014. URL: http://jubat.us/en/ (дата обращения: 25.05.2014).

81 Jubatus in Action: Report on Realtime Big Data Analysis by Jubatus / K. Horikawa, Y. Kitayama, S. Oda, H. Kumazaki, J. Han, H. Makino, M. Ishii, К. Aoya, M. Luo, S. Uchikawa // NTT Technical Review. - 2012. - V.5. - No.12. - 8 p. URL: https://www.ntt-review.jp/ archive/ ntttechnical.php?contents=ntr201212fa5.pdf&mode=show_pdf (дата обращения: 25.05.2014).

82 MATLAB and Simulink for Technical Computing (официальный ресурс, содержащий описание, документацию и обучающие материалы). - Math Works, 2014. URL: http://www.mathworks.com (дата обращения: 25.05.2014).

83 OpenNN - Open Neural Networks Library (официальный ресурс, содержащий описание и документацию по OpenNN). - Intelnics, Salamanca, Spain, 2014. URL: http://www.intelnics.com/opennn (дата обращения: 25.05.2014).

84 Onay Urfalioglu. Welcome to the [Monte Carlo + Machine Learning = Library] (официальный ресурс, содержащий документацию и обучающие ресурсы по MCMLL). - SourceForge, 2014. URL: http://mcmll.sourceforge.net/ (дата обращения: 25.05.2014).

85 Onay Urfalioglu. Monte Carlo Machine Learning Library (официальный репозиторий исходных кодов и документации по MCMLL). - SourceForge, 2014. URL: http://sourceforge.net/projects/mcmll/ (дата обращения: 25.05.2014).

86 Predictive Analytics, Data Mining, Self-service, Open source - RapidMiner (официальный ресурс, содержащий установочные пакеты, документацию и обучающие материалы). -RapidMiner GmbH, Dortmund, Germany, 2014. URL: http://rapidminer.com (дата обращения: 25.05.2014).

87 RapidMiner — Data Mining, ETL, OLAP, BI (официальный ресурс, содержащий исходные коды и документацию). - SourceForge, 2014. URL: http://sourceforge.net/projects/rapidminer (дата обращения: 25.05.2014).

88 Machine Learning Group at the University of Waikato. Weka 3: Data Mining Software in Java (официальный ресурс, содержащий исходные коды, документацию и примеры использования). - Waikato, New Zealand, 2014. URL: http://www.cs.waikato.ac.nz/ml/weka/ (дата обращения: 25.05.2014).

89 Weka (официальный ресурс, содержащий исходные коды и документацию). — SourceForge, 2014. URL: http://sourceforge.net/projects/weka/ (дата обращения: 25.05.2014).

90 Степашко B.C. Основные требования к функциональной структуре ППП МГУА для персональных ЭВМ / В кн.: Управление в технических системах. - Киев: ИК АН УССР, 1990. — С.27-34.

91 ASTRID - программная система [Электронный ресурс]. URL: http://www.mgua.irtc.org.ua/ru/index.php?page=astrid (дата обращения 19.04.2014).

92 parallel-combi - openGMDH [Электронный ресурс]. URL: http://opengmdh.org/wiki/parallel-combi (дата обращения 18.05.2014).

93 Степашко B.C., Семенов Н.А., Михеев В.Н. Диалоговый пакет прикладных программ моделирования на основе МГУА (ППП МГУА) / В кн.: Искусственный интеллект - основа новой информационной технологии. - Калинин: НПО ЦПС, 1990. - С. 105-116.

94 Tetko, I. V.; Aksenova, Т. I.; Volkovich, V. V.; Kasheva, Т. N.; Filipov, D. V.; Welsh, W. J.; Livingstone, D. J.; Villa, A. E. P. Polynomial neural network for linear and non-linear model selection in quantitative-structure activity relationship studies on the internet, SAR QSAR Environ. Res., 2000, 11, 263-80.

95 K. Atashkari, N. Nariman-zadeh, A. Darvizeh, X. Yao, A. Jamali, A. Pilechi, Genetic Design of GMDH-type Neural Networks for Modelling of Thermodynamically Pareto Optimized Turbojet Engines // WSEAS Transactions on COMPUTERS, Issue 3, Volume 3, July 2004, ISSN 11092750

96 O.A.Koshulko, A.I. Koshulko. Acceleration of GMDH combinatorial search with HPC clusters // In Proceedings of. 2nd International Conference on Inductive Modelling, September 15-19, Kyiv, Ukraine, 2008. - P. 164-167.

97 GMDH Shell - Forecasting Software for Professionals [Электронный ресурс]. URL: http://www.gmdhshell.com (дата обращения 08.09.2014)

98 PNN Software Company - Polynomial Neural Network Solutions [Электронный ресурс]. URL: http://pnn.pnnsoft.com (дата обращения 08.09.2014)

99 Software Optimization Guide for AMD Family 15h Processors. V. 3.06. Advanced Micro Devices (AMD). - 2012. - 362 c. URL: http://support.amd.com/ us/ Processor_TechDocs/ 47414_15h_sw_opt_guide.pdf (дата обращения: 25.03.2014).

100 Intel® 64 and IA-32 Architectures. Optimization Reference Manual: справочное руководство. V. 3.06. Intel Corporation. - 2013,- 670 c. URL: http://www.intel.com/ content/ dam/ www/ public/ us/ en/ documents/ manuals/ 64-ia-32-architectures-optimization-manual.pdf (дата обращения: 08.09.2014).

101 Kordik P., Spirk J., Simecek I. Parallel computing of GAME models // Proceedings of 2nd International Conference on Inductive Modelling (ICIM-2008). - Kyiv, 2008. - P. 160-163.

102 Lemke F. Parallel Self-organizing Modeling // Proceedings of 2nd International Conference on Inductive Modelling (ICIM-2008). - Kyiv, 2008. - P. 176-183.

103 AMD64 Technology. AMD64 Architecture. В 5 ч. 4.1. Application Programming. V. 3.20. Advanced Micro Devices (AMD). - 2013 - 386 c. URL: http://support.amd.com/ us/ ProcessorTechDocs/ 24592_APM_vl.pdf (дата обращения: 05.02.2014).

104 TOP500. List Statistics. Process generation category. June 2013 (статистика по поколениям процессоров, использованных в суперкомпьютерах списка Тор 500). - ТОР500 Supercomputers. 2013. URL: http://www.top500.org/statistics/list/ (дата обращения: 05.09.2013).

105 Таненбаум Э., М.ван Стеен. Распределенные системы. Принципы и парадигмы. - СПб.: Питер, 2003. - 887 с.

106 Duncan R. A survey of parallel computer architectures // Computer: Journal of IEEE. - 1990. -V. 23. -Iss. 2.-P. 5-16.

107 Flynn M.J. Very High-Speed Computing Systems // Proceedings of the IEEE. - 1966. - V. 54. -P.1901-1909.

108 AMD Graphics Cores Next (GCN) architecture: техническое описание. V. 1.0. Advanced Micro Devices Inc.- 2012.- 18 c. URL: http://www.amd.com/ us/ Documents/ GCN_Architecture_whitepaper.pdf (дата обращения: 05.02.2014).

109 NVIDIA GeForce GTX 680: техническое описание. V. 1.0. NVIDIA. - 2012. - 29 с. URL: http://international.download.nvidia.com/ webassets/ en_US/ pdf/ GeForce-GTX-680-Whitepaper-FINAL.pdf (дата обращения: 08.09.2014).

110 Chrysos G. Intel Xeon Phi Coprocessor - the Architecture: техническое описание. Intel Corporation. 2012. URL: http://software.intel.com/en-us/articles/intel-xeon-phi-coprocessor-codename-knights-corner (дата обращения: 08.09.2014).

111 Software Optimization Guide for AMD Family lOh and 12h Processors. V. 3.13. Advanced Micro Devices (AMD).- 2011. - 348 c. URL: http://support.amd.com/ us/ Processor TechDocs/ 40546.pdf (дата обращения: 05.02.2014).

112 Семейство T-Blade V-Class. Обзор вычислительных модулей V205S и V205F. Т-Платформы. - 2012,- 24 с. URL: http://www.t-platforms.ru/ images/ pdfvclass_v5000_RUS/ Обзор вычислительных модулей V205S и V205F.pdf (дата обращения: 05.09.2014).

113 T-Blade 2: техническое руководство. Rev. А02. Т-Платформы. - 2010. - 24 с. URL: http://www.t-platforms.ru/ images/ pdfblade2_products_RUS/ ТВ2 Техническое руководство-pdf (дата обращения: 05.09.2014).

114 Таненбаум Э. Современные операционные системы. 3-е изд.- СПб.: Питер, 2010,1120 с.

115 Orlov A.A. Non-Stationary Time Series Forecasting on Basis of Analysis and Prediction of Forecasting Models Efficiency // Proceedings of 4th International Conference on Inductive Modelling (ICIM-2013). - Kyiv, 2013. - P. 192-199.

116 Combining meta-leaming and search techniques to select parameters for support vector machines / T.A.F. Gomes, R.B.C. Prudencio, С. Soares // Neurocomputing: International Journal. -Elsevier Science Publishers, Amsterdam, 2012. - V.75. -Iss.l. - P. 3-13.

117 Орлов А.А. Автоматическая система мета-обучения с поддержкой выбора оптимального алгоритма решения задачи и вычисления оптимальных параметров его функционирования // Известия ТПУ. - Томск, 2014. - Т.324. - № 5. - С. 57-70.

118 G. Booch, R. A. Maksimchuk, М. W. Engel, В. J. Young, J. Conallen, К. A. Houston. Object-Oriented Analysis and Design with Applications // Addison-Wesley Professional, 3/E, 2007. -720pp.

119 Змеев О.А., Приступа A.B. Разработка объектно-ориентированного программного комплекса имитационного моделирования систем массового обслуживания // Вестник ТГУ. - Томск, 2004. - № 284. -С.171-173.

120 Мицель А.А., Грибанова Е.Б. Разработка системы имитационного моделирования экономических объектов на основе объектно-ориентированного подхода // Известия ТПУ. - Томск, 2007. - Т.311. - № 6. -С. 11-15.

121 Park B.-J., Lee D.-Y., Oh S.-K. Rule-Based Fuzzy Polynomial Neural Networks in Modeling Software Process Data // International Journal of Control, Automation, and Systems, Vol.1, No.3, 2003 - P.321-331.

122 Nariman-zadeh N., Jamali A. Pareto Genetic Design of GMDH-type Neural Networks for Nonlinear Systems // In Proceedings of International Workshop on Inductive Modeling 2007, Prague, Czech Republic - P.96-103.

123 Ivakhnenko, A.G.: An inductive sorting method for the forecasting of multidimensional random processes and events, with the help of analogue forecast complexing // Pattern recognition and Image Analysis vol.1, no.l, 1991 - pp. 99-107.

124 Орлов А.А. Принципы построения архитектуры программной платформы для реализации алгоритмов метода группового учета аргументов (МГУА) // Управляющие системы и машины: Международный журнал. - 2013. - № 2. - С. 65-71.

125 Орлов А.А. Электронный информационный образовательный ресурс: ^Программная платформа для реализации метода группового учета аргументов> // Хроники объединенного фонда электронных ресурсов <Наука и образование^ - 2013. — № 2. URL: http://ofernio.ruy portal/ newspaper/ ofernio/ 2013/ 2.doc (дата обращения: 05.09.2014).

126 The OpenCL Specification / под ред. A. Munshi. Ver. 1.2., Rev. 19. Khronos OpenCL Working Group. - 2012. - 380 p. URL: http://www.khronos.org/ registry/ cl/ specs/ opencl-L2.pdf (дата обращения: 05.09.2014).

127 MATLAB Engine API for C, С++, and Fortran: справочное руководство. MathWorks. - 2014. URL: http://www.mathworks.com/ help/ matlab/ calling-matlab-engine-from-c-c-and-fortran-programs.html (дата обращения: 05.10.2014).

128 Авдеенко T.B, Забуга А.А. Метод реализации интегрированной программной системы для исследования математических моделей с использованием символьных вычислений на базе MatLab // Научный вестник НГТУ. - Новосибирск, 2008. - №2. - С. 39-57.

129 Палухин П.Н., Поддубный В.В. Технология использования MatLab-nporpaMM в средах визуального программирования C/C++ // Вестник ТГУ. - Томск, 2003. - №280. -С. 309-318.

130 Вичугова А.А., Вичугов В.Н., Дмитриева Е.А., Цапко Т.П. Методы и средства интеграции инфорационных систем в рамках единого информационного пространства проектирования // Вестник Науки Сибири. - Томск, 2012. - № 5 (6). - С. 113-117.

131. Makridakis S., Hibon М. МЗ-Competition: исследовательский отчет // INSEAD. - INSEAD, Fontainebleau, France, 1999. -41 pp. URL: http:// www.insead.edu/ facultyresearch/ research/ doc.cfm?did=1094 (дата обращения: 23.03.2014).

132. Makridakis S., Hibon M. The МЗ-Competition: results, conclusions and implications // International Journal of Forecasting. - Elsevier Science Publishers, Amsterdam, 2000. - V.16. -Iss.4. - P. 451-476.

133 Б. Страуструп. Язык программирования С++. Специальное издание. - М: ООО «Бином-Пресс», 2004 г. - 1104 е.: ил.

ша а з t . i ^ ^л вдмшви t

180

Приложение 1. Акт о внедрении результатов диссертации в

компании Econophysica Ltd

Econophysica Lid

19 V/rgietc Road Kings tor Upon ТЬэпрч Sure у KT2 SLR UK

Те! «t4-20-3325~W7 Fax [phone],/77 fnJb.§eeui,43£tiy'sica co-n ww eccnopbyslca com

CERTIFICATE OF INTRODUCTION

of the results of the dissertation by And rev A. Orlov

The current certificate attests that the results of the dissertation by Andrey A. Orlov have been utilised for particular projects carried out by Econophysica Ltd. and including research of mcta-features of data and their influence on selection of a forecasting algorithm. In particular, research activities on analysis of alteration regularities of optima! parameters of algorithms constructing non-stationary time series forecasting models included:

• application of the unified software framework (software platform) developed by Andrey A. Orlo\ and based on the proposed object-oriented architecture derived from conduced analysis of the subject area of Group Method of Data Handling (GMDH) and from revealing of the most common semantic interconnections between entities, that allowed to implement the entire spectrum of different GMDH algorithms (parametric non-parametric. combinatoriaViterative/combmatorial-iterathe. with/without teacher etc.);

• handling of the unified interfaces to access GMDH capabilities in the software framework de\ eloped by Andrey A. Orlov created as the result of conducted analysis and generalization of parameters of all possible combinations of algorithms, model bases, training methods and selection criteria, that allowed to utilize all capabilities of the method related to parametric and structural optimization of forecasting models;

• employment of the automation tools for obtaining, storing and analyzing results of meia-learning within the soitvsare framework developed by Andrey A. Orlov, that reduced laboriousness of exhaustive search of time series meta-characteristics and parameters of forecasting model construction algorithms and laboriousness of revealing interdependences between meta-features and algorithms parameters.

lhc mentioned applications of the results of the dissertation by Andrey A. Orlov positively influenced obtaining of the final results. In particular the method of revealing of optimal algorithms parameters by comparing them to time series meta-features was proposed.

C.T.O, Econophysica I td. ________/Dr. Oleg. A. Solovicv

1C F4 Win

1 " i"m r i o and and Wo et, Cot',}t y <o 5"f<;-'2

Перевод Акта о внедрении результатов диссертации в компании Econophysica Ltd.

Econophysica Ltd 19 Wingfield Road Kingston Upon Thames Surrey, KT2 5LR UK

Tel: [phone] Fax: [phone] [e-mail] www.econophysica.com

о внедрении результатов кандидатской диссертационной работы Орлова Андрея Александровича

Настоящий акт удостоверяет, что результаты диссертационной работы Орлова A.A. использовались в рамках отдельных проектов, выполняемых на базе Econophysica Ltd и включающих исследование мета-характеристик данных и их влияния на выбор алгоритмов прогнозирования. В частности, научно-исследовательская работа по анализу закономерностей изменения оптимальных параметров функционирования алгоритмов построения прогнозирующих моделей нестационарных временных рядов включала:

• применение единой программной платформы, разработанной Орловым A.A. и построенной на базе предложенной объектно-ориентированной архитектуры, которая получена в результате проведенного анализа предметной области метода группового учета аргументов (МГУА) и выявления наиболее общих семантических взаимосвязей между сущностями, что позволило реализовать полный спектр различных алгоритмов МГУА (параметрические/непараметрические, комбинаторные/многорядные/комбинаторно-многорядные, с учителем/без учителя и т.д.);

• обращение к унифицированным интерфейсам доступа к возможностям МГУА в разработанной Орловым А.А программной платформе, созданных по результатам проведенных анализа и обобщения параметров всех возможных комбинаций алгоритмов, базисов, методов обучения и критериев селекции моделей, что позволило использовать все возможности метода по параметрической и структурной оптимизации прогнозирующих моделей;

• использование инструментов автоматизации получения, хранения и анализа результатов мета-обучения в составе разработанной Орловым А.А программной платформы, что уменьшило трудоемкость перебора мета-характеристик временных последовательностей и параметров алгоритмов построения прогнозирующих моделей, а также выявления взаимосвязей мета-характеристик и параметров алгоритмов.

Указанные применения результатов диссертационной работы Орлова А.А положительно повлияли на получение конечного результата, в частности был предложен способ выявления оптимальных параметров алгоритмов путем сопоставления с мета-характеристиками временных последовательностей.

Генеральный директор,

Econophysica Ltd. подпись /Dr. Oleg. A. Soloviev/

20 февраля 2014 г.

АКТ

IIIIIIIIIIIBII

Приложение 2. Акт о внедрении результатов диссертации в

компании ООО «Эко-Томск»

ООО "Эко-Томск"

634045, г Томск, ул Мокрчшина, д 9, стр.!6

теУфакс 42-51-58 р-с 40702810964010101376 в Томском ОСБ Кз8616 Сибирского Банка СБ РФ (ОАО) кс 30101810800000000606 БИК 046902606 Ol PH 1047000092776 ИНН 7017088648 КПП 701701001 _Л'й -/¿¿'/'ft

' * ^УТВЕРЖДАЮ» ffr.. '/ Директор

/ , ОбОдЭко-Томск»

! * -hv-Pm'K* Л^<>хСоловьев O.A. V , ' iv,^ 2014 г.

АКТ

о внедрении результатов кандидатской диссертационной работы Орлова Андрея Александровича

Комиссия в составе председателя - исполнительного директора ООО «Эко-Томск» Тюлькина Е.С . членов комиссии - к ф-м н., программиста-аналитика ООО «Эко-Томск» Маркова А С. и к.ф-м.н, программиста-аналитика ООО «Эко-Томск» Попонина B.C., составила настоящий акт об использовании результатов диссертационной работы «Модели, алгоритмы и программная платформа для реализации мета-обучения на основе метода группового учета аргументов», представленной на соискание ученой степени кандидата технических наук.

Комиссия постановила, что в проекте «Высокочастотный трейдинг», выполняемом компанией «Эко-Томск»:

- предложенная структура системы прогнозирования нестационарных временных рядов была положена в основу разрабатываемой в рамках проекта архитектуры программного обеспечения.

- способ построения моделей, реализующий подход мета-обучения и заключающийся в выборе оптимальною алгоритма построения моделей и оптимальных параметров его работы на основании рассчитываемых мега-характеристик данных с целью построения эффективной прогнозирующей модели, был разработан и реализован в составе набора программных библиотек в рамках указанного проекта;

- вычислительный алгоритм идентификации полиномиально-гармонических моделей, производящий генерацию полного набора структур полиномиальной и гармонической частей при заданных ограничениях на сложность модели и совместную опенку их параметров, включающую численную процедуру вычисления частот гармонических составляющих, которая основана на преобразовании Фурье и методе градиентного спуска, был разработан и реализован в составе набора программных библиотек в рамках указанного проекта;

- проведенный анализ предметной области метода группового учета аргументов (на предмет выявпения общих сущностей и семантических взаимосвязей между ними для всех алгоритмов, базисов, методов обучения и критериев селекции моделей) позволил спроектировать и реализовать единую программную платформу, наиболее гибко реализующую все существующие возможности метода группового учета аргументов (МГУА). Данная платформа была включена в состав набора программных библиотек в рамках указанного проекта и была иснольювана для реализации следующих алгоритмов МГУА: комбинаторною, полигармоническою, дважды мноюряшой поишомиалыгой нейронной сети, комплексирования аналогов.

Совокупный эффект от внедрения результатов научных исследований Орлова A.A. и практических реализаций программных библиотек Орловым A.A. состоит в том, что в рамках проекта «Высокочастотный трейдинг» удалось достичь показателя эффективности прогнозирования (SR) нестационарных временных рядов SR=0.614. Такое значение показателя превышает основное фебование заказчика к производительности системы прогнозирования (SR=0.6) в наибольшей степени благодаря интеграции мета-об>чения и МГУА в рамках единой системы.

J ¡редседатель комиссии Члены комиссии

/Тюлькин Е.С./ /Марков А.С J /Попоиин B.C./

Приложение 3. Акт о внедрении результатов диссертации в ФБГОУ ВПО «Томский государственный университет систем управления и радиоэлектроники»

ТУ СУР

Министерство образования и науки Российской Федерации Федеральное государственное бюджетное обрамил 1е.1Ъ«ое учреждение высшего профессионального образовании «ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СИСТЕМ УПРАВЛЕНИЯ И РАДИОЭЛЕКТРОНИКИ»

ОКЛ002069126 ОГРН 1027000867068, тел [phone]

ИНН 71X21000043 КПП 7017-50001 факс (382 2) МЗ 262 S26 36^

e-mail otfice'inuMr in

пр Ленина л 40 т Томск 634050 http ' VV VVVS ПЫГ !3

№

AKT

* «УТВЕРЖДАЮ»

оректор по им чной работе

1ед> панов А А

об использовании результатов кандидатской диссертационной работы Орлова Андрея Александровича А1оде ш. алгоритмы и программная платформа для реализации мета-обучения на основе метода группового учега аргументов»

Настоящим актом подтверждается использование при выпо шении Гос 5адцн»я Министерства Образования и Науки РФ на выполнение НИР в 2012-2054 гг на тем} «Развитие методов синтеза и адаптивною управления энергонасыщенными объемами на основе теории производящих функций, теории нормальных структур метотов комбинаторной генерации и самоорганизации моделей» (номер тосударивенной регистрации НИР 01201278662) в рамках проекта № 7.2868 2011 следующих рез% тьтаюв диссертационной работы Орлова А А

- Предложенная методика интеллектуального анализа данных на основе мета-обучения применялась для реализации алгоритмов прогнозирования состояния и параметров нелинейных энергонасыщенных объектов, в гом числе представ тяюших собой нестационарные временные ряды что позволило осушеств Ш1ь в автоматическом режиме как выбор оптимального алгоритма прогнозирования, так и оптимальных параметров его работы

- Разработаны механимы, которые единоображым образоч поддерживаю! распара.и&швание вычислений алгоритмов метода группового учета аргументов (МГУА) для энергонасыщенных объектов, вычис тше тьиая аппаратная часть которых может со тержать любую из пяти современных архитектур параллехькых вычислений потоковые процессоры, многоядерные процессоры, многопроцессорные системы к хастеры, распреде юн мыс системы Проведенные эксперименты по распараллеливанию вычислений на аппаратной части, содержащей мноюядерные процессоры, и ты базе авторской программной платформы М1УА (Свидетельство о ретиечраиии лемронного ресурса Кг 18980 от 28 02 20131, ОФЭРНиО) показали эффективность распараллеливания 0 63 (отношение относительного уменьшения времени расчетов к «ислу параллельных потоков вычислений)

Перечисленные резу тыагьт включены в аннотированный отчет по 11ИР за 2013 г

Рлководитеть проекта № 7 2868 201!. зав каф ПрЭ. д г.н . проф.

Кобзев \ В