Разработка математического и программного обеспечения среды моделирования нейронных сетей для решения задач прогнозирования тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Восьмирко, Сергей Олегович

• Восьмирко, Сергей Олегович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Восьмирко, Сергей Олегович

список аббревиатур. введение.

глава 1. сравнительный анализ сред моделирования инс. постановка задачи исследования.

1.1. обзор сред моделирования инс, применяемых для решения задач прогнозирования.

1.2. сравнение системных характеристик рассматриваемых программных продуктов.

1.3. сравнение функциональных и потребительских характеристик рассматриваемых программных продуктов.

1.4. основные ограничения и недостатки г анализируемых программных продуктов.

1.5. выводы.

глава 2. разработка методики повышения оперативности прогноза, осуществляемого с использованием инс.

2.1. постановка задачи прогнозирования с использованием инс.

2.1.1. особенности применения инс в задачах прогнозирования

2.1.2. анализ применимости различных топологий инс в задачах прогнозирования.

2.1.3. описание сети типа многослойный персептрон. обучение инс методом наискорейшего спуска.44,

2.1.4. методика осуществления прогноза с использованием! инс48?

2.1.5. первичная обработка входного вектора данных.

2.2. анализ; факторов, повышающих оперативность нейропрогноза. постановка задачи исследования.

2.2.1. проблемы использования метода наискорейшего спуска

2.2.2. критерий допустимого уровня ошибки обучения инс.

2.2.3. контроль переобучения инс. валидадия нейронной сети

2.2.4. избыточность входного вектора данных.

2.3. разработка методики осуществления нейропрогноза, обеспечивающей повышение показателей оперативности.

2.3.1. сравнительный анализ алгоритмов обучения инс.

2.3.2. общее описание и принципы применения метода> обучения инс rprop.

2.3.3. адаптируемый критерий допустимого уровня ошибки инс при решении задач прогнозирования методом погружения.

2.3.4. алгоритм использования метода контроля ошибки обобщения.

2.3.5. понижение размерности входных данных. методика автоматизированного определения глубины погружения.

2.3.6. процедура прореживания связей инс.

2.3.7. описание методики осуществления процесса моделирования инс, обеспечивающей повышение оперативности нейропрогноза.

2.4. выводы по главе

глава 3. разработка среды моделирования инс ориентированной на решение задач прогнозирования:.

3.1. разработка требований к программному обеспечению среды нейропрогноза.

3.2. разработка структур программного обеспечения среды: нейропрогноза.

3.3. разработка подсистем среды нейропрогноза.

3.3.1. разработка подсистемы предобработки и структурирования исходных данных.

3.3.2. разработка подсистемы анализа и подбора наилучшей структуры входных данных и параметров инс.102 :

3.3.4. разработка подсистемы сопровождения пользователя.

3.4. выводы по главе 3.

глава 4. практическая апробация среды моделирования инс при решении прикладных задач прогнозирования.111;

4.1. решение задачи прогнозирования качества переработки льноволокна.

4.1.1 общая характеристика и постановка задачи прогнозирования.;.

4.1.2 последовательность реализации и результаты i исследования.

4.2. решение задачи прогнозирования котировок акций компании сибнефть.122:

4.2.1 общая характеристика и постановка задачи прогнозирования::.

4.2.2 ПОСЛЕДОВАТЕЛЬНОСТЬ РЕАЛИЗАЦИИ И РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ.

4.3. ВЫВОДЫ ПО ГЛАВЕ 4.

Введение диссертации (часть автореферата) на тему «Разработка математического и программного обеспечения среды моделирования нейронных сетей для решения задач прогнозирования»

Такая область применения систем поддержки принятия решений; как прогнозирование приобретает всё большую актуальность в самых различных направлениях человеческой деятельности, прежде всего в областях производства и финансов. На сегодняшний день для осуществления прогноза используется ряд методов, как то методы мат. статистики, технического анализа (графический анализ, трендовые индикаторы) и т.д., и, наконец - искусственные нейронные сети (ИНС), имеющие в случае осуществления краткосрочного прогноза ряд преимуществ по сравнению с вышеперечисленными методами.

Вместе с тем, проблемы на пути широкого применения ИНС в прогнозировании связаны необходимостью в высокой оперативности прогноза нестабильных систем, характеризующихся частой сменой экзогенных факторов, когда прогнозируемая величина имеет нелинейный, быстро изменяющийся характер, что требует изменения структуры и переобучения ИНС. В результате' чего время нейропрогноза может достигать многих часов, что недопустимо при прогнозе быстроизменяющихся процессов, например прогноз котировок акций. И что, тем самым, нивелирует преимущества нейросетевого подхода к прогнозированию.

Существующее в настоящее время программное обеспечение (ПО), позволяющее осуществлять моделирование ИНС и решать, с помощью построенных моделей задачи прогнозирования можно разделить на два класса: универсальные среды моделирования ИНС (SNNS, Trajan, Matlab NN Toolbox, и др.) и среды, ориентированные на решение с помощью ИНС узкого спектра прикладных задач, и в частности задач прогнозирования, например, Neurodimension TradingSolutions.

Существующие же средства и подходы, к сокращению время моделирования ИНС, реализованы в основном только в универсальных средах, существующие же среды нейропрогноза неспособны решать эту задачу, что приводит с одной стороны к невозможности использовать универсальные средства, не обладающих, в должной степени, механизмами, учитывающими, особенности применения ИНС к задачам прогнозирования, а с другой - с нерешаемой в рамках ПО сред нейропрогноза задачей повышения оперативности прогноза.

Таким образом, представляются актуальными разработка и создание среды моделирования ИНС, ориентированной на решение задач прогнозирования, обладающей более высокими показателями оперативности прогноза по сравнению с аналогами и обеспечивающей полный цикл обработки и анализа данных. А также исследования и разработки в области нейросетевого моделирования, позволяющие повысить оперативность, т.е. сократить время, затрачиваемое на осуществление нейропрогноза.

В настоящее время, аппарат ИНС и методы его использования активно развивается и совершенствуется, так активные разработки и исследованиями в области создания систем моделирования ИНС, в том числе и для решения задач прогнозирования в: России связаны с деятельностью таких коллективов как BaseGroup Labs (Москва), Alpha System (Санкт-Петербург). Кроме того, наиболее часто цитируемыми и авторитетными российскими работами в последние годы, в области теории и практики применения ИНС считаются труды Ежова A.A., Галушкина А.И., Горбань А.Н., Шумского С.А., Шахнова В.А., вместе с тем появился ряд диссертационных работ, посвященных проблемам использования ИНС в различных предметных областях, и в частности, в области прогнозирования, - Родионова П.Е. "Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей", а также Олешко Д.Н., Дубровина В.И., Алексеева A.B.

Целями настоящей диссертационной работы являются:

1. Разработка и создание среды моделирования ИНС, ориентированной на решение задач прогнозирования, обеспечивающего полный цикл обработки и анализа данных И' обладающего более высокими показателями оперативности прогноза по сравнению с аналогами.

2. Разработка и развитие методов осуществления прогноза с использованием аппарата ИНС, позволяющих обеспечить повышение точности и оперативности нейропрогноза.

3. Исследование разработанной среды и предложенных методов повышения оперативности прогноза при решении ряда; задач прогнозирования на производстве и в области финансов.

Для достижения поставленных целей решаются следующие основные задачи диссертационного исследования:

1. Исследование и анализ сред моделирования ИНС, применяемых для решения задач прогнозирования и принятия решений, выявление их недостатков и ограничений при решении данного класса задач.

2. Исследование методов и алгоритмов осуществления прогноза с использованием технологии ИНС.

3; Выявление факторов, оказывающих наиболее существенное влияние на временные показатели процедур обработки и нейросетевого анализа данных выполняемых в целях осуществления прогноза.

4. Разработка методики осуществления нейропрогноза, основанной на использовании совокупности подходов обеспечивающих лучшие временные характеристики процесса нейросетевого моделирования.

5. Развитие методов использования критерия допустимого уровня ошибки при обучения ИНС типа многослойный персептрон, ориентированных на сокращение времени обучения ИНС при решении задач прогнозирования методом погружения.

6. Разработка среды моделирования ИНС, ориентированной на решение задач прогнозирования, реализующей разработанные методы и подходы, к осуществлению нейропрогноза, и имеющую лучшие показатели оперативности прогноза по сравнению с аналогами. 7. Внедрение и практическая апробация разработанной среды и реализованных в её рамках методов повышения оперативности прогноза при решении прикладных задач прогнозирования.

Методы исследования применяемые в диссертационной работе, основаны на использовании элементов искусственного интеллекта: нейросетевых технологий, и компьютерного моделирования.

Научная новизна работы обусловлена следующими факторами:

1. Разработана методика осуществления нейропрогноза, основанная на использовании совокупности методов оптимизации процесса построения нейросетевой модели, обеспечивающая повышение показателей оперативности прогноза.

2. Разработан критерий допустимого уровня ошибки, имеющий адаптируемый в процессе обучения ИНС характер, обеспечивающий сокращение времени обучения, с меньшими потерями в точности прогноза, при решении задач прогнозирования методом погружения.

3. Предложено использование сочетания процедур валидации и прореживания ИНС, как средства повышения оперативности нейропрогноза.

Разработанная автором среда моделирования искусственных нейронных сетей, для решения задач прогнозирования, обеспечивает более высокую оперативность прогноза по сравнению с аналогами, что позволяет расширить круг прикладных задач прогнозирования, имеющих высокие требования к оперативности, решаемых с помощью ИНС и существенно сократить временные затраты на осуществление нерйропрогноза.

Разработанная методика осуществления нейропрогноза, а также разработанный в её рамках адаптируемый критерий допустимого уровня ошибки при решении задач прогнозирования методом погружения позволяет специалистам, занимающимся нейропрогнозом, повысить оперативность и точность нейропрогноза.

Созданная автором среда нейропрогноза применяется в ООО "Торговая компания СТАНДАРТЪ" как средство поддержки принятия решений, в ООО «Сонковский льнозавод» для осуществления прогноза сельхоз производства: доли и качества выхода длинного льноволокна.

В обеих организациях внедрение принесло положительный результат, что подтверждено соответствующими документами.

Результаты, исследований,, составляющих содержание диссертации докладывались на: VII всероссийской научно-технической конференции «Новые информационные технологии в научных исследованиях и образовании» (Рязань, РГРТА, 2002 г.), IX международной5 научно-технической конференции! (Москва, МЭИ, 2003 г.), международном форуме информатизации - 2002 «Информационные средства и технологии» (Москва, 2002 г.), Международном научно-техническом семинаре «Современные технологии в задачах управления, автоматики и обработки информации» (Алушта 2003 г.), XV международной конференции «Применение новых технологий в образовании» (Троицк 2004 г.).

По результатам; диссертационного исследования опубликовано 6 печатных работ. На разработанные продукты получено 3 свидетельства об официальной регистрации программ для ЭВМ в Российском агентстве по патентам и товарным знакам (РОСПАТЕНТ). В том числе на «Систему прогнозирования EIGHT» № 2004610915 от 15.04.04.

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 106 наименований (в том числе 29 ссылки на ресурсы Internet); содержит 135 страниц машинописного текста, 48 рисунков, 21 таблиц и приложения на 13 страницах.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Восьмирко, Сергей Олегович

4.3. ВЫВОДЫ ПО ГЛАВЕ 4

1. В результате диссертационных исследований была осуществлена практическая апробация возможностей, среды моделирования ИНС, ориентированной на решение задач прогнозирования, а также реализованных в её рамках методов осуществления нейропрогноза, предложенных в гл.2.

2. Разработана нейросетевая модель сельскохозяйственного производства, что обеспечило: осуществление прогноза процента и качества выхода льноволокна, что позволило наладить процессы управления производством и реализацией произведённой продукции. нахождение благоприятных сроков и продолжительности растила льна, подобран наилучший для данной местности вариант подсева, предложено приемлемое время вылежки, а также определена зависимость качества волокна от влажности тресты;

3. Осуществлен прогноз котировок акций компании СИБНЕФТЬ на основе совместного нейросетевого * анализа временных рядов, содержащих предысторию котировок акций, а также предысторию влияющих- на- прогнозируемую, величину факторов, что позволило достичь практически значимый результат достоверности прогноза на уровне 67-74%.

4. Произведена апробация предложенной в рамках диссертационной работы методики повышения оперативности нейропрогноза, а также разработанных в её рамках метода "огрубления" нейросетевой модели, основанного на использовании критерия допустимого уровня ошибки, в результате чего были получены следующие результаты: время затрачиваемое на нейропрогноз сокращалось, в среднем, боле чем на 60%; точность прогноза при использовании ОЬЕгг повышалась на 5% для прогноза котировок акций, и на 1 номер для задачи прогноза сельхоз производства; нейропрогноз с использованием механизмов анализа корреляций для определения состава влияющих факторов и глубин погружения показал сравнимую точность определения глубины погружения, что и прогноз с использованием механизма поиска наилучшей структуры ИНС, основанного на использовании циклического переобучения ИНС с различной структуры; что позволяет значительно сократить время нейропрогноза;

Использование метода прореживавния связей ИНС позволило исключить длительную процедуру поиска наилучшей структуры ИНС, при времени обучения сопоставимым с одним циклом обучения.

Проведенные исследования показали эффективность разработанной среды моделирования ИНС ориентированной на решение задач прогнозирования, что выразилось в значительном повышении оперативности, выполненного с её помощью прогноза по сравнению с типовыми подходами, реализованными в средах нейропрогноза.

Список литературы диссертационного исследования кандидат технических наук Восьмирко, Сергей Олегович, 2004 год

1. Айвазян А., Бухштабер B.M., Енюков И.С, Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерностей. Справочное издание под ред. Айвазяна А. — М.: Финансы и статистика, 1989. — 607 стр.

2. Айвазян А., Енюков И.С, Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей. Справочное издание •^ под ред. Айвазяна А. — М.: Финансы и статистика, 1985. — 471 стр.

3. Айвазян А., Енюков И.С, Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. Справочное издание под ред. Айвазяна СА. — М.: Финансы и статистика, 1983. — 471 стр

4. Архангельский А.Я. Программирование в Delphi 6. - М.: ЗАО "Издательство БИНОМ", 2001 г. - 1120 с : ил.

5. Бендат Дж., Пирсон А. Прикладной анализ случайных данных: Пер. с англ. - М.: Мир, 1989. - 540 с.

6. Бир Кибернетика и управление производством. - М.: Наука, 1965.-391

7. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. - М.: Наука. Гл. Ред. Физ.-мат. лит., 1983.-467 с.

8. Бэстенс Д.-Э. Нейронные сети и финансовые рынки. — М.: Научное издательство, 1997.- 236 с.

9. Вороновский Г.К., Махотило К.В., Петрашев СН., Сергеев СА. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности, Харьков, Основа, 1997 г.

10. Галушкин А.И Нейронные сети и проблема малой выборки // Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. - М., 1999. - 399-401.

11. Гилев С Е . Сравнение методов обучения нейронных сетей // Нейроинформатика и ее приложения: Тез. докл. Ш Всероссийского рабочего семинара. - Красноярск, 1994. - 80-81.

13. Горбань А.Н. Обучение нейронных сетей. -М.: СП "ПараГраф", 1990.-159 с.

14. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. Сибирская издательская фирма РАН, 1996. 276 с.

15. Горбань А.Н., Россиев Д.А., Коченов Д.А. Применение самообучающихся нейросетевых программ. - Красноярск: СПИ, 1994.-169 с.

16. Дарахвелидзе П. Г., Марков Е. П. Delphi 4. - СПб.: БХВ - Санкт-Петербург, 1999. - 816 с , ил.

17. Дарахвелидзе П.Г., Марков Е.П. Delphi - среда визуального программирования: - СПб.: BHV - Санкт-Петербург, 1996. -352 с.

18. Джеффри Е. Хинтон. Как обучаются нейронные сети,// В мире науки - 1992 - N 11 - N 12 - с. 103-107.

19. Ежов А.А,, Шумский А., Нейрокомпьютинг и его применение в экономике и бизнесе.-М.:МИФИ,1998.-224с.

20. Загоруйко Н.Г.'Прикладные методы анализа данных и знаний', Новосибирск, Издательство Института математики, 1999 г.

21. Ивахненко А.Г. Персептроны. Киев: Наукова думка, 1974.

22. Ивахненко А.Г. Перцептрон - система распознавания образов. Теория, моделирование, возможные улучшения и применения перцептронов. / Под общ. ред. Киев, 1975. - 432 с.

23. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределённых автоматизированных и обучающих системах // Автореферат диссертации на соискание ученой степени канд. техн. наук: 14.10.02. -М., 2002. -20 с : ил.

24. Касторнова Т.А. Прогнозирование экономических процессов при частой смене экзогенных условий // Автореферат диссертации на соискание ученой степени канд; экон. наук :08.00.13. -Ростов-н/Д, 2002.-31 с.

25. Касторнова Т.А.. Прогнозирование экономических процессов при частой смене экзогенных условий // Автореферат диссертации на соискание ученой степени канд. экон. наук :08.00.13. -Ростов-н/Д, 2002. -31 с : ил.. - Библиогр.: с. 31(6 назв.)

26. Комашинский В. И. , Смирнов Д. А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия -Телеком, 2002. 94 с.

27. Круг П.Г. Моделирующая система виртуальных средств измерений и экспериментальных исследований. // Труды межд. научн.-техн. конф., Киев, 1992.

28. Круг П.Г., Филатенков Ю.В., Шилин А.В. Оптимизация структуры нейронной сети, применяемой для автоматизированной классификации результатов моделирования. IV Всероссийская научн.-техн. конф. Новые информационные технологии. М.: МГАПИ. 2001. с. 114-118.

29. Круглов В. В. , Борисов В. В. Искусственные нейронные сети: Теория и практика. М.: Горячая линия-Телеком 2001, 382 с.

30. Маслобоев Ю.П. Введение в Neural Network Toolbox. - http://www.matlab.ru

31. Материалы 2-й Международной выставки-конференции Информационные технологии и телекоммуникации в образовании // Каталог и тезисы докладов // Москва, ВВЦ, 6-9 апреля 2000 г.

32. Мерфи Дж. Технический анализ фьючерсных рынков. 1986

33. Минский М., Пайперт Персептроны. -М.: Мир, 1971.

34. Миркес Е.М. Нейрокомпьютер: проект стандарта. Новосибирск: Наука, 1999.-337с.

35. Моисеев Н.Н., Иванилов Ю.П., Столярова Е.М. Методы оптимизации, -М:. Наука, 1978

36. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия. - М.: Финансы и статистика, 1982. - 239 с.

37. Нейроинформатика и ее приложения // Материалы 3 Всероссийского семинара, 6-8 октября 1995 г. Ч. 1 /Под редакцией А.Н.Горбаня. Отв. за выпуск Г.М.Цибульский; Красноярск: изд. КГТУ, 1995. 229 с.

38. Никульчев Е.В. Волович М.Е. Модели хаоса для процессов изменения курса акций. - М.: EponentaPro., 2003.-49-52 ее.

39. Осовский Нейронные сети для обработки информации. -М.: Финансы и статистика, 2002, 344 с.

40. Петере Э. Хаос и порядок на рынках капиталла. -М.: Мир, 2000. 333с.

41. Пректер P.P., Фрост А.Дж. Волновой принцип Элиота. Ключ к поведению рынка. -М.: Альпина Паблишер, 2001.

42. Проблемы создания автоматизированных обучающих и тестирующих систем: Сборник науч. трудов / Редколл. Иванченко А.И. и др. — Новочеркасск, 2001. 199 с.

43. Ретинская И.В,, Шугрина М.В. Отечественные системы для создания компьютерных учебных курсов. // Мир ПК, 1993, № 7. - с . 55-62.

44. Родионов П.Е.. Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей // Автореферат диссертации на соискание ученой степени канд. техн. наук: 07.06.03. -М., 2003. -16 с : ил.

45. Соловов А.В. Проектирование компьютерных систем учебного назначения: Учебное пособие. — Самара: СГАУ, 1995. - 137 с.

46. Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере. Под ред. Н.Э. Фигурнова. — М: Инфра-М, 1998. — 528 стр.

47. Уоссермен Ф. Нейрокомпьютерная техника, -М.: Мир, 1992

48. Харман Г. Современный факторный анализ. - М.: Статистика, 1972.-486 с.

49. Хармон Эрик. Разработка СОМ-приложений в среде Delphi: Пер. с англ.: Уч. Пос. - М.: Издательский дом «Вильяме», 2000. -464 с.: ил.

50. Шеремет А.Д., Сайфулин Р.С. Методика финансового анализа. — М: Инфра-М, 1996. — 172 стр.

51. Amold S. В. End-users: dreams of doUars/ZOnline.—1987.—^N 6.— P.71—81.

52. Bishop CM. (1995) Neural Networks and Pattern Recognition. Oxford Press.

53. Chen J., Hong H., Srein J., "Forecasting Crashes: Trading Volume, Past Retums and Conditional Skewness in Stock Prices".

54. Davenport L., Cronin B. Marketing electronic information/ZOnline.— 1987.—N1.—P. 39—46.

55. Jensen H.J. Self-organized criticality. Cambridge. 2000.

56. Kirkpatrick S., Gelatt C. D., Vecchi M. P. Optimization by simulated annealing. Science. v220 (1983), pp 671-680.

57. Kohonen Т., "Self-Organizing Maps"(2-nd edition). Springer, 1997.

58. Lippman R.P., "An introduction to computing with neural nets", IEEE ASSP Magazine. Apr. 1987.

59. Mark J. L. Orr Introduction to Radial Basis Function Networks Centre for Cognitive Science, University of Edinburgh

60. MuUer В., Reinhardt J., "Neural networks". Springer -Verlag. 1990.

61. Patrick P.Minimisation methods for training feedforward Neural Networks. //NEUARAL NETWORKS, 1994, Volume 7, Number 1, P. 1-11

62. Riedmiller M. , Braun H. "A direct adaptive method for faster backpropagation learning: The RPROP algorithm". San Francisco, 1993.

63. Rumelhart B.E., Minton G.E., Williams R.J. Learning representations by back propagating error.// Wature, 1986. V. 323. p. 1016-1028.

64. Shewchuk J. R."Second order gradients methods", School of Computer Science Carnegie Mellon University Pittsburg, 1994

65. Swingler K. "Applying Neural Networks. A practical Guide"