Повышение качества прогнозирования случайных процессов на базе гибридных нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Али Маджд Ахмад

• Али Маджд Ахмад
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Али Маджд Ахмад

Введение.

Глава 1. Методы прогнозирования временных рядов.

1.1. Виды и статистический анализ временных рядов.

1.2. Классификация методов прогнозирования временных рядов.

1.3. Статистические методы прогнозирования временных рядов.

1.4. Нестатистические методы прогнозирования временных рядов.

1.5. Сравнительный анализ методов прогнозирования временных рядов.

Глава. 2. Прогнозирование временных рядов на основе нейронных сетей.

2.1. Общие положения теории нейронных сетей.

2.2. Классификация нейронных сетей, сравнительный анализ существующих методов и алгоритмов обучения нейронных сетей.

2.3. Нейросетевые подходы к решению задачи прогнозирования.

2.4. Способы обеспечения и ускорения сходимости в нейросетевой модели прогнозирования.

2.5. Система прогнозирования на базе нейронных сетей (СПНС).

2.6. Определение архитектуры и структуры нейронной сети для решения задачи прогнозирования.

2.7. Методы повышения эффективности нейросетевого прогнозирования временных рядов.

Глава. 3. Разработка алгоритмов для гибридной системы прогнозирования на базе нейронных сетей.

3.1. Повышение качества прогнозирования с использованием предварительной обработки информации в гибридной системе на базе нейронных сетей (ГСПНС).

3.2. Алгоритмы предварительной обработки информации.

3.3.Сравнительный анализ алгоритмов предварительной обработки информации в ГСПНС.

3.4. Применение ГСПНС для прогнозирования объёма производства хлопковых тканей на фабрике хлопковых тканей (ФХТ).

3.5. Применение ГСПНС для прогнозирования объёма продаж горчичной сушки во владимирском хлебокомбинате.

Введение диссертации (часть автореферата) на тему «Повышение качества прогнозирования случайных процессов на базе гибридных нейронных сетей»

Актуальность темы Прогнозирование играет важную роль в различных областях народного хозяйства. Поскольку технологические процессы и условия ведения бизнеса изменяются во времени, необходимо постоянно отслеживать и предсказывать эти изменения для успешной реализации технических решений или совершения деловых операций.

Так, для того чтобы планировать производство семейства продуктов, необходимо прогнозировать продажи каждого продукта и иногда на несколько месяцев вперед. Эти прогнозы для конечных продуктов могут быть далее преобразованы в требования к полуфабрикатам, материалам, рабочим и т.д. Таким образом, на основании прогноза может быть построен график работы целой группы предприятий.

Прогнозирование также может быть важной частью систем управления технологическими процессами. Наблюдая ключевые переменные процесса и используя их для предсказания будущего поведения процесса, можно определить оптимальное время и длительность управляющего воздействия.

К настоящему времени разработаны многие методы прогнозирования, задачей которых является предсказание будущих событий с той или иной степенью надежности с целью использования этого прогноза при принятии решений.

Формально имеется два подхода к прогнозированию - качественное и количественное. Методы качественного прогнозирования, такие как метод экспертного оценивания, особенно важны, когда статистические данные за прошедшие периоды времени недоступны и/или ненадежны. Все качественные методы субъективны и обычно характеризуются значительной ошибкой прогноза.

Количественные методы прогнозирования основаны на существенном использовании информации за прошедшие периоды времени. При исследовании процесса за прошедшее время удается выяснить основные взаимосвязи между величинами и дать более надежный прогноз на будущее.

Методы прогнозирования, основанные на анализе временных рядов (BP), относятся к классу количественных методов прогнозирования. Прогнозирование временных рядов предусматривает определение прогнозного значения переменной преимущественно на основе прошлых и текущих значений этой же переменной. Если определяются значимые факторы и функциональная или стохастическая зависимость отклика от этих факторов с применением множественного регрессионного анализа, то, как правило, говорят об анализе многомерных временных рядов.

В связи с широким распространением программных средств принятия решений в настоящее время особенную важность представляет разработка методов автоматизированного прогнозирования для использования результатов прогноза в автоматизированных системах принятия решении.

Автоматизированное прогнозирование с использованием вычислительной техники предполагает функционирование прогнозирующих моделей и алгоритмов с минимальным участием человека, автоматический выбор модели и параметров модели для прогнозирования конкретных показателей, численно выражаемых с помощью временного ряда.

В то же время, классические методы прогнозирования временных рядов, в том числе методы, основанные на аппарате математической статистики, обладают рядом недостатков, затрудняющих их использование для построения автоматизированных прогнозирующих моделей.

Одним из современных методов, используемых для прогнозирования, являются искусственные нейронные сети (НС).

Теория искусственных нейронных сетей создана и развита в трудах Ф. Розенблатта, М. Минского, С. Гроссберга, Т. Кохонена и др.

Сегодня вопросам теории и практического использования искусственных нейронных сетей посвящены работы российских ученых А.И. Галушкина, А.Н. Горбаня, В.В. Золотарева, С.Г.Короткого, А.А. Ежова, В.М. Недель-ко и др.

При применении нейронных сетей для прогнозирования используются распознающие модели и модели прогнозирования временных рядов. Одним из главных достоинств нейронных сетей является их способность к обучению и самообучению, т.е. адаптация модели к решению конкретной задачи. Вышесказанное делает искусственные нейронные сети одним из перспективных направлений в разработке методов автоматизированного прогнозирования.

Актуальность задач, связанных с прогнозированием состояния предприятия, основана на потребности изучения данных о состоянии предприятия и результатах его деятельности в прошлом с целью оценки будущих условий и результатов деятельности. Прогнозирование позволяет в значительной степени улучшить управление предприятием за счет обеспечения координации всех факторов производства, реализации взаимосвязи деятельности всех подразделений и распределения ответственности. При этом важно подчеркнуть, что в условиях современного развития науки и техники многие классические методы прогнозирования исчерпали свои возможности.

В настоящей работе исследуются возможность, особенности и эффективность применения нейронных сетей для решения задачи прогнозирования объемов производства промышленного предприятия на основе прогнозирования временных рядов.

Цель и основные задачи исследования. Целью диссертации является повышение качества принятия решений на основе повышения точности ней-росетевого прогнозирования в процессах управления предприятием.

Для достижения поставленной цели решаются следующие задачи.

1. Исследуются характеристики алгоритмов прогнозирования.

2. Разрабатываются методики повышения качества прогнозирования на базе нейронных сетей с учетом вероятностных характеристик прогнозируемого сигнала с использованием разных алгоритмов фильтрации.

3. Выполняется сравнительный анализ точности полученных методик.

4. Строится арсенал средств моделирования случайных процессов.

Объект исследования. Фабрика хлопковых тканей (ФХТ) - одно из промышленных предприятий, входящих в состав промышленных групп Министерства промышленности Сирии, и владимирский хлебокомбинат в городе Владимир (Россия).

Информационная база исследования.

• Объём производства хлопковых тканей (в тоннах) за период с января 1980 по декабрь 2004 (массив значений N=300).

• Объём продажи горчичной сушки за январь-июнь 2000 года (массив значений N=178).

Научная новизна результатов работы. В рамках диссертационной работы получены следующие результаты.

1. Предложен и исследован способ повышения точности нейросете-вого прогнозирования с учетом вероятностных характеристик прогнозируемого сигнала с использованием различных алгоритмов предварительной обработки информации.

2. Разработаны и исследованы алгоритмы предварительной обработки информации, повышающие точность нейросетевого прогнозирования; предложена классификация алгоритмов по критерию увеличения точности однофакторного и многофакторного нейросетевого прогнозирования.

3. Предложена гибридная система нейросетевого прогнозирования, в состав которой входят прогнозирующая нейронная сеть и блок предварительной обработки информации.

4. Исследовано время выполнения одношагового прогноза в гибридной системе нейросетевого прогнозирования с использованием различных эффективных алгоритмов предварительной обработки информации.

Методы исследования. Исследования проводились на основе методов математического анализа, прикладной статистики, теории вероятности, теории нейронных сетей, цифровой обработки информации.

Практическая значимость. На основе созданных моделей и предложенных методов обработки данных разработана система поддержки принятия решений при прогнозировании объёма производства на Фабрике хлопчатых тканей в городе Латакия (Сирия) и объёма продаж горчичной сушки во Владимирском хлебокомбинате в городе Владимир (Россия). Разработанная гибридная система прогнозирования, в состав которой входят прогнозирующая нейронная сеть и блок предварительной обработки информации, позволяет повысить точность прогноза. Материалы диссертации используются в учебной работе кафедры информационных систем и информационного менеджмента Владимирского государственного университета.

Апробация работы. Основные результаты работы были представлены на семинаре «Системный анализ, управление и обработка информации» во Владимирском государственном университете (2005,2006,2007), и на следующих конференциях: международной научной конференции «Математические методы в технике и технологиях» (ММТТ 19, г. Воронеж, 2006); международной научно-практической конференции «Социально-экономические системы и процессы: методы изучения и проблемы развития» (г. Владимир,2006); научно-практической конференции «Формирование социально-ориентированной экономики: вопросы теории и практики» (г. Владимир, 2007); международной научно-технической конференции «Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ, и систем искусственного интеллекта» (г. Вологда, 2007).

Публикации. Основные положения и результаты работы опубликованы в 9 печатных работах, в числе которых 1 статья в издании из перечня ВАК.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Али Маджд Ахмад

3.6. Выводы по третьей главе

На основе сравнительного анализа результатов проведенных экспериментов в настоящей главе обоснована эффективность использования гибридной системы прогнозирования, в состав которой включается многослойной персептрон и БПОИ. При этом выявлены варианты БПОИ, которые характеризуются высокой эффективностью применительно к исследуемым BP, характеризующим промышленные предприятие как объекты управления.

Для однофакторных BP наивысшей эффективностью характеризуются следующие алгоритмы:

1- сглаживание на основе кубических сплайнов (КС);

2 - фильтр скользящего среднего значения (ФССЗ);

3 - методы взвешенной линейной регрессии, полином первой степени (МВЛРППС - LOWESS).

1. Для многофакторных BP:

1) для низкочастотных многофакторных моделей эффективными являются следующие АПОИ:

1- фильтр скользящего среднего значения;

2- фильтр Савицкого-Голея;

3- адаптивный фильтр с конечным импульсным откликом по методу наименьших средних квадратов 10-ого порядка.(АФ-ких-мнк).

2) для высокочастотных многофакторных моделей эффективными являются следующие АПОИ:

1- фильтр скользящего среднего значения;

2- фильтр Савицкого-Голея;

3- медианный фильтр;

4- адаптивный фильтр с конечным импульсным откликом по методу наименьших средних квадратов 10-ого порядка (АФ-ких-мнк).

Кроме того, выявлены АПОИ, обеспечивающие наиболее быстрое прогнозирование ГСПНС.

Заключение

Основным результатом исследования являются обоснование эффективности и методика прогнозирования на основе гибридной системы, включающей блок предварительной обработки информации и искусственную нейронную сеть. Кроме того, получены также следующие результаты.

1. Обобщены и систематизированы методы и модели прогнозирования. Проведен критический анализ алгоритмов и методов прогнозирования. Показано, что применение искусственных нейронных сетей позволяет повысить эффективность прогнозирования временных рядов по сравнению с классическими статистическими методами анализа и прогнозирования.

2. Проведен сравнительный анализ архитектур и алгоритмов обучения нейронных сетей, исследован выбор архитектуры сети, коэффициента обучения и масштабирования данных. Сделан обзор различных типов НС для решения задачи прогнозирования, показана эффективность применения нейронных сетей типа «многослойный перцептрон» для исследуемых временных рядов.

Предложены способы повышения эффективности прогнозирующих нейронных сетей и исследован способ повышения точности нейросетевого прогнозирования, основанный на учете вероятностных характеристик прогнозируемого сигнала и использующий разные алгоритмы предварительной обработки информации.

3. Предложена гибридная система нейросетевого прогнозирования, которая в ряде случаев существенно более точна, чем система нейросетевого прогнозирования. В состав гибридной системы входят прогнозирующая нейронная сеть и блок предварительной обработки информации, который включает эффективные алгоритмы предварительной обработки информации. Разработаны и исследованы алгоритмы предварительной обработки информации, повышающие точность нейросетевого прогнозирования. Построена классификация этих алгоритмов с точки зрения точности однофакторного и многофакторного нейросетевого прогнозирования.

4. Выполнено исследование времени выполнения одношагового прогноза в гибридной системе нейросетевого прогнозирования с использованием алгоритмов предварительной обработки информации и выявлены наиболее быстрые из них.

Полученные результаты позволяют в значительной степени повысить качество прогнозирования объёмов производства на промышленном предприятии.

Список литературы диссертационного исследования кандидат технических наук Али Маджд Ахмад, 2007 год

1. Авеньян Э.Д. Алгоритмы настройки многослойных нейронных сетей // Автоматика и телемеханика. 1995. - №5. - с. 106-118.

2. Али М.А. Neural Networks Time Series Forecasting // Материалы Международной научной конференции «Математические методы в технике и технологиях (ММТТ-19)». Том 6. Воронеж: 2006, с. 46-48.

3. Али М.А. Исследование точности прогнозирования случайного процесса на базе нейронных сетей // «Алгоритмы, методы и системы об работки данных». Сборник научных статей. М.: Горячая линия-Телеком, 2006, с. 144-148.

4. Али М.А. Однофакторная гибридная система прогнозирования временных рядов // Формирование социально-ориентированной экономики: вопросы теории и практики. Межвузовский сборник научных трудов. Филиал ГОУ ВПО ВЗФЭИ в г. Владимире. Владимир: 2007, с. 5-9.

5. Андерсон Т. Статистический анализ временных рядов: Пер. с англ. М.: Мир, 1976.-760 с.

6. Антонью А. Цифровые фильтры: анализ и проектирование.- М.: Радио и связь, 1983.- 318 с.

7. Артемкин Д.Е., Пылькин А.Н. Использование различных архитектур искусственных нейронных сетей для прогнозирования временных рядов // Перспективы развития российской экономики: Межвуз. сб. науч. трудов.

8. Вып. №4.- СПб., Санкт-Петербургский военный университет связи, 2002, с. 660-661.

9. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений.- М.: Финансы и статистика. 2004. 175 с.

10. Бережная Е.В., Бережной В.И. Математические методы моделирования экономических систем. М.: Финансы и статистика, 2001. - 366 с.

11. Блинов С. Д. BrainMaker прогнозирование на финансовых рынках // Открытые системы - 1984,- №4.- с. 7-11.

12. Бокс Дж., Дженкинс Г. Анализ временных рядов, прогноз и управление. -М.: Мир, 1974.

13. Бытачевский Е.А., Козуб В.В. Использование нейронных сетей для распознавания визуальных образов//Материалы IV РНТ конференции «Вузовская наука Северо-Кавказскому региону» Ставрополь, 2000. - С. 5254.

14. В.П. Дьяконов. Matlab 6.5 spl/7 + simulink 5/6. Обработка сигналов и проектирование фильтров. М.: Солон-пресс, 2005. - 575 с.

15. Васильев В.И. Распознающие системы. Киев: Наукова думка, 1969. -354с.

16. Вентцель Е.С. Теория вероятностей.- М.: Наука, 1964. 576с.

17. Вентцель Е.С., Овчаров JT.A. Прикладные задачи теории вероятностей.-М.: Радио и связь, 1983. 416 с.

18. Вороновский Г.К., и др. Генетические алгоритмы, нейронные сети и проблемы виртуальной реальности. X.: ОСНОВА, 1997. - 112 с.

19. Галушкин А.И. Теория нейронных сетей. М.: ИПРЖР, 2000.

20. Танеев P.M. Математические модели в задачах обработки сигналов. М.: Горячая линия-Телеком, 2002. 83 с: ил.

21. Гренджер К., Хатанака М. Спектральный анализ временных рядов в экономике. -М.: Статистика, 1972. 312с.

22. Дуброва Т.А. Статистические методы прогнозирования в экономике. -М.: МЭСИ, статистики и информатики, 2003. 50 с.

23. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. Курс лекций. Финансово аналитический колледж МИФИ.-М.: 1998.-216 с.

24. Иващенко Д.М., Мордасов Н.Г., Членов A.M., Шиян В.Д. Алгоритмы обработки информации о характеристиках излучений импульсного ускорителя электронов. Журнал технической физики. 2007. - Том 77. -вып.З.

25. Итоги науки и техники: физические и математические модели нейронных сетей. Том 1. М.: изд. ВИНИТИ, 1990.

26. Костров А.В. Наблюдаемость и управляемость гироскопических устройств. Л.: ЦНИИ « РУМБ », 1980. - 104с.

27. Коуэн К.Ф.Н., Грант П.М. Адаптивные фильтры. М.: Мир, 1988. - 388с.

28. Круглов В. В., Борисов В. В. Искусственные нейронные сети. Теория и практика. 2-е., стереотип. - М.: Горячая линия - Телеком, 2002. - 382 е.: ил.

29. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М: Горячая линия-Телеком, 2000. - 384 с.

30. Липцер Р.Ш., Ширяев А.Н. Статистика случайных процессов. М.: Наука, 1974.-695 с.

31. Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов. М.:Финансы и статистика, 2003.

32. Менаев Ю.Н., Филимонова О.Ю., Лиес Б. Методы и алгоритмы идентификации и прогнозирования в условиях неопределенности в нейросе-тевом логическом базисе. М.\ Горячая линия-телеком. 2003. - С. 105107.

33. Мун Ф. Хаотические колебания,- М.: Мир, 1990. 312 с.

34. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и техника, 2003. - 384 е.: ил.

35. Нейронные сети. STATISTICA Neural Networks: Пер. с англ. М.: Горячая линия - Телеком. 2001. - 182 е.: ил.

36. Основы цифровой обработки сигналов. Курс лекций. БХВ-Петербург. -СПБ: 2003. 594 с.

37. Осовский С. Нейронные сети для обработки информации / Пер. с польского И. Д. Рудинского. М.: Финансы и статистика, 2002. - 344 е.: ил.

38. Родионов П.Е. Краткосрочное прогнозирование котировок ОГВВЗ с использованием аппарата нейронных сетей // Интеллектуальные технологии и системы. М.: 1998. - Вып.1. - С.231-245.

39. Рюэль Д., Такенс Ф. О природе турбулентности. Странные аттракторы. М.: Мир, 1981.

40. Свешников А.А. Прикладные методы теории случайных функций. М.: Наука, 1968.-463 с.

41. СуперЭВМ. Аппаратная и программная организация/ Под ред. С. Ферн-баха: Пер. с англ. М.: Радио и связь, 1991. - 320 с: ил.

42. Терехов В.А. Динамические алгоритмы обучения многослойных нейронных сетей в системах управления // Изв. РАН. Сер.Теория и системы управления. 1996. - №3. - с. 70-79.

43. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. М.: Высшая школа, 2002. - 184 с.

44. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика: Пер. с англ. М.: Мир, 1992. - 240 с, ил.

45. Четыркин Е.М. Статистические методы прогнозирования. — М.: Статистика, 1977.

46. Шумский С.А., Яровой А.В., Лукьяница А.А. Нейросетевое предсказание финансовых временных рядов // Тезисы III рабочего семинара-совещания «Теория и приложения искусственных нейронных сетей». -Снежинск, РФЯЦВНИИТФ, 1-3 апреля 1998 г.

47. Шустер Г. Детерминированный хаос. М.: Мир, 1988. - 240 с.

48. Элдер А. Основы биржевой игры. Учебное пособие для участников торгов на мировых биржах. Психология. Тактика торгов. Денежный менеджмент. М.: Изд-во «Светоч», 1995. - 327 с.

49. Эфрон Б. Нетрадиционные методы многомерного статистического анализа: Сб. статей: Пер. с англ. М.: Финансы и статистика, 1988. - 263 с: ил.

50. Azoff М.Е. Neural Network Time Seriese Forecasting of Financial Markets. -John Wiley, 1994.

51. Armstrong S. and Collopy F . Error measures for generalizing about forecasting methods: Empirikal comparisons // International Journal of Forecasting 1992. c.69-80.

52. Artificial Neural Networks: Concepts and Theory. IEEE Computer Society Press, 1992.

53. Chorafas D.N. Chaos Theory in the Financial Markets. Probus Publishing, 1994.

54. Colby R.W., Meyers T.A. The Encyclopedia of Technical Market Indicators. -IRWIN Professional Publishing, 1988.

55. De Vries, B. and J. C. Principe. The Gamma model a new neural model for temporal processing. - Neural Networks, vol. 5, no. 4, pp. 565-576,1992.

56. Fogel D.B. Evolution computation: Toward a New philosophy of Machine intelligence. Cognitive Science, 1987, no. 11, pp.23-63.

57. Gately E. Neural Networks for Financial Forecasting. John Wiley, 1996.

58. Grossberg S. Competitive Learning: from Interactive Activation to Adaptive Resonance. Cognitive Science, 1987, no. 11, pp.23-63.

59. Hebb D. Self-organization and associative memory // Series in Information Sciences, vol.8. Berlin: Springer Verlag, 1961.

60. Kohonen Т., Self-organizing Maps. Heidelberg: Springer Verlag, 1995.

61. Minsky M.L., Papert S. Perceptrons. Cambridge, MA: MIT Press., 1969. (Минский M.JI., Пейперт С. Персептроны. - М.: Мир, 1971).

62. Principe J., deVries В., Kuo J. and Oliveira P. Modeling applications with the focused gamma network // In Neural Information Processing Systems 4, (eds. Moody, Hanson, Touretsky), pp 121-126, Morgan Kaufmann, 1992.

63. Principe J., Kuo J. Backpropagation Through Time with fixed memory size Requirement. Computational NeuroEngineering Laboratory, University of Florida.

64. Rumelhart D.E., Hinton G.E., Williams RJ. Learning internal representations by error propagation. In parallel distributed processing, vol.1, pp.318-62. Cambridge, MA: Mtt Press, 1986.