Метод прогнозирования временных рядов с регулярными периодическими компонентами на основе модели периодически коррелированных случайных процессов тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Игнатов, Николай Анатольевич

• Игнатов, Николай Анатольевич
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Игнатов, Николай Анатольевич

ВВЕДЕНИЕ.

1 АКТУАЛЬНОСТЬ РЕШЕНИЯ ЗАДАЧИ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ С РЕГУЛЯРНЫМИ ПЕРИОДИЧЕСКИМИ КОМПОНЕНТАМИ.

1.1 Прогнозирование как этап процесса управления.

1.2 Общие сведения о прогнозировании временных рядов.

1.3 Временные ряды с регулярными периодическими компонентами.

1.4 Формальная постановка задачи прогнозирования случайного процесса.

1.5 Краткий обзор распространенных моделей и методов прогнозирования случайных процессов.

1.5.1 Экспоненциальное сглаживание.

1.5.2 Модель АРПСС.

1.5.3 Метод сингулярного спектрального анализа (метод «Гусеница»).

1.5.4 Нейросетевые модели прогнозирования.

1.6 Обоснование необходимости разработки метода прогнозирования временных рядов с регулярными периодическими компонентами.

1.7 Выводы.

2 РАЗРАБОТКА И РЕАЛИЗАЦИЯ МЕТОДА ПРОГНОЗИРОВАНИЯ НА ОСНОВЕ МОДЕЛИ ПЕРИОДИЧЕСКИ КОРРЕЛИРОВАННЫХ СЛУЧАЙНЫХ ПРОЦЕССОВ.

2.1 Общее описание прогнозирующей модели.

2.2 Статистическая модель периодически коррелированного случайного процесса.

2.3 Прогнозирование на основе модели периодически коррелированного случайного процесса.

2.4 Требования к исходным данным.

2.5 Определение интервала периодичности ПКСП.

2.6 Концептуальное сравнение предлагаемого метода и сезонной модели АРПСС.

2.7 Регуляризация прогнозирующей модели.

2.8 Реализация метода прогнозирования на основе модели периодически коррелированных случайных процессов на ЭВМ.

2.8.1 Описание алгоритмической реализации.

2.8.2 Алгоритмическая реализация модели однократного прогнозирования.

Однократное прогнозирование предполагает решение задачи.

2.8.3 Алгоритмическая реализация моделирования процесса прогнозирования.

2.8.4 Алгоритмическая реализация решения задачи регуляризации.

2.8.5 Вычислительная сложность алгоритма прогнозирования.

2.8.6 Реализация алгоритма прогнозирования в подсистеме автоматизированной системы прогнозирования динамических процессов.

2.9 Выводы.

3 МЕТОДИКА ИССЛЕДОВАНИЯ ВОЗМОЖНОСТИ ПРИМЕНЕНИЯ РАЗРАБОТАННОГО МЕТОДА ПРОГНОЗИРОВАНИЯ.

3.1 Методика проверки возможности применения предложенного метода прогнозирования.

3.2 Описание исходных данных.

Интервал дискретизации соответствует интервалу дискретизации, с которым работает оператор нерегулируемого рынка электрической энергии.

3.3 Качественный анализ и структурная декомпозиция исходных данных.

3.4 Анализ трендовых компонент.

3.4.1 Структура трендовых компонент.

3.4.2 Оценка параметров трендовых компонент.

3.4.3 Проверка адекватности трендовых компонент.

3.5 Анализ стохастических компонент.

3.5.1 Определение стохастических компонент.

3.5.2 Исследование одномерного закона распределения стохастических компонент.

3.5.3 Корреляционный анализ стохастических компонент.

3.5.4 Спектральный анализ стохастических компонент.

3.6 Применение модели периодически коррелированных случайных процессов к исследуемым случайным процессам.

3.6.1 Проверка наличия признаков периодически коррелированного случайного процесса у исследуемых случайных процессов.

3.6.2 Оценка автокорреляционных функций стохастических компонент исследуемых случайных процессов как автокорреляционной функции периодически коррелированного случайного процесса.

3.7 Выводы.

4 ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ РАЗРАБОТАННОГО МЕТОДА ПРОГНОЗИРОВАНИЯ.

4.1 Описание условий статистических испытаний.

4.2 Моделирование процесса краткосрочного прогнозирования.

4.2.1 Условия статистических испытаний.

4.2.2 Результаты статистических испытаний.

4.2.3 Проверка необходимого и достаточного условия оптимальности прогнозирующей системы.

4.3 Моделирование процесса среднесрочного прогнозирования.

4.3.1 Условия статистических испытаний.

4.3.2 Результаты статистических испытаний.

4.3.3 Проверка необходимого и достаточного условия оптимальности прогнозирующей системы.

4.4 Исследование влияния величины интервала оценки статистических характеристик на оценки среднего квадрата ошибки прогнозирования.

4.5 Исследование влияния регуляризации по числу точек, используемых для построения прогноза, на оценки ошибок краткосрочного прогнозирования.

4.6 Исследование влияния регуляризации по числу точек, используемых для построения прогноза, на оценки ошибок среднесрочного прогнозирования.

4.7 Сравнение эффективности предлагаемого метода и сезонной модели АРПСС.

4.8 Сравнение эффективности предлагаемого метода и нейросетевых алгоритмов прогнозирования.

4.9 Оценка временных затрат.

4.10 Выводы.

Введение диссертации (часть автореферата) на тему «Метод прогнозирования временных рядов с регулярными периодическими компонентами на основе модели периодически коррелированных случайных процессов»

Актуальность исследования

Решение задачи прогнозирования играет важнейшую роль в процессах как стратегического планирования, так и оперативного управления в различных сферах науки и техники.

Прогнозирование временного ряда (или реализации ' скалярного случайного процесса) является одной из распространенных форм постановки задачи прогнозирования.

Применение каких-либо из существующих в настоящее время математических моделей и методов прогнозирования временных рядов тесно связано со спецификой предметной области и' классификацией прогнозируемого временного ряда.

Рассматриваемый в настоящей работе класс временных рядов с регулярными периодическими компонентами является весьма распространенным, в частности, для предметных областей, в которых существенно влияние периодических факторов. Примерами таких рядов являются: различные макроэкономические показатели (например, помесячные значения индексов промышленного производства), аэродинамические коэффициенты летательного аппарата в процессе полета, почасовые объемы выработки электрической и тепловой энергии объектами генерации и, как следствие, цена 1 кВтч электрической энергии на нерегулируемом рынке Российской Федерации, почасовые объемы потребления электрической энергии объектами ЖКХ и некоторыми промышленными предприятиями, метеорологические и гидрологические процессы и множество других. Таким образом, в силу наличия временных рядов данного класса в самых разных сферах в принципе, решение задачи их прогнозирования является актуальной и важной научно-технической задачей.

Существует несколько математических моделей и методов, специально разработанных для прогнозирования временных рядов с регулярными периодическими компонентами, например, модель сезонного скользящего среднего (Хольт и Винтере, 1950-1960), сезонная модель АРПСС (Бокс и Дженкинс, 1970), метод сингулярного спектрального анализа (реализация, названная методом «Гусеница» в России, разрабатывалась в Санкт-Петербургском Государственном Университете в 1997-2010 годах), а также ряд нейросетевых алгоритмов прогнозирования, в основном, получившим распространение с середины 90-х годов XX века.

Проведенный в настоящей работе анализ выявил ряд существенных недостатков данных методов. В частности, сезонное скользящее среднее и сезонная модель АРПСС не учитывают в полном объеме всю информацию о корреляционной связи между сечениями прогнозируемого ряда, а практическое применение метода сингулярного спектрального анализа и нейросетевых алгоритмов затруднено их слабой формализацией и необходимостью высокой квалификации оператора.

Таким образом, актуальной является, задача разработки нового метода прогнозирования временных рядов с регулярными периодическими компонентами, лишенного указанных недостатков других методов и моделей: более полный, по сравнению с сезонным скользящим средним и сезонной моделью АРПСС, учет статистических характеристик прогнозируемого ряда увеличивает эффективность прогнозирования, а разработка и реализация формального алгоритма применения метода — обеспечить легкость решения практических задач.

Объект исследования

Временные ряды с регулярными периодическими компонентами.

Предмет исследования

Задача прогнозирования временных рядов с регулярными периодическими компонентами.

Цель исследования

Повышение эффективности прогнозирования временных рядов с регулярными периодическими компонентами с точки зрения критерия среднего квадрата ошибки.

Задачи исследования

Для достижения поставленной цели были решены следующие научно-технические задачи:

1. Разработан метод решения задачи прогнозирования временных рядов с регулярными периодическими компонентами на основе модели периодически коррелированного случайного процесса;

2. Разработанный метод прогнозирования реализован в программном комплексе «Автоматизированная система прогнозирования динамических процессов»;

3. Разработана методика проверки возможности применения разработанного метода прогнозирования и выполнено ее применение для статистического исследования временного ряда с регулярными периодическими компонентами;

4. Проведены статистические испытания разработанного метода прогнозирования на имеющихся данных и выполнено сравнение его эффективности с сезонной моделью АРПСС и нейросетевыми методами прогнозирования.

Методы исследования

Поставленные задачи решались с использованием методов системного анализа, математического программирования, теории оптимального планирования и управления, теории вероятностей и математической статистики, статистической динамики и теории эффективности систем управления, объектно-ориентированного программирования.

Научная новизна работы заключается в следующем:

1. Разработан и реализован метод прогнозирования временных рядов с регулярными периодическими компонентами на основе модели периодически коррелированных случайных процессов;

2. Показана более высокая эффективность разработанного метода в рамках решения задачи прогнозирования временных рядов с регулярными периодическими компонентами по сравнению с актуальными в настоящее время сезонной моделью АРПСС и нейросетевой моделью.

Научные результаты, выносимые на защиту:

1. Разработанный метод прогнозирования временных рядов с регулярными периодическими компонентами на основе модели периодически коррелированных случайных процессов;

2. Алгоритмическая и программная реализация разработанного метода прогнозирования;

3. Разработанная методика проверки возможности применения разработанного метода прогнозирования;

4. Результаты статистических испытаний, подтверждающие эффективность разработанного метода прогнозирования по сравнению с актуальными в настоящее время сезонной моделью АРПСС и нейросетевой

- моделью.

Практическая значимость результатов

Программный комплекс «Автоматизированная система прогнозирования динамических процессов», реализующий разработанный метод, внедрен и используется в группе компаний «ТеплоЭлектроГенерация» в процессе разработки режимов управления производством электрической энергии.

Апробация работы

Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах:

1) Всероссийская конференция молодых ученых и студентов «Информационные технологии в авиационной и космической технике-2008». 21-24 апреля 2008 г. Москва.

2) 2-я Всероссийская конференция молодых ученых и студентов «Информационные технологии в авиационной и космической технике-2009».

20-24 апреля 2009 г. Москва.

3) XVII Международный научно-технический семинар. Алушта, 2008.

4) 8-я Международная конференция «Авиация и космонавтика-2009». г. Москва.

5) XVIII Международный научно-технический семинар. Алушта, 2009.

6) XIX Международный научно-технический семинар. Алушта, 2010.

Публикации

Основные результаты диссертационной работы опубликованы в 8 печатных работах, в том числе, 1 публикация в ведущем рецензируемом научном журнале «Мехатроника, автоматизация, управление», входящем в список ВАК РФ; 1 публикация в ведущем рецензируемом научном журнале «Научные труды: Институт народнохозяйственного прогнозирования РАН», входящем в список ВАК РФ; выполнена, государственная регистрация программного комплекса, реализующего разработанный метод, в качестве программы для ЭВМ, свидетельство №2011613068.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, списка источников из 57 наименований и двух приложений. Объем диссертации - 140 страниц машинописного текста, включает 64 рисунка и 14 таблиц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Игнатов, Николай Анатольевич

4.10 Выводы

Проведены статистические испытаний эффективности реализованного метода прогнозирования на основе модели периодически коррелированных случайных процессов.

Результаты испытаний подтвердили его теоретическую оптимальность при прогнозировании временных рядов с регулярными периодическими компонентами.

Сравнение с распространенными в настоящее время методами и моделями прогнозирования, в частности, сезонной моделью АРПСС, и нейросетевой моделью, показало преимущество предлагаемого метода как при краткосрочном (24 часа), так и при среднесрочном (168 часов) прогнозировании по критерию среднего квадрата ошибки прогнозирования, что достигается ценой значительно больших временных затрат.

ЗАКЛЮЧЕНИЕ

1. Проведенный анализ распространенных в настоящее время моделей и методов прогнозирования временных рядов выявил их существенные недостатки применительно к особому классу временных рядов с регулярными периодическими компонентами, актуальному для широкого спектра предметных областей. Поставлена задача разработки нового метода прогнозирования, лишенного выявленных недостатков, в частности, теоретически обоснованного, более полно учитывающего статистические характеристики прогнозируемого ряда.

2. Разработан новый- метод прогнозирования временных рядов с регулярными периодическими компонентами, основанный на статистической модели периодически коррелированных случайных процессов, учитывающий статистические связи между всеми доступными для исследования сечениями прогнозируемого временного ряда и предполагающий регуляризацию по числу используемых для построения прогноза сечений. Это повышает точность прогнозирования временных рядов с регулярными периодическими компонентами по критерию среднего квадрата ошибки прогнозирования. '

3. Осуществлена алгоритмическая и программная реализация-разработанного метода прогнозирования в программном комплексе «Автоматизированная система прогнозирования динамических процессов». Выполнена государственная регистрация! данного программного комплекса. Программный^ комплекс внедрен в группе компаний «ТеплоЭлектроГенерация» и успешно используется в процессе управления производством электрической энергии.

4. Предложена методика, позволяющая'проверить выполнение свойства периодической коррелированности у временного ряда общего вида, и, таким образом, обосновать возможность применения разработанного метода для его прогнозирования.

5. Проведенные статистические испытания разработанного метода показали состоятельность и эффективность получаемых прогнозов, его более высокую прогнозирующую способность (около 70% при краткосрочном и 4459% при среднесрочном прогнозе) как по сравнению с сезонной моделью АРПСС (превосходство в 3-4% при краткосрочном и 7-16% при среднесрочном прогнозе) так и по сравнению с нейросетевыми моделями в аналогичных задачах (их прогнозирующая способность не превышает 4555% при краткосрочном и среднесрочном прогнозах).

При этом предложенный метод требует больших вычислительных затрат в силу более сложной обработки прогнозируемого ряда, что однако, не является существенным при решении реальных задач.

Список литературы диссертационного исследования кандидат технических наук Игнатов, Николай Анатольевич, 2011 год

1. Абрамов A.M., Капустин В.Ф. Математическое программирование. -Л.: ЛГУ, 1976.

2. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Классификация и снижение размерности.— М.: Финансы и статистика, 1989.— 607 с.

3. Айвазян С.А., Мхитарян B.C. Прикладная статистика и основы эконометрики. М.: Юнити, 1998.

4. Алексеев В.Г. Об оценках спектральных плотностей гауссовского периодически-коррелированного случайного процесса // Проблемы передачи информации, Том 24, выпуск 2. М.: Изд-во ИППИ РАН, 1988.-е. 31-38

5. Алексеев В.Г. Эмпирический спектральный анализ периодически коррелированных случайных процессов. Альтернативный подход // Проблемы передачи информации, Том 33, выпуск 4. М.: Изд-во ИППИ РАН, 1997.-е. 61-69

6. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.

7. Боков В.Н., Бухановский A.B., Иванов H.E., Рожков В.А. Пространственно-временная изменчивость поля ветра в умеренных широтах Северного полушария // Известия АН РАН Физика атмосферы и океана, т.37, №2, 2001.-С.170-181.

8. Бокс Д.Ж., Дженкинс Г. Анализ временных рядов, прогноз и управление. М.: Мир, 1974.

9. Бомас В.В., Красовская М.А. Компьютерное исследование точности статистических методов: Учебное пособие. — М.: Изд-во МАИ, 1998.

10. Ю.Боровиков В.П., Ивченко Г.И. Прогнозирование в системе STATISTICA в среде WINDOWS. Издательство ФИНАНСЫ И СТАТИСТИКА, 2006.

11. П.Булыгин B.C. Избранные задачи статистической оптимизации. М.: МАИ, 1978.

12. Булыгин B.C., Красовская М.А., Хахулин Г.Ф. Теоретические основы автоматизированного управления (задачи, методы, алгоритмы теории оптимального планирования и управления). — М.: Издательство МАИ, 2005.

13. Вентцель Е.С. Теория вероятностей: Учебник для студ. вузов. — М.: Издательский центр «Академия», 2003. 576 с.

14. Вентцель Е.С., Овчаров JI.A. Теория вероятностей и ее инженерные приложения. -М.: Наука, 1988.

15. Грешилов A.B., Стакун В.А., Стакун A.A. Математические методы построения прогнозов. М.: Радио и связь, 1997.-112 с.

16. Грицай А., Гаак А. Краткосрочное прогнозирование потребления электроэнергии с использованием нейронной сети // Энергорынок №11, 2007.

17. Драган Я.П. Периодические и периодически нестационарные случайные процессы // Отбор и передача информации. Киев: Наук, думка, 1985. Вып. 72. С. 3-17.

18. Ескин В.И. Модели и методы оптимального планирования эксперимента и регрессионного анализа при исследовании сложных технических систем. Учебное пособие. М.: МАИ, 1998.

19. Иванова Г.С., Ничушкина Т.Н., Пугачев Е.К. Объектно-ориентированное программирование (3-е издание), издательство «МГТУ им. Н. Э. Баумана», 2007.

20. Ивахненко А.Г. Долгосрочное прогнозирование и управление сложными системами. — К: Техшка, 1975.

21. Ивахненко А.Г., Мюллер Й.А. Самоорганизация прогнозирующих моделей. К: Техшка, 1985.

22. Игнатов H.A., Булыгин B.C. Автоматизированная система прогнозирования динамических процессов. // Обеспечение качества навсех этапах жизненного цикла изделия / под ред. проф: Б.В. Бойцова и проф. Ю.Ю. Комарова.-М.: Изд-во МАИ-ПРИНТ, 2008.-452 е.: ил.

23. Игнатов H.A. Применение модели сезонно-стационарных. случайных процессов для прогнозирования цены на свободном рынке электрической энергии. 8-я Международная конференция «Авиация и. космонавтика-2009».Тезисы докладов. М.: Изд-во МАИ-ПРИНТ, 2009:240 с.

24. Игнатов H.A. Прогнозирование временных рядов с регулярными циклическими компонентами с помощью модели периодически коррелированных случайных процессов // Научные труды: Институт народнохозяйственного прогнозирования РАН, 2011. с. .

25. Ким Д.П. Теория автоматического управления. М.: ФИЗМАТЛИТ,. 2003.31 .Комиссарчик В.Ф., Зуев В.Н., Киселев А.Н. Применение нейронных сетей для краткосрочного прогнозирования электропотребления. // Программные продукты и системы №1, 2009.

26. Красовская М.А. Методы и алгоритмы нелинейного программирования в АСУ. -М.: Изд-во МАИ, 1994.

27. Кендэл М. Временные ряды. М.: Финансы и статистика, 1981.

28. Макоклюев Б.И. Методология и система моделей прогноза электропотребления // Рынок электротехники №4, 2007.

29. Манжиров А. В., Полянин А. Д. Справочник по интегральным уравнениям. Методы решения, М.: Изд-во Факториал Пресс, 2000, 384 стр.

30. Мышкис А. Д. Математика для технических вузов, спец. курсы, 2-е изд, СПб.: Изд-во Лань, 2002, 640 с.

31. Орлов Ю.Н., Осминин К.П. Нестационарные временные ряды: Методы прогнозирования с примерами анализа финансовых и сырьевых рынков. M.: URSS, 2011.-384с.

32. Прохоров С.А. Аппроксимативный анализ случайных процессов. Самара, 2001 г.

33. Пугачев B.C., Синицын И.Н. Стохастические дифференциальные системы. М.: 1990.

34. Розанов Ю.А. Случайные процессы. Изд. 2-е, перераб. и доп. М.: Наука, 1979.-184 с.

35. Росин М.Ф., Булыгин B.C. Статистическая динамика и теория эффективности систем управления. М.: Машиностроение, 1981.

36. Рытов С.М. Введение в статистическую радиофизику. М.: Наука, 1976.

37. Саймон Хайкин Нейронные сети: полный курс. Neural Networks: А Comprehensive Foundation. — 2-е. —М.: «Вильяме», 2006. — С. 1104.

38. Сергиенко А. Б. Цифровая обработка сигналов. — 2-е. — Спб: Питер, 2006. —С. 751.

39. Соломкин А.В. Применение нейросетевых методов для прогнозирования потребления электроэнергии // Электроника и информационные технологии №3, 2009.

40. Суслов В. И., Ибрагимов Н. М., Талышева JI. П., Цыплаков А.А. Эконометрия. —Новосибирск: СО РАН, 2005. — 744 с.

41. Хахулин Г.Ф. Основы конструирования имитационных моделей: учеб: пособие. — М.: НТК Поток, 2002. — 222 с.

42. Хованова Н.А., Хованов И.А. Методы анализа временных рядов: Учебное пособие. Саратов, Изд-во ГосУНЦ Колледж, 2001.

43. Цыплаков А.А. Введение в прогнозирование в классических моделях временных рядов. Квантиль. — 2006. — № 1. — С. 3-19.

44. Шарифуллин В.Н., Шарифуллин А.В., Абдрахманова Д.Ф. Оценка случайной компоненты потребления электрической энергии промышленным предприятием // Промышленная энергетика №4, 2009.-с.32-35.

45. Постановление Правительства Российской Федерации от 31 августа 2006 г. № 529 г. Москва "О совершенствовании порядка функционирования оптового рынка электрической энергии (мощности)".

46. Главные компоненты временных рядов: метод "Гусеница" / Под редакцией Д.Л.Данилова и А.А.Жиглявского. СПбу, 1997.

47. D'Agostino R.B. Transformation to normality of the null distribution of gi // Biometrika, 57, 1970. -P.679-681.

48. Yaglom A.M. Correlation theory of stationary and related random functions. V. I, II. New York: Springer-Verlag, 1987.

49. ОАО «АТС». Веб-сайт www.atsenergo.ru.

50. Свидетельство №2011613068 о государственной регистрации программ для ЭВМ и баз данных.