Минимаксные оценивание и оптимизация параметров стохастических систем по вероятностным критериям тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат физико-математических наук Попов, Алексей Сергеевич

• Попов, Алексей Сергеевич
• кандидат физико-математических наук
• 2005

Оглавление диссертации кандидат физико-математических наук Попов, Алексей Сергеевич

Введение

1 Минимаксное оценивание параметров

1.1. Основные обозначения

1.2. Постановка задачи минимаксного оценивания. Критерии.

1.3. Прямая и двойственная задачи. Терминология

1.4. Оценивание параметров линейных моделей

1.4.1. Модель. Постановка задачи. Критерий.

1.4.2. Минимаксное оценивание в случае известной ковариационной матрицы

1.4.3. Минимаксное оценивание в случае неизвестной ковариационной матрицы

1.4.4. Существование "наихудшего" распределения вектора случайных параметров.

1.5. Оценивание параметров нелинейных моделей.

1.5.1. Модель. Постановка задачи. Критерий.

1.5.2. Оценка параметров модели.

2 Минимаксное линейное стохастическое программирование в условиях неопределённости

2.1. Постановка задачи оптимизации билинейного функционала.

2.2. Ошибки оптимизации и неопределённость случайных параметров

2.3. Оптимизация по вероятностному критерию.

2.3.1. Случай нормального распределения вектора возмущений с точно заданными характеристиками

2.3.2. Случай неизвестного распределения вектора возмущений с точно заданными характеристиками

2.3.3. Случай неизвестного распределения вектора возмущений с неточно заданными характеристиками.

2.4. О "наихудшем" распределении вектора возмущений

2.4.1. Постановка задачи.

2.4.2. "Наихудшее" распределение вектора возмущений.

3 Алгоритмы минимаксной оптимизации 44 3.1. Аналитические методы оптимизации. Виды множеств неопределённости 3.2. Аналитическое представление "наихудших" характеристик закона распределения

3.3. Численные методы оптимизации.

3.3.1. Алгоритм решения двойственной задачи.

3.3.2. Вероятностная оптимизация с линейной функцией потерь

3.3.3. Вероятностная оптимизация с квадратической функцией потерь

4 Задачи оценивания и оптимизации

4.1. Задачи оценивания и прогнозирования движения летательного аппарата в условиях неопределённости.

4.1.1. Минимаксное оценивание параметров линейной модели движения летательного аппарата.

4.1.2. Минимаксное оценивание параметров нелинейной модели движения летательного аппарата.

4.1.3. Прогнозирование движения

4.2. Задачи экономической теории в условиях неопределённости.

4.2.1. Задача построения оптимального портфеля ценных бумаг

4.2.2. Задача оценивания параметров трендов макроэкономических показателей.

4.3. Задача экспертного оценивания в условиях неопределённости.

Введение диссертации (часть автореферата) на тему «Минимаксные оценивание и оптимизация параметров стохастических систем по вероятностным критериям»

В диссертационной работе исследуется ряд задач системного анализа и обработки информации, рассматриваются проблемы минимаксного оценивания и оптимизации по вероятностным критериям.

Рассмотрены модели систем, в которых присутствуют наряду с параметрами неконтролируемые возмущения. Параметры х модели в диссертации исследуются с позиций их оценивания и оптимизации. Относительно истинных значений возмущений R часто имеется разнородная информация. Вектор возмущений может быть как случайным, так и детерминированным. Сам процесс выбора или оценки значений параметров стохастической системы должен быть произведён с учётом неопределённости возмущений [3,36,38,42]. При этом полнота информации играет ведущую роль в выборе методов решения задач оптимизации и оценивания.

Решения проблем оптимизации и оценивания параметров моделей стохастических систем в условиях полной информации о возмущениях модели достаточно широко известны и применяются во многих практических задачах конструирования, оценивания, оптимизации и анализа сложных динамических систем [2,4]. Процесс оптимизации сложных динамических систем с учётом случайной структуры является также самостоятельным направлением в исследовании сложных систем [3,62].

Обстоятельства отсутствия полной информации о характеристиках возмущений модели, а также возможное присутствие нелинейности существенно осложняют процесс оценивания и определения степени эффективности функционирования стохастических систем.

Для оценивания и оптимизации параметров стохастической системы может быть применен один из двух известных методов: адаптивный или минимаксный. Согласно адаптивному подходу сначала строится статистическая оценка вектора возмущений модели статистически неопределённой системы, после чего становится возможным использование оптимальных методов при условии замены неизвестных характеристик системы их оценками. Согласно минимаксному подходу оценивание и оптимизация параметров производятся так, чтобы они были оптимальны в случае реализации наименее благоприятных возмущений модели. В диссертационной работе используется минимаксный подход.

В результате минимаксного оценивания и оптимизации параметров модели по некоторому априорно выбранному критерию полученные значения параметров являются устойчивыми к допустимым значениям возмущений. Таким образом, минимаксные алгоритмы оптимизации и оценивания являются робастными.

Задачу минимаксного оценивания и оптимизации можно математически представить в виде следующей общей задачи: sup J(x, Pr) —> min, x£X

0.1) где x — вектор параметров, принадлежащий множеству ограничений X, Рд — закон распределения вектора возмущений R. Закон распределения Рд принадлежит классу законов распределения "Р, который содержит все распределения вектора R: E{i?} = т — задан вектор математического ожидания, cov{/?, R} = V — задана ковариационная матрица вектора R. J(x, Рд) в (0.1) есть некоторый известный оптимизируемый функционал. Значения данного функционала характеризуют оптимальность выбора значений параметров.

Выбор критерия должен удовлетворять некоторым известным требованиям:

В диссертации в каждом конкретном случае известно, что рассматриваемый критерий качества обладает необходимыми свойствами.

Заметим, что в задачах теории и практики критерий качества J(x, Рд) может иметь много представлений. В диссертационной работе вид критериев качества ограничен вероятностными критериями вида: где Р(А) — вероятность события A, f(x,R) — некоторая функция потерь.

В случае, когда критерий J(x,Pr) является стохастическим функционалом при известном распределении Рд вектора R, задача была исследована с использованием минимаксных методов в работах В.В. Малышева, М.Н. Красилыцикова, А.Р. Панко-ва, А.И. Кибзуна, Ю.С.Кана [16,27,39,90].

В работах Н.Н. Красовского [20], М.Л. Лидова [23], А.Р. Панкова [39], А.И. Ма-тасова [28], Б.Ц. Бахшияна, P.P. Назирова, П.Е. Эльясберга [3], В.И. Карлова [27] рассматривался случай, когда неопределённость вектора возмущений системы описывается априорно заданными множествами, которым принадлежат его ковариационная матрица и вектор математического ожидания.

Заметим, что использование распространённого среднеквадратического критерия качества не позволяет отвечать на важные вопросы о вероятностных характеристиках получаемых оценок и стратегий оптимизации. Отсюда следует, что задача оценивания параметров по вероятностному критерию, которая решена в диссертации для систем, описываемых линейными регрессионными уравнениями, является актуальной. Решение данной задачи осложнялось присутствием неопределённостей смешанного типа. А именно, вектор возмущений (ошибки наблюдения) модели имел неограниченные неслучайные компоненты и случайные компоненты. Информация о случайных компонентах вектора ошибки наблюдения исчерпывалась некоторым априорно заданным множеством неопределённости. Далее приводится постановка этой задачи. Задача оценивания параметров линейной системы по вероятностному критерию имеет вид:

13,24,64].

J(x,Pr) = -PV(x,R)>J) где в — неизвестный вектор параметров модели, R — вектор ошибки наблюдений, у — вектор наблюдений, у = Z6 + R, Z — матрица соответствующей размерности, х(-) — оператор оценивания.

В диссертации с использованием вероятностного критерия качества также рассматривается задача оптимизации линейной функции потерь. Постановка задачи приводится ниже.

Задача линейного стохастического программирования в условиях неопределённости: sup Р (xTR > 7) —> min, pHev где х — вектор управлений, R — вектор возмущений (в случае модели инвестиционного портфеля, —R есть вектор доходностей активов).

Сами решения, получаемые в результате решения указанных задач, далее называются минимаксными. До настоящего времени минимаксный подход к оптимизации статистически неопределённых систем по вероятностному критерию практически не был разработан. Используемый подход для решения минимаксной задачи в диссертации основан на неравенствах Коши-Буняковского и Чебышёва.

Описанные постановки задач поиска "наихудших" характеристик вектора возмущений могут быть соответственно записаны в следующих видах:

PR(x) Е arg max J(x, Рд), R(x) 6 arg max J(x, Рд), {fh(x), F(ar)} e arg max J(x, Рд), где {■ ,• } — множество элементов, т(х) = Е{Я(х)}, = R(x)}.

После нахождения наименее благоприятных возмущений выбирается "наилучшее", в смысле критерия J(x, Рд), значение вектора параметров модели: х 6 arg min max J(x, Рд).

Приведённый алгоритм носит название прямого метода (прямой задачи). Для решения прямой задачи минимаксной оптимизации могут быть использованы различные численные методы. Однако, практически, решение прямой задачи сопряжено со многими трудностями. В качестве недостатков решения прямой задачи можно выделить следующие: применение известных численных методов решения прямой задачи сужает допустимые множества вектора параметров X, а использование метода штрафных функций приводит к появлению эффекта "овражности" оптимизируемого функционала. Решение прямой задачи, как правило, на практике также может быть сопряжено с такими трудностями, как отсутствие гладкости, аналитического выражения прямого функционала. Более подробно недостатки и достоинства численного решения прямой задачи можно найти, например, в [3,42]

Решение же двойственной задачи для рассматриваемых в диссертации проблем не содержит указанных трудностей [42]. Итак, в диссертации решение прямой минимаксной задачи: min max J(x, Рд) при некоторых предположениях ищется с использованием двойственного подхода: max min J(x, Рд).

Paevxex v n'

Заметим, что в случае известного Рд двойственная задача представляет собой задачу математического программирования, для решения которой в настоящее время разработаны эффективные методы её решения, например [49].

Двойственный метод решения минимаксных задач был развит в работах [42,43].

В диссертации основное внимание уделяется рассмотрению следующих трёх проблем из системного анализа и обработки информации.

Первая проблема — оценивание параметров линейных и нелинейных систем в условиях неполной информации о законах распределения ошибок наблюдения.

В диссертационной работе рассматривается задача оценивания параметров линейной системы по вероятностному критерию в присутствии детерминированных неограниченных неслучайных ошибок наблюдения и центрированных случайных возмущений (ошибок наблюдения) с неточно заданной ковариационной матрицей. Решена задача асимптотического минимаксного нелинейного оценивания.

Вторая проблема — оптимизация параметров. В диссертационной работе подробно рассмотрена задача линейного стохастического программирования в условиях неопределённости при линейных ограничениях.

Структура возмущений обычно на практике точно неизвестна. Таким образом, минимаксный подход является адекватным. Актуальность данной проблемы обусловлена теоретической и практической важностью построения управления сложными стохастическими системами путём выбора параметров в случае неточной информации о структуре вектора возмущений.

Третья проблема — разработка эффективных численных методов решения указанных первых двух проблем. Подавляющее число работ, связанных с использованием минимаксного подхода в оптимизации, посвящено исследованию прямой задачи (т.е. непосредственному поиску минимума супремума критерия). Практическое применение прямого метода, как было сказано, может быть затруднено степенью сложности решения задачи минимизации функции максимума. Если функцию максимума удается найти аналитически, то поиск минимаксной стратегии является стандартной проблемой математического программирования. Для задачи вероятностной оптимизации, изучаемой в диссертации, явный вид функции максимума найти не удается. Более того, оказывается, что эта функция негладкая, поэтому ее оптимизация стандартными численными методами затруднительна. Актуальной становится разработка иных методов решения минимаксных задач.

Для решения проблемы минимаксной оптимизации в работе разработан алгоритм, основанный на использовании решения двойственной (по отношению к исходной минимаксной проблеме) задачи. Доказана сходимость последовательности решений двойственных задач, которая вырабатывается алгоритмом. В качестве частных случаев получены алгоритмы решения двойственных задач с вероятностными критериями качества для рассмотренных в диссертации проблем.

Итак, в диссертационной работе получены новые математические результаты по следующим направлениям минимаксной обработки информации (минимаксные оптимизация и оценивание параметров статистически неопределённых систем):

1) разработка метода минимаксного оценивания параметров линейных моделей по вероятностному критерию в случае, когда вероятностные характеристики шумов (возмущений) полностью неизвестны;

2) развитие асимптотических минимаксных методов оценивания параметров для нелинейных систем наблюдения;

3) аналитический синтез минимаксных стратегий по вероятностному критерию для статистически неопределённых линейных систем;

4) разработка соответствующих численных алгоритмов синтеза минимаксных стратегий на базе теории двойственной оптимизации.

Рассмотрены следующие прикладные задачи:

1) оценивание, прогнозирование и оптимизация параметров (координаты, скорость и т.д.) движущихся объектов (летательных аппаратов) в условиях неполной априорной информации;

2) построение оптимального по вероятностному критерию портфеля ценных бумаг при неполной информации о вероятностных характеристиках их эффективно-стей;

3) оценивание параметров трендов макроэкономических параметров экономики страны;

4) теория экспертизы: определение весов экспертных оценок по вероятностному критерию в случае неполной информации. Информация при этом определяется в терминах фон Неймана-Моргенштерна, т.е. веса рассматриваются как смешанные стратегии решения некоторой задачи управления.

Диссертация содержит четыре главы.

В первой главе изучается проблема минимаксного параметрического оценивания многомерной линейной статистически неопределённой модели наблюдений.

Рассматриваются линейная и нелинейная регрессионные модели. Соответствующие минимаксные задачи оценивания решаются с использованием метода, основанным на решении двойственной задачи.

Для оценивания параметров системы, описываемой нелинейной регрессией, используются вероятностная характеристика — дисперсия асимптотической ошибки наблюдения, а для линейной регрессии — вероятностный критерий качества.

Результатом первой главы являются алгоритмы построения минимаксных оценок вектора неизвестных параметров системы.

Во второй главе решена задача минимаксного стохастического программирования в условиях неопределённости. Данная проблема имеет тесную связь с задачей минимаксной оптимизации параметров. В диссертации оптимизируемая функция называется функцией потерь. В качестве функции потерь использовалась следующая линейная функция f(x,R)=RTx, где R n-мерный вектор случайных возмущений с законом распределения Pr; х € X — n-мерный вектор параметров, X — множество допустимых параметров вида

X = {х : Ах = а}, аф О где А - матрица размера к х п, а - известный n-мерный вектор.

Задача минимаксного оценивания линейной статистически неопределённой системой по вероятностному критерию рассмотрена в работах [39,41].

Третья глава содержит результаты по численному решению двойственных задач проблем, рассмотренных в первых двух главах. Получен алгоритм решения двойственной задачи.

Частным случаем этого алгоритма являются алгоритмы решения двойственных задач оптимизации и оценивания параметров по вероятностным критериям.

В четвёртой главе рассмотрены примеры, иллюстрирующие полученные в диссертации результаты. Все примеры разделены на три области их применения. Первые три примера относятся к областям оценивания и прогнозирования параметров. Следующие два примера могут быть отнесены к областям математической экономики и финансовой математики. Заключительный пример иллюстрирует прикладные результаты из области построения экспертных оценок. Наряду с аналитическими примерами демонстрируются численные примеры и графики.

Основные результаты диссертации опубликованы в работах [34-41,50,51,111].

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Попов, Алексей Сергеевич

Заключение

В диссертационной работе разработаны и изучены новые математические методы минимаксных оптимизации, оценивания и разработаны численные алгоритмы их реализации.

Разработаны методы оценивания параметров линейных моделей по вероятностному критерию качества в условиях априорной неопределённости в случае, когда ошибки наблюдения имеют как регулярную, так и случайную составляющие; разработан асимптотический метод оценивания параметров многомерных нелинейных динамических моделей в случае центрированных ошибок наблюдения с неточно заданной ковариационной матрицей; получено решение задачи стохастического программирования в случае неполной информации; решён ряд прикладных задач в случае неполной информации о возмущениях модели.

Для решения минимаксных задач использовался метод, основанный на решении двойственных задач, который обладал лучшими свойствами по сравнению с решениями прямой задачи. Так, решения двойственной задачи являлись гладкими и имели аналитическое выражение.

В настоящее время развитие теории оценивания и оптимизации сложных стохастических систем привело к использованию нестандартных критериев качества эффективности функционирования системы таких, как вероятностный критерий качества, используемый в диссертации.

Для решения двойственных задач с ограничениями общего вида разработан численный алгоритм. Доказано, что последовательность решений двойственных задач, вырабатываемых алгоритмом, сходится. В качестве следствий получены численные алгоритмы решения двойственной задачи для ряда проблем.

В диссертации получены следующие результаты:

1) решена задача минимаксного оценивания параметров многомерной линейной регрессионной модели по вероятностному критерию качества в случае неполной априорной информации об ошибках наблюдения;

2) решена задача асимптотического минимаксного оценивания параметров многомерной нелинейной регрессионной модели;

3) решена задача минимаксной оптимизации билинейного функционала по вероятностному критерию при детерминированных ограничениях в виде равенств и неполной априорной информации о случайных параметрах функционала;

4) разработаны численные методы построения минимаксных оценок регрессионных параметров и стратегий оптимизации билинейного функционала, основанные на теории двойственности.

Основные положения диссертации, выносимые на защиту.

1) Методика построения минимаксных оценок параметров многомерной линейной неопределённо-стохастической регрессионной модели по вероятностному критерию качества (теоремы 1.1, 1.2, 1.3).

2) Алгоритм асимптотического минимаксного оценивания параметров многомерной нелинейной регрессионной модели (теорема 1.5).

3) Алгоритм минимаксной оптимизации билинейного функционала по вероятностному критерию при детерминированных ограничениях в виде равенств и неполной априорной информации о случайных параметрах функционала (теорема 2.3). Алгоритм моделирования вектора случайных параметров функционала, имеющего "наихудший" закон распределения (теорема 2.4).

4) Численные методы построения минимаксных оценок регрессионных параметров и стратегий оптимизации билинейного функционала, основанные на теории двойственности.

5) Решения следующих прикладных задач: минимаксное оценивание параметров движения летательного аппарата, прогнозирование движения летательного аппарата, вид минимаксной стратегии оптимизации по вероятностному критерию структуры портфеля ценных бумаг в случае неполной информации о вероятностных характеристиках их эффективностей.

Список литературы диссертационного исследования кандидат физико-математических наук Попов, Алексей Сергеевич, 2005 год

1. Алберт А. Регрессия, псевдоинверсия и реккурентное оценивание. М.: Наука, 1977.

2. Афанасьев В.Н., Носов В.П., Колмановский В.Б. Математическая теория конструирования систем управления. М.: Высшая школа, 1989.

3. Бахшиян Б.Ц., Назиров P.P., Эльясберг П.Е. Определение и коррекция движения. М.: Наука, 1980.

4. Брандин В.Н., Разоренов Т.Н. Определение траектории космических аппаратов. М.: Машиностроение, 1978.

5. Васильев Ф.П. Численные методы решения экстремальных задач. М.: Наука, 1988.

6. Голубин А.Ю. О выпуклой задаче оптимизации в пространстве мер с моментны-ми ограничениями. // Автоматика и Телемеханика. 2000. №8. с. 37-46.

7. Григорьев Ф.Н., Кузнецов Н.А., Серебровский А.П. Управление наблюдениями в автоматических системах. М.: Наука, 1986.

8. Моделирование глобальных экономических процессов (под ред. Дадаяна B.C.). М.: Экономика, 1984.

9. Данилин Ю.М., Пшеничный Б.Н. Численные методы в экстремальных задачах. М.: Наука, 1975.

10. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Финансы и статистика, 1987.

11. Дмитриевский А.А. и др. Баллистика и навигация ракет. М.: Машиностроение, 1985.

12. Евтушенко Ю.Г. Методы решения экстремальных задач и их применение в системах оптимизации. М.: Наука, 1982.

13. Ермаков С.М., Жиглявский А.А. Математическая теория оптимального эксперимента. М.: Наука, 1987.

14. Жданюк Б.Ф. Основы статистической обработки траекторных наблюдений. М.: Сов. радио, 1978.15.