Непараметрическое оценивание сигналов с неизвестным распределением тема диссертации и автореферата по ВАК РФ 05.13.01, доктор физико-математических наук Добровидов, Александр Викторович

• Добровидов, Александр Викторович
• доктор физико-математических наук
• 2003

Оглавление диссертации доктор физико-математических наук Добровидов, Александр Викторович

ВВЕДЕНИЕ

1 УСЛОВИЯ СЛАБОЙ ЗАВИСИМОСТИ В МОДЕЛЯХ НАБЛЮДЕНИЙ

1.1. Понятие слабой зависимости.

1.2. Условия сильного перемешивания функции от стационарных процессов.

1.3. Перемешивание для динамических моделей

1.4. Свойства выборки с перекрытием.

1.5. Выводы.

2 НЕПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ НЕКОТОРЫХ ФУНКЦИОНАЛОВ ОТ РАСПРЕДЕЛЕНИЯ ПО СЛАБОЗАВИСИМОЙ ВЫБОРКЕ

2.1. История вопроса.

2.2. Среднеквадратическая сходимость непараметрических оценок плотностей.

2.2.1. Смещение.

2.2.2. Дисперсия.

2.3. Среднеквадратическая сходимость непараметрической оценки градиента плотности

2.3.1. Критерий.

2.3.2. Смещение.

2.3.3. Дисперсия.

2.4. Непараметрическое оценивание логарифмической производной плотности.

2.4.1. Предварительные замечания.

2.4.2. Ядерные оценки плотности распределения и ее производной для независимой случайной выборки

2.4.3. Свойства ядерной оценки плотности дляп. последовательностей

2.4.4. Свойства ядерной оценки производной плотности дляп. последовательностей.

2.4.5. Сходимость четвертых моментов ядерной оценки плотности и ее производной дляп. последовательностей ф 2.4.6. Свойства ядерной оценки логарифмической производной плотности распределения дляп. последовательностей

2.5. Непараметрическое оценивание логарифмического градиента плотности.

2.6. Выводы.

3 НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ НЕЛИНЕЙНОЙ

ФИЛЬТРАЦИИ

3.1. Общие проблемы обработки сигналов.

3.2. Постановка задачи фильтрации.

3.2.1. Критерий.

3.2.2. Приближенные методы решения.

3.2.3. Эмпирический байесовский подход.

3.2.4. Асимптотически оптимальные процедуры

3.3. Условия асимптотической оптимальности оценок

3.3.1. Необходимое и достаточное условие асимптотической оптимальности

3.3.2. Достаточное условие асимптотической оптимальности

3.4. Статические модели наблюдений.

3.4.1. Функция потерь.

3.5. Формула преобразования апостериорных вероятностей

3.6. Уравнение оптимальной фильтрации для статических моделей

3.7. Непараметрический вариант уравнения оптимальной фильтрации для статических моделей

3.8. Динамические модели наблюдений

3.8.1. Условно-экспонентное семейство.

3.8.2. Функция потерь.

3.9. Уравнение оптимальной фильтрации для динамических моделей.

3.10. Фильтрация некоторых функций от полезного сигнала

3.11. Асимптотически е -оптимальная процедура фильтрации

3.11.1. Оценка плотности по одной реализации процесса.

3.11.2. Критерий выбора длины зоны зависимости.

3.11.3. Фильтр Калмана и асимптотически е -оптимальная оценка.

3.11.4. Выбор длины зоны зависимости при конечном п

3.11.5. Длина зоны зависимости при неизвестной оптимальной процедуре.

3.12. Выводы.

4 НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ ИНТЕРПОЛЯЦИИ

4.1. Уравнение оптимальной нелинейной интерполяции.

4.2. Непараметрический аналог интерполяционного уравнения 175 ^ 4.3. Выводы.

5 НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ ПРОГНОЗА

5.1. Прогноз наблюдаемой стационарной последовательности

5.2. Прогноз ненаблюдаемой компоненты частично наблюдаемой марковской последовательности.

5.3. Примеры задач прогноза.

5.4. Выводы.

6 РИСК В ЗАДАЧАХ ОБРАБОТКИ СИГНАЛОВ И ЕГО НЕПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ

6.1. Постановка задачи

6.2. Формула эмпирического риска для задачи фильтрации

6.3. Эмпирический риск в задачах интерполяции.

6.4. Оценка риска в задачах прогноза.

6.5. Сходимость эмпирических оценок рисков.

6.6. Примеры непараметрических оценок рисков.

6.7. Одновременный выбор длины реализации и степени заО висимости наблюдаемого процесса.

6.8. Выводы.

7 НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ ВЫДЕЛЕНИЯ СКАЧКООБРАЗНЫХ МАРКОВСКИХ ПРОЦЕССОВ221 7.1. Модель наблюдений и условие слабой зависимости

7.2. Непараметрическая фильтрация конечнозначных марковских цепей.

7.3. Непараметрическая интерполяция конечнозначных марковских цепей

7.4. Оценивание моментов изменения свойств случайных процессов

7.5. Выводы.

Введение диссертации (часть автореферата) на тему «Непараметрическое оценивание сигналов с неизвестным распределением»

Для современного состояния статистической теории управления характерно стремление к разработке эффективных процедур при минимальной априорной информации об исходных наблюдениях. Такой подход соответствует реальной ситуации, когда точные математические модели изучаемых объектов (процессов, явлений) и свойства действующих на них возмущений на самом деле не известны. Например, при решении таких сложных задач, как автоматизация металлургического производства, обнаружение и распознование радио- и гидролокационных сигналов на фоне помех, поиск новых методов диагностики и лечения заболеваний и др. все чаще приходится иметь дело с объектами, структура которых и характеристки возмущений практически не доступны. Имеющаяся априорная информация о распределении помех в этих случаях носит настолько неопределенный характер (например, ограниченность некоторых моментов, множество всех дифференцируемых функций распределения), что при построении вероятностной математической модели нет оснований воспользоваться каким-либо ко-нечнопараметрическим семейством распределений. В таких случаях говорят о непараметрической априорной неопределенности.

В ряде случаев параметрические информационные модели нельзя построить в принципе. Это происходит тогда, когда реализации случайной величины нельзя наблюдать в чистом виде. Такая ситуация имеет место, например, в гидролокации, где полезный сигнал, содержащий информацию об объекте и реверберации, без помех никогда не наблюдается, и, следовательно, чистые данные для построения оценочной модели объектов и реверберации отсутствуют.

В описанных случаях возникают трудности с применением не только параметрических процедур, но и некоторых непараметрических процедур. В частности, довольно широко применямые на практике ранговые статистики [112, 13] имеют следующие недоастатки: во-первых они требуют большого числа вычислительных операций, связанных с упорядочиванием выборки; во-вторых, появление зависимости между элементами выборки приводит к потере непараметрических свойств ранговых процедур.

Кроме того, принятые в большинстве классических методов математической статистики схемы с независимыми испытаниями также часто не соответствуют реальной действительности, особенно когда мы имеем дело с динамическими моделями наблюдений. Поэтому при построении оценок желательно найти способы учета зависимость между наблюдениями.

Проблемы решения классических задач обработки сигналов, получивших широкое распространение в системах радио- и гидролокации, в астрономических наблюдения и т.д., приобретают особую актуальность в рамках широких условий априорной неопределенности, которую обеспечивают непараметрические ограничения. Непараметрическое описание моделей физических явлений оказывается более адекватным реально протекающим процессам и охватывает существенно более широкий круг явлений. Поэтому особый интерес представляют задачи теории решений, которые необходимо решать в условиях непараметрической априорной неопределенности.

В классической постановке этих задач в дискретном времени обычно предполагается заданным частично наблюдаемый случайный процесс Zn = (Sn,Xn) с наблюдаемой компонентой Хп и ненаблюдаемой Sn . Требуется дать оценку ненаблюдаемой компоненты Sn по реализации процесса Хп . Для решения этих задач в рамках параметрических моделей необходимо знание совместного распределения процесса (Sn, Хп) . Однако в силу ненаблюдаемости процесса Sn его распределение восстановить невозможно и, следовательно, в общем случае построить оптимальную байесовскую оценку Sn нельзя. Тем не менее при некоторых дополнительных предположениях о модели наблюдения и непараметрических ограничениях на Sn удается сконструировать непараметрическую оценку Sn , близкую по своим свойствам к оптимальной оценке Sn , полученной при известном распределении пары

Хп) . Особенность подхода к построению оценок в таких случаях можно проиллюстрировать на следующем примере.

Пусть метеоролог М на центральной станции прогноза погоды получает данные о различных метеорологических параметрах. По результатам этих измерений он дает прогноз погоды в двух районах А и В , находящихся в различных климатических поясах. Относительно природы метеорологических параметров естественно предположить, что в каждом климатическом поясе они принимают значения в соответствии со своим случайным механизмом. Если метеоролог М получил данные для двух районов, А и В , с идентичными результатами измерений всех метеорологических параметров, то легко представить себе ситуации, возникающие в зависимости от того, работает ли метеоролог М недавно или уже имеет богатый опыт работы с этими районами. В первом случае результаты обработки данных одинаково влияют на прогноз в районах А и В . Во втором случае, если предшествующий опыт метеоролога говорит ему, что в районе А данная совокупность значений метеорологических параметров гораздо чаще приводит к дождю, чем в районе В , то вряд ли можно сомневаться, что предшествующий опыт метеоролога при установлении прогноза будет каким-то образом сочетаться со способом обработки поступающих данных. Таким образом, здесь мы имеем ситуацию, когда скорее всего подсознательно оценка истинных значений метеорологических параметров (проводимая при помощи теории статистических решений) дополняется субъективной байесовской поправкой. Эта поправка вводится на основе грубой оценки априорного распределения, складывающегося у метеоролога благодаря его предшествующему опыту. Возникает вопрос: нельзя ли совершать такую операцию сознательно и систематически? Это как раз тот вопрос, который поставил и на который дал ответ Г. Роббинс для ряда конкретных примеров [87, 88]. Он сумел выделить те ситуации, в которых данные включают "предшествующий опыт", достаточный для построения хорошей аппроксимации, в то время как точное решение возможно только при полностью известном семействе распределений вероятностей полезного сигнала.

Специфика этих ситуаций состоит в том, что при некоторых предположениях оценки полезного сигнала Sn , сделанные на основе наблюдений сигнала Хп , выражаются в виде функционалов от распределения только наблюдаемых случайных величин Хп . Поскольку, однако, распределение G(sn) процесса Sn по условию не известно, то маргинальная плотность распределения f(xn) = f f(xn\sn)dG(sn) наблюдаемого процесса Хп также не известна, но она может быть восстановлена по наблюдениям х" = (xi,. ,хп)т . Для оценивания функционалов, зависящих от неизвестного распределения, в работе применяется непараметрическии подход, основанный на ядерных оценках Розенблатта-Парзена [126, 134], обобщенных в двух направлениях: на наблюдения с зависимыми значениями и на функционалы с особенностями. Обобщение в первом направлении позволяет пользоваться динамическими моделями наблюдений [34] и строить сходящиеся непараметрические оценки условных функционалов по слабозависимым наблюдениям [23, 64]. Обобщение во втором направлении обеспечивает возможность построения устойчивых непараметрических оценок с "хорошими" свойствами, т.е. оценок, не принимающих бесконечных значений [63, 37].

Разработанные в настоящее время методы непараметрического ядерного оценивания в основом посвящены оцениванию так называемых "базовых" (по теминологии Г.М.Кошкина) функционалов от распределения где д{х)— известная функция, a F(x)— неизвестная функция распределения. Сюда, в частности, относятся задачи оценивания плотности вероятности и ее производных. Достаточно полная и красивая теория напараметрического ядерного оценивания таких функционалов в метрике L\ изложена в монографии JI. Девроя, JI. Дьёрфи [18, 1988]. Полученные здесь верхние и нижние границы для скорости сходимости рисков непараметрических оценок, методы адаптивного ядерного оценивания и другие результаты по анализу свойств оценок из различных непараметрических классов представляют несомненный интерес. Однако непосредственно воспользоваться этими результатами в нашем случае не удается, поскольку 1) все они получены в предположении независимой выборки, 2) метрика L\ не является естественной для задач оценивания сигналов, где оптимальные байесовские оценки, представляющие собой условное среднее, минимизируют среднеква-дратический критерий, 3) в задачах обработки сигналов приходится оценивать более сложные конструкции в виде заданных функций от базовых функционалов. Отметим также, что построенные в [129, 54] ядерный оценки по реализациям марковских процессов также не могут быть использованы в нашем подходе, так как наблюдаемый процесс Хп не является марковским. Поэтому и возникла необходимость построения непараметрических ядерных процедур для процессов с более общей стохастической зависимостью, о которой говорилось выше. Везде в дальнейшем под непараметрическим оцениванием всегда понимаются непараметрические ядерные процедуры оценивания.

Следует подчеркнуть, что полученные в диссертации непараметрические оценки ненаблюдаемого полезного сигнала Sn сходятся к оптимальным байесовским оценкам в различных метриках (в зависимости от условий). По терминологии 70-х годов такие системы относятся к самообучающимся системам автоматического управления, поскольку их функционирование с ростом наблюдений все меньше и меньше отличается от оптимального.

Совокупность задач и методы их решения, представленные в диссертации, можно классифицировать именно как теорию обработки сигналов с неизвестным априорным распределением, потому что удалось выделить стандартный набор задач обработки сигналов (фильтрация, интерполяция, прогноз и оценивание моментов изменения свойств процессов), которые как с точки зрения используемых математических моделей сигналов, так и с точки зрения методов решения, являются родственными. Набор задач является классическим, которые ранее рассматривались в работах Н. Винера, Р. Калмана, Р. Липцера и А. Ширяева, В. Пугачева и др. Различными являются исходные условия, которые и определяют своеобразие способов решения этих задач. При этом какие бы решения ни отыскивались, всегда желательно, чтобы их свойства, по крайней мере асимптотически, не сильно отличались от классических результатов, полученных при полной статистической информации.

Развиваемая в диссертации теория непараметрического оценивания сигналов базируется на 4-х основных положениях: теории условно-марковских процессов Р. Стратоновича [90], идеях эмпирического байесовского подхода Г. Роббинса [87], условно-экспонентном семействе распределений для описания моделей наблюдений [24] и методах непараметрического оценивания функционалов по зависимым наблюдениям [34]. Если говорить предельно кратко, то в диссертации делается следующее. Для описания помех и моделей наблюдения используется достаточно представительное условно-экспонентное семейство распределений, позволяющее работать как со статическими, так и с динамическими моделями. Подстановка условно-экспонентного распределения в уравнение преобразования апостериорных вероятностей Р. Стратоновича после некоторых манипуляций приводит в общем случае к нелинейному уравнению относительно оптимальной оценки, все члены которого удается выразить через известные функции и функционалы от распределений наблюдаемых величин. Поскольку в условиях непараметрической априорной неопределенности эти функционалы неизвестны, то остается воспользоваться техникой непараметрического оценивания функционалов и обобщить ее на случай зависимых наблюдений, так как в исходных моделях наблюдения получаются зависимыми.

В случае общей зависимости между случайными величинами получить какие-либо плодотворные результаты весьма сложно (нет соответствующих теорем сходимости). Поэтому мы ограничиваемся случаем слабой зависимости, в частности, свойством "сильного перемешивания", которым обладают устойчивые уравнения авторегрессии с постоянными коэффициентами. В рассматриваемых нами моделях коэффициенты уравнения авторегрессии зависят от ненаблюдаемого стационарного процесса Sn . Поэтому возникает задача определения условий, при которых наблюдаемый процесс, удовлетворяющий уравнению авторегресии с переменными коэффициентами, обладал свойством сильного перемешивания. Эта задача решена в первой главе. В работе принята тройная нумерация формул, теорем, лемм, рисунков и таблиц: первое число — номер главы, второе — номер раздела, третье —формулы, теоремы, леммы, и т.д. в пределах раздела. Часть результатов получена совместно с А.Ю. Веретенниковым и Г.М. Кошкиным. Автор признателен О.Е. Юскаевой за помощь в наборе текста диссертации на ПК.

Диссертационная работа выполнялась в соответствии с планами научно-исследовательской работы Института проблем управления им. В.А.Трапезникова РАН, а также по программам, поддержанным грантом РФФИ 98-01-00296 "Непараметрическое оценивание функционалов от распределений по зависимым выборкам" (1998-2000г.г руководитель Кошкин Г.М.) грантом РФФИ 96-01-14080. Проект по изданию монографии. (1996г., руководитель Добровидов А.В.).

Целью настоящей работы является разработка методов оценивания полезных сигналов с неизвестным априорным распределением по последовательности наблюдений, генерируемых динамическими системами авторегрессионного типа; исследование условий слабой зависимости случайных величин, генерируемых динамическими системами авторегрессионного типа; исследование и разработка методов непараметрического ядерного оценивания некоторых условных функционалов от распределения вероятностей по слабозависимым наблюдениям; анализ асимптотических свойств получаемых оценок.

Методы исследования.

На основе теории условно-марковских процессов Р. Стратонови-ча [90] и эмпирического байесовского подхода Г. Роббинса [87] решена задача построения уравнений для оптимальных оценок обработки сигналов в условиях неизвестного априорного распределения полезного сигнала. Специфика полученных уравнений состоит в том, что они зависят только от известных функций и функционалов от неизвестных распределений наблюдаемого случайного процесса. Для оценки этих функционалов используются непараметрические ядерные оценки Розенблатта-Парзена [126, 134], обобщенные на слабозависимые наблюдения. Анализ свойств полученных оценок проводится с помощью аппарата теории вероятностей, математической статистики, теории случайных процессов и теории матриц. При решении иллюстративных примеров используется имитационное моделирование на ПК.

Научная новизна.

1. Найдены условия слабой зависимости процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.

2. Доказаны теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике по выборке из стационарного процесса с сильным перемешиванием.

3. Получены условия среднеквадратической сходимости устойчивых аппроксимаций непараметрических оценок подстановки функционала в виде логарифма градиента многомерной плотности вероятности, через который выражаются оптимальные оценки фильтрации, интерполяции и прогноза полезного сигнала.

4. Введено условно-экспонентное семейство распределений, позволяющее описывать динамические системы наблюдения.

5. Построены и исследованы уравнения оптимальной нелинейной фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Особенность этих уравнений состоит в том, что в них входят функционалы от распределения только наблюдаемых случайных величин.

6. Решены задачи непараметрического оценивания рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последовательностей.

7. Введено понятие асимптотически € — оптимальных процедур фильтрации, позволяющих находить непараметрические оценки по одной достаточно длинной реализации наблюдаемого процесса.

8. Получены уравнения оптимальной фильтрации и интерполяции конечно-значных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Эти уравнения позволяют решать задачу оценивания моментов изменения свойств случайных процессов, когда распределение вероятностей и переходные вероятности значений марковской цепи, управляющие коэффициентами уравнения наблюдения, не известны.

Практическая ценность.

Предложенные в диссертации методы и алгоритмы оценивания частично наблюдаемых процессов разработаны с учетом существующих потребностей практики и позволяют в условиях непараметрической неопределенности решать задачи стохастической теории управления (фильтрации, интерполяции, прогноза, обнаружения, оценивания моментов изменения свойств процессов), радиосвязи, имитационного моделирования, когда классические методы оказываются неприменимыми.

Внедрение результатов работы.

Программное обеспечение ряда непараметрических процедур обработки сигналов использовано в работах по спецтематике.

На защиту автором выносятся следующие основныеположени.

1. Условия сильного перемешивания процессов, удовлетворяющих уравнению авторегрессии с коэффициентами, управляемыми стационарным марковским процессом.

2. Теоремы о среднеквадратической сходимости непараметрических ядерных оценок многомерной плотности вероятности и ее частных производных в равномерной метрике по выборке из стационарного процесса с сильным перемешиванием.

3. Способ описания динамических систем наблюдения с помощью распределений из условно-экспонентного семейства, позволивший получить уравнения оптимальной обработки сигналов.

4. Уравнения оптимальной нелинейной фильтрации, интерполяции и прогноза частично наблюдаемых марковских случайных последовательностей, порождаемых динамическими системами авторегрессионного типа. Непараметрические аналоги уравнений оптимальной обработки сигналов.

5. Непараметрическое оценивание рисков в задачах фильтрации, интерполяции и прогноза марковских случайных последовательностей.

6. Процедура асимптотически е— оптимальной фильтрации, позволяющая аппроксимировать по определенному критерию немарковский процесс наблюдения марковским соответствующей связности и затем находить непараметрические оценки полезного сигнала по одной достаточно длинной реализации наблюдемого процесса.

7. Уравнения оптимальной фильтрации и интерполяции конечнозначных марковских цепей в динамических системах общего вида и их непараметрические эквиваленты. Непараметрический вариант задачи об оценивании моментов изменения свойств случайных процессов.

Апробация работы и публикации.

Основные результаты диссертационной работы докладывались и обсуждались на следующих научно-технических конференциях и совещаниях:

II, III, IV Всесоюзных Совещаниях по статистическим методам в управлении (Ташкент, 1971, Вильнюс, 1973, Фрунзе, 1978)

V Всесоюзное Совещание по статистическим методам в процессах управления (Алма-Ата, 1981)

IX Всесоюзное Совещание по проблемам управления (Ереван, 1983)

I, III, V-VII Всесоюзных школах-семинарах по непараметрическим и робастным методам статистики в кибернетике (Томск, 1974, Дивно-горек, 1981, Шушенское, 1985, Томск, 1987, Иркутск, 1991)

I Всесоюзной конференции РОАИ.1.91 (Минск, 1991)

V Международной конференции по байесовским статистикам (Alicante (Испания), 1994)

Международной конференции по проблемам управления (Москва, 1999)

III Russian-Korean Intarnational Symposium in Science and Technology (Новосибирск, 1999)

Международной конференции "Идентификация систем и задачи управления", SICPRO'2000, (Москва, 2000)

Международной конференции "Параллельные вычисления и задачи управления", РАСО'2001, (Москва, 2001)

Международной конференции "Математические модели и методы их исследования", (Красноярск, 2001).

Международной конференции "Идентификация систем и задачи управления", SICPRO'2003, (Москва, 2003)

По результатам выполненных исследований опубликованы 1 монография [34] и 26 печатных работ [4], [12], [14], [16], [20]-[29],[30],[31], [32],[33], [34] [36], [37], [38]-[41],[42]. Структура диссертации.

Работа состоит из введения, семи глав, заключения, списка литературы и приложения, включающего доказательства результатов.

Во введении обосновывается актуальность темы исследования, обсуждается история возникновения задачи, ее источники и составные части, дается краткий обзор основных результатов по рассматриваемой тематике, определяются цели и пути исследования.

В первой главе исследуются свойства процессов, порождаемых статическими и динамическими моделями наблюдений. Поскольку в первую очередь нас интересует свойство слабой зависимости наблюдений, то формально дело сводится к изучению некоторых преобразований над случайным процессом, обладающим свойством слабой зависимости. В качестве такого свойства рассматривается свойство "сильного перемешивания". В главе сформулирован и доказан результат о том, что процесс наблюдения, удовлетворяющий уравнению авторегрессионного типа с переменными коэффициентами, управляемыми стационарным марковским процессом с сильным перемешиванием, сам является процессом с сильным перемешиванием

34]. Этот результат позволяет доказать сходимость непараметрических процедур оценивания, использующих наблюдения динамических моделей. В этой же главе содержится важный для практики результат, позволяющий корректно использовать повторную выборку при построении непараметрических ядерных оценок. Результаты главы можно найти в работах автора [34, 12].

Вторая глава посвящена построению и доказательству сходимости непараметрических ядерных оценок некоторых вероятностных характеристик стационарных процессов с сильным перемешиванием. В частности, доказана среднеквадратическая сходимость непараметрических ядерных оценок многомерных плотностей вероятностей и их частных производных в равномерной метрике. Найдены условия среднеквадратической сходимости и скорости сходимости "регуляризованных" непараметрических аппроксимаций функции в виде отношения градиента плотности к самой плотности, через которую выражаются оптимальные оценки полезного сигнала в уравнениях оптимальной обработки [27, 37, 32, 34].

В третьей главе рассмотрены задачи фильтрации ненаблюдаемого полезного случайного сигнала для статических и динамических моделей наблюдения. При этом предполагается, что условная плотность наблюдений принадлежит условно-экспонтному семейству распределений. Получены уравнения оптимальной фильтрации в форме, не зависящей от априорных распределений ненаблюдаемого сигнала, и их непараметрические эквиваленты. Опираясь на результаты первых двух глав, доказана среднеквадратичесая сходимость непараметрических оценок к оптимальным оценкам с полной статистической информацией. Введено понятие асимптотически б— оптимальной фильтрации, позволяющей строить сходящиеся непараметрические оценки сигнала по одной реализации наблюдаемого процесса. Результаты этой главы опубликованы в работах автора [20, 21, 22, 23, 24, 25, 29, 34, 35, 36, 30, 32, 42].

В четвертой главе представлены результаты решения задачи интерполяции полезного случайного сигнала, быть может нелинейно связанного с помехой. В предположении, что условная плотность наблюдений принадлежит условно-экспонентному семейству, получено уравнение оптимальной нелинейной интерполяции и его непараметрический аналог. Приведены примеры, иллюстрирующие работу алгоритмов непараметрической интерполяции. Рассмотренные в этой главе вопросы нашли отражение в следующих работах автора [29, 34].

Пятая глава посвящена задачам прогноза наблюдаемого случайного процесса и ненаблюдаемой компоненты марковского случайного процесса. Выведены уравнения оптимального прогноза и его непараметрические варианты. Показано, как построить непараметрические оценки прогноза по одной реализации наблюдаемого случайного процесса. Полученные в данной главе результаты опубликованы в работах автора [28, 29, 34].

В шестой главе исследуются вопросы построения непараметрических оценок рисков, которые характеризуют качество оценок сигналов, полученных в главах 3-5. Для каждого из трех видов обработки сигналов определены функционалы от неизвестного распределения наблюдений, явно не зависящие от характеристик ненаблюдаемого полезного сигнала. Для этих функционалов строятся "регуляризованные" непараметрические приближения, называемые эмпирическими оценками рисков. Исследуется сходимость эмпирических оценок рисков. Приведены примеры вычисления рисков для каждого случая обработки сигнала. Результаты по рискам опубликованы в работах автора [20, 22].

В седьмой главе изучаются методы выделения стационарных скачкообразных марковских цепей с неизвестными переходными вероятностями состояний. Дискретность множества состояний марковской цепи позволяет изучать более общие, чем авторегрессионные, модели наблюдения. Рассматриваются две задачи: фильтрации и интерполяции конечнозначных марковских цепей. Получены уравнения оптимальной обработки для обоих случаев в форме, не зависящей от априорных характеристик марковской цепи. Последнее свойство позволяет выписать непараметрические аналоги этих уравнений. В обоих случаях вычислены непараметрические оценки рисков, смысл которых сводится к вероятности принять ошибочное решение. Исследуется сходимость предложенных процедур. Рассмотренные в этой главе вопросы нашли отражение в работах автора [34, 31, 41].

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Добровидов, Александр Викторович

7.5. Выводы

В седьмой главе получены уравнения оптимальной фильтрации и интерполяции скачкообразных марковских процессов (марковских цепей), управляющих изменением коэффициентов динамических систем, описываемых уравнением (7.1.1) более общего вида, чем уравнения авторегрессии с изменяющимися коэффициентами, которые рассматривались ранее. При этом условная плотность наблюдений не обязана принадлежать экспонентному семейству распределений. Получить свойство с.п. в таких более общим моделях пока что не удалось, однако мы развиваем для них методы непараметрического оценивания в надежде, что условия с.п. в моделях типа (7.1.1) будут в скором времени найдены.

Математической моделью скачкообразного марковского процесса служит стационарная марковская цепь. В соответствии с концепцией эмпирического байесовского подхода во всех полученных уравнениях апостериорные вероятности состояний марковской цепи выражаются через характеристики наблюдаемого процесса (см. ур-ния (7.2.9) и (7.3.6)). В качестве таких характеристик в данном случае выступают условные плотности наблюдений f(xnjx"-1) и их производные по хп или их урезанные варианты f{xn\x^zl) . Для последних строятся сходящиеся непараметрические приближения.

В качестве примера приложения предлагаемых методов рассмотрена задача определения моментов изменения свойств случайных процессов, когда в модели наблюдения коэффициенты изменяются скачком в неизвестные случайные моменты времени. Предполагается, что распределение значений скачков и матрицы переходных вероятностей неизвестны. На примере модели авторегрессии со случайно изменяющимися коэффициентами показано, что процедура интерполяции, учитывающая информацию до и после момента измерения, приводит к лучшим результатам по сравнению с оптимальной фильтрацией в этот же момент времени, где информация учитывается только до момента измерения.

ЗАКЛЮЧЕНИЕ

В классических методах решения задач обработки случайных сигналов (фильтрации, интерполяции, прогноза) при получении оптимальных байесовских оценок предполагаются заданными распределение ненаблюдаемого случайного процесса (возможно, вместе с уравнением состояния), модель наблюдения и распределение помехи. Модель наблюдения чаще всего описывает способ измерения сигнала определенными приборами, при конструировании которых закладывается уравнение связи наблюдаемой последовательности с полезным сигналом и помехой. Закорачивая вход прибора измерения мы получаем на выходе сигнал, порождаемый одной помехой, так что данные для восстановления распределения помехи всегда можно получить. Что же касается полезного сигнала, то он в чистом виде почти никогда не наблюдается и, следовательно, данные для восстановления его распределения отсутствуют. Не имея хотя бы приближенной формы распределения полезного сигнала, весьма сложно, если не невозможно, выбрать содержащее его конечно-параметическое семейство распределений, а значит для решения задач обработки сигналов в этом случае нельзя воспользоваться классическими методами оценивания параметров распределений (например, методом максимального правдоподобия). Поэтому возникает вопрос: нельзя ли в условиях неизвестного распределения полезного сигнала построить его приближенные оценки, которые асимптотически (при увеличении длины наблюдаемой реализации) обладали такими же свойствами, как байесовские оценки, полученные при полной статистической информации? Оказывается, что при некоторых условиях такие оценки построить можно.

В диссертации предлагается общий подход к решению задач обработки случайных сигналов с неизвестным распределением. Этот подход предполагает, что модель наблюдения и распределение помехи образуют условную плотность наблюдений при фиксированном полезном сигнале, принадлежащую условно-экспонентному семейству плотностей (3.8.2). Это семейство является достаточно представительным и содержит такие известные распределения, как гауссовское, X2 -распределение, экспоненциальное, все семейство (3 -распределений, часть распределений системы Пирсона и др. Распределение наблюдаемого процесса ввиду произвольности априорного распределения полезного сигнала нельзя поместить в какое-либо параметрическое семейство распределений. Поэтому для оценки его используются непараметрические ядерные процедуры.

Принадлежность экспонентному семейству, с одной стороны, сужает класс рассматриваемых моделей наблюдения, но с другой стороны значительно расширяет его за счет того, что решение задачи перестает зависеть от конкретного распределения полезного сигнала. Дело в том, что в рамках приведенных условий оптимальную байесовскую оценку удается выразить через вероятностные характеристики только наблюдаемого случайного процесса (см. уравнения (3.9.3),(4.2.7),(5.2.9),(7.2.9)). В этом состоит кокретное выражение эмпирического байесовского подхода Г. Роббинса, вызвавшего большой интерес в шестидесятые годы прошлого века. Остается для неизвестных характеристик наблюдаемого процесса построить сходящиеся непараметрические оценки. На этом пути и возникли новые математические проблемы, связанные со свойством слабой зависимости в динамических моделях наблюдений (глава 1), а также с условиями сходимости непараметрических процедур по слабо зависимым наблюдениям (глава 2). При этом оказалось, что непараметрические оценки характеристик наблюдаемых процессов, входящих в уравнения для оценок полезного сигнала, представляют собой функционалы с особенностями (т.е. они могут принимать бесконечные значения). Поэтому пришлось создавать способы регуляризации, приведшие к разработке кусочно-гладких аппроксимаций, позволивших получить устойчивые непараметрические оценки. Для этих оценок удалось доказать не только среднеквадратическую сходимость, но и определить скорость их сходимости. Это в свою очередь привело к разработке улучшенных по скорости сходимости непараметрических ядерных оценок за счет специального выбора ядерных функций и коэффициентов размытости.

В шестой главе приведены непараметрические оценки рисков, определяющих в теории решений качество оценок сигналов в задачах их обработки. Здесь удалось доказать лишь сходимость по вероятности из-за наличия в подынтегральном выражении неизвестной функции. Такая оценка непосредственно не укладывается в общую схему базовых и характеризационных функционалов, рассматриваемых в [34].

В седьмой главе ненаблюдаемый случайный сигнал представляет собой марковскую цепь с известным конечным множеством состояний и неизвестными матрицами вероятностей переходов. По сравнению с предыдущими главами такое упрощение позволяет, с одной стороны, рассмотреть более общие (чем авторегрессионные) модели наблюдений, а с другой - отказаться от экспонентности условной плотности наблюдений при фиксированном сигнале. В этой достаточно общей ситуации снова удается построить уравнение относительно апостериорных вероятностей, зависящее лишь от характеристик наблюдаемого процесса. Принцип эмпирического байесовского подхода не нарушается и в этой последней задаче.

В целом предлагаемая диссертация представляет собой законченное научное исследование в том смысле, что для выбранного класса задач приводятся все явные решения, даже в случае функционалов с особенностями. С другой стороны развиваемый подход не замыкается сам на себя и порождает много новых задач, некоторые из которых приведены ниже.

1. Найти условия сильного пермешивания для динамических моделей типа (7.1.1).

2. Корректный выбор начального значения коэффициента размытости в непараметрических ядерных оценках.

3. Строгое решение задачи интерполяции для динамических моделей.

4. Условия среднеквадратической сходимости оценки рисков. Это означает, что теоретические положения развиваемого здесь подхода стимулируют дальнейшее развитие в данной области статистической теории управления.

Список литературы диссертационного исследования доктор физико-математических наук Добровидов, Александр Викторович, 2003 год

1. Билингсли П. Сходимость вероятностных мер. М.: Наука, 1977, 352 с.

2. Боровков А.А. Теория вероятностей. М.: Наука, 1986. 432 с.

3. Боровков А.А. Математическая статистика. Новосибирск: Наука; Изд-во Института математики. 1997. 772 с.

4. Бунич A.JL, Гинсберг К.С., Добровидов А.В. и др. Параллельные вычисления. Задачи управления. (Обзор). // Автоматика и телемеханика, 12, 2002г., с. 3-23.

5. Вальд А. Статистические решающие функции // Позиционные игры. М.: Наука, 1987. С.300-522.

6. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с.

7. Васильев В.А. Об идентификации динамических 'с'истем авто-.регрессионного типа //.Автоматика и телемеханика. 1997. 12.* т1. С.107-119.

8. Васильев В.А., Кошкин Г.М. Оценивание функций от плотности распределения по зависимым наблюдениям // Пробл. передачи информ. 1997. Т.ЗЗ. Вып.4. С.45-60.

9. Васильев В.А., Кошкин Г.М. Непараметрическая идентификация авторегрессий // Теория вероятностей и ее применения. 1998. Т.43. Вып.З. С.577-588.

10. Васильев В.А., Кошкин Г.М. Непараметрическое оценивание отношений производных многомерной плотности распределения по зависимым наблюдениям // Сибирский математический журнал. 2000. Т.41. 2. С. 280-298.

11. Веретенников А.Ю. Об оценках скорости перемешивания для стохастических дифференциальных уравнений // Теория веро-ят. и ее примен. 1987. Т. 32. Вып. 2. С. 299-308.

12. Веретенников А.Ю., Добровидов А.В., Пакшин П.В. Условия эргодичности и перемешивания марковских процессов в задачах непараметрической фильтрации // Автоматика и телемеханика. 1991. 10. С. 36-45.

13. Гаек Я., Шидак 3. Теория ранговых критериев. М.: Наука, 1971. 375 с.

14. Гинсберг К.С., Бунич А.Л., Добровидов А.В. и др. SICPRO'2000. Аналитический отчет. // Труды международной конференции "Идентификация систем и задачи управления". Москва, 29-31 января 2003.

15. Гринвуд П.Е., Ширяев А.Н. О равномерной слабой сходимости семимартингалов с применениями к оцениванию параметра в авторегрессионной модели первого порядка // Статистика и управление случайными процессами. М.: Наука. 1989. С. 40-48.

16. Гришин М.В., Добровидов А.В. Оценивание скачкообразных процессов при неполной информации // Автоматика и телемеханика. 1983. 11. С. 64-71.

17. Давыдов Ю.А. О сходимости распределений, порожденных стационарными случайными процессами // Теория вероятностей и ее применения. 1968. Т. XIII. Вып.4. С.730-737.

18. Деврой JL, Дьерфи JI- Непараметрическое оценивание плотности. М.: Мир, 1988. 408 с.

19. Дмитриев Ю.Г., Кошкин Г.М., Симахин В.А., Тарасенко Ф.П., Шуленин В.П. Непараметрическое оценивание функционалов по стационарным выборкам. Томск: Изд-во Том. ун-та. 1974. 93 с.

20. Добровидов А.В. Самообучающийся алгоритм асимптотически оптимальной фильтрации случайных сигналов с неизвестным априорным распределением // Проблемы управления и теории информации. 1971. Т. 1. 2. С. 163-176.

21. Добровидов А.В. Об одном алгоритме непараметрической оценки случайного многомерного сигнала // Автоматика и телемеханика. 1971. 2. С. 88-99.

22. Добровидов А.В. Непараметрическая оценка оптимального байесовского риска в задачах фильтрации случайных сигналов // Автоматика и телемеханика. 1971. 10. С. 51-56.

23. Добровидов А.В. Подход к задачам принятия решений в условиях статистической неопределенности // Автоматика и телемеханика. 1976. 5. С. 90-95.

24. Добровидов А.В. Непараметрические методы нелинейной фильтрации стационарных случайных последовательностей // Автоматика и телемеханика. 1983. 6. С. 85-98.

25. Добровидов А.В. Асимптотически е -оптимальная непараметрическая процедура нелинейной фильтрации стационарных последовательностей с неизвестными статистическими характеристиками // Автоматика и телемеханика. 1984. 12. С. 40-49.

26. Добровидов А.В. Определение вероятностных характеристик ненаблюдаемого случайного сигнала // Докл. 3 Всес. совещания по статистическим методам в процессах управления, г. Вильнюс. 1973. С. 161-163.

27. Добровидов А.В. Непараметрические приближения конечномерных распределений строго стационарных эргодических последовательностей // Докл. 4 Всес. совещания по статистическим методам теории управления. Фрунзе. 1978. С.154-155.

28. Добровидов А.В. Непараметрический метод прогноза ненаблюдаемой компоненты марковской случайной последовательности //5 Всес. совещание по статистическим методам в процессах управления. Тезисы докл. Алма-Ата. 1981. С. 108-110.

29. Добровидов А.В. Непараметрические методы фильтрации и экстраполяции случайных последовательностей // Докл. 3 Всес. школы-семинара по непараметрическим и робастным методам статистики в кибернетике. Дивногорск, 1981. 4.1. С. 119-129.

30. Добровидов А.В. Непараметрические методы в задачах статистики случайных процессов // Докл. 5 Всес. школы-семинара понепараметрическим и робастным методам статистики в кибернетике. Томск, 1985. 4.1. С.

31. Добровидов А.В. Непараметрические методы выделения скачкообразных марковских процессов. Труды Института проблем упраления. Т.З. 1999. С. 166-176.

32. Добровидов А.В. О скорости сходимости непараметрических оценок фильтрации в динамических системах авторегрессионного типа // Автоматика и телемеханика. 2003. 1. С.56-73.

33. Добровидов А.В. Основы теории непараметрического оценивания сигналов. // Труды международной конференции "Идентификация систем и задачи управления". Москва, 29-31 января 2003. Доклад на пленарном заседании.

34. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигналов. М.: Наука. Физматлит. 1997. 336 с.

35. Добровидов А.В., Кошкин Г.М. Нелинейная непараметрическая фильтрация в динамических системах // Межд. конф. по проблемам управления. (29 июня 2 июля 1999 г.). Тезисы докл. в трех томах. Т.1. 1999. М.: Фонд "Проблемы управления. С.280-281.

36. Добровидов А.В., Кошкин Г.М. Непараметрическая фильтрация в динамических системах // Межд. конф. по проблемам управления. (29 июня 2 июля 1999 г.). Избранные труды. Т.1. 1999. М.: Фонд "Проблемы управления. С.188-196.

37. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание логарифмической производной плотности для последовательностей с сильным перемешиванием. // Автоматика и телемеханика. 2001. 9. С.63-88.

38. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание логарифмической производной плотности по зависимым выборкам. Труды международной конференции "Идентификация систем и задачи управления", SICPRO'2000, Москва, 26-28 сентября 2000г. С. 594-607.

39. Добровидов А.В., Кошкин Г.М. Скорость сходимости напара-метрических оценок фильтрации в динамических системах. Труды международной конференции "Параллельные вычисления и задачи управления", РАСО'2001. Москва, 2-4 октября 2001. С. 153-164.

40. Добровидов А.В., Кошкин Г.М. Кусочно-гладкая аппроксимация непараметрической оценки логарифмической производной плотности. Труды Института проблем управления, T.XIX, 2002г., с. 104-129.

41. Добровидов А.В. Основы теории непараметрического оценивания сигналов. Труды международной конференции "Идентификация систем и задачи управления", SICPRO'2003, Москва, 29-31 января 2003г. С. 66-96.

42. Дуб Дж. Д. Вероятностные процессы. М.: Ин. лит-ра, 1976. 605 с.

43. Епанечников В.А. Непараметрическая оценка многомерной плотности // Теория вероят. и ее примен. 1969. Т. 14. Вып. 1. С. 156162.

44. Живоглядов В.П., Медведев А.В. Непараметрические алгоритмы адаптации. Фрунзе: Илим, 1974. 134 с.

45. Заварин А.Н. О вероятностных моментах непараметрической оценки функции регрессии // Автоматика и телемеханика. 1985. 4. С. 57-68.

46. Заварин А.Н. Использование априорной информации в непараметрических оценках функции регрессии // Автоматика и телемеханика. 1985. 5. С. 79-85.

47. Ибрагимов И.А. Некоторые предельные теоремы для стационарных процессов // Теория вероят. и ее примен. 1962. Т. 7. Вып. 4. С. 361-392.

48. Ибрагимов И.А., Линник Ю.В. Независимые и стационарно связанные величины. М.: Наука, 1965. 524 с.

49. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука. 1979. 528 с.

50. Катковник В.Я. Непараметрическая идентификация и сглаживание данных. М.: Наука. 1985. 336 с.

51. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. М.: Наука. 1972. 496 с.

52. Конаков В.Д. Непараметрическое оценивание условных и частных моментов // Теория вероят. и ее примен. 1973. Т.18. Вып.2. С.440-442.

53. Кошкин Г.М. Об одном подходе к оцениванию переходной функции распределения и моментов для некоторых марковских процессов // Матем. статистика и ее приложения. Томск: Изд-во Том. ун-та, 1976. Вып 4. С.116-121.

54. Кошкин Г.М. Об одном подходе к исследованию функционалов от условных распределений при статистической неопределенности // Автоматика и телемеханика. 1978. 8. С.53-65.

55. Кошкин Г.М. О непараметрическом оценивании условных функционалов // Докл. VII Всес. конф. по теории кодирования и передачи информации. М.:-Вильнюс: Наука, 1978. 4.6. С.50-53.

56. Кошкин Г.М. Об равномерной сходимости в среднеквадратиче-ском функционалов от условных распределений // Матем. статистика и ее приложения. Томск: Изд-во Том. ун-та, 1979. Вып 5. С.39-52.

57. Кошкин Г.М. Об одном методе устранения смещения оценок // Теория вероят. и ее примен. 1987. Т.32. Вып. 1. С.147-149.

58. Кошкин Г.М. Улучшенная неотрицательная ядерная оценка плотности // Теория вероят. и ее примен. 1988. Т.ЗЗ. Вып. 4. С.817-822.

59. Кошкин Г.М. Асимптотические свойства функций от статистик и их применения к непараметрическому оцениванию // Автоматика и телемеханика. 1990. 3. С.82-97.

60. Кошкин Г.М. Устойчивое оценивание отношений случайных функций по экспериментальным данным // Изв. вузов. Физика. 1993. 10. С.137-145.

61. Кошкин Г.М. Оценивание статистических характеристик по экспериментальным данным методами подстановки и регуляризации. // Изв. вузов. Физика. 1997. 1. С.128.

62. Кошкин Г.М. Моменты отклонений оценки подстановки и ее кусочно-гладких аппроксимаций // Сибирский математический журнал. 1999. Т.40. 3. С.605-618.

63. Кошкин Г.М., Симахин В.А., Тарасенко Ф.П. Об одной оценке условной функции распределения и линии регрессии по зависимой выборке // Материалы IV научной конф. по математике и механике. Томск: Изд-во Том. ун-та, 1974. Кн.1. С.135-136.

64. Крамер Г. Математические методы статистики. М.: Мир, 1975. 648 с.

65. Кушнир А.Ф. Асимптотически оптимальные критерии для регрессионной задачи проверки гипотез // Теория вероят. и ее применен. 1968. Т.13. Вып.4. С.682-700.

66. Ле Кам JI. О некоторых асимптотических свойствах оценок максимального правдоподобия и соответствующих байесовских оценок // Математика (сб. переводов). 1960. 4:2. С.69-119.

67. Леман Э. Проверка статистических гипотез. М.: Наука, 1979. -408 с.

68. Липцер Р.Ш., Ширяев А.Н. Статистика случайных процессов. М.: Наука, 1974. 696 с.

69. Лоэв М. Теория вероятностей. М.: Ин. лит-ра. 1962. 720 с.

70. Медведев А.В. Непараметрические системы адаптации. Новосибирск: Наука, 1983. 176 с.

71. Надарая Э.А. Об оценке регрессии // Теория вероят. и ее примен. 1964. Т.19. Вып.1. С. 147-149.

72. Надарая Э.А. О непараметрических оценках плотности вероятности и регрессии // Теория вероят. и ее применен. 1965. Т.10. Вып.1. С. 199-203.

73. Надарая Э.А. Непараметрические оценки кривой регрессии // Тр. ВЦ АН ГССР. Тбилиси: Мецниереба, 1965. 5:1. С. 56-68.

74. Надарая Э.А. Об интегральной среднеквадратической ошибке некоторых непараметрических оценок плотности вероятностей // Теория вероят. и ее примен. 1974. Т.19. Вып.1. С.131-139.

75. Надарая Э.А. Непараметрическое оценивание плотности вероятностей и кривой регрессии. Тбилиси: Изд-во Тбил. ун-та. 1983. -194 с.

76. Натансон И.П. Теория функций вещественной переменной. М.: Наука, 1974. 480 с.

77. Невельсон М.Б., Хасьминский Р.З. Стохастическая аппроксимация и рекуррентное оценивание. М.: Наука. 1972. 304 с.

78. Нейман Дж. Два прорыва в теории статистических решений // Математика (сб. переводов). 1964. 8:2. С.113-132.

79. Немировский А.С., Цыпкин Я.З. Об оптимальных алгоритмах адаптивного управления // Автоматика и телемеханика. 1984. 12. С.64-77.

80. Пакшин П.В. Устойчивость дискретных систем со случайной структурой при постоянно действующих возмущениях // Автоматика и телемеханика. 1983. 6. С.74-84.

81. Пенская М.Я. Об устойчивом оценивании функции параметра // Статистические методы оценивания и проверки гипотез. Пермь: Изд-во Перм. ун-та, 1990. С.44-55.

82. Прохоров Ю.В., Розанов Ю.А. Теория вероятностей. М.: Наука, 1973. 494 с.

83. Пугачев B.C. Статистическая теория обучающихся автоматических систем // Изв. АН СССР. Техническая кибернетика. 1967. 6. С.26-42.

84. Пугачев B.C. Теория вероятностей и математическая статистика. М.: Наука, 1979. 496 с.

85. Пугачев B.C., Синицын И.Н. Стохастические дифференциальные системы. М.: Наука, 1985. 560 с.

86. Роббинс Г. Эмпирический байесов подход к статистике // Математика (сб. переводов). 1964. 8:2. С.133-140.

87. Роббинс Г. Эмпирический байесов подход к задачам теории статистических решений // Математика (сб. переводов). 1966. 10:5. С.122-140.

88. Сергеев В.Л. Об использовании оценок локальной аппроксимации плотности вероятности // Автоматика и телемеханика. 1979. 7. С.56-61.

89. Стратонович P.JI. Условные марковские процессы и их применение к теории оптимального управления. М.: Изд-во МГУ, 1966. с.

90. Тарасенко Ф.П. Непараметрическая статистика // Томск: Изд-во Том. ун-та, 1976. 292 с.

91. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1979.

92. Фетисов В.Н. Аппроксимация случайного процесса процессом авторегрессии в задачах стохастического управления // Автоматика и телемеханика. 1983. 4. С. 94-98.

93. Фетисов В.Н. Марковская аппроксимация случайной последовательности в задачах оптимального управления // Изв. АН СССР. Техн. кибернетика. 1979. 1. С. 37-43.

94. Хазен Э.М. Методы оптимальных статистических решений и задачи оптимального управления. М.: Сов. радио, 1968. 256 с.

95. Хазен Э.М. Восстановление компонент многомерного марковского процесса по наблюдениям других его компонент // Пробл. управления и теории информ. 1978. Т.7. 4. С.263-275.

96. Хэннан Э. Многомерные временные ряды. М.: Мир, 1974. 575 с.

97. Цыбаков А.Б. О выборе ширины окна в ядерной непараметрической регрессии // Теория вероят. и ее примен. 1987. Т.32. Вып.1. С.153-159.

98. Цыпкин Я.З. Адаптация и обучение в автоматических системах. М.: Наука, 1968. 399 с.

99. Ченцов Н.Н. Статистические решающие правила и оптимальные выводы. М.: Наука, 1972. 520 с.

100. Шапиро Е.И. Непараметрические оценки плотности вероятности в задачах обработки результатов наблюдений // Зарубежная радиоэлектроника. 1976. 2. С.З-Зб.

101. Ширяев А.Н. Вероятность. 2-е изд., перераб. и доп. М.: Наука. 1989. 640 с.

102. Aoki М. On some convergence question in Bayesian optimization problem // IEEE Trans, on Automat. Control // 1965. 2. P. 180-182.

103. Bhattacharya P.K. Estimation of a probability density function and its derivatives // Sankhya. Indian. J. Statist. 1967. V.A29. P.373-382.

104. Bradley R., Bryc W. Multilinear forms and measures of dependence between random variables // J. Multivar. Anal. 1985. V.16. 3. P.335-367.

105. Cacoullos T. Estimation of a multivariate density // Ann. Inst. Statist. Math. 1966. V.18. symbol242 2. P.179-189.

106. Castellana J.V., Leadbetter M.R. On smoothed probability density estimation for stationary processes // Stochastic Processes and Appl. 1986. V.21, 2. P.179-193.

107. Collomb G. Estimation non parametrique de la regression par la methode du noyau: These Docteur Ingenieur. Toulouse: Univ. Paul-Sabatier, 1976.

108. Dobrovidov A.V., Koshkin G.M. Nonparametric Filtering in Autore-gression Models // The Third Russian-Korean International Symposium on Science and Technology. (June 22-25, 1999, Novosibirsk).

109. Abstracts. 1999. Vol.1. Novosibirsk: Novosibirsk State Technical University. P.250.

110. Doukhan P., Ghindes M. Estimation de la transition de probabilite d'une chain de Markov Doeblin-recurrente. Etude du eas processus autoregressif general d'ordre 1 // Stochastic Processes and Appl. 1983. V.15. 3. P.271-293.

111. Farrel R.H. On the best obtainable asymptotic rates of convergency in estimation of a density function at a point // Ann. Statist. 1972. V.43. symbol242 1. P.170-180.

112. Fraser D.A.S. Nonparametric methods in statistics. N.-Y.: J. Wiley and Sons. 1957. 299 p.

113. Fukunaga K., Hostetler L.D. The estimation of the gradient of a density function , with applications in pattern recognition // IEEE Trans. Inform. Theory. 1975. V.IT-21. symbol242 1. P.32-40.

114. Fukunaga K., Hostetler L.D. Optimization of к -nearest neighbor density estimates // IEEE Trans. Inform. Theory. 1975. V.IT-21. symbol242 3. P.320-326.

115. Gasser Т., Muller H.-G. Kernel estimation of regression functions // Lect. Notes Math. 1979. V.757. P.23-68.

116. Muller H.-G., Gasser T. Optimal convergence properties of kernel estimates of derivatives of a density function // Lect. Notes Math. 1979. V. 757. P. 144-154.

117. Gyorfi L. Strong consistent density estimate from ergodic sample // J. Multiv. Analysis. 1981. V.ll. 1. P.81-84.

118. Gyorfi L. Recent results on nonparametric regression estimate and multiple classification // Problems of Control and Inform. Theory. 1981. V.10. 1. P.43-52.

119. Gyorfi L., Hardle W., Sarda P., Vieu P. Nonparametric curve estimation from time series. Lecture Notes Math. Statist. N.Y.: Springer-Verlag, 1988. 128 p.

120. Johns M.V. Non-parametric empirical Bayes procedures // Ann. Math. Statist. 1957. V.228. 3. P.649-669.

121. Konakov V.D. Asymptotic prorerties of some functions of nonparametric estimates of a density function // J. Multiv. Anal. 1973. V.3. 4. P.454-468.

122. Kushner H.J. On the dynamical equations of conditional probability density functions with applications to optimal stochastic control theory // J. Math. Appl. 1964. 8. P. 332-334.

123. Masry E. Probability density estimation from sampled data // IEEE Trans. Inf. Theory. 1983. V. IT-29. № 5. P. 696-709.

124. Masry E. Recursive probability density estimation for weakly dependent stationary processes // IEEE Trans. Inf. Theory. 1986. V.IT-32. № 2. P. 254-267.

125. Murthy V.K. Nonparametric estimation of multivariable densities with applications. // Multiv. Analysis I. N.Y., London: Academic Press, 1966. P. 43-56.

126. Rosenblatt M. Remarks on some nonparametric estimates of a density functions // Ann. Math. Statist. 1956. V. 27. № 3. P. 832-837.

127. Rosenblatt M. Independence and Dependence I j Proc. 4-th Berkley Sympos. Vfth. Statist, and Probability. V. 2 Los Angeles: Bercley, 1960. P. 431-433.

128. Rosenblatt M. Conditional Probability Density and Regresiion estimators // Multiv. Analysis II. N.Y.: Academic Press, 1969. P. 25-31.

129. Rosenblatt M. Density estimates and Markov sequences / Nonpara-metric Techniques in Statistical Inference. Cambridge: Univ. Press, 1970.

130. Rosenblatt M. Curve estimates // Ann. Math. Statist. 1971. V. 42. № 6. P. 1815-1842.

131. Rosenblatt M. Markov Processes, Structure and Asymptotic Behavior. Springer Verlag, 1971.

132. Roussas G.G. Nonparametric estimation in Markov processes // Ann. Inst. Statist. Math. 1969. V. 21. № 1. P. 73-87.

133. Roussas G.G Nonparametric estimation of the transition distribution function of a Markov process // Ann. Math. Statist. 1969. V. 40. 4. P.1386-1400.

134. Parzen E. On estimation of a probability density function and mode // Ann. Math. Statist. 1962. V. 33. № 3. P. 1065-1076.

135. Pracasa Rao B.L.S. Nonparametric functional estimation. Academic Press, 1983.

136. Schuster E.F. Estimation of a probability density function and its derivatives // Ann. Math. Statist. 1969. V. 40. № 4. P. 1187-1195.

137. Schuster E.F. Joint asymptotic distribution of the estimated regression function at a finite number of distinct points // Ann. Math. Statist. 1972. V. 43. № 1. P. 84-88.