Свойства времен пребывания для дискретных марковских процессов тема диссертации и автореферата по ВАК РФ 01.01.05, кандидат наук Воротов, Алексей Александрович

• Воротов, Алексей Александрович
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Воротов, Алексей Александрович

Содержание

Введение

1 Время пребывания для цепей с дискретным временем

1.1 Основные определения и обозначения

1.2 Конечномерные распределения времени пребывания

1.3 Функция Грина для целочисленных цепей Маркова

1.4 Отсутствие марковского свойства у времени пребывания

2 Время пребывания для цепей с непрерывным временем

2.1 Основные определения и факты

2.2 Проверка марковского свойства времени пребывания для целочисленных симметричных цепей

3 Марковское свойство времени пребывания

3.1 Формулы для изменения функции Грина при добавлении ребер

к графу переходов исходного процесса

3.2 Доказательство марковского свойства времени пребывания

4 Марковское свойство времени пребывания относительно нескольких состояний

4.1 Формулы для функции Грина через решения однородного уравнения

4.2 О марковском свойстве времени пребывания относительно нескольких состояний

4.3 Поле переходов

5 Время пребывания для неоднородных цепей Маркова

5.1 Обобщение рассуждений для однородного случая

5.2 Неэкспоненциальный момент остановки

5.3 Отсутствие марковости времени пребывания для простейшей

неоднородной цепи

Заключение

Список литературы

Введение диссертации (часть автореферата) на тему «Свойства времен пребывания для дискретных марковских процессов»

Введение

В 1939 г. П. Леви в [34] было введено понятие локального времени для броуновского движения. Эта и две последующих его работы [22], [33] положили начало теории локальных времен случайных процессов, интенсивное развитие которой началось с середины 60-х годов. Достаточно подробный и всесторонний обзор важнейших результатов, связанных с броуновским локальным временем, можно найти в [2].

Приведем наиболее удобное и интуитивно понятное представление для локального времени х) процесса броуновского движения ги(я) в точке х за время

с вероятностью единица для всех £ > 0 и х е М.

Как видно, х) можно рассматривать как случайный процесс по параметру х. Д. Рэй в [37] показал, что если в качестве t взять независимый от гп(з) случайный экспоненциальный момент времени, процесс х), х € М, при условии и}{р) = г будет марковским. Для некоторых других £ подобные утверждения были доказаны Ф. Найтом [32] и П. Валлуа [41]. Различные методы доказательства этих теорем, обычно называемых теоремами Рэя-Найта, можно также найти в работах [18], [45], [46], [43], [44], [36].

В 1982 г. С.С. Валландером в серии работ [5]-[8] была предпринята попытка перенести результат Д. Рэя с броуновского движения на однородные марковские цепи. Аналогом локального времени в данном случае служит время пребывания т{у) цепи Х{€) в состоянии V до не зависящего от цепи экспоненциального момента 9, а марковское свойство рассматривается относительно условных мер Ра&, фиксирующих начало и конец траектории (Х(0) = а,Х(д) = &)*. Трудность такого обобщения заключается в том, что

"Время пребывания т(-) представляет собой случайное поле, определенное на пространстве состояний цепи. Тем не менее, говоря о марковости, мы не имеем в виду марковские случайные поля, а понимаем марковское свойство по-другому. Как будет показано в работе, марковским случайным полем в его классическом понимании время пребывания не является.

О

пространство состояний А цепи вообще говоря, может не иметь каких-

либо дополнительных структур, а потому само понятие марковского свойства для т, равно как и понятия «прошлого», «настоящего» и «будущего», определить не всегда возможно. Тем не менее, в относительно простых случаях, таких как блуждание по целым числам или вообще по дереву (с ненулевой вероятностью разрешается переходить только в соседнюю вершину), никаких проблем с определением не возникает.

Несколько неожиданно оказывается, что в случае дискретного времени (£ = 0,1,2,...) даже для простейшего симметричного случайного блуждания по Z процесс т{у) не является марковским. В случае же непрерывного времени (£ > 0) удается проверить марковское свойство т(у) для блуждания по дереву.

Метод доказательства сходен с методом, используемым К. Ито и Г. Маккином в [18] для проверки марковости броуновского локального времени. Основная идея заключается в том, что конечномерные распределения поля т можно выразить через функцию Грина некоторого уравнения. Сама же функция Грина выражается через решения соответствующего однородного уравнения. Полученные формулы и позволяют проверять марковское свойство. Для блуждания по дереву однородных решений, конечно, может быть не 2, как в случае локального времени, а намного больше, и рассуждения становятся технически более сложными, однако принцип остается таким же.

Более общее определение марковского свойства времени пребывания С.С. Валландер приводит в [9]. Согласно этому определению, «настоящее» предполагается сосредоточенным в одном состоянии, а оставшиеся состояния разбиваются на несколько компонент, из каждой из которых можно попасть в другую только через «настоящее». Эти компоненты и следует понимать как «прошлое» и «будущее». Конечно, их вполне может быть и больше двух, но никакого принципиального значения это не имеет. Под марковским свойством времени пребывания понимается независимость относительно условных мер Раь значений т на этих компонентах при фиксированном

значении г (у).

Другими словами, процесс Х{1) рассматривается как случайное блуждание на некотором графе Г (вообще говоря, ориентированном). Вершина V 6 А, понимаемая как «настоящее», называется необходимой, если при удалении V и ребер, одним из концов которых она является, граф распадается на, N > 1 компонент связности А\,..., Ду. Для функции к > 0 на А через к1 обозначим ее ограничение на Д, продолженное нулем на остальные состояния. Тогда марковское свойство поля времени пребывания т в необходимой вершине V относительно мер Раь можно записать в следующем виде:

для любой функции к >0 с к(у) = 0 и любого £ > 0.

В вышеупомянутых тезисах [9] 1985 г. было высказано предположение, что поле т обладает марковским свойством в любой необходимой вершине, однако доказательство данного утверждения так и не было нигде приведено и впервые было изложено в работе [12] автора. Метод, используемый для проверки марковости т для блуждания по дереву, к общему случаю применить не удается, поскольку удобные формулы для функции Грина через решения однородного уравнения можно получить далеко не всегда. Ниже будет описан другой способ проверки марковского свойства времени пребывания, а также приведены рассуждения о том, когда получить формулы через однородные решения все же возможно.

Естественно задаться вопросом, что будет, если «настоящее» сосредоточено не в одной вершине, а в нескольких. Определение марковости г переносится на этот случай практически дословно.

В [9] говорится, что если Г представляет из себя многоугольник, то для «настоящего», состоящего из двух его (не соседних) вершин, поле т обладать марковским свойством не будет. С другой стороны, очевидно, что если одна из вершин «настоящего» необходима, марковость есть. Представляется интересным, будет ли марковское свойство выполнено при каких-то менее

г=1

ограничительных условиях. В работе [14] автора дается отрицательный ответ на этот вопрос. Доказывается, что марковость г равносильна тому, что одна из вершин «настоящего» необходима.

Для некоторых графов возможны и другие подходы к пониманию марковского свойства времени пребывания. Например, для графа, представляющего собой бесконечную «лестницу», можно говорить о времени пребывания на «уровне», то есть в множестве из двух вершин, соответствующих одной «ступеньке», и изучать марковость этого случайного процесса. Этот и подобные вопросы также исследуются в [14] и будут рассмотрены в диссертации.

Все вышеприведенные результаты касаются однородных марковских цепей. Для неоднородных цепей с дискретным временем в [4] были получены схожие формулы для описания конечномерных распределений поля времени пребывания. Тем не менее, вопрос о марковости времени пребывания в неоднородном случае (разумеется, для непрерывного времени) ранее изучен не был. Впервые он рассматривается только в работе [13] автора и будет разобран ниже.

Марковость можно понимать совершенно аналогично однородному случаю, наложив лишь одно дополнительное ограничение на интенсивности переходов: если С^3(а,Ь) > 0 для некоторого ¿¡, то ф5(а, Ь) > 0 для всех й. Это предположение нужно для того, чтобы избежать каких-либо трудностей в определении графа переходов, связности и, соответственно, самого марковского свойства.

Оказывается, что даже для простейшей неоднородной цепи, когда процесс до и после некоторого (неслучайного) момента Т ведет себя как однородная цепь, но с разными переходными интенсивностями и ф2> поле т5 не будет марковским. Кроме того, если для однородного случая рассматривать не зависящие от цепи неэкспоненциальные моменты остановки, рассуждения будут сходны с рассуждениями для неоднородных цепей, а ответ на вопрос о марковости поля тв также оказывается отрицательным.

Времена пребывания для марковских цепей рассматривались рядом авторов и с других точек зрения, см., например, [30], [25], [27].

Диссертация состоит из введения, пяти глав, заключения и списка литературы, содержащего 48 наименований. Общий объем диссертации — 100 страниц.

Главы 1 и 2 являются вводными. В них кратко излагаются основные результаты о времени пребывания, на которые мы будем активно опираться далее. Для некоторых формул приводится достаточно подробный вывод вместо того, чтобы просто дать ссылку на соответствующий источник. Это обусловлено как желанием автора сделать диссертацию достаточно автономной и доступной для понимания во всех деталях, так и тем, что даже на многие промежуточные формулы потребуется ссылаться в последующем.

Главы 3-5 представляют собой основную часть диссертации. В них отражены полученные автором результаты, во многом обобщающие приведенные в первых двух главах.

В главе 1 приводятся основные определения и наиболее важные факты, касающиеся времени пребывания для цепей Маркова с дискретным временем. Выводятся формулы для конечномерных распределений. Для случайного блуждания по Z приводятся формулы для функции Грина через решения однородного уравнения, и с их помощью опровергается марковость т.

В главе 2 приводятся результаты для цепей с непрерывным временем. Поскольку многие рассуждения аналогичны случаю дискретного времени, они разбираются менее подробно. В отличие от предыдущей главы, марковское свойство г для блуждания по Z уже не опровергается, а доказывается. Описанный метод доказательства может быть применен с незначительными изменениями и к блужданиям на произвольном дереве.

В главе 3, теорема 2, приводится доказательство марковости т в случае, когда «настоящее» сосредоточено в одной вершине. Идея доказательства заключается в следующем: если к графу Г добавлять ребра в рамках одной компоненты связности, марковость т, если она имеет место, должна сохраниться. Изменение функции Грина при добавлении ребер описывается теоремой 1. В результате из соотношений на функцию Грина, равносильных марковости т, получатся более простые необходимые соотношения, которые, как легко

видеть, окажутся и достаточными. Последние можно проверить, вычислив как меняется функция Грина при изменении функции к.

В главе 4, прежде чем проверять марковское свойство в нескольких вершинах, изучается возможность обобщения формулы для функции Грина через решения однородного уравнения на некоторые графы, имеющие циклы. Оказывается, что этот способ не дает удовлетворительного результата. Поэтому доказывать теорему 3 о том, что для «настоящего» из двух вершин марковость т равносильна тому, что одна из них необходима, приходится в духе теоремы 2. Аналогичный результат для большего количества вершин в «настоящем» легко следует из теоремы.

В данной главе также доказывается отсутствие марковского свойства у случайного процесса времени пребывания на «уровнях» бесконечной «лестницы». Полученные результаты, кроме того, позволяют сделать выводы о марковском свойстве другого связанного с цепью объекта — поля переходов.

В главе 5 рассматриваются неоднородные цепи Маркова. Формулы для конечномерных распределений с однородного случая нельзя в полной мере перенести на неоднородный. Однако, для наиболее простой ситуации, когда процесс до момента Т ведет себя как однородная цепь с переходной интенсивностью (21, а после — с интенсивностью (52, возможно получить формулы через функции Грина соответствующих однородных цепей. Эти формулы вместе со вспомогательной теоремой 5 позволяют проверить отсутствие марковости т для такого процесса.

Также в главе 5 рассматриваются произвольные не зависящие от цепи случайные моменты остановки. В теореме б доказывается, что марковость поля времени пребывания равносильна экспоненциальности момента остановки.

Основные результаты диссертации отражены в публикациях [12]—[14] и докладывались на Четвертом Северном трехстороннем семинаре (6-8 марта 2013 г., Хельсинки, Финляндия), XX Всероссийской школе-коллоквиуме по стохастичеким методам (12-18 мая 2013 г., Йошкар-Ола).

Кроме того, работа обсуждалась в Санкт-Петербурге на городском семи-

наре по теории вероятностей и математической статистике под руководством академика РАН И.А. Ибрагимова (1 ноября 2013 г.) и на семинаре по теории вероятностей междисциплинарной исследовательской лаборатории им. П.Л. Чебышева при СПбГУ (июнь 2011 г., декабрь 2011 г., ноябрь 2012 г.).

Автор глубоко признателен своему научному руководителю Сергею Сергеевичу Валландеру за постановку интересных задач и ценные советы.

Кроме того, автор благодарен коллективу лаборатории им. П.Л. Чебышева за организацию уникальной научной площадки для общения аспирантов. Автор также признателен Лаборатории и всему коллективу петербургской вероятностной школы за создание благоприятной научной атмосферы, которая существенно способствовала работе над диссертацией. Отдельную благодарность автор выражает участникам вероятностного семинара Лаборатории за их вопросы, советы и комментарии.

1 Время пребывания для цепей с дискретным временем

Приведем основные определения и факты, касающиеся поля времени пребывания для марковских цепей с дискретным временем. При этом в основном будем придерживаться работы [5]. Аналогичные результаты для случая непрерывного времени будут даны в следующей главе.

1.1 Основные определения и обозначения

Рассмотрим однородную марковскую цепь X(t), t = 0,1,2,... с не более чем счетным пространством состояний А и переходной функцией Р(а:Ь). Процесс X(t) можно рассматривать как случайное блуждание на графе переходов Г(Р) (вообще говоря, ориентированном) с множеством вершин А и множеством ребер {(а, 6)|Р(а, b) ^ 0}, где вероятность перехода из вершины а в соседнюю вершину 6 равна Р(а, b).

Через Р обозначим переходный оператор марковской цепи, действующий на пространстве функций на А:

(Р/)(а) =

ъе А

Пусть Ра — вероятностная мера для процессов, начинающихся из точки а, в — не зависящая от цепи целочисленная геометрически распределенная случайная величина с функцией распределения F(n) = (1 — е~ап) для целых неотрицательных п .

Обозначим через r{v) время пребывания процесса X(t) в состоянии v Е А до момента в:

в i=0

1.2 Конечномерные распределения времени

пребывания

Займемся описанием условных конечномерных распределений случайного ноля г (у) при фиксированных начале и конце (в момент в) траектории в терминах функций Грина для уравнения теплопроводности.

Введем функцию к на А, 0 < к < 1, имеющую смысл вероятности обрыва траектории в точке а. С функцией к свяжем разностный оператор

У = (1- к)Р - 1

(здесь (1 — к) рассматривается как оператор умножения, а под единицей подразумевается тождественный оператор).

Рассмотрим уравнение, называемое нами уравнением теплопроводности (хотя классический дискретный аналог уравнения теплопроводности получается при к = 0):

и(г +1) - и(£) = (Уи){г,а) (1.1)

с начальным условием п(0, а) = /(а).

Легко проверить, что единственное решение уравнения (1.1) задается формулой

и(Ь,а)=Еа[ПХ(Ь))1[[1-к(Х(3))}].

5=0

Здесь Еа — математическое ожидание при условии Х(0) = а.

оо

Дискретное преобразование Лапласа: м(£, а) —> и(а, а) — ]Г) е~а1и(Ь, а)

г=о

(с* > 0), переводит уравнение в

(еа-1-У)и = еа/. (1.2)

Это уравнение имеет решение

оо Ь— 1

«(а, а) = Еа[^ е^/РФ)) Д[1 " *(*М)Н> (1-3)

¿=0 5=0

которое является дискретным аналогом формулы Каца (см. [18, стр. 77]).

Отметим, что для ограниченных / формула (1.3) дает единственное ограниченное решение уравнения (1.2). Действительно, достаточно проверить, что единственным решением однородного уравнения

является нулевое решение. Но это очевидно следует из того факта, что в пространстве ограниченных функций с нормой sup \д\ норма оператора е~а(1-\~У) строго меньше единицы.

Рассмотрим теперь функцию Грина G, определяемую как (единственное) ограниченное решение уравнения

(операторы действуют на переменную а, Ъ — параметр).

Тогда решение уравнения (1.2) естественным образом выражается через функцию Грина:

Практическая ценность функций Грина заключается в том, что для них часто можно находить достаточно удобные выражения.

Через РаЬ обозначим меру Раь(В) = Т?а{В\Х{е) — Ъ). Через Со будем обозначать функцию Грина, соответствующую к = 0.

Перейдем теперь непосредственно к описанию условных конечномерных распределений случайного поля т(у).

Выразим через С, Со условные ожидания

(eQ - 1 - У)д = 0

(1.4)

(ea-l-y)G(.,b) = (l-*)][{b}

(1.5)

о

ЕаЪ[П [1 - fc(X(s))]| T(V) = , te Z+,veA

(в тех случаях, когда Раь(т(г>) = t) 0).

Заметим, что

Е,

;в[П[1-М*М)Ь *(*) = *] =

в=0

оо £

= Еа [5^(1 - е-а)е-аЧ{ь](Х(1)) Д [1 " *(*(*))]] = (1 - е"в)е°С(а, Ь).

В частности (к = 0), Р0(Х(е) = Ъ) = (1 - е-а)еаС0(а, 6). Отсюда

Е*[П[1-*(*(«)>]]= а(а'Ь)

в=о

(1.6)

4 4 "Ч С0(а,Ь)

Рассмотрим функцию к* = 1 — е_71м(1 — /г) (очевидно, 0 < к* < 1), а соответствующую ей функцию Грина обозначим (2*. Подставляя ее в последнюю формулу, получим

в

Е

аЪ

е--*«) Д [!_*(*(*))]

5=0

(2* (а, Ъ) Со (а, 6)"

Теперь выразим (2* через С. Для этого на время зафиксируем Ъ и обозначим Н(а) = С(а,Ь), /г* (а) = С* (а, 6). Тогда по определению функций Грина

(е° - 1 - У)Н = (1 - *)%}, (еа — 1 — У*)^ = (1 - Г)1{6} = (1 - А;)е"^>1{6}.

Вычитая второе из первого, получаем,

(еа — 1 — У*){к - ЬГ) = (1 - к)(1 - е-^У)(1{ь} + РЛ).

Так как (Н — к*) и правая часть последнего уравнения ограничены, то согласно (1.5) решение получается по формуле

Н-ЬГ = С(а,Ь)-в*(а,Ь) =

1 - ад

с ^ ' <1

= (е7 - 1)<Г (а, г;) [пда(г7> + £ Р(и, 6)].

(1.7)

Удобно использовать сокращенное обозначение

еав(у, Ь)

Н(у, Ъ) = 1{ф) + £ Р(у, <1)С{<1, Ь) =

Отсюда, подставляя в (1.7) Ъ — V, находим

в{а,у)

в* (а, у) =

1 + (еТ-1 )Н(у,у)' И снова, по формуле (1.7) получаем

С(а,у)Н(у,Ь)

С*(а,6) = С(а,6)-(е7-1)

1 + (еТ-1 )Н(у,у)'

В результате

Е

аЬ

5=0

(?(а,Ь) _ 7 _ ^ <3(а,г;)

Я(17, 6)

(1.8)

С0(а, Ь) 4 у <30(а, 6) 1 + (е? - 1)Я(и, и)' Разлагая по степеням е~7, получаем

в в=0

<3(а,6) С(а,у)Н(у,Ь) в0(а,Ь)~ О0(а,Ь)Н(у, у)'

ЕаЬ[П [1 -к(Х(з))):т(у) = 1

«=0

для £ > 1.

в(а,у)Н(у,Ъ) С0(а,Ъ)Н(у,уУ

1 -

1

Н(у,У)

(1.9)

(1.10)

Отсюда при к = 0

т> г г \ n^ 1 С0{а,у)Н0(у,Ь)

Р аЬ{т(у) = 0) = 1 - -г

и0{а, Ъ)Щ{у,у)

Р аь{т(у) = ¿) =

О0(а,у)Н0(у,Ь) С0(а,Ь)Н0(у,уу

1 -

1

Н0(У,У)

г-1

(1.11)

> 1). (1.12)

Следовательно, если Раъ(т(у) = 0) ^ 0, то из (1.9) и (1.11) окончательно получаем

в

Е«ь[П[1-А:(Х(5))]|т(г;) = о" =

й=0

- Яо(^) Ь)Н(у, у) - (3(а, у)Н(у, Ъ) Н(у,С0(а, Ь)Н0(у, у) - С0(а, у)Н0(У, Ь)'

(1.13)

Аналогично, если ~Раь(т(у) = £) ф 0, то из (1.10) и (1.12)

Е

о

аь[1[[1-к(Х(8))]\т(у)=1

5=0

С(а, у)Н{у, Ь)Нр(у, у)2 С0(а,у)Н0(у,Ь)Н{у,уУ

1 -

Н(у,У)

<-1

(* > !)•

Н0(У,У)_

Заметим, что если граф Г(Р) связен, то при £ > 1 условие Раг,(т(г>) = ¿) ф 0 будет выполнено автоматически. Условие же Раь(т(г;) = 0) Ф 0 по сути означает, что существует путь из а в Ь, не проходящий через у.

Вывод формул для конечномерных распределений больших размерностей во многом аналогичен, однако технически более сложен. Привести, например, аналогичные (1.13) и (1.14) формулы в явном виде достаточно трудно.

Основная формула, обобщающая (1.8) и выводимая практически так же, имеет вид:

г - Г 1 Мт(у), ^

Е аЬ

- У2 7(и)т(у)

е у?У П [1 —

в=0

в{а,Ь) Я(«1,Ь) Н(у2,Ь)

с(а>Ь1) Н(У2,У 1)

С(о,Г2) Н(УЪУ 2) х_е7^2) +НЬ>2&г)

<?(а,г>п) Н(у1,уп)

Н(у2,Уп)

Со (о,Ь)

Н(У\,У2)

Н(у1,уп)

Н{У2,Уу)

1-е"» ("2)

1-+Н(У2,У2) ••

Н(уп,Ь) Н(У„,У1)

Н(уп,у2)

1-е

+н(уп,уп)

(1.15)

Н{уп,У\) Н(уп,у2)

Н(у2,У„)

...

где К = {г?1,..., г>п} — произвольное конечное множество, прямые скобки здесь и далее обозначают определитель. За подробностями можно обратиться к [5, стр. 46-48]*.

Как и выше, разложение (1.15) по степеням е-7^1),..., е-7^") дает формулы для конечномерных распределений. Однако следует отметить, что явные выражения не удается получить даже для двумерных распределений.

'Формула там выведена в немного другом виде, но, как легко видеть, совпадает с данной.

1.3 Функция Грина для целочисленных цепей Маркова

В качестве примера рассмотрим теперь одну из самых простых и при этом не вполне тривиальную марковскую цепь — целочисленную. Под ней мы понимаем цепь с пространством состояний А = Ъ и переходными вероятностями со свойством Р(а, Ь) = 0 при |а — Ь\ > 2, Р(а, Ъ) > 0 при \а — Ъ\< 1.

Функцию Грина такой марковской цепи можно получить по аналогии с соответствующими рассуждениями для броуновского движения в [18, стр. 78-79] с помощью решений однородного уравнения (1.4). У этого уравнения существует два линейно независимых решения д\ и д2 со свойствами: д\ > О, pi(0) = 1, gi возрастает; д2 > 0, д2(0) = 1, д2 убывает.

г Мь-1

Действительно, рассмотрим величину даь = Еа е~аЖь П [1 —

L s=0

где Жь — момент первого достижения точки Ъ. Тогда решение д\ определяется формулой

9i(a) = lim (1.16)

оо д0ь

Решение д2 получается аналогично при Ъ —> — оо.

Как уже говорилось, уравнение (1.4) не имеет нетривиальных ограниченных решений, поэтому gi неограничено на +оо, а д2 на —оо.

Поскольку решение однородного уравнения однозначно определяется значениями в двух точках (например, в 0 и 1), то оно является линейной комбинацией д\ и д2.

Далее, функцию Грина С(а, Ъ) можно «склеить» из двух однородных решений:

/-V 1Л \Съ91{°)92{Ъ), если а < Ъ,

G{a,b)=< (1.17)

[Cb92(a)gi(b), если а > 6, где Съ — некоторая константа, не зависящая от а.

Поскольку «склейка» идет по точке6, функция (eQ — l—y)G(-,b) принимает нулевые значения везде, кроме точки 6. Требование, что в b она имеет нужное значение (1 — к(Ь)), достигается за счет подбора константы Съ. Кроме того, поскольку в силу монотонности функция д\ (а) ограничена при а < Ь,

а д2 ограничена при а > Ь, то полученная таким образом функция G(a, Ъ) ограничена, а потому действительно является функцией Грина.

Легко проверить, что для целочисленных цепей с симметричной переходной функцией (Р(а, 6) = Р(Ь,а)) константа Сь определяется по формуле

с =_1_=

Ь Р(Ъ, Ъ +1)ЫЪ + 1 )д2{Ъ) - 9l(b)g2(b + 1)) (ug)

то есть не зависит от Ь.

Отметим, что похожие формулы для функций Грина работают и в более общем случае, когда граф переходов Г(Р) является деревом. Разумеется, решение однородного уравнения в этом случае может определяться значениями уже не в двух, а в большем количестве точек, и, соответственно, линейно независимых решений может быть много. Тем не менее, принцип «склейки», когда «до» точки b функция Грина ведет себя как одно решение однородного уравнения (естественно, ограниченное «до» b), а «после» как другое (ограниченное «после» Ь), и здесь остается справедливым.

1.4 Отсутствие марковского свойства у времени пребывания

Ниже мы покажем, что даже для простейшего блуждания по целочисленной прямой (Р(а, а + 1) = Р{а + 1, а) = р, Р(а, а) = 1 — 2р, 0 < р < -)

Zj

случайный процесс r(v) (v Е Z) не является марковским относительно мер РаЬ. Это достаточно неожиданный результат, поскольку как для броуновского движения, так и для марковских процессов с непрерывным временем, марковское свойство времени пребывания имеет место (последнее будет показано далее в параграфе 3.2).

Марковское свойство в точке v G Z означало бы, что для любой функции к с k(v) = 0 и любого t G Z+, такого, что Ра5(г(г;) — t) ^ 0, выполняется

равенство Е,

аь[Ц [1 - к(Х(з))]\т(ь) = *] = ЕаЬ[Д [1 - МХ(*))]| т(у) = I

5=0 5=0

в

хЕа6[П [l-k+Щ8))]\т(v) = t

где к- = АгЯ^оо^], к+ = к ![„,«,).

Согласно формуле (1.14), для этого необходимо, чтобы

1.1.1

1 -

Н(у, у)

Н-(У,У) ^ Н+(У,У)

1 -

1

1 -

1

1 -

Н0(у,у) ~ Но(у,у) ~ Н0(у,у)

Здесь индексы «—» и «+» у функций означают, что они отвечают к_ и к+ соответственно.

Переписав это равенство, получим

1

1

Н{у,У)

1

1

Н0(у,У)_

1 -

1

1

1

Н+(у,У)\

(1.20)

Для упрощения обозначений будем считать, что у — 0.

Заметим, что при к = 0 однородное уравнение (1.4) приобретает вид

(ев - 1 + 2р)д(а) - рд(а - 1) - рд(а + 1) = 0,

и его монотонные решения д® и определяются по формулам

9» = А?, д°2(а) = Л«,

где Лх > 1 > Лг — решения квадратного уравнения (еа —1+2р)х—р—рх2 = 0.

Монотонные решения однородного уравнения ди д2 для функции к- получаются «склейкой» функций ъ1лр$,С\д\{а)-\-С2д2{о) на полупрямой (—оо, 0] и вида -ОхЛ" + на полупрямой [0, оо). Подобрав подходящие константы, получим

I д\{а), если а < 0

ЯПа)={ Л, 31( !)Л? + 1) А, ^^^

А1 — Л2 Ах — Л2

18

д2(-1) — Ах Х\ — <71 (—1) , . . п

-<71 (а) Н-------——д2(а), если а < О

д^{а) = 1 92(~1) ~ 91(~1У " ' <&(-!) - ^(-1)"

I Л2, если а > 0.

Аналогичные формулы можно написать и для <7+, д£. В соответствии с формулами (1.17) и (1.18), из равенства (1.20) легко получить, что А2 = 01 (-1) или Л2 - 02(1).

Покажем, что при подходящем выборе функции к оба этих равенства не могут иметь места. Рассмотрим, например, равенство Х2 — д2( 1). С учетом д2(0) = 1 и квадратного уравнения на Л2, имеем

е«А2 1-2р еак{1)\2 , — 1 + 2рл

^2(2) - Р(1 - Вд) "1 = Р(1 - вд)+ ~р Аз"1 =

, , е«ВДЛ2 ^ к(1) л ^ х „„„^^ V

= ^2+ /-, !/Л\\ > > А2 при А;(1) >

р(1-Л(1)) р(1-ВД) "

что противоречит монотонному убыванию д2 ■

р

Равенство \2 = д\(—1) при к{—1) > ^ ^ опровергается аналогично.

Таким образом, равенство (1.19) выполняется не для всех функций к, а значит процесс т(у) немарковский.

2 Время пребывания для цепей с непрерывным временем

Приведем теперь результаты о времени пребывания для цепей Маркова с непрерывным временем, придерживаясь работы [6]. Поскольку многие рассуждения аналогичны случаю дискретного времени (см. главу 1), подробно разбирать их не будем, укажем лишь на значимые отличия.

2.1 Основные определения и факты

Пусть £ > 0 — однородная марковская цепь с не более чем

счетным пространством состояний А и переходными функциями Р(а, Ъ, £). Предполагаем, что процесс Х(Ь) сепарабельный и стохастически непрерывный.

Тогда существуют интенсивности переходов*

Будем также предполагать, что процесс Х(Ь) локально регулярный, т.е. а, а) —оо и Ь) = — ф(а, а) для всех а £ А.

Ьфа

В этих предположениях переходный оператор Рь (определяемый аналогично случаю дискретного времени по вероятностям перехода за время и

оператор ф (соответствующий интенсивностям переходов) связаны обратным

дР1

уравнением Колмогорова: -р— = С$РЬ (подробности см., например, в [15, стр.

дЬ

406-413] или [16, стр. 299-304]).

Далее мы будем рассматривать только регулярные процессы, то есть считать, что (п.н.) на каждом конечном промежутке времени процесс совершает конечное число переходов.

Пусть в — не зависящая от цепи экспоненциальная с параметром а слу-

*6аъ равно 1 при а = Ь и равно 0 при а / Ь.

чайная величина. В этих предположениях время пребывания

в

т(У) = I ЯмРОДМ*

о

определено корректно.

Аналогично случаю дискретного времени можно рассматривать процесс Х({) как случайное блуждание (с непрерывным временем) на графе переходов Г(Р) с множеством вершин А и множеством ребер {(а, Ь)|(3(а, Ь) Ф 0}. Ребра вместо «(а, Ь)» будем для краткости обозначать просто «аЪ», а соответствующие им интенсивности переходов называть значениями этих ребер.

Список литературы диссертационного исследования кандидат наук Воротов, Алексей Александрович, 2014 год

Список литературы

[1] Боровков A.A. Теория вероятностей: учебное пособие. — М.: Книжный дом «ЛИБРОКОМ», 2009, 656 с.

[2] Бородин А.Н. Броуновское локальное время. // УМН, 1989, т. 44, вып. 2(266), с. 7-48.

[3] Бородин А.Н., Ибрагимов И.А. Предельные теоремы для функционалов от случайных блужданий. // Тр. МИАН СССР, 1994, т. 195, ред. В. Н. Судаков, Е. Ф. Мищенко, Наука, СПб., 1994, с. 3-285.

[4] Валландер С.С. Времена пребывания для неоднородных цепей Маркова с дискретным временем. // Зап. научн. семин. ЛОМИ, 1989, т. 177, с. 37-45.

[5] Валландер С.С. Времена пребывания для счетных цепей Маркова. I. Цепи с дискретным временем. // Зап. научн. семин. ЛОМИ, 1982, т. 119, с. 39-61.

[6] Валландер С.С. Времена пребывания для счетных цепей Маркова. II. Цепи с непрерывным временем. // Зап. научн. семин. ЛОМИ, 1983, т. 130, с. 56-64.

[7] Валландер С.С. Времена пребывания для счетных цепей Маркова. III. Цепи на дереве с одной точкой ветвления. // Зап. научн. семин. ЛОМИ, 1985, т. 142, с. 25-38.

[8] Валландер С.С. Времена пребывания для счетных цепей Маркова. IV. Цепи на произвольном дереве. // Зап. научн. семин. ЛОМИ, 1987, т. 158, с. 39-45.

[9] Валландер С.С. Некоторые свойства времен пребывания и переходов для счетных цепей Маркова. // Тезисы докладов Четвертой Международной Вильнюсской конференции по теории вероятностей и математической статистике, 1985, т. 1, с. 116-118.

[10] Валландер С.С. Поля пребывания и переходов для счетных цепей Маркова. // Шестой международный сипозиум по теории информации. Тезисы докладов, ч.Ш, 1984, с. 64-66.

[11] Владимиров B.C. Обобщенные функции в математической физике. — М.: Наука, 1979, 320 с.

[12] Воротов A.A. Марковское свойство времени пребывания для дискретных марковских процессов. // Зап. научн. семин. ПОМИ, 2013, т. 412, с. 88-108.

[13] Воротов A.A. О марковском свойстве поля времени пребывания для неоднородных цепей Маркова с непрерывным временем. // Зап. научн. семин. ПОМИ, 2013, т. 420, с. 23-49.

[14] Воротов A.A. О марковском свойстве поля времени пребывания для цепей Маркова с непрерывным временем относительно нескольких состояний. // Вестн. С.-Петерб. ун-та, сер. 1, 2013, вып. 4, с. 30-40.

[15] Гихман И.И., Скороход A.B. Введение в теорию случайных процессов. — М.: Наука, 1977, 568 с.

[16] Гихман И.И., Скороход A.B. Теория случайных процессов, т.2. — М.: Наука, 1973, 640 с.

[17] Дынкин Е.Б. Марковские процессы. — М.: Физматлит, 1963, 860 с.

[18] Ито К., Маккин Г. Диффузионные процессы и их траектории. — М.: Мир, 1968, 394 с.

[19] Колмогоров А.Н. Об аналитических методах в теории вероятностей. // УМН, 1938, вып. 5, с. 5-41.

[20] Крейн С.Г., Хазан М.И. Дифференциальные уравнения в банаховом пространстве. // Итоги науки и техн, Мат. анализ, 1983, т. 21, с. 130-264.

[21] Лаврентьев М.А., Шабат Б.В. Методы теории функций комплексного переменного. — М. Наука, 1973, 736 с.

[22] Леви П. Стохастические процессы и броуновское движение. М.: Наука, 1972, 375 с.

[23] Розанов Ю.А. Марковские случайные поля. — М.: Наука, 1981, 256 с.

[24] Чжун К.Л. Однородные цепи Маркова. — М.: Мир, 1964, 426 с.

[25] Barnett V.D. The joint distribution of occupation totals for a simple random walk. // J. Australian Math. Soc., 1964, Vol. 4, p. 518-528.

[26] Berliner A., Brualdi R. A combinatorial proof of the Dodgson/Muir determinant identity. // International journal of information and system sciences, 2008, Vol. 4, No. 1, p. 1-7.

[27] Bhat B.R. Some properties of regular Markov chains. // Ann. Math. Stat., 1961, Vol. 32, p. 59-71.

[28] Borodin A.N., Salminen P. Handbook of Brownian Motion: Facts and Formulae. — Birkhauser Boston, 2002, 672 p.

[29] Garrisi D. Ordinary differential equations in Banach spaces and the spectral flow. // arXiv:0803.1685v2 [math.FA], 2010.

[30] Good I.J. The frequency count of a finite Markov chain and the transition to continuous time. // Ann. Math. Stat., 1961, Vol. 32, p. 41-48.

[31] Kindermann R., Laurie S.J. Markov Random Fields and Their Applications, Vol. 1. — American Mathematical Society, 1980, 142 p.

[32] Knight F.B. Random walks and a sojourn density process of Brownian motion. // Trans. Amer. Math. Soc., 1963, Vol. 109, No 1, p. 56-86.

[33] Levy P. Construction du processus de W. Feller et H.P. McKean en partant du mouvement Brownian // Probability and Statistics: The Harald Cramer volume, 1959, p. 162-174.

[34] Lévy P. Sur certains processus stochastiques homogenes. // Compositio Mathematica, 1939, Vol. 7, No. 2, p. 283-339.

[35] Li S.Z. Markov Random Field Modeling in Image Analysis. — Springer, 2009, 371 p.

[36] McGill P. A direct proof of the Ray-Knight theorem. // Seminaire de probabilités de Strasbourg, 1981, Vol. 15, p. 206-209.

[37] Ray D.B. Sojurn times of a diffusion process. // Illinois J. Math., 1963, Vol. 7, No. 4, p. 615-630.

[38] Solomon F. Random walks in a random environment. // The Annals of Probability, 1975, Vol. 3, No. 1, p. 1-31.

[39] Sznitman A. Topics in random walks in random environment. // School and Conference on Probability Theory, ICTP Lect. Notes, XVII, 2004, p. 203-266.

[40] Tanabe H. On the equations of evolution in a Banach space. // Osaka Math. J., 1960, Vol. 12, No. 2, p. 363-376.

[41] Vallois P. Une extension des theoremes de Ray-Knight sur les temps locaux du mouvement Brownian. // Probability Theory and Related Fields, 1991, Vol. 88, No. 4, p. 445-482.

[42] Vorotov A. Occupation time Markov property for countable Markov chains. // 4th Nordic Triangular Seminar in Applied Stochastics, 2013, Programme and Abstracts, p. 5.

[43] Walsh J.B. Downcrossings and the Markov property of local time. // Asterisque, 1978, Vol. 52-53, p. 89-115.

[44] Walsh J.B. Excursions and local time. // Asterisque, 1978. Vol. 52-53, p. 159-192.

[45] Williams D. Markov properties of Brownian local time. // Bull. Amer. Math. Soc., 1969, Vol. 75, No. 5 , p. 1035-1036.

[46] Williams D. Path decomposition and continuity of local time for one-dimensional diffusions, I. // Proc. London Math. Soc., 1974, Vol. 28, No. 4, p. 738-768.