Предельные теоремы для марковских процессов тема диссертации и автореферата по ВАК РФ 01.01.05, кандидат физико-математических наук Бутковский, Олег Александрович

• Бутковский, Олег Александрович
• кандидат физико-математических наук
• 2013

Оглавление диссертации кандидат физико-математических наук Бутковский, Олег Александрович

Оглавление

Введение

1 Сходимость маргинальных распределений марковских процессов в метрике Васерштейна

1.1 Мотивация

1.2 Оценки скорости сходимости для процессов с дискретным и непрерывным временем

1.3 Примеры и приложения

1.3.1 Модель авторегрессии

1.3.2 Стохастические уравнения с запаздыванием

1.4 Доказательства теорем 1.2.1 и 1.2.4

2 Сходимость маргинальных распределений нелинейных марковских процессов

2.1 Сходимость распределений нелинейных марковских цепей

2.2 Уравнение Власова-Маккина с малым возмущением

2.3 Доказательства теорем 2.1.1 и 2.2.1

2.4 Севастьямовский ветвящийся процесс с иммиграцией

3 Сильная и слабая эргодичность марковских цепей

3.1 Построение каплинга и достаточные условия эргодичности

3.1.1 Модификация каплинга Васерштейна

3.1.2 Достаточные условия эргодичности

3.2 Примеры и приложения

3.3 Доказательства

3.3.1 Построение каплинга

3.3.2 Установление основных теорем третьей главы

Список основных обозначений

:= "положить по определению"; N множество натуральных чисел; Z - множество целых чисел;

множество целых неотрицательных чисел; К множество действительных чисел;

множество действительных неотрицательных чисел; 1(А) - индикатор множества А; 6Х дельта мера, сосредоточенная в точке х\

В(Е) а-алгебра борелевских подмножеств метрического пространства

Т(Е) множество всех вероятностных мер на (Е, В{Е) )\

Т/(Е) множество вероятностных мер на {Е) В(Е)). интегрирующих

неотрицательную измеримую функцию /;

а А Ь = тт(о, 6), а V Ь = тах(а, 6), а+ = а V 0, где а, Ь е М;

{а}, [а], [а] соответственно дробная часть, нижняя целая часть и верхняя

целая часть действительного числа а;

(•, •} стандартное скалярное произведение в М";

г1ту{цм), с1]([1.1у), У/^р^и) расстояния между вероятностными мерами ц и и соответственно в метриках полной вариации, взвешенной полной вариации и Васерштейна;

(О. Т. Р) вероятностное пространство;

Ьал¥р(Х) распределение случайной величины X по мере Р; X = У равенство по распределению случайных величин X и У; Рг{х,А) переходная функция однородного марковского процесса;

Введение диссертации (часть автореферата) на тему «Предельные теоремы для марковских процессов»

Введение

Марковские процессы играют важную роль в современной теории вероятностей. Модели, описываемые с помощью марковских процессов, находят применив в различных задачах физики, химии, биологии, финансовой математики. Эти процессы были введены A.A. Марковым [18, 19], а основы теории марковских процессов были заложены А.Н. Колмогоровым в статье [62]. В дальнейшем марковские процессы изучались в работах В. Деблина, Дж. Дуба, P.J1. Добрушина, Т. Харриса, Е.Б. Дынкипа, A.A. Юшкевича, JI.H. Васерштейпа, Р.З. Хасъминского, Д. Алдоуса, Е. Нуммелина, П. Туоми-нена, Ш. Мейиа, Р. Твиди, П. Диакониса, Э. Мулина, А.Ю. Веретенникова, Г. Робертса, М. Хайрера, Дж. Матипгли, Ю. Переса и многих других ученых. Упомянем здесь также классические и современные монографии, посвященные марковским процесам: [13, 14, 25, 65, 68].

Традиционными примерами марковских процессов являются броуновское движение (вииеровский процесс) и иуассоповский процесс. К ним также относятся решения стохастических дифференциальных уравнений, процессы Jle-ви, процессы рождения-гибели и многие другие.

Известно, что при широких предположениях, см., например, [3. 4, 26], марковский процесс имеет единственную инвариантную меру и слабо сходится к ней. Изучение скорости сходимости, маргинальных распределений марковских процессов к этой мере является значительно более сложной задачей. Более того, во многих, казалось бы, "простых'" ситуациях, даже тогда, когда пространство состояний конечно, неизвестны никакие оценки скорости сходимости. Так, во время Санкт-Петербургской летней школы по вероятности и статистической физике (2012) профессором Ю. Пересом был сформулирован целый ряд открытых проблем именно такого рода. В этой связи отметим также недавнюю диссертацию Е. Вил мер [87] под руководством П. Диакониса,

посвященную оценкам скорости сходимости распределений конечной марковской цени специального вида.

Изучение упомянутой скорости сходимости важно не только с теоретической, но и с практической точки зрения, так как подобного рода результаты позволяют оценить погрешность алгоритмов Монте Карло по схеме марковской цепи (Monte Carlo Markov Chain, MCMC). Эти алгоритмы (Метрополиса-Гастингса, Ланжевена, построения выборки но Гиббсу и другие) играют важную роль в вычислительных задачах химии, физики, биологии, информатики, криптографии, см., например, монографию П. Бремо [31], а также обзоры П. Диакониса [39] и Г. Робертса и Дж. Розепталя [80] и ссылки там же.

Настоящая диссертационная работа посвящена, главным образом, получению явных верхних оценок скорости сходимости маргинальных распределений марковских процессов в различных вероятностных метриках. Помимо этого изучается и сходимость таких распределений для процессов, родственных марковским. Большое внимание уделено нелинейным марковским процессам.

Получение соответствующих нижних оценок скорости сходимости также является важной задачей, так как позволяет показать насколько плох может быть тот или иной алгоритм МСМС. Однако это направление исследований находится за рамками данной диссертации. Упомянем здесь только работы [51, раздел 5], [85].

Для того чтобы кратко описать выполненное исследование, введем необходимые обозначения. Пусть задано измеримое пространство (Е,£). Для измеримой функции /: Е —> [0, оо) введем Vf(E) как множество вероятностных мер на (Е,£), которые интегрируют /. Множество всех вероятностных мер, заданных на (Е,£), мы будем обозначать V{E). Если ß Е Vf{E), то определим также /х(/) := fEf{x) ß(dx).

Введем марковские переходные операторы стандартным образом, а именно, для переходного ядра Р: Е х £ —[0,1], измеримой функции ip: Е —> К и вероятностной меры v £ V(E) положим

Р<р(х):= / ip(t)P(x,dt); Pv{dx) := / P{t,dx)v(dt). Je JE

Напомним (см., например, обзор В.И. Богачева и A.B. Колесникова [2, глава 1]), что для полу метрики d па пространстве Е полу расстояние Ва-серштейна, (Мопжа-Канторовича-Рубинштейпа) Wj между вероятностными мерами ¡1, V G V{E) определяется следующим образом:

Wd(ß,v)\= inf / d(x,y)\(dx,dy), хеС(цм) JEXE

где Су) это множество всех вероятностных мер на (Е х Е, Е <g> Е) с проекциями ß и v. Если функция d является метрикой, то и Wd также является метрикой ([2, стр. 11]).

Для вероятностных мер ц, и G Vf(E) и измеримой функции f: Е [0,оо) определим также взвешенное расстояние в метрике полной вариации

df(fi,u) := sup / g(x)(ß(dx) — v(dx)).

о- Ы</ JE

В частности, если функция / тождественно равна 1, то взвешенное расстояние в метрике полной вариации совпадает с обычным расстоянием в метрике полной вариации, которое мы будем обозначать djv-

drv(p,v) :=2 sup \ц(А) - v(A))\, eV(E).

АеВ(Е)

Отметим также, что если пространство Е снабжено дискретной метрикой do(x,y) := 1(ж -ф у), х.у G Е, то расстояние Васерштейиа равно половине расстояния в метрике полной вариации, т.е. Wd0(ß, ъ>) — dTv{ß,v)/2 для ^ueV(E).

Будем предполагать, что все случайные объекты рассматриваются на некотором вероятностном пространстве (О,^7, Р). Пусть X = (Хп)пец\ ОДе Т = Z+ или Т = М+, это однородный марковский процесс (с дискретным или непрерывным временем), заданный на измеримом пространстве (Е, Е), с переходными функциями Pt(x.A) := Px(Xt G А), где х G Е, A G Е, t G Т. Как обычно, для t = 1 мы будем опускать верхний индекс и писать Р(х,А).

Говорят, что мера 7Г G V(E) является инвариантной или стлциионарной ([68, стр. 229]) для процесса X, если

Рг7Т = 7Г, t G Т.

Марковский процесс X называется экспоненциально эргодическим ([68, стр. 363]), если у пего существует стационарное распределение7Г и для любого х е Е и некоторых С — С(х) > 0, в > 0 выполнено соотношение

(Ьу(Р\х, •), 7г) < С{х)е~*, г € т. (0.0.1)

Если же функция С в (0.0.1) может быть выбрана не зависящей от ж, то процесс X называют равномерно эргодическим ([68, стр. 393]). Наконец, если вместо (0.0.1) выполнено более слабое соотношение йту{Р*(х, •), 7г) —> 0 при t оо для любого х £ Е, то говорят, что процесс X является слабо эргодическим ([68, стр. 316]).

Перейдем теперь к описанию содержания диссертации. Диссертация, объемом 105 страниц, состоит из введения, трех глав и списка литературы, насчитывающего 88 наименований.

В первой главе изучаются марковские процессы, которые имеют единственную инвариантную меру, слабо сходятся к ней, но не являются эрго-дическими ни в каком смысле. Оказывается, что многие бесконечномерные марковские процессы, например, сильные решения стохастических функциональных дифференциальных уравнений (СФДУ) обладают именно такими свойствами (см. параграф 1.3).

Как подробно объяснено в параграфе 1.1, для таких процессов имеет смысл рассматривать сходимость маргинальных распределений именно в метрике Васерштейна. При этом имеющиеся методы исследования скорости сходимости в метрике полной вариации не могут быть применены непосредственно. Это связано с тем, что эти методы существенным образом используют либо неразложимость марковского процесса ([41, 42, 44, 59, 68]), либо существование спектральной щели в некотором подходящем пространстве ([53]). Поэтому для изучения сходимости в метрике Васерштейна автором был предложен новый способ, развивающий идеи [54]. С его помощью удалось обобщить соответствующие результаты работ [41, 42, 44, 54] и установить явные субгеометрические оценки скорости сходимости распределений марковских процессов в этой метрике.

Во второй части главы 1 установленные теоремы применяются к исследованию эргодических свойств сильных решений СФДУ. Достаточные условия,

гарантирующие, что сильное решение СФДУ имеет единственную инвариантную меру изучались в ряде работ. Упомянем здесь статьи A.A. Гущина [49], М. Шётцова [43], Ю.Ю. Бахтина и Дж. Маттингли [29]. Нами установлены новые оценки скорости сходимости распределений сильных решений СФДУ к единственной инвариантной мере.

Для формулировки полученных результатов напомним следующий факт о предельном поведении распределений1 сильных решений стохастических дифференциальных уравнений (СДУ). Пустьn,meN. Рассмотрим СДУ вШ1

dX(t) = f{X(t))dt + g(X(t))dW(t), (0.0.2)

где /: Жп —> К", д: К" —)• К'!Х"', W это m-мерпое броуновское движение. Пусть коэффициенты сноса / и диффузии д являются линшицевыми. Введем

х / / N Т/ \ v v \ к Ъ-дМдЧу)

Х+ = sup(g(v)g1 {v)—, -г-), А = sup v

уешп \У\ \У\' „ека п

иф о

Будем говорить, что функция /г: Еп —> удовлетворяет условию Вере-тенникова Хасьмииского, если найдутся такие постоянные л £ [0,1], М > 0, г > 0, что

(Ь(х),х) < -ф|а. х е Кп, |ж| ^ М. (0.0.3)

Здесь (•,•) обозначает стандартное скалярное произведение в К77.

Теорема 0.0.1 ([9, 10, 41]). Предположим, что коэффициент диффузии, д СДУ (0.0.2) ограничен и невырожден.

(г) Если коэффициент сноса / удовлетворяет (0.0.3) с а £ (ОД], то сильное решение СДУ (0.0.2) имеет единственную инвариантную меру 7г и является слабо эргодическим. Более того найдутся такие постоянные С\ > 0, С2> 0, что

с1ту(Р*(х, -),тг) ^ Сг1ехр{С1||ж||а - С2^/(2_л))}. х е М", г > 0.

(гг) Если коэффициент сноса / удовлетворяет (0.0.3) с а = 0 и г > пА/2 то сильное решение СДУ (0.0.2) также имеет единственную инвариантную меру 7г и является, слабо эргодическимВ этом, случае Ьа\^'(.Хг) сходится к 7Г лишь полиномиально. А именно, для, любого е > 0 существует

1 Напомним что в дисертации изучаются маргинальные распределения

такое С > 0, что

Фгу(Р*(х, -),7т) < С(1 + ||ж||2+2г0)Г'0+е, х G i > О, где т0 = (г - пА/2)Л+1.

Мы обобщаем данную теорему на случай сильных решений СФДУ. А именно, мы показываем, что если снос и диффузия СФДУ удовлетворяют аналогичным условиям, то распределение сильного решения СФДУ сходится к единственной инвариантной мере в метрике Васерштейна экспоненциально, субэкспоненциально или полиномиально, в зависимости от значения параметра а в (0.0.3).

Во второй главе исследуются свойства нелинейных марковских процессов с дискретным и непрерывным временем. Нелинейные марковские процессы (т.е. процессы, чьи переходные функции зависят не только от текущего состояния процесса, но также и от текущего распределения процесса) были введены Г.П. Маккином [67] в связи с некоторыми задачами статистической механики. В дальнейшем такие процессы изучались в работах целого ряда авторов, упомянем здесь монографии В.Н. Колокольцова [63] и A.C. Шнит-мана [82]. Нелинейные процессы возникают естественным образом при изучении предельного поведения большого числа слабо взаимодействующих друг с другом марковских процессов ([37], [46], [84]) и имеют приложения в различных областях физики и математики (см., например, [45] и ссылки там же).

Как показано в [70] па примере нелинейного случайного блуждания, изучаемый класс процессов может обладать необычными эргодическими свойствами. Так, неразложимая нелинейная марковская цепь может иметь бесконечное число инвариантных мер, что невозможно в случае "классических" однородных марковских цепей (см. [68, предложение 10.1.1 и теорема 10.4.9]).

В диссертации получены достаточные условия для существования и единственности инвариантной меры. Кроме того, установлены оценки скорости сходимости распределений нелинейной марковской цени в метрике полной вариации.

Во второй половине второй главы исследуются эргодические свойства стохастических уравнений Власова-Маккина (УВМ). Напомним, что УВМ это

стохастическое дифференциальное уравнение, в котором коэффициенты сноса и диффузии могут зависеть от текущего распределения процесса. Мы частично переносим утверждение теоремы 0.0.1 на случай таких уравнений и получаем явные оценки скорости сходимости распределений сильных решений УВМ в метрике полной вариации.

В третьей главе с помощью новой модификации каплинга Васерштейна, находятся достаточные условия для равномерной эргодичности однородной марковской цепи. Эти условия выражены в терминах спектрального радиуса вспомогательного оператора. Напомним, что метод каплинга для изучения эргодических свойств марковских цепей был предложен В. Дёблиным [40]. В дальнейшем этот метод получил развитие в работах Дж. Дуба [13], JI.H. Васерштейна [8], Дж. Питмана [75], Д. Гриффитса [48], Е. Нумеллина [71] и других ученых. Дж. Питман и Д. Гриффите предложили также различные конструкции максимального каплинга, являющегося оптимальным в некотором смысле. Однако, как показано в [48], никакая конструкция максимального каплинга не может быть марковской. Это существенно усложняет получение оценок скорости сходимости.. С другой стороны, в работе Васерштейна [8] была предложена марковская конструкция каплинга, близкого к оптимальному.

Мы модифицируем подход Васерштейна и применяем его идеи к процессам, имеющим произвольное пространство состояний. Это позволяет нам найти новые достаточные условия для равномерной эргодичности марковского процесса. При этом оказывается, что скорость убывания в в (0.0.1) связана со спектральным радиусом некоторого оператора полугруппы. Дальнейшая модификация конструкции каплинга позволяет работать также и со слабо эргодическими марковскими процессами и получать оценки, зависящие от начального состояния процесса.

Результаты диссертации докладывались на ряде международных конференций и опубликованы в следующих работах автора: [5]-[7] и [32]-[36].

Благодарности. Автор очень признателен профессору A.B. Булинскому и профессору А.Ю. Веретениикову за постановку задач, помощь в работе, многолетнюю поддержку, ценные советы и неизменное внимание, а также профессору A.M. Кулику и доценту А.П. Шашкипу за полезные обсуждения.

Список литературы диссертационного исследования кандидат физико-математических наук Бутковский, Олег Александрович, 2013 год

Литература

[1] И.С. Бадалбаев, A.M. Зубков (1983). Предельные теоремы для последовательности ветвящихся процессов с иммиграцией. Теория вероятн. и ее примем. 28 382-388.

[2] В.И. Богачев, A.B. Колесников (2012). Задача Монжа Канторовича: достижения, связи и перспективы. Успехи матем. наук. 67 3 110.

[3] A.A. БОРОВКОВ (1999). Эргодичность и устойчивость случайных процессов. М.: Изд-во УРСС.

[4] A.B. булинский, А.Н. Ширяев (2005). Теория случайных процессов. М.: Физматлит.

[5] O.A. БУТКОВСКИЙ (2012). О сходимости нелинейных марковских цепей. Докл. Акад. Наук. 447 483 485.

[6] O.A. БУТКОВСКИЙ (2012). Предельное поведение критического ветвящегося процесса с иммиграцией. Матем,. заметки. 92 670 677.

[7] O.A. БУТКОВСКИЙ (2010). Асимптотическая оценка расстояния по вариации между однородными марковскими процессами. Тезисы докладов секции "Математика и механика" конференции "Ломоносов-2010". Москва, 1.

[8] JI.H. ВАСЕРШТЕЙН (1969). Марковские процессы на счетном произведении пространств, описывающие большие системы автоматов. Пробл. передач,и информ. 5 64-72.

[9] А.Ю. Веретенников (1987). Об оценках скорости перемешивания для стохастических уравнений. Теория вероятн. и ее примен. 32 299 308.

[10] А.Ю. ВЕРЕТЕННИКОВ (2000). О полиномиальном перемешивании и скорости сходимости для стохастических дифференциальных и разностных уравнений. Теория вероятн. и ее примен. 44 312-327.

[И] В.А. Волконский, Ю.А. Розанов (1959). Некоторые предельные теоремы для случайных функций. Теория вероятн. и ее примен. 4 187 207.

[12] P.J1. ДОБРУШИН (1956). Центральная предельная теорема для неоднородных цепей Маркова I. Теория вероятн. и ее примен. 1 72 89.

[13] Дж. ДУБ (1956). Вероятностные процессы. М.: Изд-во иностр. лит-ры.

[14] Е.Б. ДЫНКИН (1963) Марковские процессы. М.: Физматлит.

[15] Е.Б. Дынкин, A.A. ЮШКЕВИЧ (1956). Строго марковские процессы. Теория вероятн. и ее примен. 1 149 155.

[16] А.Н. Колмогоров, C.B. Фомин (1976). Элементы теории, функций и функционального анализа. М.: Наука.

[17] М.Н. МАЛЫШКИН (2000). Субэкспоненциальные оценки скорости сходимости к инвариантной мере для стохастических дифференциальных уравнений. Теория вероятн. и ее примен. 45 489-504.

[18] A.A. МАРКОВ (1906). Распространение закона больших чисел на величины, зависящие друг от друга. Изв. физ.-матем. o6wr Казан, унив. 15 135 156.

[19] A.A. МАРКОВ (1951). Избранные труды. Л.: Изд-во АН СССР.

[20] C.B. НАГАЕВ (1975). Предельная теорема для ветвящихся процессов с иммиграцией. Теория вероятн. и ее примен. 20 178 180.

[21] Ф.В. ПЕТРОВ (2012). Лемма о сходимости числовой последовательности, www.mathoverflow.net/questions/104109/convergence-rate-of-an -iterative-process/104113

[22] M.С. ПИНСКЕР (1960). Информация и информационная устойчивость случайных вели,чин, и процессов. М.: Изд-во АН СССР. Вып. 7.

Л

[23] Н.Н. ПОПОВ (1977). Условия геометрической эргодичности для счетных цепей Маркова. Докл. Акад. Наук. 234 316 802.

[24] Б.А. Севастьянов (1971). Ветвящиеся процессы. М.: Наука.

[25] Р.З. хасьминский (1969). Устойчивость систем дифференциальных уравнений при случайных возмущениях их параметров. М.: Наука.

[26] А.Н. ШИРЯЕВ (2004). Вероятность, 3-е изд. М.: МЦНМО.

[27] В.М. ШУРЕНКОВ (1976). Две предельные теоремы для критических ветвящихся процессов. Теория вероятн. и ее примем. 21 548-558.

[28] К.В. Athreya, P.R.Parthasarathy, G.Sankaranarayanan (1974). Supercritical age-dependent branching processes with immigration. J. Appl. Prob. 11 695-702.

[29] Yu.Yu. Bakhtin, J.Mattingly (2005). Stationary solutions of stochastic differential equations with memory and stochastic partial differential equations. Commun. Contemp. Math. 7 553-582.

[30] D. Bakry, P. Cattiaux, A. Guillin (2008). Rate of convergence for ergodic continuous Markov processes: Lyapunov versus Poincare. J. Fund. Anal. 254 727-759.

[31] P. Bremaud (1999). Markov chains: Gibbs fields, Monte Carlo simulation, and queues. N.Y.: Springer.

[32] O.A. Butkovsky (2013). Subgeometric rates of convergence of Markov processes in the Wasserstein metric. Ann. Appl. Probab. Available online at www.imstat.org/aap/future_papers.html.

[33] O.A. Butkovsky, A.Yu. Veretennikov (2013). On asymptotics for Vaserstein coupling of Markov chains. Stoch. Process. Appl. doi:10.1016/j.spa.2013.04.016

[34] O.A. Butkovsky (2012). On ergodic properties of nonlinear Markov chains. Abstracts of Communications of the Int. conference 'Modern Stochastics: Theory and Applications III", 37-38.

[35] O.A. Butkovsky (2011). Coupling method for strongly ergodic Markov processes. Abstracts of Communications of the Int. conference "Stochastic Analysis, Modelling and Simulation of Complex Structures 32.

[36] O.A. Butkovsky (2011). Coupling method for estimating beta-mixing coefficients of Markov processes. Abstracts of Communications of the 3rd Northern Triangular Seminar, 6-7.

[37] P. Cattiaux, A. Guillin, F. Malrieu (2008). Probabilistic approach for granular media equations in the non-uniformly convex case. Prob. Theory Rel. Fields 140 19-40.

[38] O.L.V. Costa, F. Dufour (2005). On the ergodic decomposition for a class of Markov chains. Stoch. Process. Appl. 115 401-415.

[39] P. Diaconis (2009). The Markov chain Monte Carlo revolution. Bull. Amer. Math. Soc. (N.S.) 46 179-205.

[40] W. Doeblin (1938). Exposé de la théorie des chaînes simples constantes de Markov â un nombre fini d'états. Rev. Math. Union Interbalkanique. 2 77-105.

[41] R. Doue, G. Fort, A. Guillin (2009). Subgeometric rates of convergence of f-ergodic strong Markov processes. Stoch. Process. Appl. 119 897-923.

[42] R. Doue, G. Fort, E. Moulines, P. Soulier (2004). Practical drift conditions for subgeometric rates of convergence. Ann. Appl. Probab. 14 1353-1377.

[43] A. Es-Sarhir, O. van Gaans, M. Scheutzow. (2010). Invariant measures for stochastic functional differential equations with superlinear drift term. Differential Integral Equations 23 189-200.

[44] G. Fort, G.O. Roberts (2005). Subgeometric ergodicity of strong Markov processes. Ann. Appl. Probab. 15 1565-1589.-

[45] T.D. Frank (2004). Stochastic Feedback, Nonlinear Families of Markov processes, and Nonlinear Fokker-Planck Equations. Physica A 331 391— 408.

[46] A. Ganz (2008). Approximation of equilibrium distributions of some stochastic systems with McKean-Vlasov interactions. Ph.D. Thesis. Université de Nice.

[47] M.I. Goldstein (1971). Critical age-dependent branching processes: Single and multitype. Prob. Theory Rel. Fields 17 74-88.

[48] D. Griffeath (1975). A maximal coupling for Markov chains. Z. Wahrsch. Verw. Gebiete. 31 95—106.

[49] A.A. Gushchin, U. Kuchler. (2000). On stationary solutions of delay differential equations driven by a Lévy process. Stoch. Process. Appl. 88 195-211.

[50] P. Haccou, P. Jagers, V. A. Vatutin (2005). Branching Processes: Variation, Growth, and Extinction of Populations. Cambridge: Cambridge Univ. Press.

[51] M. Hairer (2010). Convergence of Markov processes. Lecture Notes, University of Warwick. Available at

http://www.hairer.org/notes/Convergence.pdf.

[52] M. Hairer (2006). Ergodic properties of Markov processes. Lecture Notes, University of Warwick. Available at

http://www.hairer.org/notes/Markov.pdf.

[53] M. Hairer, J.C. Mattingly (2011). Yet another look at Harris' ergodic theorem for Markov chains. Seminar on Stochastic Analysis, Random Fields and Applications VI. Progress in Probability 63 109-117.

[54] M. Hairer, J.C. Mattingly , Scheutzow, M. (2011). Asymptotic coupling and a general form of Harris' theorem with applications to stochastic delay equations. Prob. Theory Rel. Fields 149 223-259.

[55] L. Hanin, O. Hyrien, J. Bedford, A. Yakovlev (2006). A comprehensive stochastic model of irradiated cell populations in culture. J. Theor. Biol 239 401-416.

[56] T.E. Harris (2002). The theory of branching processes. Berlin: Springer.

[57] O. Hernändez-Lerma, J.B. Lasserre (2000). On the classification of Markov chains via occupation measures. Appl. Math. (Warsaw) 27 489-498.

[58] I.A. Ibragimov, Yu.V. Linnik (1971). Independent and Stationary Sequences of Random Variables. Wolters-Noordhoff Publishing, Groningen.

[59] S. Jarner, G. Roberts (2002). Polynomial convergence rates of Markov chains. Ann. Appl. Probab. 12 224-247.

[60] B. Jourdain, S. Meleard, W.A. Woyczynski (2008). Nonlinear SDEs driven by Levy processes and related PDEs. ALEA Lat. Am. J. Probab. Math. Stat 4 1-29.

[61] S.A. Klokov, A.Yu. Veretennikov (2004). On the sub-exponential mixing rate for a class of Markov diffusions. J. Math. Sei. 123 3816-3823.

[62] A.N. Kolmogoroff (1931). Über die analytischen Methoden in der Wahrscheinlichkeitsrechnung. Math. Ann. 104 415-458.

[63] V.N. Kolokoltsov (2010). Nonlinear Markov processes and kinetic equations. Cambridge Tracts in Mathematics 182. Cambridge: Cambridge Univ. Press.

[64] A.M. Kulik (2009). Exponential ergodicity of the solutions to SDE's with a jump noise. Stoch. Process. Appl. 119 602-632.

[65] D. Levin, Y. Peres, E. Wilmer (2008). Markov Chains and Mixing Times. Providence: American Math. Soc.

[66] T. Lindvall (2002). Lectures on the coupling method. N.Y.: Dover Publications.

[67] H.P. McKean (1966) A class of Markov processes associated with nonlinear parabolic equations. Proc. Natl. Acad. Sci. USA. 56 1907-1911.

[68] S. Meyn, R.L. Tweedie (2009). Markov Chains and Stochastic Stability, 2nd Edn. N.Y.: Cambridge Univ. Press.

[69] Yu.S. Mishura, A.Yu. Veretennikov (2013). Existence and uniqueness theorems for solutions of McKean-Vlasov stochastic equations. Preprint.

[70] S.A. Muzychka, K.L. Vaninsky (2011) A class of nonlinear random walks related to the Ornstein-Uhlenbeck process. Markov Process. Rel. Fields 17 277-304.

[71] E. Nummelin (1984). General irreducible Markov chains and non-negative operators. Cambridge: Cambridge Univ. Press.

[72] E. Nummelin, P. Tuominen (1982). Geometric ergodicity of Harris recurrent Markov chains with applications to renewal theory. Stoch. Process. Appl. 12 187-202.

[73] E. Nummelin, P. Tuominen (1983). The rate of convergence in Orey's theorem for Harris recurrent Markov chains with applications to renewal theory. Stoch. Process. Appl. 15 295-311.

[74] E. Pardoux, A.Yu. Veretennikov (2001). On the Poisson equation and diffusion approximation, I. Ann. Probab. 29 1061-1085.

[75] J.W. Pitman (1976). On Coupling of Markov Chains. Z. Wahrsch. Verw. Gebiete 35 315-322.

[76] I. Rahimov (1995). Random sums and branching stochastic processes. Lecture Notes in Statist. 96. N.Y.: Springer.

[77] M.-K. von Renesse, M. Scheutzow (2010). Existence and uniqueness of solutions of stochastic functional differential equations. Random Oper. Stoch. Equ. 18 267-284.

[78] D. Revuz, M. Yor (1999). Continuous Martingales and Broumian motion, 3rd Edn. Comprehensive Studies in Mathematics, 293. N.Y.: Springer.

[79] G.O. Roberts, J.S. Rosenthal (2006). Harris recurrence of Metropolis-within-Gibbs and trans-dimensional Markov chains. Ann. Appl. Probab. 16 2123-2139.

[80] G.O. Roberts, J.S. Rosenthal (2004). General state space Markov chains and MCMC algorithms. Probab. Surv. 1 20-71.

[81] M. Scheutzow (2005). Exponential growth rates for stochastic delay equations. Stock. Byn. 5 163-174.

[82] A.-S. Sznitman (1991). Topics in propagation of chaos. In: Éc. Été Probab. St .-Flour XIX. Lecture Notes in Math. 1464 165-251. Berlin: Springer.

[83] A.Yu. Veretennikov (1997). On polynomial mixing bounds for stochastic differential equations. Stock. Process. Appl. 70 115-127.

[84] A.Yu. Veretennikov (2006). On ergodic measures for McKean-Vlasov stochastic equations. In: Monte Carlo and Quasi-Monte Carlo Methods, 471-486. Berlin: Springer.

[85] A.Yu. Veretennikov (2006). On lower bounds for mixing coefficients of Markov diffusions. In: Prom Stochastic Calculus to Mathematical Finance; The Shiryaev Festschrift, 623-633. Berlin: Springer.

[86] F.-Y. Wang (2011). Harnaek inequality for SDE with multiplicative noise and extension to Neumann semigroup on nonconvex manifolds. Ann. Probab. 39 1449-1467.

[87] E. Wilmer (1999). Exact Rates of Convergence for Some Simple NonReversible Markov Chains. Ph.D. Thesis. Harvard University.

[88] A. Yakovlev, N. Yanev. Age and residual lifetime distributions for branching processes. Stat. Probab. Lett. 77 503-513.