Субоптимальные последовательные статистические решения, основанные на независимых наблюдениях тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат физико-математических наук Цитович, Федор Иванович

• Цитович, Федор Иванович
• кандидат физико-математических наук
• 2010

Оглавление диссертации кандидат физико-математических наук Цитович, Федор Иванович

Введение

1. Субоптимальные статистические решения

1.1. Ведение.

1.2 . Робастность и непараметрические гипотезы.

1.3 . Робастность и непараметрические гипотезы о распределениях на неограниченных множествах.

1.4. Асимптотически оптимальная последовательная проверка гипотез

1.5 . Понятие об субоптимальных статистических решениях

1.6 . Многоэтапные процедуры принятия решений.

1.7. Выводы.

2. Субоптимальность при равномерной оценке плотности распределений

2.1. Ведение.

2.2 . Случай последовательных процедур принятия решений

2.2.1. Оценка снизу для функции риска.

2.2.2. Описание субоптимальной процедуры ¿¿о

2.2.3. Допустимость субоптимальной процедуры ¿о

2.2.4. Оценка сверху для функции риска процедуры ¿о

2.2.5. Субоптимальность процедуры (¿о

2.3. Случай многоэтапных процедур принятия решений.

2.3.1. Описание процедуры <1о.

2.3.2. Допустимость процедуры ¿о.

2.3.3. Верхняя граница функции риска процедуры ¿о.

2.4. Выводы.

3. Субоптимальность при различной скорости убывания хвостов распределений

3.1. Введение.

3.2 . Задача проверки гипотез при экспоненциальной скорости убывания хвостов распределений.

3.2.1. Постановка задачи

3.2.2. Описание субоптимальной процедуры ¿¿о при экспоненциальной скорости убывания хвостов распределений

3.2.3. Свойства процедуры <1о при экспоненциальной скорости убывания хвостов распределений.

3.2.4. Замечания и выводы.

3.3 . Задача проверки гипотез для распределений с тяжелыми хвостами .'.

3.3.1. Описание процедуры <1о

3.3.2. Свойства процедуры с?о

3.3.3. Замечания и выводы.

3.4. Выводы.

4. Результаты численного моделирования и применения

4.1. Введение.

4.2. Численное исследование свойств субоптимальности при равномерной оценке плотности распределений.

4.3. Численное исследование свойств субоптимальности многоэтапных процедур принятия решений.

4.4. Численное исследование свойств субоптимальности при экспоненциально убывающих хвостах плотностей распределений

4.5 . Численное исследование свойств субоптимальности для тяжелых хвостов плотностей распределений.

4.6. Исследование эффективности упрощения статистической модели задачи.

4.7. Замечания о критерии х2.

4.8 . Выводы.

Введение диссертации (часть автореферата) на тему «Субоптимальные последовательные статистические решения, основанные на независимых наблюдениях»

Актуальность темы. Задача обеспечения надежных статистических выводов всегда рассматривалась как важнейшая задача в обработке данных наблюдений. В последнее время наиболее важными становятся такие задачи при разработке автоматизированных систем управления технологическими процессами и транспортными средствами. При этом необходимо иметь ввиду, что поступающие в режиме реального времени данные могут быть подвергнуты воздействию неконтролируемых внешних причин, которые, в свою очередь, могут приводить и к потере части данных или к существенному искажению данных. Учет особенностей формирования доступных данных приводит к тому, что такие особенности могут быть адекватно описаны с помощью лишь непараметрических множеств распределений.

Наиболее сложными для исследований являются задачи, в которых требуется получать решения с гарантированным качеством. Это принципиально отличает рассматриваемую постановку задачи от байесовского подхода, который позволяет сохранить предложенную Вальдом конструкцию решающего правила, но при этом критерием качества решающего правила является средняя вероятность ошибки. Поэтому актуальной является задача построения решающих правил, гарантирующих, что что вероятность ошибки для любого допустимого распределения наблюдений не превосходит заданный уровень.

Оказалось, что решение задачи в такой подстановке существенно сложнее, поскольку в этом случае необходимо исследовать поведение целого семейства отношений правдоподобия, которое, как указано выше, является бесконечномерным.

Понятно, что решение должно приниматься за минимально короткое время, что особенно важно при управлении процессами в режиме реального времени. Поэтому строящиеся правила должны иметь свойства, близкие к оптимальным по средней продолжительности необходимых наблюдений. Таким образом возникает проблема построения гарантийного статистического решения задачи последовательной проверки непараметрических гипотез, требующего минимального количества наблюдений при любом возможном неблагоприятном распределении.

Последовательная проверка гипотез стала развиваться с 1940-ых годов. Первые результаты, легшие в основу теории последовательных статистических решений, приведены в работах А. Wald [72], Н. Chernoff [36] и др. Большое количество работ посвящено асимптотической теории последовательной проверки гипотез (G. Schwarz [68], J. Kiefer, J. Sacks [44], G. Lorden [45], [48], A.A. Новиков [2], М.Б. Малютов, И.И. Цитович [6], [52]—[61] и др.). М.Б. Малютовым и И.И. Цитовичем (см. [52]) была предложена асимптотически оптимальная последовательная стратегия проверки непараметрических гипотез при наличии управления наблюдениями и зоны безразличия с гарантийным решающим правилом. В основе этой стратегии лежит тест Вальда, но для ее реализации используется на первом этапе построение состоятельной оценки истинного распределения. С практической точки зрения задача построения состоятельной оценки распределения может оказаться более сложной, чем проверка гипотез, особенно в случае, когда распределения близки, поэтому практическая реализация такой стратегии может оказаться неприемлемой.

Таким образом, для обеспечения надежности статистических выводов актуальной является задача построения гарантийного статистического решения задачи последовательной проверки непараметрических гипотез, поз-1 воляющая минимизировать среднее значение необходимого количества наблюдений при любом возможном неблагоприятном распределении, но в предположении, что основные характеристики распределений известны лишь с определенной точностью. Такая постановка задачи позволяет избежать трудностей, связанных с построением состоятельной оценки распределения наблюдений.

Цель работы. Разработать непараметрические статистические модели наблюдений в зависимости от априорной информации о возможных погрешностях в распределении наблюдений. Построить субоптимальные (близкие к оптимальным) последовательные гарантийные процедуры проверки гипотез для таких моделей и исследовать их свойства.

Методы исследования. В работе использованы методы теории вероятностей, математической статистики, теории оптимизации, компьютерное моделирование.

Научная новизна работы. Предложена постановка задачи проверки статистических гипотез, в которой можно обеспечить гарантийные статистические решения, близкие к оптимальным, не используя предварительную оценку распределения наблюдений. Полученные неасимптотические оценки функции риска процедуры позволяют проводить анализ статистических моделей задачи и выбирать ту из них, которая обеспечивает наиболее эффективное решение задачи проверки гипотез при заданных априорных сведениях о возможных ошибках в наблюдениях.

Личный вклад. Все научные результаты, приведённые в диссертационной работе, получены автором лично.

Практическая ценность и реализация результатов работы. Работа носит теоретический характер. Все полученные в работе оценки продолжителыюсти процедуры принятия решения являются неасимптотическими, а решающие правила явно заданными исходя из доступных априорных сведений о точности данных наблюдений, что позволяет их использовать на практике и строить статистические решения с близкими к оптимальным свойствами. Полученные оценки эффективности гарантийных статистических решений позволяют показать влияние априорных предположений о распределении наблюдений на вес наблюдений, которые рассматриваются как выбросы. Рассматриваемый подход позволяет проводить исследование областей изменения параметров статистической модели, в которых применение определенного статистического критерия является наиболее эффективным.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на: 14-й Международной конференции по вероятности и статистике (Созопол, Болгария, 2008), XI Всероссийском симпозиуме по прикладной и промышленной математике (Кисловодск, 2010), 30-й - 33-й конференциях молодых учёных и специалистов ИППИ РАН: Информационные технологии^ системы (2007)—(2010), научных семинарах ИППИ.

Публикации. По теме диссертации опубликовано 9 работ, в том числе 3 в изданиях из Списка ВАК.

Основные положения, выносимые на защиту:

1. Разработка понятия субоптимального статистического решающего правила, позволяющего получать близкие к оптимальным робастные статистические решения о проверке гипотез.

2. Субоптимальная последовательная процедура решения задачи проверки статистических гипотез с гарантийным решающим правилом при наличии априорной информации о равномерной относительной погрешности в плотности распределения наблюдений и ее многоэтапная модификация.

3. Свойства построенных субоптимальных процедур для задачи последовательной проверки статистических гипотез с гарантийным решающим правилом при наличии априорной информации о скорости убывания хвостов распределений.

4. Неасимптотические оценки функции риска и примеры оценки эффективности статистических моделей для решения задачи проверки гипотез с учетом доступной априорной информации.

5. Анализ свойств х2-критерия как субоптимальной процедуры при наличии некоторого априорного свойства регулярности.

Содержание работы.

В диссертации рассматривается задача построения робастного гарантийного статистического решения задачи последовательной проверки простых гипотез в предположении, что основные характеристики распределений известны лишь с определенной точностью. Для решения этой задачи предложен подход, заключающийся в переходе от задачи проверки простых гипотез к задаче проверки сложных непараметрических гипотез, когда новые гипотезы задаются окрестностями распределений, задающих исходные простые гипотезы.

В главе 1 проводится анализ возможный отклонений в определении основных характеристик модели. В разделе 1.2 в случае ограниченного множества возможных значений наблюдений X строится окрестность, содержащая распределения, относительное отклоненное плотностей которых от исходных заданных плотностей не превосходит заданное малое число е. В разделе показано, что при определенном значении параметров данные окрестности могут быть применены при наличии выбросов в модели Тьюки-Хубера, а также в ситуации, когда результат наблюдений искажается малым шумом.

В разделе 1.3 рассматривается случай, когда множество X неограниче-но. В данной ситуации предлагается учитывать оценки сходимости хвостов распределений. В разделе рассматриваются окрестности, содержащие распределения, относительное отклоненное плотностей которых от исходных заданных плотностей не превосходит заданное малое число г на отрезках Л{, на которых сосредоточена большая часть наблюдений; значения плотностей вне отрезков А{ не превосходят значения заданных функций и ¿/\ В качестве важного частного случае, рассматривается ситуация экспоненциального убывания хвостов наблюдения, т.е. функции ¿¿~ и ¿г+ имеют вид еК (х-аг) и ек+(а+-х) соответственно.

В разделе 1.4 проводится анализ асимптотически оптимальной процедуры для задачи проверки сложных непараметрических гипотез (когда функцией риска является максимальная средняя продолжительность). На основании этого анализа в 1.6 вводится понятие субоптимальной процедуры, позволяющей выделять из всего множества допустимых решений близкие к оптимальным робастные статистические решения, где допустимыми считаются последовательные процедуры проверки сложных непараметрических гипотез, задаваемых окрестностями исходных распределений, максимально возможная вероятность ошибки которых не превосходит заданную малую величину а.

В разделе 1.6 рассматриваются популярные на практике многоэтапные процедуры, позволяющие снизить стоимость процедуры в случае, когда выполнение наблюдений сериями и анализ возможности завершения наблюдений и принятия решения о справедливости одной из гипотез по завершению серии, меньше, чем стоимость процедуры, когда наблюдения проводятся последовательно, и после каждого наблюдения принимается решение о необходимости проведения дополнительно наблюдения или в противном случае, о принятии одной их гипотез. Показано, что задача поиска оптимального решения в случае наличия неопределенностей в значениях параметров наблюдаемого распределения делает неоправданно громоздкими процедуры, являющиеся близкими к оптимальным для проверки соответствующих простых гипотез, не учитывающих погрешности в наблюдениях.

В второй главе диссертации решается задача субоптимальной проверки непараметрических гипотез при ограниченном множестве X в случае, когда относительное отклонение плотности истинного распределения от модельного не превосходить величину е.

В разделе 2.3 рассматривается последовательная процедура, которая не разбивается на этапы. В разделе 2.3.2 приводится субоптимальная процедура, основанная на отношении правдоподобия. Из приведенного вида полученных статистик видно, что они отличаются от соответствующих статистик теста Вальда поправочных слагаемым, зависящим от е, обусловленным неточностью задания модели. В разделах 2.2.3-2.2.5 исследуются свойства построенной процедуры. В разделе 2.2.3 показано, что процедура является допустимой, в разделе 2.2.4 получена эффективно вычисляемая верхняя оценка функции риска процедуры при выполнении некоторых достаточно общих условий регулярности. На основании полученной верхней границы и соответствующей нижней границы функции риска теста Вальда для простых гипотез доказано свойство субоптимальности предложенной процедуры. Таким образом, средняя продолжительность наблюдений при применении предложенного робастного субоптимального решающего правила возрастает несущественно по сравнению с классическим решающим правилом, особенно при малых погрешностях в определении параметров распределения наблюдений.

В разделе 2.3 рассматривается многоэтапная процедура, которая состоит из 3-х этапов. На первом этапе выполняется минимально необходимое с точки зрения информационного уклонения между гипотезами количество наблюдений. Если после первого этапа не удается принять ни одну из гипотез, то на основании статистического материала первого этапа определяется продолжительность 2-го этапа, которая является случайной величиной. Процедура построена таким образом, что 2-й этап является основным, т.е. вероятность того, что процедура не завершится после 2-го этапа, мала. На 3-м этапе проводится фиксированное количество наблюдений на основании информационного уклонения между гипотезами.

Для построенной процедуры получены свойства допустимости, верхняя граница функции риска и доказано свойство субоптимальности. Анализ верхней границы функции риска позволяет сделать вывод, что введение дополнительного ограничения на правило окончания наблюдений на этапе не приводит к существенному изменению свойств решающего правила: главный член асимптотического разложения средней продолжительности наблюдений остается таки же, как и для последовательных процедур.

В третьей главе диссертации решается задача субоптимальной проверки непараметрических гипотез при неограниченном множестве X в случае, когда относительное отклонение плотности истинного распределения от модельного не превосходить величину е на отрезках Аг, а вне отрезков Аг значение плотности ограничено сверху заданными функциями.

В разделе 3.2 рассматривается частный случай, когда плотности распределений имеют экспоненциальную скорость убывания на хвостах, а также выполняется условие непрерывности плотности. В разделе 3.2.1 приводится субоптимальная процедура для окрестностей такого типа. Вид статистик Ьг(х 1,., хп) усложнился по сравнению с соответствующей процедурой главы 2 за счет учета скоростей убывания хвостов распределений.

Анализ поправочных коэффициентов позволяет определить вес выбросов, т.е. наблюдений, значения которых лежат вне отрезков А{. Наиболее типичным являются предложения использовать выделяющиеся наблюдения с ограниченным вкладом I в статистику Ьг(х\,., хп) или просто отбрасывать такие наблюдения ([15]). Последнее предложение является частным случаем первого: вес наблюдения считается равным нулю. Из вида полученных статистик Ьг(х 1,., хп) следует, что такой подход будет допустимым лишь при условии, что минимальные предполагаемые скорости убывания хвостов распределений имеют одинаковый порядок для распределений из обеих гипотез. В противном случае решающее правило может не гарантировать заданные границы для вероятности ошибки. В частности, приращения логарифма отношения правдоподобия могут быть неограниченными функциями на —оо и +оо при соответствующих значениях параметров, причем они могут быть неограниченными снизу и в этом случае предлагаемый выше подход даже со штрафными значениями I {I < 0) может не давать требуемый результат. Таким образом, предположения о минимальной предполагаемой скорости убывания хвостов распределений оказывают существенное влияние на сохранение робастпости решающего правила при использовании 1 отбрасывания отдельных результатов наблюдений или использовании их с ограниченными весами.

Для построенной процедуры в случае экспоненциально убывающих хвостов доказано свойство допустимости, получена неасимптотическая верхняя граница для функции риска и доказано свойство субоптимальности. Принципиальным отличием полученных результатов от результатов главы 2 является то, что получающаяся граница для функции риска субоптимальной процедуры в случае неопределенности на хвостах в пределе отличается от соответствующей границы для простых гипотез.

В разделе 3.3 рассматривается общий случай, когда оценка плотности на. хвостах распределений оцениваются произвольными функциями и х). В разделе 3.3.1 приведена модификация процедуры из введенной в главе 2, учитывающая отклонения в модели, описываемые функциями х) и ^(х). Для построенной процедуры доказано свойство допустимости и получена оценка сверху для функции риска. Анализ верхней оценки процедуры позволяет оценить стоимость неточностей в сведениях о параметрах распределения наблюдений. Это позволяет проводить сравнительный анализ различных моделей измеримого пространства (X, Б) для определения того из них, которое обеспечивает наименьшее среднее время наблюдений. Пример ситуации, когда переход к более простому множеству X оправдан с информационной точки зрения, поскольку на новом множестве значений наблюдений возможно лучше описать поведение функции плотности возможного распределения на хвостах, приведен в разделе 4.6.

В главе 4 выполнено исследование введенных в главах 2 и 3 процедур с помощью численного моделирования. Проведен сравнительный анализ эффективности оптимальной последовательной процедуры Вальда проверки простых гипотез и субоптимальных процедур проверки соответствующих сложных гипотез при различных предположениях об априорных сведениях о возможных погрешностях в распределении наблюдений. Кроме сравнительного анализа продолжительности процедур вычисляется и точность принимаемого решения.

Полученные результаты показывают, что применение классической процедуры Вальда может приводить к тому, что она не обеспечивает заданные уровни ошибок. Полученные результаты не могут быть объяснены статистической погрешностью, поскольку значение а не попадает в доверительный интервал для вероятности ошибки процедуры Вальда.

В разделе 4.7 рассматривается связь между ^-критерием и субоптимальными решающими правилами, рассматриваемыми в диссертации. Показано, что при наличии дополнительного условия регулярности: монотонности отношения правдоподобия, статистика х2-критерия в определенном смысле близка к статистике 1/2 (гг), ориентированной на принятие альтернативы, а статистика критерия знаков — к статистике Ь\ (п), ориентированной на принятие основной гипотезы. Также получены поправочные коэффициенты для статистики х2-критерия, позволяющие обеспечить его робастность в предположениях главы 2.

Заключение диссертации по теме «Теоретические основы информатики», Цитович, Федор Иванович

4.8. Выводы

1. Численное моделирование подтвердило теоретические положения об обеспечении предлагаемыми статистическими решениями заданного уровня ошибок.

2. Субоптимальные статистические решения при малых погрешностях в значениях параметров модели обеспечивают практически те же или близкие значения функции риска, что и стандартный тест Вальда. С другой стороны, при неправильном определении границ изменения параметров модели оба теста не обеспечивают заданную точность решения.

3. Необходимо максимально точно описывать параметры статистической модели задачи, поскольку завышение границ изменения параметров приводит к более жесткому решающему правилу, которое требует избыточного количества наблюдений.

4. Численные исследования показывают, что подход, основанный на простом отбрасывании наблюдений, которые признаются "неправильными", является необоснованным, поскольку или такие наблюдения должны быть компенсированы некоторым числом дополнительных наблюдений, или должна быть пересмотрена статистическая модель и заново сформулированы гипотезы, для которых полученные результаты наблюдений не являются выбросами.

5. Полученные результаты показывают, что неопределенность в точности определения скорости убывания хвостов распределений может приводить к тому, что гарантийная проверка гипотез делается невозможной, а при использовании более простой модели, которая не использует информацию о скорости убывания хвостов, такое решение задачи возможно.

6. Полученный результат позволяет сделать вывод о том, что необходим предварительный анализ статистической модели задачи для выяснения возможности и эффективности решения задачи гарантийной проверки гипотез при неопределенностях в параметрах модели. Становится содержательной задача выбора*статистической модели, в которой неопределенности в параметрах меньше, и несмотря на некоторое уменьшение информативности наблюдений окончательное решение в рамках новой модели оказывается боле эффективным:

7. Оценка эффективности модели может производится с помощью сравнения верхних и нижних оценок для функции риска предлагаемой субоптимальной процедуры, полученных в главе 3.

8. Критерий х2 построен на основании статистики, которая асимптотически является субоптимальной, что объясняет часто наблюдаемую эф' фективность этого критерия. Введение поправочных коэффициентов, вытекающих из соответствующей задачи построения субоптимальных решающих правил, позволяет устранить типичные погрешности критерия: низкую эффективность для малых и очень больших выборок. Кроме того, такой подход позволяет получить обоснование правил группи рования данных наблюдений таким образом, чтобы группировка данных не сказывалась существенным образом на эффективности критерия.

Заключение

1. Построены статистические модели окрестностей распределений, учитывающие априорную информацию о возможных ошибках в результатах измерений и о неопределенностях в описании распределения результатов наблюдений. Показано, что при этом возникают непараметрические множества вероятностных распределений, поэтому робастные статистические решения о справедливости одной из простых гипотез приводят к задаче проверки непараметрических гипотез.

2. Показано, что в случае ограниченного множества возможных значений X возможны статистические модели окрестностей распределений с равномерной относительной погрешностью определения плотности распределений.

3. Введено понятия субоптимального статистического решающего правила, позволяющего выделять из всего множества допустимых решений близкие к оптимальным робастные статистические решения о проверке гипотез.

4. Построены субоптимальные решающие правила в задаче последовательной проверки статистических гипотез с гарантийным решающим правилом при наличии априорной информации об равномерной относительной погрешности в плотности распределения наблюдений.

5. Построены субоптимальные решающие правила в задаче проверки статистических гипотез с гарантийным решающим правилом при дополнительном ограничении на правило организации наблюдений, когда длина каждого этапа наблюдений задана на момент начала этапа, при различных условиях на стоимость наблюдения и организации этапа.

6. Построены субоптимальные решающие правила в задаче последовательной проверки статистических гипотез с гарантийным решающим правилом при наличии априорной информации о скорости убывания хвостов распределений.

7. Для построенных процедур получены неасимптотические оценки функции риска. Это позволяет использовать полученные оценки для выбора статистической модели, обеспечивающей наиболее эффективное решение задачи проверки гипотез с учетом доступной априорной информации.

8. Проведено исследование влияния априорной информации о скорости убывания хвостов распределений на гарантийное решающее правило. Показано, что при большой погрешности в скорости убывания хвостов распределений главный член асимптотического разложения функции риска субоптимальной процедуры может не совпадать с главным членом асимптотического разложения функции риска процедуры проверки соответствующих простых гипотез. Установлено, что в некоторых случаях целесообразно проводить упрощение статистической модели для обеспечения более эффективной последовательной проверки гипотез с гарантийным решающим правилом.

9. Показано, что традиционные методы обработки результатов наблюдений с целью обеспечения робастности последующих статистических решений при определенных условиях могут быть неэффективными и не обеспечивать робастность этих решений.

10. Проведенное численное моделирование подтвердило теоретические положения об обеспечении предлагаемыми статистическими решениями заданного уровня ошибок. Субоптимальные статистические решения при малых погрешностях в значениях параметров модели обеспечивают практически те же или близкие значения функции риска, что и стандартный тест Вальда, который часто не гарантирует заданный уровень вероятности ошибки. С другой стороны, при неправильном определении границ изменения параметров модели оба теста не обеспечивают заданную точность решения.

11. Показано, что критерий х2 построен на основании статистики, которая асимптотически является субоптимальной, что объясняет часто наблюдаемую эффективность этого критерия. Введение поправочных коэффициентов, вытекающих из соответствующей задачи построения субоптимальных решающих правил, позволяет устранить типичные погрешности критерия: низкую эффективность для малых и очень больших выборок. Кроме того, такой подход позволяет получить обоснование правил группирования данных наблюдений, причем группировка не сказывается существенным образом на эффективности критерия.

Список литературы диссертационного исследования кандидат физико-математических наук Цитович, Федор Иванович, 2010 год

1. Боровков А. А. Вероятностные процессы в теории массового обслуживания. М. Наука. 1972.

2. Драгалин В. П., Новиков А. А. Асимптотическое решение задачи Кифера-Вейса для процессов с независимыми приращениями // Теория вероятн. и ее примен. 1987. Т.32. N 4. С. 679-690.

3. Иоффе А. Д., Тихомиров В. М. Теория экстремальных задач / М.: Наука. 1974.

4. Лемешко Б.Ю., Чимитова Е.В. О выборе числа интервалов в критериях согласия типа // Заводская лаборатория. Диагностика материалов. 2003. Т. 69. С. 61-67.

5. Малютов М.Б., Цитович И.И. Последовательный поиск существенных переменных неизвестной функции // Проблемы передачи информации. 1997. Том 33. Вып. 4. С. 88-107.

6. Малютов М.Б., Цитович И.И. Асимптотически последовательная проверка гипотез // Проблемы передачи информации. Том 36. Вып. 4. 2000. С. 98-112.

7. Невё Ж. Математические основы теории вероятностей. М: Мир. 1969.

8. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. Л.: Энергоатомиздат, 1991.

9. Павлов И. В. Последовательная процедура статистического контроля для случая сложных гипотез // Изв. АН СССР. Техн. кибернетика. 1983. N 6. С. 81-92.

10. Павлов И. В. Последовательные статистические выводы для сложных гипотез // Изв. АН СССР. Техн. кибернетика. 1984. N 1. С. 106-112.

11. Павлов И. В. Оптимальные последовательные решающие правила // Препр. ВЦ АН СССР. М., 1985. 64 с.

12. Павлов И. В. Последовательные процедуры проверки сложных гипотез с применениями к задаче Кифера-Вайсса // Теория вероятн. и ее примен. 1990. Т.35 N 2. С. 293-304.

13. Феллер В. Введение в теорию вероятностей и ее применения. Т.1. М: Мир. 1983.

14. Феллер В. Введение в теорию вероятностей и ее применения. Т.2. М: Мир. 1984.

15. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния. М.: Мир. 1089.

16. Цитович И. И. О последовательном планировании экспериментов для различения гипотез // Теория вероятн. и ее примен. 1984. Т.29. N 4. С. 778-781.

17. Цитович И.И. О величине перескока уровня субмартингалом // Модели и методы исследований в информационных системах. М.: Наука, 1988. С. 91-105.

18. Цитович И. И. Последовательное планирование экспериментов и проверка сложных гипотез // Модели и методы информационных систем. М.:Наука. 1990. С.36 48.

19. Цитович И. И. Последовательное планирование экспериментов и проверка гипотез // Дисс. на соиск. уч. ст. док. физ.-мат. наук. М.: ИППИ РАН. 1993.

20. Цитович Ф.И. Некоторые субоптимальные последовательные правила проверки гитопез // Сборник трудов 30-й конференции молодых учёных и специалистов ИППИ' РАН: Информационные технологии и системы ИТиС'07. М.: ИППИ, 2007. С. 110-115.

21. Цитович Ф.И. Субоптимальные последовательные правила проверки гипотез при слабых возмущениях // Обозрение прикладной и промышленной математики. 2008. Т.15, № 6. С. 1141

22. Цитович Ф.И. Многоэтапные процедуры проверки статистических гипотез и субоптимальноть // Сборник трудов 31-й конференции молодых учёных и специалистов ИППИ РАН: Информационные технологии и системы ИТиС'08. М.: ИППИ, 2008. С. 386-390.

23. Цитович Ф.И. Субоптимальные последовательные правила проверки непараметрических гипотез о распределениях с экспоненциально убывающими хвостами // Обозрение прикладной и промышленной математики. 2010. Т.17, № 2. С. 315-316.

24. Цитович Ф.И. Робастность и субоптимальные статистические решения в задачах последовательной проверки гипотез // Обозрение прикладной и промышленной математики. 2010. Т.17, № 4. С. 603-604.

25. Цитович Ф.И. Свойства субоптимальных последовательных правил проверки непараметрических гипотез о распределениях с экспоненциально убывающими хвостами // Информационные процессы. 2010. Т. 10, № 2. С. 181-196.

26. Чисар И., Кернер Я. Теория информации. М.: Мир. 1985.

27. Ширяев А. Н. Вероятность. М.: Наука. 1980.

28. Albert А. Е. Sequential design of experiments for infinitely many states of nature // Ann. Math. Statist. 1959. Vol. 30, N 3. P. 774-799.

29. Bartroff J. Asymptotically optimal multistage tests of simple hypotheses // Ann. Statist. 2005. Vol. 33. P. 705-750.

30. Bechhofer R. E., Dunnett C. W., Sobel M. A two-sample multiple decision procedure for ranking means of normal populations with a common unknown variance // Biometrika. Vol. 41. 1954. P. 170-176.

31. Blot J., Meeter P. Sequential experimental design procedures //J. Amer. Statist. Assoc. 1973. Vol.68. P.586-593.

32. Box G. E. P., Hill W. J. Discrimination among mechanistic models // Technometrics. 1967. Vol.9. P. 57-71.

33. Chernoff H. Sequential design of experiments // Ann. Math. Statist. 1959. V. 30, N 3. P. 755-770.

34. Chernoff H. Sequential analyses and optimal design SIAM // Philadelphia. 1972.

35. Cressie N., Morgan P. B. (1993), The VPRT: A sequential testing procedure dominating the SPRT, Econometric Theory 9, 431-450.

36. DeMets D. L., Ware J. H. Group sequential methods for clinical trials with a one-sided hypothesis // Biometrika. 1980. Vol 67. P. 651-660.

37. DeMets D. L., Lan K. K. Discrete sequential boundaries for clinical trials // Biometrika. 1983. Vol 70. P. 659-663.

38. Dragalin V.P., Novikov A.A. Adaptive Sequential Tests for Composite Hypotheses // Statistics and Control of Random Processes. Frontiers in Pure and Applied Math. V. 4. Moscow: TVP Publishers. 1995. P. 12-23.

39. Huber P. J. Robust Statistics. New-York: Wiley. 2004.

40. Keener R. Reneval theory and sequential design of experiments // Comm.Statist. A Theory Methods. 1980. Vol.9 (16). P. 1699-1726.

41. Keener R. Second order efficiency in the sequential design of experiments // Ann. Statist. 1984. V.12, N 2. P.510-532.

42. Kiefer J., Sacks J. Asymptotically Optimal Sequential Inference and Design. // Ann. Math. Statist. 1963. V. 34, N 3. P. 705-750.

43. Lalley S. P., Lorden G. A Control problem arising in the sequential design of experiments // Ann. Prob. 1986. V.14, N 1. P. 136-172.

44. Lalley S. P. A fierst-passage problem for a two-dimensional controlled random walk //J. Appl. Probab. 1986. V.23, N 3. P. 670-678.

45. Lehmann E. L. Testing Statistical Hypotheses. New-York: Springer. 1986.

46. Lorden G. On the excess over the boundary // Ann. Math. Statist. 1970. Vol.41, N 4. P.520-527.

47. Lorden G. Nearly-optimal sequential tests for finitely many parameter values // Ann. Stat. 1977. Vol. 5. P. 1-21.

48. Lorden G. Structure of sequential tests minimizing an expected sample size // Z. Wahrscheinlichkeistheorie verw. Gebiete. 1980. Vol. 51. P. 291-302.

49. Lorden G. Asymptotic efficiency of three-stage hypothesis tests // Ann. Statist. 1983. Vol. 11. P. 129-140.i

50. Malyutov, M.B., Tsitovich, I.I. Second order optimal sequential tests // Proc. Internat. Workshop Optimum Design 2000, Cardiff, UK, April 2000. Kluwer, Netherlands. 2000. P. 67-78.

51. Malyutov M.B., Tsitovich I.I. Second Order asymptotically optimal sequential model choice // Inernational Conference "Distributed computer communication networks. Theory and Applications". Tel-Aviv. 1999. P. 94-98.

52. Malyutov M.B., Tsitovich I.I. Asymptotic Optimization Of General Risk in Sequential Nonparametric Discrimination // Abstracts of Workshop on Change-Point Detection. RSS Meeting. Warwick. UK. 1999.

53. Malyutov M.B., Tsitovich I.I. Second Order Optimal Tests // Proceedings of International Workshop Optimal Design. Cardiff. UK. 2000. P. 67-78.

54. Malyutov M.B., Tsitovich I.I. Second Order Sequential Discrimination and Change-Point Detection // Proceedings 2000 IEEE Symposium of Information Theory. Italy. Sorrento. 2000. P. 540.

55. Malyutov M.B., Tsitovich I.I. Adaptive Discrimination Between Markov Chains // G.Govaert, J.Janssen, N.Limnios eds. "Applied Stochastic Models and Data Analysis ASMDA 2001". Compiegne. V.2. 2001. P. 723727.

56. Malyutov M.B., Tsitovich I.I. Second Order Optimal'Sequential Model Choice and Change-point Detection // Information Processes. 2010. Vol. 10, № 3. P. 275-291.

57. Mann H.B., Wald A. On the choice of the number of class intervals in the application of the chi square test // Ann. Math. Stat., 1942. V. 13. P. 306-317.

58. Meeter P., Pirie W., Blot W. A comparison of two model-descrimination criteria. // Technometrics. 1970. Vol. 12. P. 457-470.

59. Morgan P. B., Cressie N. A comparison of the cost-efficiencies of the sequential, group-sequential, and variable-sample-size-sequential probability ratio tests // Scand. J. of Stat. 1997. Vol. 24. P. 181-200.

60. Pinsker M.S. Information and information stability of random variables and processes. San Francisco: Holden-Day. 1964.

61. Pocock S. J. Clinical Trials: A Practical Approach. Chichester: John Wiley & Sons. 1984.

62. Schmitz N. Optimal Sequentially Planned Decision Procedures. Lecture Notes in Statistics. New-York: Springer-Verlag. 1993. Vol. 79.

63. Schwarz G. Asymptotic schapes of Bayes sequential testing regions // Ann. Math. Statist. 1962. Vol.33, N 1. P.224-236.

64. Stein C. A two-sample test for a linear hypothesis whose power is independent of the variance // Ann. Math. Stat. Vol. 16. 1945. P. 243258.

65. Tsitovich F. Supoptimal Multistage Nonparametric Hypotheses Test // Pliska. Studia mathematica Bulgaria. V. 19. 2009. P. 269-282.

66. Tsitovich I. Suboptimal Nonparametric Hypotheses Discriminating from Small Dependent Observations // Pliska. Studia mathematica Bulgaria. V. 19. 2009. P. 283-292.

67. Wald A. Sequential Analysis. New York: Wiley. 1947.

68. Wald A. Asymptotic minimax solutions of sequential estimation problems // Proc. Second Berkeley Symp. Math. Stat. Prob. Univ. of California Press. 1951. P. 1-11.