Исследование подхода к решению задачи классификации последовательностей, представленных скрытыми марковскими моделями, с использованием инициированных этими моделями признаков тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Гультяева, Татьяна Александровна

• Гультяева, Татьяна Александровна
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Гультяева, Татьяна Александровна

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

ГЛАВА 1 ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ

1.1 Введение в теорию СММ

1.2 Обучение СММ

1.2.1 Алгоритм прямого-обратного прохода

1.2.2 Алгоритм Баум-Велша

1.2.3 Масштабирование

1.3 Моделирование последовательностей

1.4 Классификация последовательностей

1.5 Исторический обзор

1.6 Выводы

ГЛАВА 2 ЗАДАЧА КЛАССИФИКАЦИИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ

2.1 Постановка задачи классификации последовательностей

2.2 Исследуемый подход к решению задачи классификации последовательностей

2.3 Метод ближайших соседей

2.4 Классификатор, основанный на методе опорных векторов

2.4.1 Машины опорных векторов

2.4.2 Размерность Вапника-Червоненкиса и минимизация структурного риска

2.4.3 Построение ЭУМ классификатора

2.4.3.1 Случай линейно разделимой выборки

2.4.3.2 Случай линейно неразделимой выборка

2.4.4 Выбор гиперпараметров алгоритма 8УМ

2.5 Многоклассовая классификация

2.6 Вычисление первых производных от логарифма функции правдоподобия для СММ

2.7 Особенности вычисления первых производных от логарифма функции правдоподобия для СММ при длинных последовательностях

2.8 Исследование возможности проведения классификации в пространстве первых производных

2.9 Выводы

ГЛАВА 3 КЛАССИФИКАЦИЯ ПОСЛЕДОВАТЕЛЬНОСТЕЙ В УСЛОВИЯХ ДЕЙСТВИЯ ПОМЕХ РАЗЛИЧНОЙ ИНТЕНСИВНОСТИ И ПРИРОДЫ

3.1 Используемые модели помех, действующих на последовательности

3.2 Исследования для моделей, в которых вероятности появления наблюдений описываются одним распределением

3.2.1 Аддитивная помеха с постоянными параметрами распределения

3.2.2 Аддитивная помеха с изменяемыми параметрами распределения

3.2.3 Вероятностная помеха с постоянными параметрами распределения

3.2.4 Вероятностная помеха с изменяемыми параметрами распределения

3.3 Исследования для моделей, в которых вероятности появления наблюдений описываются смесями распределений

3.3.1 Аддитивная помеха с постоянными параметрами распределения

3.3.2 Аддитивная помеха с изменяемыми параметрами

3.3.3 Вероятностная помеха с постоянными параметрами распределения

3.3.4 Вероятностная помеха с изменяемыми параметрами распределения

3.4 Помехи, распределенные по различным законам

3.5 Выводы

ГЛАВА 4 ПОВЕДЕНИЕ КЛАССИФИКАТОРОВ В УСЛОВИЯХ ОТКЛОНЕНИЯ ОТ ПРЕДПОЛОЖЕНИЙ

4.1 Различные законы распределений появления наблюдений, отличные от нормального

4.1.1 Вероятности появления наблюдений описываются распределением, параметры которого зависят от номера скрытого состояния СММ

4.1.2 Вероятности появления наблюдений описываются распределениями, параметры и вид которых зависят от номера скрытого состояния СММ

4.1.3 Вероятность появления наблюдений описывается смесью распределений, вид которых зависит от номера скрытого состояния СММ

4.1.4 Вероятность появления наблюдений описывается смесью различных распределений с параметрами, зависящими от номера скрытого состояния СММ

4.2 Процесс или объект, порождающий наблюдаемые последовательности, не имеет скрытых состояний

4.3 Поведение классификаторов в условиях структурной неопределенности

4.3.1 Исследование на двухклассовой задаче классификации

4.3.2 Исследование на многоклассовой задаче классификации

4.4 Выводы

ГЛАВА 5 ВЫБОР ИНФОРМАТИВНЫХ ПРИЗНАКОВ

5.1 Методы выбора информативных признаков

5.2 Исследования на смоделированных данных

5.2.1 Исследования на двухклассовой задаче классификации

5.2.2 Исследования на много классовой задаче классификации

5.3 Экспериментальные и прикладная задачи

5.3.1 Анализ выборки «Hill-Valley Dataset»

5.3.2 Анализ выборки «Waveform Database»

5.3.3 Прикладная задача

5.4 Выводы

ЗАКЛЮЧЕНИЕ

Список использованных источников

Приложение А Описание алгоритма Витерби

Приложение Б Рисунки и таблицы к исследованиям, приведенным в

пункте 3.2.1

Приложение В Рисунки и таблицы к исследованиям, приведенным в параграфе 3.3

Приложение Г Рисунки и таблицы к исследованиям, приведенным в

пункте 5.3.3

Приложение Д Описание программной системы

Д.1 Общая характеристика программной системы

Д. 2 Основные элементы системы

Д.З Задание выборок, параметров моделей и параметров программной системы

Д.4 Данные, формируемые в результате работы системы

Приложение Е Справка о внедрении результатов

Введение диссертации (часть автореферата) на тему «Исследование подхода к решению задачи классификации последовательностей, представленных скрытыми марковскими моделями, с использованием инициированных этими моделями признаков»

ВВЕДЕНИЕ

Современное состояние и актуальность темы исследований. Распознавание образов является одной из задач анализа данных, лежащего в основе любых научных методов. Распознавание образов можно разделить на два основных типа - это распознавание конкретных и абстрактных объектов. Процессы первого типа обеспечивают классификацию и идентификацию пространственных и временных образов, таких как речь человека, изображения, электромагнитные сигналы и т. д. Образ - это описание любого объекта как представителя соответствующего класса образов [64]. При этом под классом образов понимается некоторая категория, определяемая рядом свойств, которые являются общими для всех ее элементов. Образы обладают характерным свойством, проявляющимся в том, что ознакомление с конечным числом явлений из одного и того же множества дает возможность узнавать сколь угодно большое число его представителей. Один из подходов к классификации образов состоит в построении математической модели, описывающей эти образы.

В данной диссертационной работе рассматриваются скрытые марковские модели (СММ), относящиеся к классу статистических моделей. Особенностью СММ является то, что они учитывают внутреннюю структуру последовательностей, которые регистрируются при наблюдении за процессами или объектами, описываемыми с помощью СММ [58].

СММ, собственно как метод, был разработан в середине бОх-конце 70х годов 20 века независимо отечественными (Винцюк Т.К. [12], Ковалевский В.А. [47, 48]) и зарубежными (Баум Л.Е (Baum L.E.) [85, 87-90], Петри Т. (Petrie Т.) [86]) исследователями. Значительный вклад в развитие как теории, так и практического использования СММ внесли такие отечественные ученые, как Моттль В.В. и Мучник И.Б. [58, 59], Воробьев С.А [13-19], Борисов A.B. [4-7]. Зарубежные исследования таких ученых, как Рабинер Л.Р. (Rabiner L.R.) [187189], Нефиан A.B. (Nefian A.V.) [179], Самариа Ф. (Samaria F.) [191], Каппе О. (Сарре О.) [98], более ориентированные на прикладные задачи, также внесли свой вклад в развитие СММ.

По своей природе СММ позволяют учитывать как пространственные, так и временные характеристики последовательностей. Поэтому эти модели получили широкое применение в различных прикладных задачах, таких как распознавание речи (см., например, работы авторов Рабинер J1.P. (Rabiner L.R.) [187189], Леггеттер С.Ж. (Leggetter C.J.) [158], Жанг Б.Х. (Juang, В.Н.) [146], Га-лес М. (Gales M.) [128], Хуанг К.Д. (Huang X.D.) [137], Гефке Д.А. [22], Ико-нинС.Ю. [44]), изображений (Нефиан A.B. (Nefian A.V.) [179], Самариа Ф. (Samaria F.) [191], Плотц Т. (Plötz Т.) [186], Бунке X. (Bunke H.) [96], Сандер-сон К. с коллегами (Sanderson С.) [99], Ли Дж. (Li J.) [164]), видеопоследовательностей (Кошал A. (Ghoshal А.) [129], Лиу К. (Liu X.) [168], Сайд У. (SaeedU.) [190]), задачи биоинформатики (Коски T. (Koski Т.) [151], Бар-бю B.C. (Barbu V.S.) [83], Бирней Е. (Birney Е.) [93], Р. Дурбин (Durbin R.) [115]), задачи геофизики (Грант Р. (Granat R.) [130]), эконометрические задачи (Мамон P.C. (Mamón R.S.) [171], Грегоир С. (Gregoir S.) [131], Бхар P. (Bhar R.) [91]); задачи сферы телекоммуникаций (Миллер Б.М. [56, 57], Антон-Харо С. (Anton-Haro С.) [76], Фоноллоза Ж.A. (Fonollosa J.А.) [123]), исследование динамических систем (Фрейзер A.M. (Fraser A.M.) [125]), стегоанализе (Сидоров М.А. [62]) и т. д.

Классификация последовательностей с использованием СММ при условии того, что конкурирующие модели достаточно хорошо различимы друг от друга (по вероятности), как правило, не вызывает затруднений. При этом традиционно используется подход, основывающийся на критерии правдоподобия. Однако в случае, когда эти модели оказываются близкими, результаты классификации становятся малоинформативными, т. е. принадлежность некоторой последовательности к любому классу является равновероятной. Такая ситуация возникает, когда последовательности искажены какими-либо помехами, что приводит также к тому, что они становятся плохо различимыми, либо когда исследуемые реальные объекты или процессы действительно близки между собой по внутренней структуре и параметрам и, следовательно, последовательности, получаемые от них, практические не различимы. Таким образом, возникает не-

обходимость использования различных подходов, которые могли бы привести к улучшению способностей СММ различать близкие альтернативы.

Существует два подхода к решению этой задачи. В первом подходе используются методы, которые работают с самой моделью: либо изменяют структуру используемых моделей (см., например, работы таких авторов, как Александров В. [72], Нил P.M. (Neal R.M.)) [178], либо используют иные методы оценки параметров моделей (Вальдер С.Ж. (Walder C.J.) [205], Икбал С. (Ikbal S.) [138], Жоу Г.Д. (Zhou G.D.) [212]), либо же комбинируют эти два подхода (Лиу С. (Liu С.) [167], Чатзис П.С. (Chatzis S.P.) [102]). Другими словами, методы первой группы ориентированы на то, чтобы точнее описать исследуемый объект или процесс. При использовании второго подхода появляется возможность видоизменять решающее правило классификации, получая некую информацию от моделей и применяя ее для проведения классификации. Например, переходя в пространство вторичных признаков (см. работы таких авторов, как Солера-Урена Р. (Solera-Urena, R.) [198], Линг Ч. (Ling Ch.) [166], Аран О. (Aran О.) [77]), проводят классификацию с использованием метода опорных векторов. Второй подход представляется нам наиболее перспективным, т. к. здесь существует определенная свобода как в выборе пространства признаков, в котором проводится классификация, так и в выборе самого классификатора. Однако систематических исследований этого подхода в условиях, когда исследуемые процессы оказываются близкими по своей природе и присутствуют некоторые искажения последовательностей, порождаемые этими процессами, в литературе не встречается. Кроме того, нет исследований, связанных с выбором используемых в этом случае классификаторов; не освещен вопрос выбора информативных признаков при построении пространства, в котором происходит классификация последовательностей с использованием этого подхода.

Цель и задачи исследований. Основной целью диссертационной работы является исследование проблемы повышения дискриминирующих свойств СММ с помощью подхода, основанного на проведении классификации в пространстве

первых производных от логарифма функции правдоподобия по параметрам СММ.

Для достижения поставленной цели предусмотрено решение следующих

задач:

- исследование возможностей использования пространства признаков в виде производных от логарифма функции правдоподобия по параметрам СММ для классификации последовательностей;

- исследование поведения классификаторов, использующих пространство признаков в виде производных от логарифма функции правдоподобия по параметрам СММ в условиях, когда последовательности искажены помехами или при структурной неопределенности;

- сравнительный анализ методик выбора информативных признаков для построения пространства, в котором последовательности различаются наилучшим образом;

- выявление ситуаций, когда исследуемый подход дает результаты лучше, чем традиционный подход, используемый для классификации последовательностей.

Методы исследования. Для решения поставленных задач использовался аппарат теории вероятностей, математической статистики, вычислительной математики, математического программирования, статистического моделирования. Научная новизна диссертационной работы заключается в том, что были впервые:

- проведены исследования с применением технологии статистического моделирования, показавшие возможность решения задачи классификации порожденных скрытыми марковскими моделями последовательностей с использованием инициированных этими моделями признаков;

- получены выражения для вычисления производных от логарифма функции правдоподобия по параметрам скрытых марковских моделей, учитывающие используемое при работе с длинными последовательностями масштабирование;

- проведен сравнительный анализ исследуемого и традиционного подходов к решению задачи классификации порожденных скрытыми марковскими моделями последовательностей, искаженных помехами;

- проведен сравнительный анализ исследуемого и традиционного подходов к решению задачи классификации порожденных скрытыми марковскими моделями последовательностей в условиях неточных знаний о структуре этих моделей;

- выявлены особенности, присущие классифицируемым последовательностям, при которых использование исследуемого подхода предпочтительнее традиционного.

Основные положения, выносимые на защиту:

- результаты исследования подхода в условиях действия помех различной интенсивности и природы;

- результаты исследования подхода в условиях различных отклонений от традиционных предположений, налагаемых на последовательности и процессы, их порождающие;

- результаты исследований различных методик выбора информативных признаков для классификации последовательностей;

- выявленные особенности последовательностей, при которых использование исследуемого подхода предпочтительнее традиционного.

Обоснованность и достоверность научных положений, выводов и

рекомендаций обеспечивается:

- корректным применением аналитического аппарата математического анализа, теории вероятностей и математической статистики для исследования свойств построенных моделей;

- подтверждением аналитических выводов и рекомендаций, результатами статистического моделирования.

Личный творческий вклад автора заключается в проведении исследований,

обосновывающих основные положения, выносимых на защиту.

Практическая ценность результатов заключается в том, что:

- результаты проведенных исследований позволяют корректно применять исследуемый подход в случаях, когда конкурирующие скрытые марковские модели близки по параметрам, последовательности искажены помехами или в условиях неточных знаний о структуре скрытых марковских моделей;

- проведены исследования, которые выявили особенности, присущие анализируемым последовательностям, при которых использование исследуемого подхода дает выигрыш в сравнении с традиционным подходом;

- разработана программная система, позволяющая классифицировать последовательности, применяя исследуемые в работе подходы.

Апробация работы. Основные результаты исследований, проведенных автором, докладывались и обсуждались на: Российской НТК «Информатика и проблемы телекоммуникаций» (Новосибирск, 2010, 2011, 2012); Пятнадцатой всероссийской конференции «Математические методы распознавания образов-15» (Петрозаводск, 2011); Международной заочной научной конференции «Технические науки: проблемы и перспективы» (Санкт-Петербург, 2011); Всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации» (Новосибирск, 2011); Четвертой международной конференции по распознавания образов и искусственному интеллекту «РЯеМ1-2011» (Москва, 2011); XI международной НТК «Актуальные проблемы электронного приборостроения АПЭП-2012» (Новосибирск, 2012); Всероссийской конференции с международным участием «Информационные и математические технологии в науке, технике, медицине» (Томск, 2012).

Реализация полученных результатов. Результаты диссертационных исследований использованы при разработке автономной системы электроснабжения летательных аппаратов в рамках НИОКР с предприятием ОАО «АКБ Якорь», г. Москва, что подтверждено соответствующей справкой об использовании результатов диссертационной работы.

Работа выполнялась при финансовой поддержке: по гранту №2.1.1/2932 «Оптимизационные методы построения логико-вероятностных моделей в

задачах многомерного статистического анализа» федеральной целевой программы «Развитие научного потенциала высшей школы» (2009-2010 гг.); по гранту №2.1.1/11599 «Методы устойчивой идентификации в задачах построения зависимостей и классификаций по неоднородным экспериментальным данным в условиях параметрической и структурной неопределенности» федеральной целевой программы (2011 г.); стипендии Правительства Российской Федерации на 2011-2012 учебный год согласно приказу № 154 от 28.02.2012.

Публикации. Основные научные результаты диссертации опубликованы в 18 печатных работах, из которых 5 - в изданиях, входящих в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени доктора и кандидата наук, 4 - в сборниках научных работ, 9 - в материалах конференций.

Структура работы. Диссертация состоит из введения, 5 глав, заключения, 6 приложений и списка использованных источников (212 наименований). Основной текст работы изложен на 242 страницах, включает 7 таблиц и 93 рисунка. Краткое содержание работы. В первой главе приводятся основные понятия, связанные с СММ, описывается алгоритм обучения СММ, рассматриваются вопросы моделирования и классификации последовательностей. Также в главе освещается современное состояние направления, проводится обзор существующих проблем, связанных с СММ, и подходов к их решению, обосновываются задачи исследований.

Во второй главе дается постановка задачи классификации последовательностей, рассматриваются классификаторы, используемые в исследуемом подходе: метод ближайших соседей и метод опорных векторов. Приводятся аналитические выражения для вычисления признаков, в пространстве которых далее исследуется возможность использования этих классификаторов.

В третьей главе исследуется поведение классификаторов в условиях помех различного типа и с различными параметрами.

В четвертой главе приведены исследования в случаях, когда нарушены одни из априорных представлений либо о наблюдаемых последовательностях, либо о СММ.

В пятой главе рассматривается решение задачи выбора информативных признаков с использованием функции конкурентного сходства и средней ошибки распознавания, оцениваемой в режиме скользящего экзамена. Приводятся результаты ее решения для модельных и ряда прикладных задач.

В заключении подведены основные итоги данной работы, сформулированы результаты, представляемые к защите.

Приложения содержат описание алгоритма Витерби; рисунки и таблицы, к исследованиям, приводимым в работе; описание разработанной программной системы и справку о внедрении результатов.

ГЛАВА 1 ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ

В данной главе приводятся основные понятия, связанные с СММ, описывается алгоритм обучения СММ, рассматриваются вопросы моделирования и классификации последовательностей. Освещается современное состояние направления, проводится обзор существующих проблем, связанных с СММ, и подходов к их решению, обосновываются задачи исследований.

1.1 Введение в теорию СММ

Согласно [23], случайный процесс Х(, ¿еГ называется марковским случайным процессом, если для всех < ¿2 < •■• < е Г, п> \ его условное распределение вероятностей в момент не зависит от значений, которые процесс принимает в моменты а определяется только значением процесса в

момент , т. е.:

/(хп> ^п I хп-1' ^п-1) = /{хп-> ^п I ХЪ ^Ь х1-> хп-1' ) • (1-1)

Данное свойство называется свойством марковости (или марковским свойством). Функции /{хп^п\хп_1^п_\) называют вероятностями перехода из состояния хп_1 в состояние хп. Вероятности перехода удовлетворяют двум основным соотношениям:

1) условию нормировки

2) уравнению Чепмена-Колмогорова

/(*3>'3 = 1*2»'2)/(*2>'2 \хъг{]фс2

для любых х\, Х2, , соответствующих моментам ^ < < ^3 •

Произвольный случайный процесс при соответствующем выборе фазового пространства может превращаться в марковский процесс, т. е. такой, для которого дальнейшая эволюция зависит от прошлого только через состояние в на-

стоящий момент [60]. Фазовое пространство (или пространство состояний) -это пространство, которому принадлежат все возможные значения, принимаемые случайным процессом.

Дискретная марковская цепь {хп} представляет собой марковский случайный процесс, пространство состояний которого счетно или конечно, и, кроме того, этот случайный процесс дискретен по Т = {0,1, 2,...}. Часто пространство состояний процесса отождествляют с множеством неотрицательных целых чисел и говорят, что случайный процесс находится в состоянии г, если хп = /.

Вероятность того, что случайный процесс {хп} в момент находится в состоянии у , если известно, что в момент 1п он находился в состоянии /, обозначается как:

Р^п+1=Р{хп+1=] I *„=!-}. (1.2)

В формуле (1.2), таким образом, подчеркивается, что в общем случае переходные вероятности зависят не только от начального и конечного состояний, но и от момента осуществления перехода. Когда одношаговые переходные вероятности не зависят от переменной ?, то такой марковский процесс обладает стационарными переходными вероятностями [45]. В работе будем рассматривать

именно такой случай, т. е. когда вероятность Ру = не зависит от п и яв-

ляется вероятностью перехода из состояния / в состояние у за одно испытание.

Обычно эти вероятности объединяют в матрицу, которая называется марковской матрицей, матрицей условных вероятностей переходов или матрицей переходных вероятностей марковской цепи.

Если число состояний конечно, то марковская матрица является конечной квадратной матрицей, порядок которой равен числу состояний. В общем случае, вероятности Ру удовлетворяют следующим двум условиям:

1) условию неотрицательности Рц > 0, V/, у ;

оо

2) условию нормировки ^ Ру = 1, V/.

7=0

Второе условие отражает тот факт, что каждое испытание вызывает некоторый переход из состояния в состояние. Для удобства говорят о переходе и в том случае, когда состояние остается неизменным.

Марковский процесс полностью определен, если заданы переходные вероятности (1.2) и распределение вероятностей начальных состояний:

7Г1=Р{х0=1}. (1.3)

Большое число физических, биологических и экономических явлений описываются марковскими цепями (см., например, [3]).

Скрытый марковский процесс представляет собой математическую модель, являющуюся двухкомпонентным случайным процессом (X, Г) со скрытой компонентой X и наблюдаемой компонентой У. Случайный процесс X является марковским случайным процессом. СММ является частным случаем скрытого марковского процесса в случае, когда процесс Х- это марковская цепь с конечным множеством состояний, определяемая матрицей переходных

вероятностей. Текущее состояние марковской цепи х( е N = {1, 2,..., ./V} интерпретируется как скрытое состояние источника данных (исследуемого явления), а моменты измерения состояния - как дискретные события в ходе развития исследуемого явления. Последовательность скрытых состояний, моделируемая такой цепью (т. е. реализация скрытого процесса), обозначается как 0 = ■> гДе ^ ~~ длина наблюдаемой последовательности. Случай-

ный процесс У является вещественнозначным (у{ е , где Ь > 1 - размерность

пространства, t = l,T) марковским случайным векторным процессом конечного порядка (т. е. плотность вероятностей перехода в очередное его состояние зависит не от одного, а от нескольких предшествующих состояний) со скачкообразно изменяющимися вероятностными свойствами. Последовательность

^ О = [о\, 02,-.., от] является последовательностью наблюдений (т.е. это реали-

зация наблюдаемого процесса). Случайный процесс У связан со скрытым процессом X условной вероятностью: Р{о(\д( = /}. Порождающий характер СММ

определяет то обстоятельство, что вероятностные свойства модели задаются сначала маргинальными вероятностными свойствами первичного процесса X и ^ только затем условными вероятностными свойствами второго процесса (7| X).

Именно это обстоятельство, согласно [59], позволяет исследователю выразить свое априорное представление о скрытом механизме исследуемого явления и его внешних проявлениях.

Таким образом, СММ полностью задают следующие параметры:

1) вектор вероятностей начальных состояний (см. формулу (1.3))

П = {л"г}, / = 1 ,М, где 711 ~ Р{ч\ ~5/}' множество скрытых состояний Я = , А—количество скрытых состояний в модели;

2) матрица вероятностей переходов А-^а^ (см. формулу (1.2)), /, j = liNi где ау =pí[qt=Sj = ^};

3) функции условной плотности распределений наблюдений В = (?)]•,

где - это условные плотности вероятностей Р\о{ \д( = , о( - наблюдение

из последовательности О, фиксируемое в момент 7 = 1,7\ В работе рассматривается случай, когда условные плотности распределений наблюдений являются смесями вероятностных распределений:

¿/(0= ТТгтЯ°( (1-4)

т=1

где ггт - это вес т -ой компоненты смеси в описании / -ого скрытого состояния,

ч Мг- - количество компонент смеси, Мг- <со, г = 1,ТУ, / - функции плотности

вероятности некоторого закона распределения. Следовательно, распределение

наблюдений в каждом скрытом состоянии описывается смесью своих Мг-

распределений с параметрами @im Чаще всего полагают, что Мг- = М, i = 1, TV. СММ с такими характеристиками в зарубежной литературе называются СНММ - Continuous Hidden Markov Models. В данной работе рассматривается случай, когда функции плотности распределения наблюдений описываются смесью нормальных распределений, а сами наблюдения являются одномерными. Таким образом, функция плотности распределения имеет вид:

где параметры /^у и сг| являются, соответственно, математическим ожиданием и дисперсией у'-ой компоненты смеси в описании /-ого скрытого состояния

Таким образом, СММ задается ненаблюдаемой (скрытой) марковской цепью, функциями плотности распределениями наблюдений и вероятностями начальных состояний: Я = (А,В,ж).

1.2 Обучение СММ

Для получения описания исследуемого процесса или объекта в виде СММ по имеющимся наблюдаемым последовательностям необходимо оценить параметры этой модели. Для этого решается задача обучения, состоящая в подборе параметров модели Я так, чтобы она правильно распознавала последователь* ( 1 2 К)

ность мультинаблюдений О =\0 ,0 ,...,0 >, где К - это число наблюдаемых последовательностей. Необходимо выбрать один из способов обучения [54]:

1) распознать эти последовательности наблюдений, сравнить результаты распознавания 0,К, где - найденная последовательность скры-

тых состояний (с использованием, например, алгоритма Витерби, см. приложе-

--19 К

ние А), к = \,К с правильными ответами Q ,Q ,...,Q , вычислить в каком-

либо смысле среднюю ошибку и минимизировать ее, варьируя Я;

2) распознать последовательность мультинаблюдений и максимизировать функцию правдоподобия наблюдения последовательности О в предположении, что последовательность скрытых состояний найдена правильно. Значит

К

необходимо максимизировать P(Ok \ Q^), варьируя Я;

k=1

3) максимизировать функцию правдоподобия наблюдений, т. е. макси-

К

мизировать вероятность L(0 \ Я) = Р(0^ \ Я), варьируя параметры модели

k=1

Я.

Заметим, что в качестве оптимизационного критерия можно использовать не только максимум правдоподобия, но и максимум взаимной информации или минимизировать различающую информацию [187].

Первый способ обучения - это обучение с учителем. Его можно проводить, например, методом градиентного спуска, и он хорош всем, кроме своей трудоемкости. Остальные два способа - это обучение без учителя, хотя во втором способе можно использовать учителя. Чаще всего применяется третий способ обучения (иногда с последующим дообучением другими способами), поскольку для него известен быстрый алгоритм. Это алгоритм, в общей ситуации называемый ЕМ (ЕМ - expectation maximization; максимизация ожидания) или, применительно к СММ, алгоритмом Баума-Велша. Данный алгоритм является итеративным и сходится, вообще говоря, не к глобальному максимуму правдоподобия, а к локальному. Кроме этого метода решения, возможно так же использовать и другие методы оптимизации для поиска максимума функции правдоподобия. Однако в [105] отмечено, что алгоритм Гаусса-Ньютона имеет проблемы сходимости. В той же работе, кроме алгоритма Баум-Велша, рассмотрен метод градиентного спуска Болди-Чавина. В [208] проводится анало-

гия между ЕМ алгоритмом и градиентными методами. Далее в параграфах этой главы будет более подробно рассмотрен третий способ обучения.

Определим вероятность того, что последовательность Q = q2,..., qj\

скрытых состояний порождает последовательность О = {oj, 02,.-., 07} наблюдений:

т т

Р(01&Л) = P(o¡, о2,..., от I qhq2,~; Чт) = I <57 Д) = Y\bqt М •

t=1 /=1

Вероятность появления последовательности Q = q2,---, Чт] вычисляется как:

Т-1

P{Q\X) = P(qhq2,..., qT) = ^ Y\aqtqt+\ '

t=1

Обе эти формулы следуют непосредственно из условий независимости в определении скрытой марковской модели, которые приведены ниже.

1 условие. Последовательность Q = \q\,q2,--.,qj\ случайных величин со

значениями в S удовлетворяет следующему условию (свойство марковости -см. (1.1)):

p(qt = sit | qt-1 = sit_v..., q\ = six) = P{qt = sif \ qt_x = s^ ), Vi, ih..., it.

2 условие. Каждой последовательности скрытых состояний js^, s¡2| ставится в соответствие последовательность случайных величин

При этом выполняется следующее условие:

P(ot\oh...,ot_hot+h...,oT,ql =siy...,qT = s¡T) = P{ot \qt =sit),

\/t,i\,Í2,-,ÍT- Таким образом, вероятность появления некоторого наблюдения зависит только от того, в каком состоянии находится скрытый случайный процесс в данный момент.

Вероятность наблюдения последовательности О, порожденной последовательностью Q, равна:

Т-1 т

Р(0, Q¡ Л)- Р{01Q, Л)Р(б | Л) = nqx П aqtqt+l Y\bqt{ot). (1.5)

t=1 t=1

Вероятность наблюдения последовательности О без каких-либо условий, по определению, равна:

f т-\ т ^

Р(0\Л) = X ПО,д\Л)= X ^П^-йПМ0')

(1.6)

т

Заметим, что вычислительная сложность (1.6) - порядка 2TN операций.

1.2.1 Алгоритм прямого-обратного прохода

Согласно [187], для эффективного вычисления вероятности (1.5) используют алгоритм прямого-обратного прохода (forward-backward algorithm). Данный алгоритм основывается на методах динамического программирования. Определим farward-вероятностъ следующим образом:

Список литературы диссертационного исследования кандидат наук Гультяева, Татьяна Александровна, 2013 год

Список использованных источников

1. Айвазян, С.А. Теория вероятностей и прикладная статистика : в 2 томах / С.А. Айвазян, B.C. Мхитарян. - Москва : Юнити, 2001. - 1 т. - 656 с.

2. Аркадьев, А.Г. Обучение машины распознаванию образов / А.Г. Аркадьев, Э.М. Браверман. - Москва : Наука, 1964. - 112 с.

3. Баруча-Рид, А.Т. Элементы теории марковских процессов и их приложения / А.Т. Баруча-Рид. - Москва : Наука, 1969. - 512 с.

4. Борисов, А. В. Методы анализа и оценивания в скрытых марковских системах при обработке разнородной информации: автореф. ... дис. докт. техн. наук: 05.13.01/ Борисов, Андрей Владимирович. -М., 2008.

5. Борисов, A.B. Анализ и оценивание состояний специальных скачкообразных марковских процессов I: мартингальное представление / A.B. Борисов // Автоматика и телемеханика. - 2004. - Т. 65, № 1. - С. 45-60.

6. Борисов, A.B. Анализ и оценивание состояний специальных скачкообразных марковских процессов II: оптимальная фильтрация в присутствии винеров-ских шумов / A.B. Борисов // Автоматика и телемеханика. - 2004. - Т. 65, № 5. -С. 61-76.

7. Борисов, A.B. Минимаксное апостериорное оценивание в скрытых марковских моделях / A.B. Борисов // Автоматика и телемеханика. - 2007. - Т. 68, № 11.-С. 31-45.

8. Вадзинский, Р.Н. Справочник по вероятностным распределениям / Р.Н. Вадзинский. - Москва : Наука, 2001. - 295 с.

9. Вапник, В.Н. Теория распознавания образов (статистические проблемы обучения) / В.Н. Вапник, А.Я. Червоненкис. - Москва : Наука, 1974. - 416 с.

10. Варакин, JI.E. Теория систем сигналов / JI.E. Варакин. - Москва : Советское радио, 1978. - 304 с.

11. Васильев, Ф.П. Численные методы решения экстремальных задач / Ф.П. Васильев. - 2-е изд., перераб. и доп. - Москва : Наука, 1980. - 552 с.

12. Винцюк, Т.К. Распознавание слов устной речи методами динамического программирования / Т.К. Винцюк // Кибернетика. - М., 1968. - № 1. - С. 15-22.

13. Воробьев, С.А. Моделирование и структурный анализ сигналов с повторяющимися признаками формы в медико-биологическом эксперименте: авто-реф. ... дис. докт. техн. наук: 05.13.09 / Воробьев Сергей Александрович. - Тула, 2000.

14. Воробьев, С.А. Математическая обработка результатов исследований в медицине, биологии и экологии: Монография / С.А. Воробьёв, A.A. Яшин; Под ред. A.A. Яшина. - Тула: ТулГУ, 1999. - 120 с.

15. Воробьёв С.А. Алгоритмы выделения и классификации фрагментов повторяющейся формы на экспериментальных кривых //Автоматика и телемеханика, 1985. - № 8. - С. 89-93.

16. Воробьёв С.А. Задача оценивания размерности модели в алгоритме восстановления параметров модели структурных кривых с фрагментами повторяющейся формы // Электротермические процессы и установки. / ТулГТУ. -Тула, 1994.-С. 63-67.

17. Воробьёв С.А. Методы структурного анализа экспериментальных кривых с участками повторяющейся формы // Автоматизация и современные технологии. - 1997. - № 7. - С. 22-25.

18. Воробьев С.А., Яшин A.A. Методы обработки структурных кривых с повторяющимися признаками формы при обработке результатов медико-биологического эксперимента // Вестник новых медицинских технологий. -1998. - Т. V. - № 3-4. - С. 17-19.

19. Воробьев, С.А. Методы структурной обработки экспериментальных данных с участками повторяющейся формы / С.А. Воробьев // Известия Тульского Государственного университета, Сер. Математика Механика. Информатика. -Тула, ТулГУ, 1999. - Т. 5, Вып. 3. - С. 15-20.

20. Воронцов, К.В. Вычислительные методы обучения по прецедентам [Электронный ресурс] / К.В. Воронцов. - Режим доступа: http://www.ccas.ni/voron/download/Introduction.pdf. - Загл. с экрана.

21. Воронцов, К.В. Метрические алгоритмы классификации и математические методы обучения по прецедентам [Электронный ресурс] / К.В. Воронцов.

- Режим доступа: http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1 .pdf. - Загл. с экрана.

22. Гефке, Д.А. Применение скрытых марковских моделей для распознавания звуковых последовательностей / Д.А. Гефке, П.М. Зацепин // Известия алтайского государственного университета. - 2012. - № 1-2 (73). - С. 72-76.

23. Гихман, И.И. Теория случайных процессов : в 3 томах / И.И. Гихман, A.B. Скороход. - Москва : Наука, 1971. - 1 т. - 665 с.

24. Гультяева, Т.А. Вычисление первых производных от логарифма функции правдоподобия для скрытых марковских моделей / Т.А. Гультяева // Сборник Научных трудов НГТУ. - Новосибирск : Изд-во НГТУ, 2010. - № 2 (60). -С. 39-46.

25. Гультяева, Т.А. Исследование возможностей применения алгоритма к-ближайших соседей и метода опорных векторов для классификации сигналов, порожденных скрытыми марковскими моделями / Т.А. Гультяева, Д.Ю. Коротенко // Наука. Технологии. Инновации : материалы Всерос. науч. конф. молодых ученых. - Новосибирск : Изд-во НГТУ, 2011. - Ч. 1. - С. 242246.

26. Гультяева, Т.А. Исследование возможностей применения алгоритма к-ближайших соседей и метода опорных векторов при классификации последовательностей, порожденных скрытыми марковскими моделям / Т.А. Гультяева, Д.Ю. Коротенко // Сборник Научных трудов НГТУ. - Новосибирск : Изд-во НГТУ, 2011. -№3 (65). -С. 45-55.

27. Гультяева, Т.А. Исследование поведения классификаторов при классификации смоделированных СММ последовательностей в условиях отклонения от классических предположений / Т.А. Гультяева, A.A. Попов // Информационные и математические технологии в науке, технике, медицине : материалы Всерос. конф. с междунар. участием - Томск : Изд-во ТПУ, 2012. - Ч. 1. - С. 49-51.

28. Гультяева, Т.А. Классификация зашумленных последовательностей, порожденных близкими скрытыми марковскими моделями / Т.А. Гультяева,

A.A. Попов // Научный вестник НГТУ. - Новосибирск : Изд-во НГТУ, 2011. -№3(44).-С. 3-16.

29. Гультяева, Т.А. Классификация последовательностей, подверженных действию помех с характеристиками, зависящими от скрытых состояний / Т.А. Гультяева, A.A. Попов // Сборник Научных трудов НГТУ. - Новосибирск : Изд-во НГТУ, 2011. -№ 1 (63).-С. 59-68.

30. Гультяева, Т.А. Классификация последовательностей, порожденных близкими скрытыми марковскими моделями, при наличии шума / Т.А. Гультяева, A.A. Попов // Технические науки: проблемы и перспективы : материалы междунар. заоч. науч. конф. - Санкт-Петербург : Изд-во Реноме, 2011.-№ 1.-С. 37-41.

31. Гультяева, Т.А. Классификация последовательностей, порожденных близкими скрытыми марковскими моделями, при наличии шума, распределенного по закону Коши / Т.А. Гультяева, A.A. Попов // Информатика и проблема телекоммуникаций: материалы российской науч.-технич. конф. - Новосибирск : Изд-во СибГУТИ, 2011. - Т. I. - С. 60-63.

32. Гультяева, Т.А. Классификация последовательностей, смоделированных скрытыми марковскими моделями при наличии аддитивного шума / Т.А. Гультяева, A.A. Попов // Научный вестник НГТУ. - Новосибирск : Изд-во НГТУ, 2012. -№ 3 (48). - С. 17-24.

33. Гультяева, Т.А. Классификация сигналов, представляющих собой суммарный ток, потребляемый в электрической цепи, при наличии шума и близких параметров нагрузок / Т.А. Гультяева, Д.Ю. Коротенко // Информатика и проблема телекоммуникаций: материалы российской науч.-технич. конф. - Новосибирск : Изд-во СибГУТИ, 2012. - Т. I. - С. 23-26

34. Гультяева, Т.А. Классификация последовательностей, порождённых скрытыми марковскими моделями, при наличии шума / Т.А. Гультяева, А.А.Попов // Математические методы распознавания образов-15: материалы всеросс. конф. - Москва : Изд-во МАКС Пресс, 2011. - С. 211-214.

35. Гультяева Т.А. Классификация последовательностей с использованием скрытых марковских моделей в условиях неточного задания их структуры / Т.А. Гультяева, A.A. Попов // Вестник ТГУ. Управление, вычислительная техника и информатика - Томск : Изд-во ТГУ, 2013. - № 3 (24). - С. 57-63.

36. Гультяева Т.А. Классификация смоделированных скрытыми марковскими моделями последовательностей в многоклассовом случае / Т.А. Гультяева, A.A. Попов // Научный вестник НГТУ. - Новосибирск : Изд-во НГТУ, 2013. -№ 3 (52). - С. 40-45.

37. Гультяева, Т.А. Особенности вычисления первых производных от логарифма функции правдоподобия для скрытых марковских моделей при длинных сигналах / Т.А. Гультяева // Сборник Научных трудов НГТУ. - Новосибирск : Изд-во НГТУ, 2010. - № 2 (60). - С. 47-52.

38. Гультяева, Т.А. Повышение классификационных свойств скрытых мар-сковских моделей / Т.А. Гультяева // Информатика и проблема телекоммуникаций: материалы российской науч.-технич. конф. - Новосибирск : Изд-во Сиб-ГУТИ, 2010. - T. I. - С. 52-54.

39. Гультяева, Т.А. Построение гибридной модели для распознавания цифровых сигналов, основанной на комбинации скрытых марковских моделей и машин опорных векторов / Д.Ю. Коротенко, Т.А. Гультяева // Информатика и проблема телекоммуникаций: материалы российской науч.-технич. конф. - Новосибирск : Изд-во СибГУТИ, 2011. - T. I. - С. 76-79.

40. Гультяева, Т.А. Применение скрытых марковских моделей, kNN и SVM для задачи классификации режимов системы электроснабжения / Т.А. Гультяева, A.A. Попов, Д.Ю. Коротенко // Актуальные проблемы электронного приборостроения. АПЭП 2012: материалы XI междунар. науч.-технич. конф. - Новосибирск : Изд-во НГТУ, 2012. - Т. 6 - С.36-41.

41. Загоруйко, Н.Г. Прикладные методы анализа данных и знаний / Н.Г. Загоруйко. - Новосибирск : ИМ СО РАН, 1999. - 270 с.

42. Загоруйко, Н.Г. Когнитивный анализ данных / Н.Г. Загоруйко. - Новосибирск : Академическое изд-во «ГЕО», 2012. - 186 с.

43. Зевеке, Г.В. Основы теории цепей : Учебник для вузов / Г.В. Зевеке [и др.]. - Москва : Энергоатомиздат, 1989. - 530 с.

44. Иконин, С.Ю. Система автоматического распознавания речи SPIRIT ASR Engine / С.Ю. Иконин, Д.В. Сарана // Цифровая обработка сигналов. - 2003. -№4.-С. 2-13.

45. Карлин, С. Основы теории случайных процессов / С. Карлин. - Москва : Мир, 1971.-537 с.

46. Кендалл, М. Курс статистики : в 3 томах / М. Кендалл, А. Стьюарт. - Москва : Наука, Физматлит, 1966. - 3 т. - 736 с.

47. Ковалевский, В.А. Оптимальный алгоритм распознавания некоторых последовательностей изображений / В.А. Ковалевский // Кибернетика. - 1967. -№ 4. - С. 75-80.

48. Ковалевский, В.А. Последовательная оптимизация в задачах распознавания образов. / В.А. Ковалевский // Кибернетика и вычислительная техника. -Киев, Наукова думка, 1969. - С. 6-13.

49. Кокс, Д. Теоретическая статистика / Д. Кокс, Д. Хинкли. - Москва : Мир, 1978.-562 с.

50. Колмогоров, А.Н. Об аналитических методах в теории вероятностей / А.Н. Колмогоров // Успехи математических наук. - 1932. - Вып. 5. - С. 5-41.

51. Колмогоров, А.Н. Цепи Маркова со счетным числом возможных состояний / А.Н. Колмогоров // Бюллетень МГУ. - 1937. - Сер. А, Т. 1. - С. 1-16.

52. Марков, A.A. Пример статистического исследования над текстом «Евгения Онегина» иллюстрирующий связь испытаний в цепь / A.A. Марков // Известия Имп.Акад.наук. - 1913. - Серия VI, Т. X, № 3. - С. 153-153.

53. Марков, A.A. Избранные труды. Теория чисел. Теория вероятности / Под ред. Ю.В. Линник. - Ленинград : Издательство Академии Наук СССР, 1951. -720 с.

54. Мерков, А.Б. Основные методы, применяемые для распознавания рукописного текста [Электронный ресурс] / А.Б. Мерков ; Лаборатория распознавания образов МЦНМО. - Режим доступа:

http://www.recognition.mccme.ru/pub/RecogmtionLab.html/methods.html. - Загл. с экрана.

55. Мерков, А.Б. Введение в методы статистического обучения [Электронный ресурс] : Конспект лекций и семинаров по распознаванию : версия от 20 мая 2009 / А.Б. Мерков. - Режим доступа:

http://www.recognition.mccme.ru/pub/RecognitionLab.html/sltb.pdf. - Загл. с экрана.

56. Миллер, Б.М. Оптимизация потока передачи данных в TCP/IP методами теории стохастического управления [Электронный ресурс] / Б.М. Миллер, К.В. Степанян // Информационые процессы. Электронный научный журнал. - 2004. -Т. 4, №2.-С. 133-140.- Режим доступа: http://www.jip.ru/2004/133-140.pdf-Загл. с экрана.

57. Миллер, Б.М. Задача оптимального стохастического управления потоком данных по неполной информации / Б.М. Миллер [и др.] // Проблемы передачи информации. - 2005. - Т. 41, № 2. - С. 89-110.

58. Моттль, В.В. Скрытые марковские модели в структурном анализе сигналов / В.В. Моттль, И.Б. Мучник. - Москва : ФИЗМАТ ЛИТ, 1999. - 352 с.

59. Моттль, В.В. Автоматическая классификация локальных особенностей полей данных с использованием скрытых марковских моделей /В.В. Моттль [и др.] // Обозрение прикладной и промышленной математики. - М., 1996. - Т. 3, выпуск 1. - С. 104-132.

60. Портенко, Н.И. Марковские процессы / Н.И. Портенко, A.B. Скороход, В. М. Шуренков // Итоги науки и техн. Соврем пробл. матем. Фундам. направления - ВИНИТИ. - 1989. - Т. 46. - С. 5-245.

61. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа хи-квадрат. [Электронный ресурс] - Москва : Изд-во стандартов, 2002. -87 с. - Режим доступа: http://ami.nstu.ru/~headrd/seminar/xi_square/startl.htm -Загл. с экрана.

62. Сидоров, М.А. Использование модели скрытого марковского поля для стегоанализа изображений / М.А. Сидоров // Дискретная математика. - 2005. -№ 17(3).-С. 89-104.

63. Стратонович, P.JI. Условные Марковские процессы и их применение к теории оптимального управления / P.JI. Стратонович. - Москва : МГУ, 1965. -319 с.

64. Ту, Дж. Принципы распознавания образов / Дж. Ту, Р. Гонсалес. - Москва : Мир, 1978.-414 с.

65. Форсайт, Д. А. Компьютерное зрение. Современный подход / Д.А. Форсайт, Д. Понс. - Москва : Вилямс, 2004. - 928 с.

66. Фукунага, К. Введение в статистическую теорию распознавания образов / К. Фукунага. - Москва : Наука, 1979. - 368 с.

67. Харкевич, А.А. Борьба с помехами / А.А. Харкевич. - 2-е изд. - Москва : Наука, 1965.-276 с.

68. Шлезингер, М. Десять лекций по статистическому и структурному распознаванию / М. Шлезингер, В. Главач. - Киев : Наукова думка, 2004. - 535 с.

69. Шлезингер, М.И. Взаимосвязь обучения и самообучения в распознавании образов / М.И. Шлезингер // Кибернетика. - 1968. - № 2. - С. 81-88.

70. Aizerman, М.А. Theoretical foundations of the potential function method in pattern recognition learning / M.A. Aizerman, E.M. Braverman, L.I. Rozoner // Automation and Remote Control. - 1964. - Vol. 25. - P. 821-837.

71. Al-Ani, A. Pattern Classification Using a Penalized Likelihood Method / A. Al-Ani, A.F. Atiya // Artificial neural networks in pattern recognition : 4th I APR TC3 Workshop, ANNPR- 2010. - P. 1-12.

72. Alexandrov, V. Using 3D Hidden Markov Models that explicitly represent spatial coordinates to model and compare protein structures [Электронный ресурс] / V. Alexandrov, M. Gerstein // BMC Bioinformatics. - 2004. - Vol. 5, Iss. 2. -http://www.biomedcentral.eom/1471-2105/5/2. -Загл. с экрана.

73. Altun, Y. Hidden Markov Support Vector Machines [Электронный ресурс] / Y. Altun, I. Tsochantaridis, T. Hofmann // entieth International Conference on Ma-

chine Learning (ICML-2003), Washington DC. - 2003. - Режим доступа: http://cs.brown.edu/~th/papers/AltTsoHof-ICML2003.pdf- Загл. с экрана.

74. Amit, A. Ensemble Classification via Dimensionality Reduction [Электронный ресурс] : M. Sc. dissertation : The Interdisciplinary Center, Herzlia Efi Arazi School of Computer Science / A. Amit - Режим доступа: http://wwwl.idc.ac.il/toky/msc/Thesis/amitl l.pdf. - Загл. с экрана.

75. Anderson, T.W. Panels and time series analysis: Markov chains and autoregressive processes [Электронный ресурс] : Technical report № 24, 1976 / T.W. Anderson. - Режим доступа:

http://www.dtic.mil/dtic/tr/fulltext/u2/a030653.pdf. - Загл. с экрана.

76. Anton-Haro, С. Blind Channel Estimation and Data Detection Using Hidden Markov Models / C. Anton-Haro, J.A.R. Fonollosa, J.R. Fonollosa // IEEE Transaction on Signal processing. - 1997. - Vol. 45, № 1. - P. 241-247.

77. Aran, O. Recognizing two handed gestures with generative, discriminative and ensemble methods via Fisher kernels / O. Aran, L. Akarun // In LNCS: Multimedia Content Representation. Classification and Security International Workshop. - 2006. -Vol. 4015.-P. 159-166.

78. Bahl, L. Maximum mutual information estimation of hidden Markov model parameters for speech recognition / L. Bahl [et. al.] // Acoustics, Speech, and Signal Processing, IEEE International Conference ICASSP '86.- 1986. - Vol.11. - P. 49-52.

79. Bahl, L.R. Decoding for channels with insertions, deletions, and substitutions with applications to speech recognition / L.R. Bahl, F. Jelinek // Information Theory, IEEE Transactions on. - 1975. - Vol. 21, Iss. 4. - P. 404-411.

80. Bahl, L.R. A Maximum Likelihood Approach to Continuous Speech Recognition / L.R. Bahl, F. Jelinek, R.L. Mercer // Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 1983. - Iss. 2. - P. 179-190.

81. Baker, J.K. The DRAGON system - An overview / J.K. Baker // Proceedings from the IEEE Symposium on Speech Recognition. - 1975. - № 1. - P. 24-29.

82. Bakis, R. Continuous speech word recognition via centisecond acoustic states / R. Bakis // Journal Acoustical Society of America. - 1976. - Vol. 59, Iss. SI. -P. 97-97.

83. Barbu, V.S. Semi-Markov chains and hidden semi-Markov models toward applications : their use in reliability and DNA analysis / V.S. Barbu, N. Limnios. -London, New York : Springer-Verlag, 2008. - 226 p.

84. Bartlett, P. Generalization performance of support vector machines and other pattern classifiers / P. Bartlett, J. Shawe-Taylor // Advances in Kernel Methods. -MIT Press, 1999. - Support Vector Learning. - P. 43-54.

85. Baum, L.E. A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains / L.E. Baum [et. al.] // The Annals of Mathematical Statistics. - 1970. - Vol. 41, № 1. - P. 164-171.

86. Baum, L.E. Statistical inference for probabilistic functions of finite state Markov chains / L.E. Baum, T. Petrie // The Annals of Mathematical Statistics - 1966. -Vol. 37.-P. 1554-1563.

87. Baum, L.E. An inequality with applications to statistical estimation for probabilistic functions of a Markov process and to a model for ecology / L.E. Baum, J.A. Eagon // Bulletin of the American Mathematical Society. - 1967. - Vol. 73, № 3. -P. 360-363.

88. Baum, L.E. Growth functions for transformations / L.E. Baum, G.R. Sell // Pacific journal of Mathematics. - 1968. - Vol. 27, № 2. - P. 211-227.

89. Baum, L.E. A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains / L.E. Baum [et. al.] // The Annals of Mathematical Statistics - 1970. - vol. 41, № 1. - P. 164-171.

90. Baum, L.E. An inequality and associated maximization technique in statistical estimation for probabilistic functions of Markov processes / L.E. Baum // Inequalities. - 1972. - Vol. 3.-P. 1-8.

91. Bhar, R. Hidden Markov Models: Applications to Financial Economics (Advanced Studies in Theoretical and Applied Econometrics) / R. Bhar, S. Hamori. -London, New York : Springer, 2004. - 160 p.

92. Bilmes, J.A. A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov models// Technical Report 97-021, International Computer Science Institute Berkley CA, 1998.

93. Birney, E. Hidden Markov models in biological sequence analyzing / E. Birney // IBM Journal Research & Development. - 2001. - Vol. 45, № 3/4. - P. 449-449.

94. Bishop, M.J. Maximum Likelihood Alignment of DNA Sequences / M.J. Bishop, E.A. Thompson // Journal of Molecular Biology. - 1986. - Vol. 190, № 2. -P. 159-165.

95. Boser, B.E. A training algorithm for optimal margin classifiers / B.E. Boser, I.M. Guyon, V. Vapnik // Fifth Annual Workshop on Computational Learning Theory. - Pittsburg, 1992. - ACM. - P. 144-152.

96. Bunke, H. Hidden Markov models : applications in computer vision : Series in Machine Perception and Artificial Intelligence (Book 45) / H. Bunke, T. Caelli. -Singapore : WorldScientific, 2001. - 244 p.

97. Burges, J.C. A Tutorial on Support Vector Machines for Pattern / J.C. Burges // Data Mining and Knowledge Discovery. - Boston, 1998. - № 2. - P. 121-167.

98. Сарре, O. Inference in Hidden Markov Models / О. Сарре, E. Moulines, T. Ryden. - London, New York : Springer, 2010. - 654 p.

99. Cardinaux, F. Face Verification Using Adapted Generative Models / F. Cardinaux, C. Sanderson, S. Bengio // Proc. 6th IEEE Int. Conf. Automatic Face and Gesture Recognition. - 2004. - P. 825-830.

100. Chang, C.-C. LIBSVM: a library for support vector machine [Электронный ресурс] / C.-C. Chang, C.-J. Lin. - Режим доступа: http://www.csie.ntu.edu.tw/~cjlin/papers/libsvm.pdf. - Загл. с экрана.

101. Chapelle, О. Choosing multiple parameters for support vector machines / O. Chapelle [et. al.] [Электронный ресурс] // Machine Learning. - 2002. - Vol. 46. - P. 131-159. - Режим доступа: http://research.microsoft.com/en-us/um/people/manik/projects/trade-off/papers/ChapelleML02.pdf- Загл. с экрана.

102. Chatzis, S.P. A Variational Bayesian Methodology for Hidden Markov Models utilizing Student's-t Mixtures / S.P. Chatzis, D.I. Kosmopoulos // Pattern Recognition. - 2011. - Vol. 44, Iss. 2. - P. 295-306.

103. Chiu, A.WL. Wavelet-based Gaussian-mixture hidden Markov model for the detection of multistage seizure dynamics: A proof-of-concept study [Электронный ресурс] / A.WL. Chiu [et. al.] - Режим доступа: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3094216/. - Загл. с экрана.

104. Choi, H.J. Robust estimation of discrete hidden Markov model parameters using the entropy-based feature-parameter weighting and source-quantization modeling / H.J. Choi, S.J. Yun, Y.H. Oh // Artificial Intelligence in Engineering. - 1998. -Vol. 12, Iss. 3.-P. 243-252.

105. Clote, P. Computational Molecular Biology: An Introduction. / P. Clote, R. Backofen. - England : John Wiley & Sons Ltd, 2000. - 286 p.

106. Cortes, C. Support Vector Networks / C. Cortes, V. Vapnik // Machine Learning. - Boston, 1995. - Vol. 20, № 3. - P. 273-297.

107. Costa, E.F. On the Observability and Detectability of Continuous-Time Markov Jump Linear Systems / E.F. Costa // SIAM Journal on Control and Optimization. - 2002. - Vol. 41, Iss. 4. - P. 1295-1314.

108. Dai, J. Robust estimation of HMM parameters using fuzzy vector quantization and Parzen's window / J. Dai // Pattern Recognition. - 1995. - Vol. 28, Iss. 1. -P. 53-57.

109. Del Rose, M. Evidence Feed Forward Hidden Markov Model: a New Type of Hiden Markov Model / M. Del Rose, C. Wagne, P. Frederick // International Journal of Artificial Intelligence & Applications. - 2011. - Vol. 2, № 1. - P. 1-19.

110. Delany, S.J. The Good, the Bad and the Incorrectly Classified: Profiling Cases for Case-Base Editing study [Электронный ресурс] / S.J. Delany // Case-Based Reasoning Research and Development, 8th International Conference on Case-Based Reasoning, ICCBR, Seattle, WA. - 2009. - P. 135-149. - Режим доступа: http://arrow.dit.ie/cgi/viewcontent.cgi?article=1007&context=dmccon - Загл. с экрана.

111. Dembo, A. Parameter estimation of partially observed continuous time stochastic processes via the EM algorithm / A. Dembo, O. Zeitouni // Stochastic Processes and their Applications. - 1986. - Vol. 23, Iss. 1. - P. 91-113.

112. Dempster, A.P. Maximum likelihood from incomplete data via the EM algorithm / A.P. Dempster, N.M. Laird, D.B. Rubin // Journal of the royal statistical society, series В.- 1977.-Vol. 39, № l.-P. 1-39.

113. Doeblin, W. Sur deux problemes de M. Kolmogoroff concernant les chaines denombrables / W. Doeblin // Bull. Soc. Math. France. - 1952. - Vol. 52. - P. 37-64.

114. Dong, M. PM2.5 concentration prediction using hidden semi-Markov modelbased times series data mining / M. Dong [et. al.] // Expert Systems with Applications. - 2009. - Vol. 36. - P. 9046-9055.

115. Durbin, R. Biological Sequence Analysis: Probabilistic Models of Proteins and Nucleic Acids / R. Durbin [et. al.]. - Cambridge University Press, 1998. - 356 p.

116. Dymarski, P. Large Margin Hidden Markov Models in command recognition and speaker verification problems / P. Dymarski, S. Wydra // Systems, Signals and Image Processing, 2008. IWSSIP 2008. 15th International Conference on. - 2008. -P. 221-224.

117. Eickeler, S. High Performance Face Recognition Using Pseudo 2-D Hidden Markov Models [Электронный ресурс] / S. Eickeler, S. Miiller, G. Rigoll. - Режим доступа:

http://citeseerx.ist.psu.edu/viewdoc/download?doi= 10.1.1.42.6172&rep=rep 1 &type= pdf. - Загл. с экрана.

118. Elliott, R.J. Hidden Markov Models: Estimation and Control. / R.J. Elliott, L. Aggoun, J.B. Moore. - Berlin : Springer-Verlag, 1995. - 361 p.

119. Ephraim, Y. Hidden Markov Processes / Y. Ephraim // IEEE Transactions on information theory. - 2006. - Vol. 48, № 6. - P. 1558-1569.

120. Fan, R.-E. Working set selection using second order information for training SVM / R.-E. Fan, P.-H. Chen, C.-J. Lin // The Journal of Machine Learning Research. - 2005. - Vol. 6. - P. 1889-1918.

121. Ferguson, J.D. Hidden Markov analysis: an introduction / J.D. Ferguson // Proc. of the Symposium on the Application of Hidden Markov Models to Text and Speech. - IDA-CRD, Princeton, NJ, 1980. - P. 8-15.

122. Fix, E. Discriminatory Analysis. Nonparametric Discrimination: Small Sample Performance [Электронный ресурс] : Report A193008, USAF School of Aviation Medicine, Randolph Field / E. Fix, J.L. Hodges. - Texas, 1952. - Режим доступа: http://www.dtic.mil/dtic/tr/fulltext/u2/a800391.pdf- Загл. с экрана.

123. Fonollosa, J.A.R. Application of hidden Markov models to blind channel characterization and data detection / J.A.R. Fonollosa, J. Vidal // Proceeding ICASSP '94 Proceedings of the Acoustics, Speech, and Signal Processing, 1994. IEEE International Conference. - 1994. - Vol. IV. - P. 185-188.

124. Francq, C. Ergodicity of autoregressive processes with Markov-switching and consistency of the maximum-likelihood estimator / C. Francq, M. Roussignol // Statistics: A Journal of Theoretical and Applied Statistics. - 1998. - Vol. 32, Iss. 2. -P. 151-173.

125. Fraser, A.M. Hidden Markov Models and Dynamical Systems / A.M. Fraser. -Philadelphia : Society for Industrial and Applied Mathematics, 2008. - 143 p.

126. Friedman, J.H. Another approach to polychotomous classification [Электронный ресурс] : Technical report, Stanford Department of Statistics, 1996 / J.H. Friedman. - Режим доступа:

http://www-stat.stanford.edU/reports/friedman/poly.ps.Z. - Загл. с экрана.

127. Friess, Т. The kernel Adatron algorithm: A fast and simple learning procedure for support vector machines / T. Friess, N. Cristianini, C. Campbell // Proc. ICML. -1998.-№98.-P. 188-196.

128. Gales, M. The Application of Hidden Markov Models in Speech Recognition / M. Gales, S. Young // Foundations and Trends in Signal Processing. - 2008. - Vol. 1, Iss. 3.-P. 195-304.

129. Ghoshal, A. Hidden Markov Models for Image and Video Retrieval Using Textual Queries [Электронный ресурс] / A. Ghoshal, P. Ircing, S. Khudanpur. -

Режим доступа: http://130.203.133.150/viewdoc/summary?doi=10.1.1.214.7802. -Загл. с экрана.

130. Granat, R. A Hidden Markov Model Based Tool for Geophysical Data Exploration / R. Granat, A. Donnellan // Pure and Applied Geophysics. - 2002. - Vol. 159, Iss. 10.-P. 2271-2283

131. Gregoir, S. Measuring the Probability of a Business Cycle Turning Point by Using a Multivariate Qualitative Hidden Markov Model / S. Gregoir, F. Lenglart // Journal of forecasting. - 2000. - Vol. 19, Iss. 2. - P. 81-102.

132. Guedon, Y. Use of the Derin's algorithm in hidden semi-Markov models for automatic speech recognition / Y. Guedon, C. Cocozza-Thivent // International Conference on Acoustics, Speech, and Signal Processing. - 1989. - ICASSP-89. -P. 282-285.

133. Gultyaeva, T.A. The Classification of Noisy Sequences Generated by Similar HMMs / T.A. Gultyaeva, A.A. Popov // PReMI 2011, LNCS. - Springer-Verlag Berlin Heidelberg, 2011. - Vol. 6744/2011. - P. 30-35.

134. Hill-Valley Data Set [Электронный ресурс]. - Режим доступа: http://archive.ics.uci.edu/ml/datasets/Hill-Valley. - Загл. с экрана.

135. HSMM - Online bibliography [Электронный ресурс]. - Режим доступа: http://sist.sysu.edu.cn/~syu/HSMM_bibliography.htm. - Загл. с экрана.

136. Hsu, C.-W. A comparison of methods for multiclass support vector machines / C.-W. Hsu, C.-J. Lin [Электронный ресурс] // IEEE Transactions on Neural Networks. - 2002. -№ 13 (2). - P. 415-425. - Режим доступа: http://cs.ecs.baylor.edu/~hamerly/courses/5325_l ls/papers/svm/hsu2001multiclass.p df- Загл. с экрана.

137. Huang, X.D. Hidden Markov models for speech recognition / X.D. Huang, Y. Ariki, M.A. Jack. - Edinburgh : Edinburgh University Press, 1990. - 276 p.

138. Ikbal, S. HMM/ANN Based Spectral Peak Location Estimation for Noise Robust Speech Recognition / S. Ikbal, H. Bourlard, M. Magimai-Doss // Acoustics, Speech, and Signal Processing. Proceedings IEEE International Conference ICASSP'05 - 2005. - Vol. 1. - P. 453-456.

139. Jaakkola, Т. Exploiting Generative Models in Discriminative Classifiers / T. Jaakkola, D. Haussler // In Advances in Neural Information Processing Systems II. - 1998.-P. 487-493.

140. Jelinek, F. Continuous speech recognition: Statistical methods / F. Jelinek, L.R. Bahl, R.L. Mercer // Handbook of Statistics: Classification, Pattern Recognition and Reduction of Dimensionality. - Elsiver, 1983. - Vol. 2. - P. 549-573.

141. Jelinek, F. Design of a linguistic statistical decoder for the recognition of continuous speech / F. Jelinek, L.R. Bahl, R.L. Mercer // Information Theory, IEEE Transactions on. - 1975. - Vol. 21, Iss. 3. - P. 250-256.

142. Jelinek, F. Continuous speech recognition by statistical methods / F. Jelinek // Proceedings of the IEEE. - 1976. - Vol. 64, Iss. 4. - P. 532-556.

143. Jelinek, F. A fast sequential decoding algorithm using a stack / F. Jelinek // IBM Journal of Research and Developmen. - 1969. - Vol. 13, Iss. 6. - P. 675-685.

144. Jiang, H. Large margin hidden Markov models for speech recognition / H. Jiang, X. Li, C. Liu // Audio, Speech, and Language Processing, IEEE Transactions on. - 2006. - Vol. 14, Iss. 5. - P. 1584-1595.

145. Joachims, T. Text Categorization with Support Vector Machines:Learning with Many Relevant Features / T. Joachims // Proceedings of ECML : 10th European Conference on Machine Learning. - 1998. - № 98. - P. 137-142.

146. Juang, B.H. On Hidden Markov Model and Dynamic Time Warping for Speech Recognition, A Unified View / B.H. Juang // AT&TTech. - 1984. - Vol. 63, №7.-P. 1213-1243.

147. Kapadia, S. Discriminative Training of Hidden Markov Models [Электронный ресурс] : Downing College, Dissertation submitted to the University of Cambridge for the degree of Doctor of Philosophy / S. Kapadia. - 1998 - Режим доступа: http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=BAAEB33BA52C4285814 E95A9E73FFC34?doi=10.1.1.16.9409&rep=repl&type=pdf. - Загл. с экрана.

148. Kinscher, J. The Munster Tagging Project - Mathematical Background [Электронный ресурс] / J. Kinscher, H. Trebbe, A. Linguistik. - Режим доступа: http://citeseerx.ist.psu.edu/viewdoc/summary?doi=l0.1.1.42.6845. - Загл. с экрана.

149. Kohir, V.V. Face recognition using a DCT-HMM approach / V.V. Kohir // Applications of Computer Vision. - 1998. - WACV '98. Proceedings., Fourth IEEE Workshop.-P. 226-231.

150. Kopecky, K.A. Finite State Markov-chain Approximations to Highly Persistent Processes / K.A. Kopecky, R.M.H. Suen // Review of Economic Dynamics. - 2010. -Vol. 13, Iss. 3. - P. 701-714.

151. Koski, T. Hidden Markov Models for Bioinformatics : Computational Biology, Vol. 2 / T. Koski. - Springer, 2002. - 416 p.

152. KreBel, U.H.-G. Pairwise classification and support vector machines / U.H.-G. Krebel // Published in book: Advances in kernel methods, B. Scholkopf, C. J. C. Burges, and A.J. Smola, editors, - MIT Press Cambridge, MA, USA, 1999. -P. 255-268.

153. Kumar, P. Pattern Discovery Using Sequence Data Mining: Applications and Studies / P. Kumar, P. R. Krishna, S. B. Raju. - USA : IGI Global, 2011. - 286 p.

154. Kundu, A. Speech Recognition Using Hybrid Hidden Markov Model and NN Classifier / A. Kundu, A. Bayya // International journal of speech technology. - 1998. - Vol. 2. - P. 227-240.

155. Kuo, H.K.J. Maximum entropy direct models for speech recognition / H.K.J. Kuo, Y. Gao // Audio, Speech, and Language Processing, IEEE Transactions on. - 2006. - Vol. 14, Iss. 3.-P. 873-881.

156. LeCun, Y. Learning Algorithms for Classification: A Comparison on Handwritten Digit Recognition / Y. LeCun [et. al.] // World Scientific. - 1995. - Neural Networks: The Statistical Mechanics Perspective. - P. 261-276.

157. Lee, P.-H. Robust Facial Feature Extraction Using Embedded Hidden Markov Model / P.-H. Lee [et. al.] // Conference on Machine Vision Applications. - 2007. -MVA.-P. 392-395.

158. Leggetter, C.J. Maximum likelihood linear regression for speaker adaptation of continuous density hidden Markov models /C.J. Leggetter, P.C. Woodland // Computer Speech and Language. - 1995. - Vol. 9. - P. 171-185.

159. Lember, J. Adjusted Viterbi Training [Электронный ресурс] / J. Lember, A. Koloydenko. - Режим доступа: http://arxiv.org/pdf/math/0406237v2.pdf. - Загл. с экрана.

160. Levinson, S. Е. Continuously variable duration hidden Markov models for automatic speech recognition / S. E. Levinson // Computer Speech and Language. -1986.-Vol. 1, № 1. - P. 29-45.

161. Levinson, S.E. An Introduction to the Application of the theory of Probabilistic Functions of a Markov Process to Automatic Speech Recognition / S.E. Levinson, L.R. Rabiner, M.M. Sondhi // Bell Sys. Tech. Journal. - 1983. - Vol. 62, № 4. -P. 1035-1074.

162. Levinson, S.E. Structural methods in automatic speech recognition / S.E. Levinson//Proceedings of the IEEE. - 1985.-Vol. 73, Iss. 11.-P. 1625-1650.

163. Levy, P. Processus semi-Markoviens / P. Levy // Proc. Int. Congr. Math. -1956.-Vol. 3.-P. 416-426.

164. Li, J. Image Segmentation and Compression Using Hidden Markov Models : The Springer International Series in Engineering and Computer Science (Book 571) / J. Li, R.M. Gray. - London, New York : Springer, 2000. - 141 p.

165. Lindgren, G. Markov Regime Models for Mixed Distributions and Switching Regressions / G. Lindgren // Scandinavian Journal of Statistics. - 1978. - Vol. 5, №2.-P. 81-91.

166. Ling, Ch. Combination of Fisher Scores and Appearance Based by Features For Face / Ch. Ling, M. Hong // Proc. of the 2003 ACM SIGMM Workshop on Biometrics Methods and Applications. - 2003. - P. 74-81.

167. Liu, C. Estimation of the t distribution using EM and its extensions, ECM and ECME / C. Liu, D.B. Rubin // Statistica Sinica. - 1995. - № 5. - P. 19-39.

168. Liu, X. Video-based face recognition using adaptive hidden Markov mode / X. Liu, C. Tsuhan // Proceeding CVPR'03 Proceedings of the 2003 IEEE computer society conference on Computer vision and pattern recognition. - 2003. -P. 340-345.

169. Luettin, J. Visual Speech And Speaker Recognition [Электронный ресурс] : Department of Computer Science, University of Sheffield, Dissertation submitted to the University of Sheffield for the degree of Doctor of Philosophy / J. Luettin. - 1997 - Режим доступа: http://infoscience.epfl.ch/record/82448/files/luettin_thesis.pdf. -Загл. с экрана.

170. Macherey, W. A Comparative Study on Maximum Entropy and Discriminative Training for Acoustic Modeling in Automatic Speech Recognition / W. Macherey, H. Ney // Proc. Eurospeech. - 2003. - P. 493-496.

171. Mamon, R.S. Hidden Markov models in finance / R.S. Mamon, R.J. Elliott. -New York, London : Springer, 2001. - 188 p.

172. Marchand-Maillet, M. ID and Pseudo-2D Hidden Markov Models for Image Analysis. Theoretical Introduction [Электронный ресурс] : Technical Report, Institut EURECOM, Department of Multimedia Communications / M. Marchand-Maillet. - 1999 - Режим доступа:

http://www.eurecom.fr/en/publication/174/download/mm-publi-174_l.pdf. - Загл. с экрана.

173. McLachlan, G.J. Discriminant Analysis and Statistical Pattern Recognition / G.J. McLachlan. - Wiley-Interscience, 2004. - 544 p.

174. Mercer, J. Functions of positive and negative type and their connection with the theory of integral equations / J. Mercer // Philos. Trans. Roy. Soc. London. -1909. - Vol. A, № 209. - P. 415-446.

175. Merialdo, B. Phonetic recognition using hidden Markov models and maximum mutual information training / B. Merialdo // Acoustics, Speech, and Signal Processing. ICASSP-88, International Conference on. - 1988. - Vol. 1. - P. 111-114.

176. Moon, S. Robust speech recognition based on joint model and feature space optimization of hidden Markov models / S. Moon, J. Hwang // IEEE Trans Neural Netw. - 1997. - Vol. 8 (2). - P. 194-204.

177. Natarajan, P. Hierarchical Multi-channel Hidden Semi Markov Models / P. Natarajan, R. Nevatia // The twentieth International Joint Conference on Artificial Intelligence. - 2007. - P. 2562-2567.

178. Neal, R.M. Inferring State Sequences for Non-linear Systems with Embedded Hidden Markov Models / R.M. Neal, M.J. Beal, S.T. Roweis // Published in book: Advances in Neural Information Processing Systems 16 / S. Thrun, L.K. Saul, B. Scholkopf. - 2003. - P. 401-408.

179. Nefian, A.V. A hidden Markov model based approach for face detection and recognition [Электронный ресурс] : PhD Thesis / A.V. Nefian. - 1999 - Режим доступа: http://www.anefian.com/research/thesis.pdf. - Загл. с экрана.

180. Oren, М. Pedestrian Detection Using Wevelet Templates / M. Oren [et. al.] // Proc. Computer Vision and Pattern Recognition. - 1997. - № 97. - P. 193-199.

181. Osuna, E. Improved Training Algorithm for Support Vector Machines / E. Osuna, R. Freund, F. Girosi // Proc. IEEE NNSP. - 1997. - № 97. - P. 276-285.

182. Osuna, E. Training Support Vector Machines: An Application to Face Detection / E. Osuna, R. Freund, F. Girosi // Proc. Computer Vision and Pattern Recognition. - 1997. - № 97. - P. 130-136.

183. Pearl, J. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference / J. Pearl. - San Francisco : Morgan Kaufmann, 1988. - 552 p.

184. Piatt, J.C. Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines [Электронный ресурс] : Technical Report MSR-TR-98-14 / John C. Piatt ; Microsoft Research. - Режим доступа: http://luthuli.cs.uiuc.edu/~daf/courses/Optimization/Papers/smoTR.pdf. - Загл. с экрана.

185. Piatt, J.C. Fast training of support vector machines using sequential minimal optimization / J.C. Piatt // Published in book: Advances in kernel methods, B. Scholkopf, C. J. C. Burges, and A. J. Smola, editors, - MIT Press Cambridge, MA, USA, 1999.-P. 185-208.

186. Plotz, T. Markov Models for Handwriting Recognition / T. Plotz, G.A. Fink. -London, New York : Springer, 2011. - 84 p.

187. Rabiner, L.R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition / L.R. Rabiner // Proceedings of the IEEE. - 1989. - Vol. 77 (2).-P. 257-285.

188. Rabiner, L.R. Fundamentals of Speech Recognition / L.R. Rabiner, B.-H. Juang. - Prentice-Hall : Inc. Upper Saddle River, № J, USA, 1993. - 507 p.

189. Rabiner, L.R. An introduction to hidden Markov models / L.R. Rabiner, B.-H. Juang // IEEE ASSp Magazine. - 1986. - Vol. 3, № 1. - P. 4-16.

190. Saeed, U. Person Recognition Form Video using Facial Mimics / U. Saeed, J. Dugelay // Acoustics, Speech and Signal Processing, 2007. ICASSP 2007. IEEE International Conference. - 2007. - Vol. 1. - P. 493-496.

191. Samaria, F. HMM based architecture for Face Identification / F. Samaria, S. Young // Image and Vision Computing. - 1994. - Vol. 12, № 8. - P. 537-543.

192. Schclar, A. Random Projection Ensemble Classifiers [Электронный ресурс] / A. Schclar, L. Rokach. - Режим доступа:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=l 0.1.1.150.1105&rep=repl&type =pdf. - Загл. с экрана.

193. Sha, F. Comparison of large margin training to other discriminativemethods for phonetic recognition by Hidden Markov Models / F. Sha, L.K. Saul // Acoustics, Speech and Signal Processing, 2007. ICASSP 2007. IEEE International Conference. -2007.-Vol.4.-P. 313-316.

194. Shawe-Taylor, J. Robust bounds on generalization from the margin distribution / J. Shawe-Taylor, № Cristianini. - Tech. Rep. NC2-TR-1998-029. - University of London : Royal Holloway, 1998. - 27 p.

195. Siohan, O. Speaker identification using minimum classification error training / O. Siohan, A. Rosenberg, S. Parthasarathy // Acoustics, Speech and Signal Processing, 1998. Proceedings of the 1998 IEEE International Conference. - 1998. -Vol. l.-P. 109-112.

196. Smith, W.L. Regenerative stochastic processes / W.L. Smith // Proc. R. Soc. Lond.- 1955.-Vol. 232, № 1188.-P. 6-31.

197. Smith, N.D. Using SVMs to classify variable length speech patterns [Электронный ресурс] : Technical report, № CUED/F-INFENG/TR-412 / N.D.Smith, M.J.F. Gales. - 2001. - Режим доступа: http://mi.eng.cam.ac.uk/~mjfg/tr412.ps.gz. - Загл. с экрана.

198. Solera-Urena, R. Robust ASR using Support Vector Machines / R. Solera-Urena, D. Martrn-Iglesias, A. Gallardo-Antolrn // Speech Communication.

- 2007. - Vol. 49. - P. 253-267.

199. Vapnik, V.N. Estimation of Dependences Based on Empirical Data / V.N. Vapnik. - New York : Springer Verlag, 1982. - 399 p.

200. Vapnik, V.N. The Nature of Statistical Learning Theory / V.N. Vapnik. -New York : Springer Verlag, 1995.- 188 p.

201. Vapnik, V. Bounds on error expectation for support vector machines / V. Vapnik, O. Chapelle // Neural Computation. - 2000. - Vol. 12, № 9. -P. 2013-2036.

202. Vapnik V. Statistical Learning Theory / V. Vapnik. - New York : John Wiley.

- 1998.-736 p.

203. Viterbi, A.J. Convolutional Codes and Their Performance in Communication Systems / A.J. Viterbi // Communication Technology, IEEE Transactions on. - 1971. -Vol. 19, Iss. 5.-P. 751-772.

204. Viterbi, A.J. Error bounds for convolutional codes and an asymptotically optimum decoding algorithm / A.J. Viterbi // Communication Technology, IEEE Transactions on. - 1967. - Vol. 13, Iss. 2. - P. 260-269.

205. Waveform Database [Электронный ресурс]. - Режим доступа: http ://archi ve. ics.uci.edu/ml/datasets/Waveform+Database+Generator+%2 8 Version+ 2%29. - Загл. с экрана.

206. Walder, C.J. Towards a Maximum Entropy Method for Estimating HMM Parameters / C.J. Walder, P.J. Kootsookos, B.C. Lovell // Proceedings of the 2003 APRS Workshop on Digital Image Computing. - 2003. - Vol. 1, № 1. - P. 45-19.

207. Weston, J. Multi-class Support Vector Machines [Электронный ресурс] : Technical Report CSD-TR-98-04 / J. Weston, C. Watkins. - Режим доступа: http://www.recognition.mccme.ru/pub/papers/SVM/multi-class-support-vector.ps.gz.

- Загл. с экрана.

208. Xiaolin, L. Training Hidden Markov Models with Multiple Observations - A Combinatorial Method / L. Xiaolin, M. Parizeau, R. Plamondon // IEEE Transaction on PAMI. - 2000. - Vol. 22, № 4. - P. 371-377.

209. Yedidia, J.S. Generalized Belief Propagation / J.S. Yedidia, W.T. Freeman, Y. Weiss // IN NIPS 13. - 2000. - P. 689-695.

210. Yedidia, J.S. Constructing Free Energy Approximations and Generalized Belief Propagation Algorithms / J.S. Yedidia, W.T. Freeman, Y. Weiss // IEEE Transactions on Information Theory. - 2005. - Vol. 51, № 7. - P. 2282-2312.

211. Zhang, Y. Segmentation of brain MR images through a hidden Markov random field model and the expectation-maximization algorithm / Y. Zhang, M. Brady, S.Smith // IEEE Transactions on medical imaging. - 2001. - Vol. 20, № 1. -P. 45-57.

212. Zhou, G. Discriminative hidden markov modeling with long state dependence using a knn ensemble / G. Zhou // International Conference on Computational Linguistics. - 2004. - P. 22-28.

243