Идентифицируемость и обучение гауссовских графовых моделей с латентными переменными тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Стафеев, Сергей Вячеславович

• Стафеев, Сергей Вячеславович
• кандидат физико-математических наук
• 2008

Оглавление диссертации кандидат физико-математических наук Стафеев, Сергей Вячеславович

Введение

1 Представление вероятностно-статистических взаимосвязей с помощью графов

1.1 Основные определения и обозначения.

1.2 Моделирование условных независимостей с помощью графов

1.2.1 Условная независимость случайных величин

1.2.2 Неориентированный граф зависимостей.

1.2.3 Ориентированный граф зависимостей.

1.2.4 Смешанный граф зависимостей.

1.2.5 Маргинальная модель независимостей.

1.3 Смешанная гауссовская графовая модель.

1.4 Гауссовские графовые модели с латентными переменными

1.4.1 Классическая модель факторного анализа.

1.4.2 Модель факторного анализа с зависимыми остатками

2 Идентифицируемость гауссовских деревьев с латентными переменными

2.1 Описание класса рассматриваемых моделей.

2.2 Гауссовские деревья с латентными переменными.

2.3 Приведенная структура гауссовского дерева с латентными переменными.

2.4 Структурная идентифицируемость гауссовских деревьев с латентными переменными.

3 Модели факторного анализа с зависимыми остатками

3.1 Модель факторного анализа с зависимыми факторами

3.1.1 Описание класса рассматриваемых моделей.

3.1.2 Условия идентифицируемости при к = 2.

3.1.3 Примеры идентифицируемых моделей.

3.1.4 Условия идентифицируемости при произвольном к.

3.2 Модель с независимыми факторами.•.

3.2.1 Описание класса рассматриваемых моделей.

3.2.2 Условия идентифицируемости.

3.2.3 Условия идентифицируемости в случае, когда постулируются некоторые нули в матрице факторных нагрузок.

4 Обучение графовых гауссовских моделей с латентными переменными

4.1 ЕМ алгоритм.

4.2 ЕМ алгоритм для случая нормального распределения

4.3 Алгоритм нахождения оценок максимального правдоподобия для параметров гауссовской смешанной графовой модели

4.4 Алгоритм нахождения оценок максимального правдоподобия для параметров гауссовской смешанной графовой модели с латентными переменными.

4.5 Структурный ЕМ алгоритм для модели факторного анализа с зависимыми остатками.

4.6 Система LSF.

4.6.1 Описание системы LSF

4.6.2 Модельные задачи.

4.6.3 Особенности связной речи детей шестилетнего возраста с задержкой психического развития.

4.6.4 Особенности индивидуального стиля деятельности государственных служащих.

Введение диссертации (часть автореферата) на тему «Идентифицируемость и обучение гауссовских графовых моделей с латентными переменными»

Одной из основных целей статистической обработки данных является выявление структуры зависимостей между изучаемыми переменными. Одним из интенсивно развивающихся в настоящее время подходов для достижения этой цели является графовое моделирование [91, 95,122] - направление прикладной статистики, в котором вероятностно - статистическая структура зависимостей между переменными представляется в виде графа, вершины которого отождествляются с изучаемыми переменными, а ребра графа указывают на наличие прямой зависимости между соответствующими переменными. По сути, графовая модель, это представление многомерного распределения переменных в виде графа.

Причиной, обусловившей развитие графового моделирования, является то, что большинство моделей, используемых при решении основных? задач прикладной статистики (сжатия информации, классификации, исследования зависимостей), могут быть представлены в виде графовой модели [63, 103]. Важным достоинством графовых моделей, отличающих их от большинства других статистических методов, является то, что с их помощью можно выдвигать и проверять гипотезы о причинн-следственных связях в изучаемых объектах [83, 103].

По видимому, впервые для представления вероятностно - статистической модели графы использовались в работах [123, 124]. Систематическое изучение графовых моделей началось в конце шестидесятых годов прошлого века с рассмотрения моделей, генерируемых неориентированными деревьями. Одной из первых работ в этом направлении является статья С1ю\\г([61]), в которой рассмотрен малопараметрический класс распределений, обобщающий многомерные распределения, которые возникают в цепях Маркова, получивший название "распределения с древообразной структурой зависимости". Позднее, данные модели были обобщены на случай моделей, генерируемых произвольными неориентированными графами [64]. Необходимо отметить, что существенный вклад в развитие этого направления был сделан в работах отечественных ученых [9, 15, 16, 17, 26]. В восьмидесятых годах наибольший интерес стали вызывать ориентированные графовые модели, обычно называемые байесовскими сетями [83, 84, 95]. Данный интерес был вызван, главным образом, тем, что байесовские сети являются удобной моделью представления знаний в области искусственного интеллекта (экспертные системы, системы принятия решений, диагностирующие системы и др.) [55, 102]. Отметим, что с одной стороны, для построения байесовской сети можно использовать информацию о причинных связях между переменными, а с другой стороны, с помощью построенной байесовской сети можно выдвигать и проверять гипотезы о причинных взаимосвязях между переменными [103]. Также отметим, что с помощью ориентированных графовых моделей удобно представлять регрессионные закономерности [51, 63, 96, 103]. В настоящее время байесовские сети нашли широкое применение при решении практических задач не только в области искусственного интеллекта, но и в различных областях экономики, социологии, телекоммуникаций и др. [5, 40, 56, 60, 72, 92, 114].

Вероятностно - статистическая модель может содержать как наблюдаемые, так и латентные (скрытые, ненаблюдаемые) переменные. Наиболее известной моделью с латентными переменными, является модель линейного факторного анализа [42], которая базируется на предположении, что зависимость между наблюдаемыми переменными может быть объяснена тем, что они зависят от меньшего числа латентных переменных.

В области прикладной статистики модели с латентными переменными давно и успешно применяются. Наиболее широкое применение они находят в психологии (где они первоначально и возникли), социологии, генетике, педагогике, экономике, биологии и многих других областях науки и техники [6,18, 88,103]. Отметим, что в Карельском научном центре РАН методы факторного анализа используются для решения различных задач на протяжении многих лет [8, 10, 43].

Основными целями использования моделей с латентными переменными являются: понижение числа переменных (снижение размерности), классификация переменных, косвенное оценивание переменных, не поддающихся непосредственному измерению, выявление скрытых влияющих факторов (причин) [3, б].

В области графового моделирования, в настоящее время наибольший интерес вызывают модели, возникающие при использовании смешанных графов, в которых вершины могут быть соединены различными видами ребер (неориентированными, ориентированными, двуориентирован-ными) [46, 52, 63, 87, 105]. Такие модели являются обобщением как ориентированных, так и неориентированных графовых моделей. В диссертации, в основном, рассматриваются графовые модели, описывающие зависимость между наблюдаемыми переменными байесовских сетей с латентными переменными [105]. Эти модели в диссертации названы смешанными графовыми моделями.

На практике, как правило, структура и параметры графовой модели неизвестны и их необходимо определять с помощью данных. Этот процесс называется обучением модели. Обучение графовой модели можно представить в виде двухэтапной процедуры:

1. Идентификация (определение) структуры модели;

2. Оценка параметров модели.

Проблеме обучения графовых моделей посвящено большое число работ [55, 62, 73, 74, 83, 89, 116, 117]. При обучении модели, как правило, для того, чтобы избежать эффекта переподгонки [20] модели (ситуации, при которой построенная по некоторой выборке вероятностно-статистическая модель описывает только саму эту выборку и непригодна в качестве модели всей генеральной совокупности), стремятся, с одной стороны -получить модель, которая адекватно описывает зависимости между переменными, а с другой стороны - получить модель с достаточно простой (содержащей небольшое число ребер) структурой. Модель с простой структурой обладает очевидными преимуществами, по сравнению с моделью, имеющей сложную структуру. Во первых, как правило, она имеет меньшее число параметров, а значит требует меньшее количество данных для их оценивания. Во вторых, простая структура, в большинстве ситуаций, допускает более точную и понятную интерпретацию. Одним-из наиболее простых и. часто используемых классов структур являются деревья [93]. Необходимо подчеркнуть, что часто упростить структуру модели удается с помощью введения в модель латентных переменных [56, 84, 103].

Одной из основных проблем, возникающих при построении графовых моделей, является то, что, как правило, одно и то же многомерное распределение переменных может быть представлено графовыми моделями с различными структурами. Следствием-того, что две различные графовые модели представляют одно распределение переменных, является невозможность различения таких моделей с помощью статистических методов. Данная проблема приводит к трудностям как при-обучении модели, так и при содержательной интерпретации ее структуры [91, 95]. Например, может возникнуть ситуация, при- которой в одной графовой модели, представляющей некоторое распределение переменных, две переменные напрямую связаны (соединены ребром), а в другой графовой модели, представляющей это же распределение, эти переменные напрямую не связаны (т.е. не соединены ребром). В связи с этим, важное значение имеет определение условий, при которых по распределению переменных возможно однозначное определение структуры графовой модели, представляющей данное распределение. Такие условия называют условиями структурной идентифицируемости модели. Условия структурной идентифицируемости для графовых моделей, как правило, заключаются в наложении ограничений на класс возможных структур [58, 118].

При фиксированной структуре графовой модели может возникнуть ситуация, когда две графовые модели с одной и той же структурой, но имеющие разные параметры, представляют одно и то же распределение переменных. В связи с этим, актуальное значение имеет определение условий, при которых по распределению переменных, при фиксированной- структуре, возможно однозначное определение параметров графовой модели, представляющей данное распределение. Такие условия называют условиями параметрической идентифицируемости модели. Как отмечалось С.А. Айвазяном [4], проблема параметрической идентифицируемости является одной из ключевых проблем, которую необходимо' решить при построении любой вероятностно - статистической модели. Это, главным образом, связано с тем, что следствием параметрической неидентифицируемости модели является невозможность оценивания параметров модели по статистическим данным, при котором, с ростом числа данных, оценки параметров приближаются к их истинным значениям (т.е. невозможность состоятельного оценивания параметров модели) [85]. Условия параметрической идентифицируемости для графовой модели, как правило, заключаются в наложении ограничений как на класс возможных структур, так и на параметры модели. Отметим, что при обучении графовых моделей, не содержащих латентных переменных, как правило, проблемы параметрической неидентифицируемости не возникает

91, 103]. В то же время, при обучении графовых моделей, содержащих латентные переменные, проблема идентифицируемости особенно актуальна. Это связано с тем, что, как правило, без дополнительных условий структура и параметры такой модели оказываются неидентифицируемы-ми [122]. Параметрическая неидентифицируемость графовых моделей с латентными переменными приводит к тому, что алгоритмы обучения, разработанные для графовых моделей без латентных переменных, становятся непригодными для обучения таких моделей [95, 99, 100]. Также, следствием параметрической неидентифицируемости модели может быть ошибочная содержательная интерпретация параметров модели [91, 103]. Несмотря на то, что вопросам структурной и параметрической идентифицируемости уделяется большое внимание ([76, 77, 81, 86]), для ряда моделей, в частности, для смешанных гауссовских графовых моделей с латентными переменными, условия структурной' и параметрической идентифицируемости к настоящему времени не найдены.

Как уже отмечалось, одной из наиболее известных моделей с латентными переменными является модель факторного анализа. Заметим, что данную модель можно представить в виде гауссовской графовой модели: с латентными переменными [83]. При применении стандартных методов факторного анализа1 [6, 18, 42] часто возникает ситуация, при которой не все извлеченные факторы поддаются содержательной интерпретации, а в то же время, если мы оставим в модели только хорошо интерпретируемые факторы, то полученная модель не будет адекватно описывать зависимости между наблюдаемыми переменными. В связи с этим, целесообразно переходить к моделям с зависимыми остатками. В работах [79,80,112,113,119] были получены условия параметрической идентифицируемости для моделей однофакторного анализа с зависимостью между остатками, описываемыми марковской сетью, байесовской сетью или ковариационной графовой моделью. Однако, важная с теоретической и практической точек зрения проблема параметрической идентифицируемости для многофакторных моделей с зависимыми остатками практически не исследовалась, за исключением работ [79, 80], в которых данная проблема сводится к проблеме идентифицируемости однофакторной модели.

Цель диссертации состояла в выявлении условий структурной и параметрической идентифицируемости и разработке алгоритмов обучения гауссовских графовых моделей с латентными переменными.

Объектами исследования были гауссовские графовые модели, условия параметрической и структурной идентифицируемости рассматриваемых моделей, а также итеративные алгоритмы нахождения оценок максимального правдоподобия параметров моделей.

В диссертации использовались методы теории вероятностей, математической и прикладной статистики, теории графов.

Диссертация состоит из введения, четырех глав, заключения, списка литературы и трех приложений.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Стафеев, Сергей Вячеславович

Заключение

В диссертации были получены следующие результаты:

1. Условия параметрической и структурной идентифицируемости для гауссовских деревьев с латентными переменными. Предложена* новая более удобная параметризация для гауссовских деревьев. Получен критерий для проверки произвольной матрицы ковариаций на возможность быть матрицей ковариаций наблюдаемых случайных величин гауссовского дерева.

2. Условия параметрической идентифицируемости для моделей факторного анализа с зависимыми остатками. Были рассмотрены как модели с зависимыми факторами, так и модели с независимыми факторами.

3. Разработаны алгоритмы обучения гауссовских смешанных графовых моделей с латентными переменными и моделей факторного анализа с зависимыми остатками. Предложен алгоритм (названный StS алгоритмом) для поиска структуры зависимостей между остатками модели факторного анализа, в которой множество возможных структур ограничено неориентированными деревьями.

4. Комплекс программ LSF, в котором реализованы разработанные алгоритмы обучения смешанных гауссовских графовых моделей с латентными переменными и моделей факторного анализа с зависимыми остатками. Комплекс программ использовался при решении двух задач психологии.

В дальнейшем предполагается изучить вопросы параметрической и структурной идентифицируемости для более общих графовых моделей с латентными переменными, а также предполагается рассмотреть применение моделей и разработанных алгоритмов для решение более широкого класса практических задач.

Список литературы диссертационного исследования кандидат физико-математических наук Стафеев, Сергей Вячеславович, 2008 год

1. Андерсон Т. Введение в многомерный статистический анализ. М.: Физматгиз, 1963.

2. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей. М: Финансы и статистика, 1985.

3. Айвазян С.А., Бухштабер В.М., Енюков И.О., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989.

4. Айвазян CA., Мхитарян B.C. Прикладная статистика и основы эконометрики. М.: ЮНИТИ, 1998.

5. Белая Р.В., Стафеев C.B. Байесовская сеть для анализа структуры занятости // Мониторинг социально-экономических процессов Республики Карелия. 2000. - Петрозаводск: КарНЦ РАН. - С. 148-151.

6. Благуш П. Факторный анализ с обобщениями. М.: Финансы и статистика, 1989.

7. Болыпев Л.Н. Избранные труды. Теория вероятностей и математическая статистика. М.: Наука, 1987.

8. Ветчинникова Л.В., Харин В.Н., Спектор E.H., Бумагина З.Д. Многомерный анализ изменчивости признаков узорчатой текстуры древесины в гибридном потомстве карельской березы // Лесоведение.-2003. Вып. 4. - С. 70-74.

9. Гаврилец Ю.Н. Социально-экономическое планирование: Системы и модели. М.: Экономика, 1974.

10. Евстратова Л.П., Харин В.Н., Николаева Е.В. Статистический анализ устойчивости картофеля к болезням. Петрозаводск: ПетрГУ, 2002.

11. Ершова O.A. Новые подходы к подготовке специалистов, работающих в области1 специального (коррекционного) образования Карелии //По законам доброты. Информационно методический сборник. - 2002. - Вып. 1. - Петрозаводск. - С. 13.

12. Жук Е.Е., Харин Ю.С. Устойчивость в кластер анализе многомерных наблюдений. Минск: Белгосуниверситет, 1998.

13. Зайцева Л.М. Структурный подход к определению взаимосвязей в системе случайных величин // Известия АН СССР. Техническая кибернетика. 1984. - Вып. 4. - С. 61-82.

14. Заруцкий В.И. Классификация нормальных векторов простой структуры в пространстве большой размерности // Прикладноймногомерный статистический анализ. -1978. М.: Наука. - С. 3751.

15. Заруцкий В.И. О выделении некоторых графов связей для нормальных векторов большой размерности // Алгоритмическое и програмное обеспечение прикладного статистического анализа. -1980. М.: Наука. - С. 189-208.

16. Иберла К. Факторный анализ. М.: Статистика, 1980.

17. Илгунова O.E., Стафеев C.B. Некоторые особенности индивидуального стиля деятельности государственных служаших // Психология и жизнь. 2003. - Вып. 5. - М: МОСУ. - С. 37-42.

18. Колмогоров А.Н. К вопросу о пригодности найденных статистическим путем формул прогоноза// Геофизический журнал: 1933. -Т. 3. - Вып. 1. - С. 78-82.

19. Крамер Г. Математические методы статистики. М.: Мир, 1975.

20. Леман Э. Проверка статистических гипотез. М.: Наука, 1979.

21. Леман Э. Теория точечного оценивания. М.: Наука, 1991.

22. Литтл Р.Дж., Рубин Д.Б. Статистический анализ данных с пропусками. М.: Финансы и статистика, 1991.

23. Лоули Д., Максвелл А. Факторный анализ как статистический метод. М.: Мир, 1967.

24. Михайлов В.Г. Явные оценки в предельных теоремах для сумм случайных индикаторов // Обозрение прикладной и промышленной математики. 1994. - Т. 1. - Вып. 4. - С. 580-617.

25. Ope О. Теория графов. М.: Наука, 1980.

26. Стафеев C.B. О критерии Шварца // Труды ИПМИ КарНЦ РАН.- 1999. Вып. 2. - Петрозаводск. - С. 41-50.

27. Стафеев C.B. О размерности некоторых байесовских сетей с латентными признаками // Обозрение прикладной и промышленной математики. 2000. - Т. 7. - Вып. 1. - С. 200-201.

28. Стафеев C.B. О параметрической и структурной идентифицируемости байесовских сетей с латентными признаками // Обозрение прикладной и промышленной математики. 2001. - Т. 8. - Вып. 1. -С. 204-205.

29. Стафеев C.B. Об оценивании структуры байесовской сети с латентными признаками // Труды ИПМИ КарНЦ РАН. 2002. - Вып. 3.- Петрозаводск. С. 92-98.

30. Стафеев C.B. Об идентифицируемости некоторых моделей с латентными признаками // Тезисы докладов научной конференции "Карелия-РФФИ". 2002. - Петрозаводск. - С. 98-99.

31. Стафеев C.B. Об одной модели с латентными признаками // Обозрение прикладной и промышленной математики. 2002. - Т. 9. -Вып. 2. - С. 211-212.

32. Стафеев C.B. О факторном анализе с зависимыми остатками // Обозрение прикладной и промышленной математики. 2003. - Т. 10.- Вып. 1. С. 225-226.

33. Стафеев C.B. К вопросу об оценивании параметров модели факторного анализа с зависимыми остатками // Труды ИПМИ КарНЦ РАН. 2003. - Вып. 4. - Петрозаводск. - С. 98-105.

34. Стафеев C.B. Об оценивании параметров одной модели факторного анализа // Обозрение прикладной и промышленной математики. -2004. Т. 11. - Вып. 3. - С. 584-585.

35. Стафеев C.B. Факторный анализ с зависимыми остатками: проблема идентифицируемости и оценка параметров // Труды ИПМИ КарНЦ РАН. 2005. - Вып. 6. - Петрозаводск. - С. 119-130.

36. Стафеев C.B. О параметрической идентифицируемости модели факторного анализа с зависимыми факторами и остатками // Труды ИПМИ КарНЦ РАН. 2006. - Вып. 7. - Петрозаводск. - С. 120137.

37. Стафеев C.B. О модели факторного анализа с зависимыми остатками // Обозрение прикладной и промышленной математики. 2007. - Т. 14. - Вып. 6. - С. 1058-1064.

38. Тулупьев A.JI. Алгебраические байесовские сети. Логико- вероят- ,*ностный подход к моделированию баз знаний с неопределенностью. СПб.: СПИИРАН, 2000.

39. Харари Ф. Теория графов. М.: Наука, 1973.

40. Харман Г. Современный факторный анализ. М.: Статистика, 1972.

41. Харин В.Н. Факторный анализ (подход с использованием ЭВМ). Петрозаводск: КарНЦ РАН, 1992.

42. Шлезингер М.И. О самопроизвольном различении образов // Читающие автоматы. Киев: Наукова думка, 1965.

43. Федорюк М.В.Асимтотика : Интегралы и ряды. М.: Наука, 1987.

44. Anderson S.A.,Madigan D., Perlman M.D. Alternative Markov properties for chain graphs // Scand. J. Statist. 2001. - V. 28. - P. 33-86.

45. Anderson T. W., Rubin H. Statistikal inference in factor analysis // Proc. 3rd Berkley Symp. Math. Statist. Prob. 1956. - V. 5. - Berkely: Univ. of California Press. - P. 111-150.

46. Becker A., Geiger D., Meek C. Perfect Tree-like Markovian Distributions // Proceedings of Sixteenth Conference on Uncertainty in Artificial Intelligence. 2000. - Stanford: Morgan Kaufmann. - P. 19-23.

47. Benedetti R., Risler J. Real algebraic and semi- algebraic sets. Paris: Herman, 1990.

48. Boollen K.A. Structural equations with latent variables. New York: John Wiley and Sons, 1990.

49. Breiman L., Friedman J., Olshen R., Stone C. Classification- and regression Trees. Monterey: Wadsworth and Brooks, 1989.

50. Brito C., Pearl J. A new identification condition for recursive models with correlated errors // Structural equation modeling.- 2002. V. 9. -P. 459-474.

51. Browne M.W. Factor analysis of multiple batteries by maximum likelihood // British J. of Math, and Statist. Psychology. 1980. -V. 33. - P. 184-199.

52. Buntine W. Learning classification trees // Artificial Intelligence Frontiers in Statistics: AI and statistics III. 1993. - New York: Chapman and Hall.

53. Buntine W. Operation for learning with graphical models // Journal of Artficial Intelligence Research. 1994. - V. 2. - P. 159-225.

54. Buntine W. A guide to the literature 011 learning graphical models // IEEE Transactions on Knowledge and Data Engineering. 1996. - V. 8. - P. 195-210.

55. Cheeseman P., Stutz J. Bayesian classification (AutoClass): Theory and results // Advances in Knowledge Discovery and Data Mining. -1995. Menlo Park: AAAI Press. - P. 153-180.

56. Chickering D. A transformational characterization of equilent Bayesian network structures // Proceedings of Eleventh Conference on Uncertainty in Artificial Intelligence. 1995. - Montreal: Morgan Kaufmann. - P. 87-98.

57. Chickering D., Heckerman D. Efficient approximations for the marginal likelihood of Bayesian networks with hidden variables // Machine Learning. 1997. - V. 29. - P. 181-212.

58. Chickering D., Heckerman D. Targeted Advertising with Inventory Management. Thechnical Report MSR-TR-00-49, Microsoft Research, 2000.j

59. Chow C.K., Liu C.N., Approximating discrete probability distributions with dependence trees // IEEE Transactions on Information Theory. -1968. IT-14(3). - P. 462-467.

60. Cooper G. A Bayesian method for the induction of probabilistic networks from data // Machine Learning. 1991. - V. 9. - P. 309-347.

61. Cox D.R., Wermuth N. Multivariate Dependencies. London: Chapman and Hall, 1996.

62. Dempster A.P. Covariance selection // Biometrika. 1972. - V. 28. -P. 157-175.

63. Dempster A., Laird N., Rubin D. Maximum likelihood from incomplete data via the the EM algorithm // Journal of the Royal Statistical Sosiety. 1997. - V. 39. - P. 1-38.

64. Drton M. Maximum Likelihood Estimation of Gaussian AMP Chain Graph Models and Gausian Ancestral Graph Models. PhD thesis, University of Washington, 2004.

65. Drton M., Richardson T.S. Iterative Conditional Fitting for Gaussian Ancestral Graph Models // Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence.- 2004.- P. 130-137.

66. Edwards D.M. Introduction to Graphical Modelling. New York: Springer-Verlag, 1995.

67. Efron B. The geometry of exponential families // Annals of Statistics.- 1978. V. 6. - P. 362-374.

68. Friedman N. Learning belief networks in the presence of missing values and hidden variables // Proceedings of Fourteenth Conference on Machine Learning. 1997. - San Mateo: Morgan Kaufmann. - P. 156165.

69. Friedman N. The Bayesian Structural EM Algorithm // Proceedings of Fourteenth Conference on Uncertainty in Artificial Intelligence. 1998.- San Mateo: Morgan Kaufmann. P. 129-138.

70. Friedman N., Ninio M., Peer I., Pupko T., A Structural EM Algorithm for Phylogenetic Inference //Journal of Computational Biology. 2002.- V. 9. P. 331-352.

71. Geiger D., Heckerman D. Learning Gaussian networks. Technical Report MSR-TR-94-10, Microsoft Research, 1994.

72. Geiger D., Heckerman D. Likelihood and Parameter Priors for Bayesian Networks. Technical Report MSR-TR-95-54, Microsoft Research, 1995.

73. Geiger D., Heckerman D. A characterization of Dirichlet distribution through global and local parameter independence // Annals of Statistics. 1997. - V. 25. - P. 1344-1369.

74. Geiger D., Meek C. Graphical Models and Exponential Families // Proceedings of Fourteenth Conference on Uncertainty in Artificial Intelligence. 1998. - San Mateo: Morgan- Kaufmann. - P. 156-165.

75. Geiger D., Heckerman D., King H., Meek C. Stratified Exponential Families: Graphical Models and Model Selection // Annals of Statistics.- 2001. V. 29. - P. 505-529.

76. Gilula Z. Singular value decomposition of probability matrices: probabilistic aspects of latent dichotomous variables // Biometrika.- 1979. V. 61. - P. 339-344.

77. Giudici P., Stanghellini E. Bayesian inference for graphical factor analysis models. Technical Report 99(4-99), Pavia University,. 1999.

78. Grzebyk M., Wild P., Chouaniere D. On identification of multi-factor models with correlated residuals // Biometrika. 2004. - V. 91. - P. 141-151.

79. Goodman L. Exploratory latent structure analysis using both identifiable and unidentifiable models // Biometrika. 1974. - V. 61. -P. 215-231.

80. Haughton D. On the choice of a model to fit data from exponential family // Annals of Statistics. 1988. - V. 16. - P. 342-355.

81. Heckerman D. A Tutorial on Learning with Bayesian Networks. Technical Report MSR-TR-95-06, Microsoft Research, 1995.

82. Heckerman D., Geiger D., Chickering D. Learning Bayesian networks: The combination of knowledge and statistical data // Machine Learning. 1995. - V. 20. - P. 197-243.

83. Kass R.E., Vos P.W. Geometrical foundations of asymptotic inference. New York: Wiley and Sons, 1997.

84. Kocka T., Zhang N. Dimension- Correction for Hierarchical Latent Class Models // Proceedings of Conference on< Uncertainty in Artificial Intelligence. 2002. - San Mateo: Morgan Kaufmann. - P: 267-274.

85. Koster J.T.A. On the validity of the Markov interpretation of path diagrams of Gaussian structural equation systems with correlated errors // Scand. J. Statist. 1999. - V. 26. - P. 413-431.

86. Krogh A., Brown M., Mian I.S., Sjolander K., Haussler D.> Hidden Markov models in computational biology: Applications to protein modeling. Journal of Molecular Biology. 1994 - V. 235. P. 1501-1531.

87. Jordan M.I«. Learning in graphical models. Cambridge: MIT Press, 1998.

88. Lauritzen S. The EM algorithm for graphical association models with missing data // Computational Statistics and Data Analysis. 1995. -V. 19. - P. 191-201.

89. Lauritzen S. Graphical models. Oxford: Clarendon Press, 1996.

90. Madigan D., York J. Bayesian graphical models for discrete data //1.ternational Statistical Review. 1995. - V. 63. - P. 215-232.

91. Meila-Predoviciu M. Learning with Mixtures of Trees. PhD thesis, 1999, Massachusetts Institute of Technology.

92. Meng X.L., Rubin D.B. Maximum likelihood estimation via the ECM algorithm: A general framework // Biometrika. 1993. - V. 80. - P. 267-278.

93. Pearl J. Probabilistic Reasoning in Intelligent systems. San Mateo: Morgan-Kaufrnann, 1988.

94. Pearl J. Meshkat P. Testing Regression Models with Fewer Regressors. Technical Report, Cognitive Systems Laboratory, University of California, 1997.

95. Richardson T.S., Spirtes P. Ancestral graph Markov models // Annals of Statistics. 2002. - V. 30. - P. 962-1030.

96. Schwarz G. Estimating the demension of a model // Annals of Statistics. 1978. - V. 6. - P. 461-464.

97. Settimi R., Smith J. Geometry and identifiability in simple discrete bayesian models. Technical Report 324, University of Warwick, 1998.

98. Settimi R., Smith J. Geometry, Moments and Conditional independence trees with hidden variables // Annals of Statistics. 2000. - V. 28. - P. 1179-1205.

99. Shachter R., Kenley C. Gaussian influence diagrams // Management Science. 1989. - V. 35. - P. 527-550.

100. Spiegelhalter D., Dawid A., Lauritzen S., Cowell R. Bayesian analysis in expert systems // Statistical Science. 1993. - V. 8. - P. 219-282.

101. Spirtes P., Glymour C., Scheines R. Causation, Prediction, and Search. Springer-Verlag, 1993.

102. Spirtes P., Richardson T., Meek C. The dimensionality of mixed ancestral graphs. Technical Report CMU-PHIL-83, Carnegie Mellon University, 1997.

103. Spirtes P., Richardson T. Ancestral Graph Markov Models. Technical Report 375, University of Washington, 2002.

104. Stafeev S.V. Learning Bayesian Networks with Latent Variables // Proceedings of the Sixth International Minsk Conference Computer Data Analysis and Modeling: Robustness and Computer Intensive Methods. 2001. - Minsk. - P. 238-243.

105. Stafeev S.V. On the dimension of Bayesian networks with latent variables // Proceedings of the Fifth International Petrozavodsk Conference on Probabilistic Methods in Discrete Mathemathics. 2002.- Utrecht: VSP. P. 367-370.

106. Stafeev S.V. On the identifiability of a two-factor mode! with correlated residuals // Informational Processes. 2002. - V. 2. - P. 262-263.

107. Stanghellini E., Wermuth N. On the identification of path analysis models with one hidden variable // Biometrika. 2005. - V. 92. - P. 400-410.

108. Swofford D.L., Olsen G.J., Waddell P.J., Hillis D.M. Phylogenetic inference // Molecular Systematics. 1996. - Sunderland: Sinauer Associates. - P. 407-514.

109. Tarantola C., Vicard P. Spanning trees and identifiability of a single-factor model. Technical Report 115, Pavia University, 2000.

110. Thiesson B., Meek C., Chickering D., Heckerman D. Learning Mixtures DAG. Technical Report MSR-TR-97-06, Microsoft Research, 1997.

111. Verma T., Perl J. Equivalence and synthesis of causal models // Proceedings of Sixth Conference on Uncertainty in,. Artificial Intelligence. 1990. - Boston: Morgan Kaufmann. - P. 220-227.

112. Vicard P. On the identification of a single-factor model with?correlated residuals // Biometrika. 2000. - V. 87. - P. 199-205.

113. Wermuth N. Analysing social science data with graphical Markovmodels // Highly Structured Stochastic Systems. 2003. - Oxford: University Press. - P. 47-52.

114. Wermuth N., Cox D.R.,Marchetti G.M. Covariance chains //

115. Bernoulli.- 2006. V. 12: - P. 841-862.1221 Whittaker J. Graphical Models in applied multivariate statistics.i

116. Chichester: John Wiley and Sons, 1990.i

117. Research. 1921. - V. 20. - P. 557-585.

118. Wright S. The method of path coefficients // Ann. Math. Statist. -1934. V. 5. - P. 161-215.

119. Wu C.F.J. On the convergence properties of the EM algorithm // Ann. Statist. 1983. - V. 11. - P. 95-103.