Алгоритмы статистического анализа многофакторных объектов, описываемых линейными моделями со структурированной ошибкой тема диссертации и автореферата по ВАК РФ 05.13.16, кандидат технических наук Фаддеенков, Андрей Владимирович

• Фаддеенков, Андрей Владимирович
• кандидат технических наук
• 1999

Оглавление диссертации кандидат технических наук Фаддеенков, Андрей Владимирович

ВВЕДЕНИЕ.

Глава 1. ЛИНЕЙНЫЕ МОДЕЛИ СО СТРУКТУРИРОВАННОЙ

ОШИБКОЙ. СОВРЕМЕННОЕ СОСТОЯНИЕ.

1.1. Объект исследования как многофакторная система.

1.2. Основные типы моделей со структурированной ошибкой.

1.2.1. Модель с фиксированными факторами.

1.2.2. Модель компонент дисперсии.

1.2.3. Модели компонент дисперсии и ковариации.

1.2.3.1. Случай закоррелированных уровней.

1.2.3.2. Случай закоррелированных факторов.

1.2.4. Обобщенная модель случайных эффектов.

1.2.5. Авторегрессионые случайные эффекты.

1.2.6. Общая многомерная модель.

1.3. Методы оценивания параметров в моделях компонент дисперсии и ковариации.

1.3.1. Оценки дисперсионного анализа.

1.3.2. Оценки максимального правдоподобия.

1.3.3. Оценки маргинального максимального правдоподобия.

1.3.4. Квадратичные оценки минимальной нормы и минимальной дисперсии.

1.3.5. Байесовские оценки.

1.3.6. Сравнение статистических свойств оценок.

1.4. Современное программное обеспечение прикладного статистического анализа.

1.5. Обоснование задачи и цели исследования.

Глава 2. МЕТОДЫ И АЛГОРИТМЫ ОЦЕНИВАНИЯ КОМПОНЕНТ

ДИСПЕРСИИ

2.1. Третий алгоритм Хендерсона.

2.2. Процедура \¥-преобразования для третьего алгоритма Хендерсона.

2.3. Оценки максимального правдоподобия.

2.4. Процедура \У-преобразования вычислительных схем оценок максимального правдоподобия.

2.5. Оценки ограниченного максимального правдоподобия.

2.6. Процедура ^У-преобразования вычислительных схем оценок ограниченного максимального правдоподобия.

2.7. Квадратичные оценки минимальной нормы.

2.8. Процедура "^-преобразования для МЩС)Е(1Л).

2.9. Исследование методов оценивания компонент дисперсии.

2.9.1. Показатели точности оценивания параметров.

2.9.2. Исходные данные для моделирования и обозначения.

2.9.3. Исследование влияния уровня шума и свойств плана эксперимента на точность оценивания.

2.9.4. Исследование влияния вида распределения ошибки.

2.9.5. Исследование влияния линейных ограничений на параметры модели.

2.9.6. Сравнение точности оценивания параметров по всем методам.

2.9.7. Алгоритм выбора квадратичной оценки с минимальной дисперсией.

2.10. Выводы.

Глава 3. СТАТИСТИЧЕСКИЙ АНАЛИЗ МОДЕЛЕЙ

КОМПОНЕНТ ДИСПЕРСИИ.

3.1. Проверка статистических гипотез о незначимости факторов в модели компонент дисперсии.

3.1 Л. Проверка гипотез о незначимости фиксированных факторов.

3.1.2. Проверка гипотез о незначимости случайных факторов.

3.2. Выбор структуры модели компонент дисперсии.

3.3. Выводы.

Глава 4. ПРОГРАММНАЯ СИСТЕМА СТАТИСТИЧЕСКОГО

АНАЛИЗА И ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНОВ ДЛЯ ЛИНЕЙНЫХ МОДЕЛЕЙ С КАЧЕСТВЕННЫМИ ФАКТОРАМИ "SEA".

4.1. Задачи, решаемые системой.

4.2. Пользовательский интерфейс программной системы "SEA".

4.3. Принципы организации программной системы "SEA".

4.4. Технические характеристики программной системы "SEA".

4.5. Выводы.

Глава 5. ПРИМЕНЕНИЕ МЕТОДОВ АНАЛИЗА МОДЕЛЕЙ СО СТРУКТУРИРОВАННОЙ ОШИБКОЙ В НАУЧНЫХ

ИССЛЕДОВАНИЯХ.

5.1. Исследование и прогноз демографической ситуации в городе

Новосибирске.

5.1.1. Прогнозирование численности населения с использованием метода передвижки возрастов.

5.1.2. Прогнозирование возрастных коэффициентов рождаемости с использованием модели компонент дисперсии.

5.2. Один подход к оцениванию координаты линии фронта кристализации.

5.2.1. Постановка задачи.

5.2.2. Методы оценивания параметров.

5.2.2.1. Метод максимального правдоподобия.

5.2.2.2. Метод наименьших квадратов.

5.2.3. Результаты статистической обработки наблюдений.

5.3. Выводы.

Введение диссертации (часть автореферата) на тему «Алгоритмы статистического анализа многофакторных объектов, описываемых линейными моделями со структурированной ошибкой»

Высокие темпы развития современной вычислительной техники и программного обеспечения позволяют энергично развиваться такому направлению математики, как прикладная статистика.

Одно из направлений прикладной статистики - это методы анализа многофакторных объектов, включающие в себя, методы планирования и анализа экспериментов для моделей линейной регрессии с качественными и количественными переменными. Эти методы находят применение в таких отраслях науки и техники, как сельскохозяйственные, социологические, медико-биологические исследования, оптимизация сложных технологических процессов и др.

Методам анализа многофакторных объектов посвящено достаточно большое количество работ, связанных с планированием эксперимента, оцениванием параметров и проверкой статистических гипотез. Наиболее значимые результаты в этой области принадлежат следующим авторам: Шеффе Г., Pao С.Р., Хиксу Ч., Сирлу С., Клеф-феДж., Бродскому В.З., Налимову В.В., Федорову В.В., Денисову В.И., Марковой Е.В., Лисенкову А.Н., Адлеру Ю.П., Грановскому Ю.В., Попову A.A., Хабарову В.И., Полетаевой И.А., Пономареву В.В., Новикову A.C. и др. [1, 6, 10, 12, 27, 28, 29, 30, 31, 34, 41, 42, 50, 52, 56, 67, 68, 70].

Среди методов анализа многофакторных объектов можно выделить методы, использующие линейные модели со структурированной ошибкой, зависящей от некоторых случайных параметров. Одна из групп таких моделей - это модели со случайными факторами, получившие название моделей компонент дисперсии. Хотя методы анализа моделей со случайными факторами намного сложнее методов анализа моделй с фиксированными факторами как с алгоритмической, так и с вычислительной точки зрения, но использование таких моделей позволяет делать более общие выводы об исследуемом объекте. К сожалению, в отечественной литературе до последних нескольких лет моделям компонент дисперсии уделялось очень мало внимания, в то время, как зарубежные ученые активно исследуют эту область. Здесь также можно отметить следующих авторов: Шеффе Г., Pao С.Р., РаоДж.Н.К., Сирл С., Клеффе Дж., Кох Г.Г., Хартли Г.О., Хем-мерли В.Дж., Паттерсон Г.Д., Томсон Р., Корбейл P.P., Маркова Е.В., Полетаева И.А., Новиков A.C. и др. [29, 30, 31, 36, 56, 61, 62, 63, 64, 66, 67, 68, 70].

Бурное развитие и широкое распространение вычислительной техники, а также расширение области применения методов анализа многофакторных объектов повлекли за собой появление у исследователей интереса к моделям со случайными факторами.

Все это позволило сформулировать основную задачу, решению которой посвящена данная диссертационная работа, следующим образом: разработка, исследование и использование эффективных алгоритмов оценивания параметров в линейной модели со случайными факторами, а также создание интегрированной программной системы для анализа многофакторных объектов методами дисперсионного анализа со случайными факторами с использованием современных ЭВМ.

Научная новизна заключается в следующем. Предложен и исследован ряд алгоритмов нахождения оценок параметров линейной модели со случайными факторами. Исследовано влияние, оказываемое на точность различных методов оценивания вводом в модель идентификационных ограничений. Дан ряд практических рекомендаций по использованию исследованных методов. Разработан метод решения задачи сравнения дисперсий оценок компонент дисперсии, представимых в виде квадратичных форм вектора наблюдений. Исследованы алгоритмы проверки гипотез о незначимости факторов в модели компонент дисперсии. Разработан и исследован алгоритм определения оптимальной структуры ошибки. Разработана программная система, предназначенная для анализа многофакторных объектов, куда вошли алгоритмы классического дисперсионного анализа и дисперсионного анализа со случайными факторами. С использованием разработанных алгоритмов решены две практические задачи.

На защиту выносятся: •алгоритмы оценивания параметров в модели компонент дисперсии; •результаты исследования методов оценивания параметров в модели компонент дисперсии;

•алгоритм выбора квадратичных оценок случайных параметров с наименьшей дисперсией; •алгоритм выбора адекватной структуры ошибки в модели со случайными факторами; •программная система для анализа многофакторных объектов.

Результаты исследований, проведенных автором, докладывались и обсуждались на: третьей международной научно-практической конференции "Актуальные проблемы электронного приборостроения" АПЭП-96 (Новосибирск 1996); международной научно-практической конференции "Информатика и проблемы телекоммуникаций" (Новосибирск 1997); третьем сибирском конгрессе по прикладной и индустриальной математике ИНПРИМ-98 (Новосибирск 1998); международной научно-практической конференции "Информатика и проблемы телекоммуникаций" (Новосибирск 1999); The third Russian-Korean international Symposium on Science and Technology (KORUS'99).

Основные результаты исследований автора опубликованы в работах [4, 13, 18, 19, 20, 37, 38, 39, 40, 47, 48, 49, 60].

По структуре диссертация состоит из введения, пяти глав основного содержания, заключения, списка литературы и приложения.

Заключение диссертации по теме «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)», Фаддеенков, Андрей Владимирович

Основные результаты, полученные в диссертационной работе, могут быть сформулированы в виде следующих положений.

1. Для модели со случайными факторами предложены модификации ряда алгоритмов оценивания параметров с использованием процедуры \У-преобразования.

2. Проведен сравнительный анализ методов оценивания параметров в моделях со случайными факторами при различных планах экспериментов и различных распределениях ошибки.

3. Проведено сравнение точности оценивания параметров в моделях компонент дисперсии с ограничениями и без ограничений.

4. Разработан и реализован алгоритм выбора квадратичных оценок случайных параметров с наименьшей дисперсией.

5. С использованием статистического моделирования для модели компонент дисперсии исследованы условия применимости алгоритмов проверки гипотез о незначимости фиксированных и случайных факторов.

6. Разработан алгоритм типа "включения-исключения" для выбора структуры модели компонент дисперсии для произвольного набора данных.

7. Разработана программная система анализа многофакторных объектов, описываемых линейными моделями со случайными факторами.

8. Разработанные алгоритмы применены в научных исследованиях для решения задач прогнозирования половозрастной структуры населения г.Новосибирска и описания изменений одной из координат фронта кристализации при искуственном выращивании монокристаллов в условиях невесомости.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат технических наук Фаддеенков, Андрей Владимирович, 1999 год

1. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.: Наука, 1976.-279с.

2. Айвазян С.А., Енюков И.С., Мешалкин А.Д. Прикладная статистика: исследование зависимостей: справ.изд. М.: Финансы и статистика, 1985. -488с.

3. Айвазян С.А., Степанов B.C. Инструменты статистического анализа данных. // Мир ПК,- 1997. -№8. С.32-41.

4. Боровиков В.П., Боровиков И.П. STATISTICA Статистический анализ и обработка данных в среде WINDOWS. М.: Информационно-издательский дом "Филинъ", - 1997. - 608с."

5. Бродский В.З. Введение в факторное планирование эксперимента. М.: Наука, 1976. 233с.

6. Валентей Д.И., Кваша А .Я. Основы демографии. М.: Мысль, 1989,286 с.

7. Венецкий И.Г. Математические методы в демографии. М.: Статистика, 1971. - 380с.

8. Волков Е.А. Численные методы. М.: Наука, 1987. 248с.

9. Ю.Денисов В.И. Математическое обеспечение системы ЭВМэкспериментатор (регрессионный и дисперсионный анализы). М.: Наука, 1977. - 252с.

10. П.Денисов В.И., Полетаева И.А., Хабаров В.И. Экспертная система для анализа многофакторных объектов. Дисперсионный анализ. Прецедентный подход. Новосибирск, 1992. 127с.

11. Денисов В.И., Попов A.A. Пакет программ оптимального планирования эксперимента. М.: Финансы и статистика, 1986. 156с.

12. И.Денисов В.И., Чистяков В.М., Данилов А.Н., Лисицин Д.В., Тимофеев B.C., Фаддеенков A.B. Прогнозирование численности населения города Новосибирска: опыт математического моделирования // Научный вестник НГТУ.- Новосибирск, 1998. -№1(4). С. 123-128.

13. Дерк Л. Borland С++ 5. Справочник. // Пер. с нем.-М.: "Изд. БИНОМ", 1997.-560с.

14. Дж. Гласс, Дж. Стэнли. Статистические методы в педагогике и психологии. М. Прогресс, 1979. 496с.

15. Дрейпер Н., Смит Н. Прикладной регрессионный анализ. М.: Статистика 1973. 392с.

16. Ивахненко А.Г., Степашко B.C. Помехоустойчивость моделирования. Киев: Наукова думка, 1985. - 216с.

17. Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами/ Полетаева И.А., Тимофеев B.C., Фаддеенков A.B.// Отчет о НИР, НГТУ, Новосибирск, 1996г. - 53с.

18. Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами / Полетаева И.А., Тимофеев B.C., Фаддеенков A.B. //Отчет о НИР, НГТУ, Новосибирск, 1997г. - 53с.

19. Интегрированная система для исследования многофакторных объектов с использованием линейных моделей с качественными факторами / Полетаева И.А., Еланцева И.Л., Тимофеев B.C.,

20. Фаддеенков A.B. // Отчет о НИР, НГТУ, №ГР 01.970000 786. -Новосибирск, 1998. - 58с.

21. Исаенко O.K., Урбах В.Ю. Разделение смеси распределений вероятностей на их составляющие //Итоги науки и техники. Сев. ТВ.МС.ТК ВИНИТИ, 1976.-Т.13. - С.37-58.

22. Канту М. DELPHI 2 для WINDOWS 95/NT. Полный курс. М.: Малип, 1997, Т.1,2.

23. Кулаичев А. П. Методы и средства анализа данных в среде WINDOWS: STADIA 6.0.-М.: Информатика и компьютеры, 1998. -270с.

24. Кулаичев А.П. Пакеты анализа данных. // Мир ПК,- 1995. -№1.-С.127-132.

25. Лисицин Д.В. Выбор структуры многомерной модели при построении зависимостей по статистическим данным. Диссертация на соискание уч. степени к.т.н., Новосибирск, 1998. 268с.

26. Лисицин Д.В. Обобщенная задача выбора структуры многомерной модели. // Труды IV международной конференции "Актуальные проблемы электронного приборостроения", Новосибирск, 1998.-Т.3,-С.69-72.

27. Маркова Е.В., Денисов В.И., Полетаева И.А., Пономарев В.В. Дисперсионный анализ и синтез планов на ЭВМ. М.: Наука, 1982.

28. Маркова Е.В., Лисенков А.Н. Комбинаторные планы в задачах многофакторного эксперимента. М.: Наука, 1979.-345с.

29. Маркова Е.В., Новиков A.C. //Вопросы кибернетики. Статистические методы в теории обеспечения эксплуатации. 1982, С. 28-49

30. Маркова Е.В., Новиков A.C. Анализ компонент дисперсии -специфика, модели, виды оценок. // Заводская лаборатория Т.50 №7 С. 40-45.

31. Маркова Е.В., Новиков A.C. Проблемы алгоритмического обеспечения анализа компонент дисперсии //Вопросы кибернетики. Статистические методы в теории обеспечения эксплуатации. 1982, - С. 45-71.

32. Мельвицкий М.Г., Верезуб H.A., Картавых A.B. и др. Выращивание монокристаллов полупроводников в космосе: результаты, проблемы, перспективы. //Кристаллография. 1997. - Е.42, №5. - С.913-923.

33. Миллер Т., Пауэл Д. и др. Использование DELPHI 3. Пер. с англ., Киев: Диалектика, 1997. 768с.

34. Налимов В.В., Голикова Т.Н. Логические основания планирования эксперимента. М.: Металлургия, 1981. 151с.

35. Областной центр город Новосибирск: информационно-аналитический сборник. - Новосибирск: НИИРУ, 1997. - 122 с.

36. Полетаева H.A. Математическое обеспечение дисперсионного анализа и планирования экспериментов с качественными факторами. Диссертация на соискание уч.степени к.т.н., Новосибирск, 1979. 186с.

37. Полетаева И.А. Фаддеенков A.B. Оценивание параметров моделей компонент дисперсии /Труды третьей международной научно-технической конференции "Актуальные проблемы электронного приборостроения" (АПЭП-96). Новосибирск, 1996 - Т. 6 Ч. 1 - С. 111115.

38. Полетаева H.A., Тимофеев B.C., Фаддеенков A.B. Система планирования и анализа экспериментов с качественными факторами. //Материалы международной научно-технической конференции

39. Информатика и проблемы телекоммуникаций", Новосибирск 1997., С.111-112.

40. Полетаева И.А., Фаддеенков A.B. Статистический анализ моделей компонент дисперсии.// Сб. научных трудов НГТУ. Новосибирск, 1999. №3(16).-С. 31-37.

41. Пономарев В.В. Диалоговая система обработки данных многооткликовых экспериментов с качественными и количественными факторами. Диссертация на соискание уч. степени к.т.н., Новосибирск, 1985. 193с.

42. Рао С.Р. Линейные статистические методы и их применение. М.: Наука, 1968. 548с.

43. Сван Т. Секреты 32-разрядного программирования в DELPHI.-Киев: Диалектика, 1997. 480с.

44. Страуструпп Б. Язык программирования С++. М.: 1991 348с.

45. Трой Д. Программирование на языке Си для персонального компьютера IBM PC: Пер. с англ. М.: Радио и связь, 1991. - 432с.

46. Тюрин Ю.Н., Макаров A.A. Статистический анализ данных на компьютере. М.: ИНФРА-М, 1998. 528с.

47. Фаддеенков A.B. Исследование алгоритмов оценивания параметров и проверки статистических гипотез в моделях компонент дисперсии // Сб. научных трудов НГТУ. Новосибирск, 1999. №1 (14). - С.148-156.

48. Фаддеенков A.B. Методы оценивания параметров в моделях компонент дисперсии при использовании идентифицирующих ограничений // Сб. научных трудов НГТУ. Новосибирск, 1998. №3 (12).-С.11-18.

49. Фаддеенков A.B. О методах оценивания параметров в моделях компонент дисперсии //Материалы международной научно-технической конференции «Информатика и проблемы телекоммуникаций», Новосибирск 1999., С. 132.

50. Федоров В.В. Теория оптимального эксперимента. М.: Наука, 1971. -182с.

51. Хальд А. Математическая статистика с техническими приложениями. М.: ИЛ, 1956. -664 с.

52. Хикс Ч. Основные принципы планирования эксперимента. М.: Мир, 1967. -406с.

53. Химмельблау Д. Прикладное нелинейное программирование. М. 1975. - 534с.

54. Хьютсон. Дисперсионный анализ. М.: Статистика, 1971. 230с.

55. Численность и половозрастной состав населения городов и районов области. Новосибирск: областной комитет государственной статистики, 1997. - 106 с.

56. Шеффе Г. Дисперсионный анализ. М.: Физматгиз, 1980. 512с.

57. Шумаков П.В. DELPHI 3 и разработка приложений баз данных. М.: Нолидж, 1998. 704с.

58. Corbeil R.R., Searle S.R. Restricted maximum likelihood (REML) estimatin of variance components in the mixed model. Technometrics, 1976, v. 18. № 1. P.31-38.

59. Eisenhart C. The assumptions underlyng analysis of variance. Biometrics, 1947. V.3.,P.l -21.

60. Faddeenkov A.Y. About some algorithms of statistical hypothesises testing in models of analysis of variance with random factors. // Abstracts the third Russian Korean symposium on Science and Technology. Novosibirsk, 1999, Vol. 2, P. 542.

61. Koch. A general approach to the estimation of. variance components. -Technometrics. v.9. №1, 1967. P.93 118.

62. Koch. Some further remark on "Anoser look of Henderson's methods of estimating variance components".- Technometrics. v. 10. №3, 1968. P.551558.

63. Hartley H.O., Rao J.N.K. Maximum likelihood estimatin for the mixed analysis of variance models. Biometrica, 1967, v.54. №1-2, P. 93-108.

64. Hemmerle W.J., Hartley H.O. Computing MLE for the mixed AOY model using W-transformation. Technometrics 1973 v. 15. №4. P. 819-831.

65. Neber J. Applied linear statistical models. Regression. Analysis of Variance and experimental designs. IRWIN, Boston 1990. 1182 p.

66. Patterson H.D., Thompson R. MLE of variance. Biometrika 1971, v.58 P. 545554.

67. Rao C.R., J.Kleffe Estimation of variance components and applications., N.Y. 1988, 374p.

68. Searle. Anoser look of Henderson's methods of estimating variance components.-.Biometrics, 1968. V.24. №4, P. 748-788.

69. SAS/STAT. User's guide release 6.03 edition. Cary: SAS Inst. Inc., 1988.-1028p.

70. Searle S.R. Linear models. 1971.-532p.