Аналитические методы построения оптимальных планов эксперимента тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Шпилев, Петр Валерьевич

• Шпилев, Петр Валерьевич
• кандидат физико-математических наук
• 2007

Оглавление диссертации кандидат физико-математических наук Шпилев, Петр Валерьевич

Введение 2

1 ОБЗОР ОСНОВНЫХ ПОНЯТИЙ 12

1.1 Планирование эксперимента.12

1.2 Основные понятия.14

1.3 Критерии оптимальности .20

1.4 Критерии эффективности.22

1.5 Теоремы эквивалентности.23

1.6 Тригонометрическая регрессионная модель . 26

1.7 Функциональный подход к планированию эксперимента .29

2 е^-ОПТИМАЛЬНЫЕ ПЛАНЫ НА ПОЛНОМ ИНТЕРВАЛЕ ПЛАНИРОВАНИЯ 32

Введение 32

2.1 Постановка задачи.34

2.2 Планы, оптимальные для оценивания младших индивидуальных коэффициентов.35

2.3 Примеры.46

3 е^-ОПТИМАЛЬНЫЕ ПЛАНЫ НА НЕПОЛНОМ ИНТЕРВАЛЕ ПЛАНИРОВАНИЯ 54

Введение 54

3.1 Постановка задачи.56

3.2 Метод численного нахождения оптимальных планов .59

3.3 Условия применимости метода.63

3.4 Пример нахождения оптимального плана с помощью численного метода.71

3.5 Оптимальные планы в тригонометрической модели третьего порядка.76

4 L-оптимальные планы на полном интервале планирования 91

Введение 91

4.1 Постановка задачи.92

4.2 L—оптимальные планы в тригонометрической модели произвольного порядка. Примеры. 97

Введение диссертации (часть автореферата) на тему «Аналитические методы построения оптимальных планов эксперимента»

набором величин является одной из наиболее часто встречающихся проблем, встающих перед учеными различных специальностей. Искомая зависимость может быть выведена из теории или получена на основании экспериментальных исследований. Если зависимость выведена из теоретических соображений, то довольно часто отта может быть представлена в аналитическом виде, заданном с точностью до нескольких неизвестных параметров. Если же в основе построения зависимости лежат экспериментальные исследования, то параметрическая зависимость постулируется. При построении моделей на основе экспериментальных данных существенную роль играет оптимальный выбор условий проведения экспериментов. Математическая теория планирования регрессионных экспериментов интенсивно развивается с середины прошлого века и имеет многочисленные приложения. Большой вклад в ее развитие внесли зарубежные и отечественные ученые Дж. Кифер, Дж. Вольфовиц, Дж. Бокс, В.В. Налимов, В.В. Федоров, Г.К. Круг. Е.В. Маркова, М.Б. Малютов, С.М. Ермаков и другие. В рамках этой теории весьма полно изучены линейные по параметрам модели. Мри этом основное внимание уделялось планам, которые максимизируют определитель информационной матрицы. Такие планы называются D-оптимальными. Во многих случаях для стандартных областей планирования (отрезок, гипершар и гиперкуб) /^-оптимальные планы найдены в явном аналитическом виде (см. например, Ермаков, 1983; Ермаков, Жиглявский, 1987; Федоров, 1971; Карлин, Стадден, 1976). Вместе с тем, значительный практический и теоретический интерес представляют планы, оптимальные для оценивания индивидуальных коэффициентов (е^-оптимальные планы), а также планы минимизирующие след дисперсионной матрицы, умноженный на некоторую заданную матрицу (L-оптимальные планы). Трудность исследования таких штанов обусловлена, в частности, тем, что соответствующие им информационные матрицы часто являются вырожденными. До сих пор эти планы оставались изученными гораздо меньше, чем D-оптимальные планы. Это относится, в частности, к тригонометрической регрессионной модели, широко используемой в биологии и медицине (см., например, Currie, et. al., 2000; Young, Ehrlich, 1977; Kitsos, et. al. 1988).

Настоящая работа посвящена нахождению в явном аналитическом виде efc-оптимальных планов и вырожденных L- оптимальных планов для тригонометрической регрессионной модели на полном интервале планирования, а также нахождению е^-оптимальных планов для этой модели на произвольном симметричном интервале планирования с помощью функционального подхода, предложенного в работе (Melas, 1978).

Под планом эксперимента мы будем понимать вероятностную меру £ с конечным носителем на некотором множестве х- Мера £ определяется таблицей

Носитель плана £ состоит из точек, в которых проводятся наблюдения, а веса uJi удовлетворяют условиям шг > 0, Хл-i = 13

Задача состоит в нахождении плана эксперимента, на котором достигается экстремум (максимум или минимум) величины

Ф (М(0), где Ф— некоторая заданная функция (критерий оптимальности), М(£) — информационная матрица плана Для линейной по параметрам функции регрессии fiTf(t), где f(t) = {fo(t)1 ■ ■ ■, fd(t)) — вектор регрессионных функций, /3 = (Д),. ,Pd)T — вектор неизвестных параметров, информационная матрица имеет вид

М(0 = (£f(tk)f(tk)ukj ■

Как обычно, вырожденным планом будем называть план, информационная матрица которого вырожденная.

В первой главе дается краткий обзор основных понятий и методов теории оптимального планирования регрессионных экспериментов.

Во втором параграфе этой главы формулируются базовые определения. А также рассматривается теорема Гаусса,-Маркова, дающая решение задачи построения наилучшей линейной несмещенной оценки вектора параметров линейной регрессионной модели. Кроме того, формулируется вариант этой теоремы для вырожденного случая (см., например, Рао, 1968).

В третьем и четвертом параграфах вводятся критерии оптимальности и эффективности планов.

Основным инструментом для нахождения оптимальных планов являются теоремы эквивалентности. Они устанавливают необходимые и достаточные условия оптимальности. В пятом параграфе рассматриваются несколько таких теорем, использующихся в диссертации.

Шестой параграф посвящен описанию исследуемой в диссертации тригонометрической регрессионной модели.

В седьмом параграфе дается краткое изложение методологии функционального подхода.

В главе 2 рассматривается тригонометрическая модель (модель Фурье) у = f№ + e,te х, где (5 — (Дь А, • • •, р2т)т - вектор неизвестных параметров, /(/) = (l,sin t, cos f,., sin(mt)1cos(mt))1 — {fo(t),., f2m{t))1 — вектор регрессионных функций, m — порядок регрессионной модели, а е — случайная величина с нулевым математическим ожиданием и положительной дисперсией а2 > 0. В качестве множества планирования х рассматривается интервал [—я", 7г].

Для этой модели исследуется проблема нахождения в явном аналитическом виде планов, оптимальных для оценивания индивидуальных коэффициентов. Эти планы минимизируют величину

Ф kiv) = cTkM~{ri)ek на множестве всех планов г] таких, что /Зк оцениваем для плана г/. (В последней формуле е^ — единичный вектор, а М~ есть обобщенная обратная матрица для матрицы М).

Недавно в работе (Dette Н. and Melas V.B., 2003) были построены планы, оптимальные для оценивания старших индивидуальных коэффициентов точнее говоря, для коэффициентов /3% и foi-i ПРИ ш/Ъ < I < т), а также коэффициента Д). Задача нахождения планов, оптимальных для оценивания младших индивидуальных коэффициентов (1 < I < т/3), оставалась нерешенной.

Ключевым результатом, обеспечивающим полное решение задачи, является следующая теорема.

Теорема 2.2 Рассмотрим тригонометрическую регрессионную модель (*) при т > 3 и предположим, что 1 < I < т/3. (а) Пусть р = \т^г\, п = l(p— 1), тогда план

-1 — ti—\i + tn . —ti ti . tr где n = l(p - 1),

Mn i-l p- 1

U) 1 и I . . . U)r,

7Г l-V 2E;=1|sin(/^)| является оптимальным для оценивания па,рам,em,pa foi-i- При этом значение критерия оптимальности определяется по формуле ib) Если р — нечетное, тогда план sin (Iti г, Z = 1, . ,72

2/

2г - 1 + 2 tn

UJn ••• i-l 1 р- 1 + 2

-U U

Uli LOi 7Г п

Wj = где п = l(p—l), \cos{lti)\

21-P' 2EL|cos(^)| г = 1,.,72 является оптимальным для оценивания параметра (Зц. При этом значение критерия оптимальности определяется по формуле с) Если р = четное, тогда план где n — l{p- 1), //€ [0,wi], U = (2 (г - 1) + 2 г-1 1 р-1 + 2

0 t-2 . tn 7Г

0>2 0^1 0/2 • • • Wl - ц

7Г |C0S(^)| .

2/-Р'^"гЕ^ксйадГ является оптимальным для оценивания параметра При этом значение критерия оптимальности определяется по формуле

В главе 3 рассматривается тригонометрическая модель (*) на произвольном симметричном интервале планирования х = ■ft?ft]> 0 < а < 7Г. Для этой модели исследуется задача, нахождения планов, оптимальных для оценивания индивидуальных коэффициентов. Структура оптимального плана и сложность решения зависят от значения параметра а и порядка элемента, для которого соответствующий коэффициент оценивается. В некоторых случаях оптимальный план может быть найден в явном виде. В общем случае нахождение плана связано с решением нелинейных систем больших размерностей.

В § 3.2 на основе функционального подхода (см., например, Мелас, 1999) разработан метод, позволяющий представлять точки носителя и веса оптимального плана в виде степенных рядов по параметру а. Сложность заключается в том, что число точек носителя оптимального плана может зависеть от значения параметра а. Для определенности рассмотрим набор величин 0 = Oq < ai < °2 < • • • < ар < ap+i = 71! разбивающих отрезок (0,7г] на р +1 частей; р-некоторое целое число, зависящее от номера оцениваемого коэффициента. В диссертации доказано, что р может принимать значения от 0 до [4m/3j включительно. При фиксированном г (0 < г < р) и а € [a*,a*i+l) число точек носителя оптимального плана остается неизменным. При увеличении % число точек носителя уменьшается. В результате задача нахождения оптимального плана на интервале [—a,a], a £ (0,7г] превращается в задачу нахождения совокупности планов на каждом из интервалов [а*, а*+1), % — 0,1.

Применять предложенный в § 3.2 метод для нахождения оптимального плана можно лишь при выполнении некоторых условий. В § 3.3 удалось доказать, что эти условия выполнены по крайне мере для планов, оптимальных для оценивания коэффициентов fyi и lhi-i при т + 2 то 2r + 2'2r+ 1 '

В § 3.4 иллюстрируется работа метода на конкретном примере. Решается задача нахождения плана, оптимального для оценивания коэффициента в тригонометрической регрессионной модели (*) четвертого порядка (т — 4) на интервале планирования [—a, a], a € (0,7г]. Исследуется эффекeU тивность полученного плана но отношению к планам, обычно используемым на практике. Демонстрируется, что дисперсия оценки параметра для данного клана примерно в 2 раза меньше, чем для стандартных планов в равноотстоящих точках.

В § 3.5 найдены в явном виде планы, оптимальные для оценивания коэффициентов тригонометрической регрессионной модели (*) третьего порядка (то = 3) на интервале планирования [—а, а], а 6 (0,7г].

В § З.б приводятся иллюстрации, демонстрирующие поведение точек и весов оптимальных планов, построенных в § 3.5. Также демонстрируется эффективность этих планов по сравнению с планами, используемыми на практике (см., например, Ермаков, 1983; Федоров. 1971).

В четвертой главе исследуются вырожденные L-оптимальные планы. То есть планы, минимизирующие сумму дисперсий пар оценок коэффициентов {I32il,p2i2} и {fkh-hfoh-x}, h,i2 е {0,., то}, jhj2 е {1,., то} тригонометрической регрессионной модели (*) на интервале планирования X = [—7Г, 7г]. В ряде случаев оптимальные планы удается найти в явном виде. Основным инструментом исследования является обобщенный вариант теоремы эквивалентности для L-оптималытых планов (теорема 4.1). Ее аналог для невырожденных планов можно найти в работе (Ермаков С.М., Жиглявский А.А., 1987).

Нахождение оптимальных планов в явном виде в общем случае связано с решением нелинейных систем больших размерностей. Как правило, решение таких задач не удается найти в явном виде. Однако выбор подходящей структуры множества планов, на котором ищется решение, позволяет эти задачи существенно упрости ть. Критериями выбора являются свойства информационной матрицы и условия оптимальности, сформулированные в теореме эквивалентности ( георема 4.1). Согласно данной теореме, проверка оптимальности напрямую связана с построением экстремального полинома fT(t)M+(0LM40f(t),te [ 7г,7г], где f(t) — вектор регрессионных функций модели (*), М+(£) — обобщенно обратная в смысле Мура матрица к М(£), L — некоторая неотрицательно определенная матрица соответствующей размерности. Идея предложенного в главе 4 подхода заключается в том, чтобы искать оптимальные планы на множестве таких планов, для которых экстремальный полином ip(t, £) легко представим в явном виде.

Наглядным примером такого подхода служит следующая теорема Теорема 4.2 Рассмотрим тригонометрическую модель (*), т> 3. 1. План

2[fJ-l,4f|-l) = tn Ln—l • ■ • 11 • • • tr. где у шп Шп~] . ш 1 UJi . Ш' я m г 7Г U = 2

Л. 7 2 n п = 2 ^ , (, = 2 , ^+ (-!)<'-»,, Ы( = 1 x =

2 п п является L—оптимальным планом,, минимизируюищм сумм,у дисперсий оценок параметров /^[fj-i и Д*LfJ-i

Причем trLM+(emh 4f j1}) = ^ + 2 « 2.618034.

Во второй части этой теоремы в явном виде указан оптимальный план, минимизирующий сумму дисперсий оценок параметров и A[fJ

Отметим, что структура множества планов, на котором ищется оптимальный план, определяется следующими условиями. Мы предполагаем, что оптимальный план является симметричным, а его точки и веса имеют вид и = 2 [ij I + (-1)0-%, ид = г = 1,., п, п = 2 [f J . Благодаря этому предположению удается записать экстремальный полином в явном виде

Таким образом, нахождение оптимального плана сводится к решению уравнения относительно х ^\t=x = О

Использование описанного подхода позволяет в некоторых случаях находить оптимальные планы в явном виде.

В заключении представлены основные результаты диссертации.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Шпилев, Петр Валерьевич

Заключение

Сформулируем основные результаты диссертации.

1. Найдены в явном виде планы, оптимальные для оценивания младших индивидуальных коэффициентов тригонометрической регрессионной модели. То есть планы, минимизирующие дисперсию оценки параметра (Зк для случаев к = 21, к = 2/ -1, 1 <1 < т/3, где т- порядок регрессионной модели.

2. Исследована задача нахождения оптимального плана для тригонометрической регрессионной модели тта симметричном интервале планирования х = ~[а)а]? 0 < а < 7Г. На основе функционального подхода разработан метод, позволяющий представлять точки носителя и веса оптимального плана в виде степенных рядов по параметру а. i

3. Исследованы аналитические свойства точек и весов оптимальных планов как неявно заданных функций от длинны интервала.

4. Найдены в явном виде планы, оптимальные для оценивания индивидуальных коэффициентов тригонометрической регрессионной модели третьего порядка на симметричном интервале планирования х — ~ Ка]> 0 < а < 7Г. Исследована эффективность этих планов.

5. Построены в явном виде L—оптимальные планы, минимизирующие сумму дисперсий оценок коэффициентов {j3)u, /^г2} и {/^-i, 1} тригонометрической регрессионной модели для некоторого множества индексов i\, %2, ji, j2> зависящего от порядка модели.

Список литературы диссертационного исследования кандидат физико-математических наук Шпилев, Петр Валерьевич, 2007 год

1. Ганншг P., Росси X. Аналитические функции многих комплексных переменных. М., Мир, 1969.

2. Ермаков С.М. Математическая теория планирования эксперимента. М., Из-во Наука, 1983.

3. Ермаков С.М., Жиглявский А.А. Математическая теория оп тимального эксперимента. М., Из-во Наука, 1987.

4. Карлш С., Стаддем В. Чебыптевские системы и их применение в анализе и статистике. М., 1976.

5. Мелас В.Б. Оптимальное планирование эксперимента для экспоненциальной регрессии // Математические методы планирования эксперимента. Новосибирск. М., Из-во Наука. 1981.

6. Мелас В.Б. Е— оптимальные планы эксперимента. Из-во СПбГУ, 1997.

7. Мелас В.Б. Общая теория функционального подхода к оптимальному планированию эксперимента. Из-во СПбГУ, 1999.

8. Мелас В.Б., Пепелышев А.Н. Планы для оценивания точки экстремума многомерной квадратичной функции регрессии, j j Проблемы oriтимизации дискретных систем ,/ Под ред. М.К. Чиркова. СПб. Изд-во НИИХ СПбГУ, с. 70-86, 2001.

9. Рао С.Р. Линейные статистические методы и их применения. М., 1968.

10. Сеге Г. Ортогональные многочлены. М., Из-во Наука, 1962.

11. И. Федоров В.В. Теория оптимального эксперимента. М., Из-во Наука, 1971.

12. Федоров В.В. Планирование при нелинейной зависимост и поверхности отклика от оцениваемых параметров. М., Из-во МГУ, 1971.

13. Шпилев II.В. Оптимальные планы в тригонометрической регрессионной модели на симметричных отрезках, j j Математические модели. Теория и приложения / Под ред. М.К. Чиркова. СПб, Изд-во НИИХ СПбГУ, с. 47-77, 2007.

14. Шпилев II.В. L-оптимальные планы в тригонометрической регрессионной модели на полном интервале планирования, j j Вестн. С.Петербург. ун-та, СПб., Изд. СПбГУ. серия 1, вып. 2. с. 80-89, 2007.

15. Currie A.J., Ganeshanandam S., Noition D.A., Gar-rick D., Shelbourne C.J.A., Oragguzie N. Quantiative evalution of apple (Mains x domestica Borkh.) fruit, shape by prinicple component analysis of Fourier descriptors. Euphytica 111, pp. 219-227, 2000.

16. Dette H., Haller G. Optimal Designs for the Identification of the Order of a Fourier Regression. The Annals of Statistics, Vol. 26, pp. 1496-1521, 1998.

17. Dette #., Melas V.B. E-optimal designs in Fourier regression models on a partial circle. Mathematical Methods of Statistics 11, e 3, pp. 259-296, 2002.

18. Dette H. and Melas V.B. Optimal designs for estimating individual coefficients in Fourier regression models. The Annals of Statistics, Vol. 31, pp. 1669-1692, 2003.

19. Dette H., Melas V.B. and Pepelyshev A. D-optimal designs for trigonometric regression models on a partial circle. Annals of the Institute of Statistical Mathematics, vol. 54, N 4, pp. 945-959, 2002

20. Dette H., Melas V.B. and Pepelyshev A. Optimal designs for estimating individual coefficient in polynomial regression a functional approach. Journal of Statistical Planning and Inference 118, pp. 201-219, 2004.

21. Dette H. Melas V.B. and Shpilev P.V. Optimal designs for estimating the coefficients of the lower frequencies in trigonometric regression models. Preprint, Ruhr-Univ. Bochum. pp. 22, 2005.

22. Eubank, R. Nonparametric regression and spline smoothing. 2nd ed. New York: Marcel Dekker, 1999.

23. Fisher R. The Desidn of Experiments. London: Oliver Boud, 1935.

24. Graybill F.A. Theory and application of the linear model. Wadsworth, Belmont CA, 1976.

25. Hoel P. Minimax design in two-dimensional regression. Ann. Math. Statist. 36, pp. 1097-1106, 1965.

26. Kiefer J. C. General equivalence theory for optimum designs (approximate theory). The Annals of Statistics 2, pp. 849-879, 1974.

27. Kiefer J., Wolfowitz J. Optimum designs in regression problems. Ann. Math. Statist. 36, pp. 271-294, 1959.

28. Kiefer JWolfowitz J. The equivalence of two extremurn problems. Canad. J. Math. Vol. 14, pp. 363-366. 1960.

29. Kitsos С.Р., Titterington D.M., Torsney B. An optimal design problem in rhythmometry. Biometrics 44, pp. 657-671, 1988.

30. Lestrel P.E. Fourier descriptors and their applications in biology. Cambridge: Cambridge University Press, 1997.

31. Lau T.S., Studden W.J. Optimal designs for trigonometric and polynomial regression. Ann. Statist, 13, pp. 383-394, 1985.

32. Mardia K. The statistics of directional data. Academic Press, New York, 1972.

33. McCool, J.I. . Systematic and random errors in least squares estimation for circular contours. Precision Engineering 1, pp. 215-220, 1979.

34. Melas V.B. Optimal designs for exponetial regression. Math. Operations forsh. Statist. Ser. Statisics 9, pp. 45-59, 1978.

35. Melas V.B. Functional approach to experimental optimal design. Heidelber. Springer, 2006

36. Pukelsheim F. Optimal Design of Experiments. Wiley, New York, 1993.

37. Riccomagno E., Schwabe R., Wynn И.Р. Lattice-based D-optimal design for Fourier regression. Ann. Statist. 25, pp. 2313-2327, 1997.

38. Shi P., Fang K.-T., Tsai C.-L. Optimal multi-criteria designs for Fourier regression models. Journal of Statistical Planning and Inference, Vol. 96, pp. 387-401, 2001.

39. Weber W.E., Liebig H.P. Fitting response functions to observerd data. Electronische Datenverarbeitung in Medizin und Biologie 12, pp. 88-92, 1981.

40. Young, J.C., Ehrlich, R. Fourier biometrics: harmonic amplitudes as multivariate shape descriptors. Systematic Zoology 26, pp. 336-342. 1977.