Регрессивный инфлюентный анализ с применением ортогональных полиномов Чебышева тема диссертации и автореферата по ВАК РФ 01.01.09, кандидат физико-математических наук Свиркин, Михаил Владимирович

• Свиркин, Михаил Владимирович
• кандидат физико-математических наук
• 1999

Оглавление диссертации кандидат физико-математических наук Свиркин, Михаил Владимирович

ОГЛАВЛЕНИЕ

Введение

Глава I. Восстановление законов распределения вероятностей

§ 1. Плотности распределения случайных величин и системы

ортогональных полиномов, задаваемые уравнением Пирсона

§ 2. Нахождение эмпирической плотности распределения

вероятностей по методу Грама - Шарлье

§ 3. Разложение плотности распределения вероятностей по системам

ортогональных полиномов

Глава II. Методы регрессионного анализа и системы ортогональных

полиномов

§ 1 .Меры связи и формы зависимостей случайных величин

§ 2. Построение однофакторных моделей регрессий через ортогональные полиномы Чебышева

§ 3. Композиционный принцип построения многофакторных полиномиальных моделей регрессии

Глава III. Регрессионный инфлюентный анализ

§ 1. Основные положения и подходы к решению задач

инфлюентного анализа

§ 2. Решение основных задач инфлюентного анализа

§ 3. Регрессионный инфлюентный анализ экологической

системы

Заключение

Литература

Приложение

Введение диссертации (часть автореферата) на тему «Регрессивный инфлюентный анализ с применением ортогональных полиномов Чебышева»

Введение.

В настоящее время в различных областях научных исследований (создание, исследование функционирования сложных систем и управление ими) все большее внимание привлекают проблемы разработки методов оценивания результатов функционирования сложных систем. В современной научной литературе теория и практика управления сложными системами рассматривается, как правило, с позиций разработки математических методов моделирования и оптимизации функционирования сложных систем. Однако, для того, чтобы разобраться в особенностях функционирования сложной системы, недостаточно знать пространственно - временную и функционально - целевую структуры сложной системы, факторы и показатели ее функционирования. Необходимо уметь находить оценки влияния этих факторов на изменение результирующего показателя. Методы же анализа и получения оценок результатов деятельности систем (по плановым и фактическим значениям показателей и факторов), практически не рассматривались, хотя необходимость в развитии этого направления обусловлена необходимостью получения объективной информации органами управления и принятия решения по дальнейшему совершенствованию и повышению эффективности деятельности системы.

В диссертационной работе разработаны новые методы математического аппарата регрессионного инфлюентного анализа для нахождения оценок влияния изменений факторов на отклонения результирующих показателей по заданным плановым и фактическим значениям и полученным зависимостям показателей от факторов. Оценки влияния определяют ха-

рактер воздействия изменяющихся факторов на отклонение показателя выполнения плана в положительную или отрицательную сторону и дают возможность упорядочить факторы по характеру и степени их влияния, то есть служат основой для формирования процедур принятия решений. Это означает, что с позиций регрессионного инфлюентного анализа процесс принятия решений в сложных системах основывается на оценках влияния факторов (определяемых по результатам деятельности системы), выявлении "узких" мест (наихудших факторов), детализации причин и формировании вариантов по дальнейшему совершенствованию и повышению эффективности функционирования системы.

Постановка задачи.

Рассмотрим некоторую сложную систему & Пусть деятельность этой системы характеризуется совокупностью результирующих показателей уь... ,ут зависящих от выбранной совокупности факторов х,,..., хи Не

умаляя общности (далее это будет показано), будем считать, что имеется один результирующий показатель, то есть у - скаляр, и он зависит от факторов х5,...,хи.

Поставим задачу: проанализировать деятельность системы и сформулировать условия по совершенствованию ее функционирования. При этом будем считать, что зависимость между результирующим показателем у = / (хх,...,хп) и выбранной совокупностью факторов хх, ...,хпнеизвестна. Решать эту задачу будем методами регрессионного

инфлюентного анализа. Использование методов детерминированного инфлюентного анализа, в такой постановке задачи, невозможно, так как нет явной аналитической зависимости и предполагается, что влияние неучтен-

ных факторов элиминировано (то есть либо не учитывается , либо исключено). На практике, как правило, аналитические зависимости неизвестны, а результирующие показатели и факторы представлены соответствующими выборочными значениями. Поэтому для выяснения их зависимости возникает необходимость использования методов регрессионного инфлюентного анализа.

Пусть результирующий показатель деятельности системы у и совокупность факторовх,,... ,хи, от которой результирующий показатель зависит, заданы своими плановыми и фактическими значениями:

У — плановые значения результирующего показателя у, {у^}^,,

у1— фактические значения результирующего показателя у, {у)}^,

{х®,• • •,х°п} - плановые значения факторов {х°}, 1 = \,п, / = 1, /V .

,х1п) -фактические значения факторов {х *}, I = 1,п, ] = 1,N .

При этом неизвестна зависимость результирующего показателя от факторов, и выбранная совокупность факторов не обязательно полная, то есть на значения у могут оказывать влияние и другие неучтенные факторы.

В общем виде задачи решаемые в диссертационной работе могут быть описаны следующим образом:

1. Найти непараметрическую оценку кривой распределения вероятностей, отвечающей дополнительным требованиям

a) оценка кривой распределения вероятностей должна иметь вид, удобный для дальнейших приложений , а именно представляться в виде разложения по системе ортогональных полиномов.

b) Должна иметься возможность сравнения полученной оценки кривой распределения вероятностей с некоторой базовой известной кривой распределения вероятностей.

2. Найти /°,/': / = • •,), У = /'«,-,х\) ■

3. Найти инфлюенты - оценки влияния факторов на Ау = у1 - у".

Для решения первой задачи - нахождение оценки непараметрической плотности распределения вероятностей, в диссертационной работе разрабатывается новый метод, основанный на использовании метода кривых Пирсона, рядов Грама-Шарлье и общего подхода по разложению функций распределения по ортогональным полиномам Чебышева. Далее полученный метод будет применен во второй главе диссертации для нахождения условного закона распределения вероятностей.

Для нахождения оценок влияния факторов на результирующий показатель системы необходимо восстановить зависимости плановых и фактических значений результирующего показателя от плановых и фактических значений факторов соответственно, учитывая данные выборки. Зависимости (по плану и факту) соответственно будем искать в виде многофакторной модели регрессии. То есть будем строить две кривые регрессий:

, у =/>;,•-X) ■

Найдя эти модели, уже можно будет решать задачи инфлюентного анализа, в частности основную задачу регрессионного инфлюентного анализа: нахождение оценок влияния изменения факторов на изменение результирующего показателя.

Так, учитывая аксиому регрессионного инфлюентного анализа:

д, = £ А» + л£,,

1 = 1

где А^— оценка влияния изменения фактора х, на изменение результирующего показателя у (инфлюента),

А — оценка влияния неучтенных факторов, представление отклонения результирующего показателя получим в виде:

Таким образом решение задачи сводится к отысканию плановой и фактической зависимостей между показателем и факторами и применению методов инфлюентного анализа. В отличие от детерминированного ин-флюентного анализа (в котором предположение о задании аналитической зависимости у = / (х), по существу, заранее исключает влияние прочих факторов, кроме тех, зависимость от которых функционально содержится в /(х)), здесь возникает новая проблема - оценить степень влияния неучтенных факторов, так как регрессионные модели представляют собой не "законы" связи результирующего показателя у с факторами ххп, а статистическую форму зависимости в среднем значений у от ххп по заданной выборке. Влияние неучтенных факторов характеризуется наличием остаточной дисперсии и значениями свободных членов регрессионных моделей /*. (Особо стоит проблема устойчивости влияния неучтенных факторов, поведение их при увеличении степени полиномов).

При построении многофакторных моделей регрессий возможны два принципиально разных подхода.

Если изначально предполагать существование некоторой функциональной зависимости между показателем и факторами, то следует находить неизвестную аналитическую зависимость. Для этого можно, например, воспользоваться Чебышевскими формулами интерполирования, которые выражаются при помощи его ортогональных полиномов.

Если же априори можно говорить лишь о вероятностной связи между случайными величинами, то тогда в качестве зависимости следует брать регрессионную зависимость. То есть, исходя из определения, находить её как условное математическое ожидание результирующего показателя. В связи с чем необходимо прежде восстановить плотность распределения

фактора и условную плотность распределения показателя каким-либо непараметрическим способом.

Обе возможные ситуации (функциональная и вероятностная) будут подробно исследованы. Следует отметить, что в вероятностном методе непараметрическая оценка плотности распределения вероятностей, получаемая проекционным способом, т.е. в результате проекции в некоторую ортогональную систему, как и в случае функциональной зависимости, будет выражаться в терминах ортогональных полиномов Чебышева.

В диссертационной работе показано, что наиболее оправданным, с методологической и с вычислительной точек зрения, является представление многофакторной модели регрессии в виде линейной композиции од-нофакторных моделей регрессии:

1=\

п

где а = (а1,---,ап) вектор параметров а1 > 0; = 1 ,

г=1

а fl (х1)— однофакторные полиномиальные регрессии.

Используя в качестве меры точности остаточную дисперсию, оказывается, что композиционная многофакторная модель регрессии сколь угодно точно отражает неизвестную зависимость результирующего показателя от выбранной совокупности факторов, если однофакторные модели регрессии найдены достаточно точно.

Строиться однофакторные модели регрессии будут в виде интерполяционного ряда Чебышева. Поэтому в диссертации представлена общая теория построения ортогональных полиномов по способу Чебышева.

Для построения регрессий необходимо строить подходящие системы ортогональных полиномов. В диссертации предлагается следующий подход для решения этой задачи: используя теорию построения кривых

Пирсона и обобщенную формулу Родрига, построить ортогональные полиномы соответствующие кривым Пирсона, полученным по заданным выборочным данным. Далее, обобщая метод построения кривых Грама - Шар-лье, получить разложение эмпирической плотности распределения вероятностей по ортогональным полиномам с весовыми функциями равными кривым Пирсона.

Далее строить композиционные многофакторные полиномиальные регрессии по плану и факту соответственно, и на их основе решать задачи регрессионного инфлюентного анализа.

Заключение диссертации по теме «Дискретная математика и математическая кибернетика», Свиркин, Михаил Владимирович

ЗАКЛЮЧЕНИЕ

В диссертационной работе получены следующие результаты.

1. Применен новый метод нахождения эмпирической плотности распределения вероятностей через разложение эмпирической плотности распределения вероятностей, полученной по методу кривых Пирсона, по рядам ортогональных полиномов типа рядов Грама-Шарлье.

2. Рассмотрены задачи нахождения среднеквадратических и статистических регрессий. На основе единого подхода по построению интерполяционного многочлена Чебышева, построены композиционные многофакторные полиномиальные модели регрессий по ортогональным полиномам Чебышева. Исследованы вопросы применимости композиционной многофакторной полиномиальной регрессии для моделирования функционирования сложных систем. Рассмотрены статистические свойства таких регрессий.

3. Решена основная задача регрессионного инфлюентного анализа на основе восстановления неизвестной зависимости между результирующим показателем, характеризующим функционирование сложных систем, и выбранной совокупностью факторов в виде композиционных многофакторных моделей регрессий построенных по плану и факту соответственно.

4. Рассмотрен общий подход решения задач регрессионного инфлюентного анализа на основе применения общих систем ортогональных полиномов Чебышева.

5. Разработано алгоритмическое и программное обеспечение регрессионного инфлюентного анализа.

Список литературы диссертационного исследования кандидат физико-математических наук Свиркин, Михаил Владимирович, 1999 год

ЛИТЕРАТУРА

1. Алгоритмы и программы восстановления зависимостей / Под ред. В.Н. Вапника.-М., Наука, 1984,-816 с.

2. Алексия Г. Проблемы сходимости ортогональных рядов. -М., ИЛ, 1963.

3. Алгоритмы обработки экспериментальных данных. / Под ред. И.А. Ов-сеевича.-М., Наука, 1986,-184 с.

4. Андерсен Т. Введение в многомерный статистический анализ. Пер. с англ. -М., Изд-во физико-математической литературы, 1963,-500 с.

5. Ахиезер Н.И. Лекции по теории аппроксимации. - М., Гос. изд-во технико-теоретической литературы, 1947, 325 с.

6. Ашмарин И.П., Васильев H.H., Амвросов В.А. Быстрые методы статистической обработки и планирования экспериментов.-Л., Изд-во Ле-нингр. ун-та, 1975,-75 с.

7. Баканов М.И., Шеремет А.Д. Теория экономического анализа.—М., Финансы и статистика, 1981,-263 с.

8. Биометрия: Учебное пособие. / Н.В. Глотов, Л.А. Животовский, Н.В. Хо-ванов, H.H. Хромов-Борисов. Под ред. М.М. Тихомировой.-Л., Изд-во Ленингр. Ун-та, 1982,-264 с.

9. Боровков A.A. Математическая статистика. - М., Наука, 1984, 472 с.

Ю.Булдаков В.М., Кошкин Г.М. О рекуррентных оценках плотности вероятности и линии регрессии/ЛТроблемы передачи данных. 1977,-Т.13.-1.-с 58-66.

11 .Вайцу Я.Я. Корреляция рядов динамики.-М., Статистика, 1977, -119 с.

12.ВапнникВ.Н. Восстановление зависимостей по эмпирическим данным-М., 1979,-448 с.

13.Геронимус Я.Л. Теория ортогональных полиномов. - М., Гостехиздат, 1950, 139 с.

14.Гончаров ВЛ. Теория интерполирования и приближения функций. - М., ГИТТЛ, 1954, - 328 с.

15.Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. Пер. с англ. -М., Мир, 1988, - 408 с.

16.Джексон Д.Д. Ряды Фурье и ортогональные полиномы. Пер с англ. -М., Государственное изд-во иностранной литературы, 1948, - 260 с.

17.Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Пер. с англ-М., Статистика, 1973, - 392 с.

18.Епанечников В.А. Непараметрическая оценка многомерной плотности вероятности //Теория вероятн. и ее примен. 1969, Т.14.-1.- с. 156-161.

19.Зубов В.И. Интерполяция и аппроксимация вероятностных распределений // Доклады АН СССР, 1991, т.316, № 6, с. 1298-1301.

20.Зубов В.И. Аппроксимация в целом и равномерной метрике непрерывных векторных функций // Доклады РАН, 1992, т.325, № 5, с. 904-906.

21.Катковник В.Я. Линейные и нелинейные методы непараметрического регрессионного анализа.-Автоматика, Киев, 1979, №5, с. 35-46.

22.Катковник В.Я. Сходимость линейных и нелинейных непараметрических оценок "ядерного типа"-Автоматика и телемеханика, 1983, №4, с. 103-120.

23.Кашин Б.С., Саакян A.A. Ортогональные ряды. -М., Наука. Главная редакция физико-математической литературы, 1984,- 496 с.

24.Качмаж С., Штейнгауз Г. Теория ортогональных рядов. Пер. с нем. -М., Гос. изд-во физико-математической литературы, 1958, 508 с.

25.Кокс Д., Снелл Э. Прикладная статистика. Принципы и примеры. Пер. с англ., - М., Мир, 1984, - 200 с.

26.Конаков В.Д. Непараметрическая оценка плотности распределения ве-роятностей//Теория вероятн. и ее примен.-Т.17.-2.-с. 377-379.

27.Крамер Г. Математические методы статистики. Пер. с англ.-М., Мир, 1975,-648 с.

28.Линник Ю.В. Метод наименьших квадратов и основы теории обработки информации.-М., Изд-во физико-математической литературы, 1958, 327 с.

29.Лоули Д., Максвелл А. Факторный анализ как статистический метод. Пер. с англ. -М., Мир, 1967, - 144 с.

30.Мания Г.М. Квадратическая погрешность оценки плотности многомерного нормального распределения по данным выборки.//Теория вероятн. и ее примен. —Т.14.—1., с. 151-155.

31.Марков A.A. Избранные труды по теории непрерывных дробей и теории функций наименее уклоняющихся от нуля.-М., Государственное издательство технико-теоретической литературы, 1948,412 с.

32.Митропольский A.K. Техника статистических вычислений.-М,. Наука, 1971,576 с.

33.Надарая Э.А. Об интегральной среднеквадратичной ошибке некоторых непараметрических оценок плотности вероятностей. //Теория вероятн. и ее примен. 1974., Т.19.-1., с. 131-140.

34.Надарая Э.А. Непараметрическое оценивание плотности вероятностей и кривой регрессии - Изд-во Тбилисского университета, 1983, 194 с.

35.Натансон И.П. Конструктивная теория функций. - М., Государственное изд-во технико-теоретической литературы, 1949, - 688 с.

36.Натансон И.П. Теория функций вещественной переменной. - М., Изд-во Наука, 1974, 480 с.

37.Немчинов B.C. Полиномы Чебышева и математическая статистика. - М., Издание Московской сельскохозяйственной академии, 1946, 129 с.

38.Немчинов B.C. Теория и практика статистики.— М., Изд-во Наука,1967,432 с.

39.Поллард Дж. Справочник по вычислительным методам статистики. Пер. с англ.-М., Финансы и статистика, 1982, - 344 с.

40.Рао С.Р. Линейные статистические методы и их применение. Пер. с англ. -М., Наука, 1968, - 548 с.

41.Романовский В.И. Математическая статистика. Т.1, Изд-во Акад. Наук УзССР, 1961,-637 с.

42.Себер Дж. Линейный регрессионный анализ. Пер. с англ,-М., Мир, 1980, -456 с.

43. Сеге Г. Ортогональные многочлены - М., Изд-во физико-математической литературы, 1962, - 500 с.

44.Свиркин М.В. Построение многофакторной полиномиальной регрессии через ортогональные полиномы Чебышева. // Ред. Ж. Вест. С-Петерб. Гос. Универ. Мат.,мех.,астрон.-СПб.,1995, 7 с. Деп. в ВИНИТИ 20.04.95 №1111-В95.

45.Свиркин М.В. Один метод решения прямой задачи регрессионного ин-флюентного анализа. // Прикладная математика и информатика. Материалы научно-методической конференции "Герценовские чтения - 98". - СПб.: Издательство РГПУ им. А.И. Герцена, 1998, с. 30-32.

46.Свиркин М.В. К вопросу функционирования сложных систем. // Процессы управления и устойчивость: Труды XXIX научной конференции. -СПб.:НИИ Химии СПбГУ, 1998, с. 260-264.

47.Свиркин М.В. Статистический метод нахождения оценок влияния неблагоприятных факторов в биологических системах. // Актуальные вопросы экологии и экотоксикологии. Труды Петербургского общества экологии и экотоксикологии. - СПб: НИИ Химии СПбГУ, 1998, с. 51-59.

48.Суетин П.К. Классические ортогональные многочлены.-М,. Изд-во Наука, 1979,-416 с.

49.Тарасенко Ф.П. Непараметрическая статистика.— Томск: Изд-во Томского гос. ун-та., 1976, 270 с.

50.Титчмарш Е. Теория функций. Пер. с англ. -М., Наука, 1980, 464 с.

51.Трухаев Р.И., Горшков И.С. Факторный анализ в организационных системах.- М., Радио и связь, 1985, - 185 с.

52.Трухаев Р.И. Инфлюентный анализ и принятие решений. - М., Наука, 1984,-235 с.

53.Трухаев Р.И. Инфлюентный анализ высоких порядков. - JI., Наука, 1987, -260 с.

54.Трухаев Р.И., Хоменюк В.В. К оценке значимости регрессии. // Динамика систем и управление: Межвуз. сб. науч. трудов, - Саранск, 1993, с. 96-103.

55.Харди Г.Г., Литлвуд Д.Е., Полна Г. Неравенства. - М., ИЛ, 1948.

56.Харман Г. Современный факторный анализ. Пер. с англ., М., Статистика, 1972,-486 с.

57.Хоменюк В.В. Элементы теории многоцелевой оптимизации - М., Наука, 1983,124 с.

58.Хоменюк В.В. Кусочно-постоянная эмпирическая оценка неизвестной плотности распределения вероятностей по заданной выборке. // Динамика систем и управление: Межвуз. сб. науч. трудов. - Саранск, 1993, с 101-111.

59.Хотимский В.И. Выравнивание статистических рядов по методу наименьших квадратов. - М., Гостехиздат, 1959, - 88 с.

бО.Чебышев ПЛ. Избранные труды. - М., Изд-во Академии Наук СССР, 1955, 928 с.

61.Чебышев ПЛ. Полное собрание сочинений, II, Изд-во АН СССР, 1947.

62.Ченцов H.H. Статистические решающие правила и оптимальные выводы.-

М., Изд-во Наука, 1972, 520 с. бЗ.Чупров A.A. Вопросы статистики. -М., Госстатиздат, 1960, 448 с. 64.Ширяев АД. Вероятность. - М., Наука, 1989, 640 с.