Математическая модель нечеткой линейной регрессии по Чебышеву тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Пономарев, Игорь Викторович

• Пономарев, Игорь Викторович
• кандидат физико-математических наук
• 2010

Оглавление диссертации кандидат физико-математических наук Пономарев, Игорь Викторович

Введение

1 Нечеткая линейная регрессия

1.1 Стандартная модель линейной регрессии.

1.2 Теория нечетких множеств.

1.2.1 Нечеткие числа.

1.3 Нечеткий регрессионный анализ.

1.3.1 Нечеткий метод наименьших квадратов.

1.3.2 Двойная адаптивная модель нечеткой линейной регрессии

1.3.3 Модель Танака.

1.3.4 Расширения модели Танака.

2 Нечеткая модель линейной регрессии по Чебышеву

2.1 Определения и обозначения.

2.2 Основные результаты.

2.2.1 Коэффициент корреляции Loo-регрессии

2.2.2 Сравнение нечеткой и стандартной линейной регрессии

2.2.3 Экспериментальное моделирование нечеткой и стандартной линейной регрессии.

2.2.4 Алгоритмы нахождения ттк,ьР{к, Ь)

3 Выбросы нечеткой линейной регрессии

3.1 Выбросы в регрессионных моделях.

3.1.1 R статистика Стыодента.

3.1.2 Расстояние Кука.

3.1.3 АР статистика.

3.2 Программный комплекс в системе MatLab для исследования выбросов.

3.2.1 Выбросы в равномерно-нечеткой L00 регрессионной модели

3.2.2 Выбросы в стандартной L2 регрессионной модели

3.2.3 Выбросы в стандартной L\ регрессионной модели

3.3 Нечеткие функциональные отношения.

3.3.1 Алгоритм Гаусса для решения нечеткой системы отношений

3.3.2 Система нечетких отношений равенств в банаховом пространстве

Введение диссертации (часть автореферата) на тему «Математическая модель нечеткой линейной регрессии по Чебышеву»

В последние годы большую значимость в организационной деятельности как российских, так и зарубежных предприятий занимает количественный анализ результатов эффективности производства. Это влечет за собой спрос на разработку удобных программных продуктов, новых способов анализа финансовой и общеэкономической информации.

На сегодняшний день одним из наиболее перспективных направлений научных исследований в области анализа, прогнозирования и моделирования социально-экономических явлений и процессов является нечеткая логика (fuzzy logic). Нечетко-множественные модели позволяют проводить исследования на достаточно высоком уровне вне зависимости от полноты и точности имеющейся информации, способствуют принятию более обоснованных решений возникающих задач. Внедрение в работу предприятий научных разработок, основанных на теории нечетких множеств, позволяют улучшить качество их работы, сделать более "мобильными" при анализе быстро меняющейся информации. Хотя впервые упоминание о новом методе математического моделирования появилось около полувека назад, данная область научных исследований до сих пор остается недостаточно развитой в нашей стране.

Большое внимание в разработке новых эффективных методов применения теории нечетких множеств в экономике уделено в работах отечественных и зарубежных ученых, таких как G. Bojadziev и М. Bojadziev [23], H.J Zimmermann [51], А.О. Недосекин [12, 13], A.M. Хил Лафуэнтс [20], И.З. Батыршин [2], В.П. Бочарников [3], Р.А. Алиев [1].

Одной из наиболее распространенных и изученных форм обработки и исследования информации является регрессионный анализ. Методы нечеткой математики позволили значительно расширить границы применения методов анализа данных, а именно — строить модели на основе расплывчатой, нечеткой исходной информации. Причем эта информация может иметь не только количественный, но и качественный характер. Это сделало возможным применять методы нечеткого регрессионного анализа в области теории экспертного оценивания и экономики.

Целью диссертационной работы является выделение и исследование нечетких моделей линейной регрессии, разработка новой математической модели нечеткой линейной регрессии по Чсбышеву и сравнение ее с уже изученными, приложение полученных результатов в области социально-экономических исследований.

Основные задачи работы включают:

1. Построение нечеткой линейной регрессионной модели по Чебышеву.

2. Исследование характеристик построенной модели.

3. Исследование взаимосвязи между известными и построенной моделями.

4. Построение алгоритмов первичной обработки исходных статистических данных, исследование данных на выбросы.

Объект исследования — нечеткие линейные регрессионные модели. Предмет исследования — модель нечеткой линейной регрессии по Чебышеву.

Достоверность полученных результатов обеспечивается корректностью постановок рассматриваемых задач, теоретической обоснованностью разрабатываемых вычислительных алгоритмов и подтверждается сравнением с другими регрессионными моделями, а также с нечеткой моделью Танаки. Основные положения, выносимые на защиту:

- нечеткая линейная регрессионная модель по Чебышеву и соответствующая ей геометрическая интерпретация;

- методика построения нечеткой линейной регрессионной модели по Чебышеву на основе геометрического подхода;

- программное обеспечение для построения и анализа моделей социально-экономической направленности, программное обеспечение для анализа выбросов в исходных данных относительно различных регрессионных моделей.

Научная новизна. Диссертационная работа содержит новые результаты, устанавливающие связь между стандартной и нечеткой моделями регрессии. Построена и исследована новая нечеткая линейная регрессионная модель по Чебышеву. Указаны эффективные алгоритмы построения рассмотренной нечеткой линейной регрессионной модели. Предложена методика анализа первичных статистических данных на предмет выбросов. Разработан комплекс программ для построения и исследования нечеткой модели линейной регрессии по Чебышеву, основанный на использовании ее геометрической структуры.

Методы исследования. При построении и исследовании математических моделей в диссертации применялся аппарат теории линейного программирования, линейной алгебры, математического анализа, теории нечетких множеств, численные методы оптимизации в системе Matlab.

Теоретическая и практическая значимость. Результаты диссертации могут быть использованы для построения и дальнейших исследований нечетких регрессионных моделей в математической экономике, в различных прикладных задачах связанных с анализом данных, в учебном процессе при чтении спецкурсов и проведения спецсеминаров.

Апробация работы. Результаты работы докладывались на российских и международных научно-технических конференциях: VI Всероссийской конференции молодых ученых по математическому моделированию и информационным технологиям, 2005, г. Кемерово; VII Всероссийской конференции молодых ученых по математическому моделированию и информационным технологиям (с участием иностранных ученых), 2006, Красноярск; VIII Всероссийской конференции молодых ученых по математическому моделированию и информационным технологиям, 2007, Новосибирск; IX Всероссийской конференции молодых ученых по математическому моделированию и информационным технологиям, 2008, Кемерово; Международной конференции "Дифференциальные уравнения. Функциональные пространства. Теория приближений" посвященной 100-летию со дня рождения C.JI. Соболева 5-12 октября 2008 г. Новосибирск, Россия; Международной конференции "Современные проблемы анализа и геометрии" 14-20 сентября 2009 г. Новосибирск, Россия; Региональных конференциях по математике "МАК - 2005", "МАК - 2006", "МАК - 2009", г. Барнаул; Всероссийской научно-методической конференции "Математическое образование на Алтае" ("МОНА-2005", "МОНА-2006", "МОНА-2008"), краевом семинаре по геометрии и математическому моделированию (Барнаул, 2007г., 2010г.). Кроме того, все результаты работы в разное время докладывались на семинаре кафедры геометрии и математических методов в экономике Алтайской государственной педагогической академии.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (грант 08-01-98001-рсибирьа), а также при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг. (гос. контракт №02.740.11.0457).

Публикации. Основные результаты диссертации опубликованы в 14 работах, в том числе 1 статья в издании рекомендованном ВАК.

Структура и объем диссертации. Работа состоит из введения, трех глав, заключения, двух приложений и списка литературы, включающего 51 наименование. Общий объем диссертации составляет 129 страниц, включая 34 рисунка и 5 таблиц.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Пономарев, Игорь Викторович

Заключение

Приемы и методы регрессионного анализа различным образом применяются в большем числе исследований. Основным подходом к построению моделей в социально-экономических науках является метод наименьших квадратов. Он достаточно прост и универсален. Однако успешное применение данного метода зависит от выполнения ряда существенных предположений, которые на практике редко проверяются или проверка их затруднена некоторыми объективными причинами. Это может повлечь за собой получение некачественных оценок параметров (смещенных, несостоятельных и т.д.) и как следствие ложных выводов.

Построенная в данной работе нечеткая линейная регрессионная модель представляет собой более универсальный подход к проблеме построения уравнения регрессии. Применение теории нечеткой математики делает данную модель более приспособленной к неопределенностям, возникающим при использовании выборочных данных. В тоже время модель оставляет возможность легко изменять уровень точности в зависимости от нужд исследования. Отсутствие жестких ограничений способствует тому, что пользователь любого уровня математической подготовки способен создать качественную регрессионную модель.

Важным моментом любого исследования является первичная проверка имеющихся в его распоряжении данных. Модель будет являться более точной, если при ее построении были использованы однородные данные. Применение классического метода наименьших квадратов существенно зависит от качества предлагаемой выборки. Существует достаточное число методов определения статистически выделяющихся из общего числа наблюдений -выбросов. Использование этих методов затруднено количеством производимых операций и сложностью алгоритмов реализации. Так же вызывает сомнение правильность их применений в других моделях.

В настоящей работе приводится еще один из возможных методов фильтрации данных. Описанный подход может применяться как для нечеткой линейной модели по Чебышеву, так и для классических регрессионных модел ей. Отличительными особенностями данного метода является возможность совмещения процесса построения модели с фильтрацией выборочных данных. Следует заметить, что данный метод неспособен всецело ответить на вопрос о качественности выборки и для полного анализа выборки необходимо использовать максимально возможное число процедур. В конечном счете, только сам исследователь может сделать вывод является ли наблюдение выбросом или нет.

В ходе проведенного исследования решены все поставленные задачи и получены следующие результаты:

- построена нечеткая линейная регрессионная модель по Чебышеву, доказаны условия единственности построенной модели, обоснованы и реализованы эффективные алгоритмы оценок коэффициентов модели;

- исследованы характеристики построенной модели, определен аналог коэффициента корреляции для нечеткой линейной регрессии по Чебышеву;

- на основании описанных геометрических характеристик исследована взаимосвязь функционалов качества построенной модели и ранее известных моделей, проведено экспериментальное исследование этой взаимосвязи;

- предложен и теоретически обоснован алгоритм первичной обработки исходных статистических данных на предмет выбросов, основанный на минимизации величины разброса.

Список литературы диссертационного исследования кандидат физико-математических наук Пономарев, Игорь Викторович, 2010 год

1. Алиев Р. А., Церковный А. Э., Мамедов Г. А. Управление производством при нечеткой исходной информации. - М.: Энсргоатомиздат, 1991. - 240 е.: ил.

2. Батыршин И. 3. Основные операции нечеткой логики и их обобщения.- Казань: Отечество, 2001. 100 е., ил.

3. Б опарников В. П. Fuzzy-технологии: Математические основы. Практика моделирования в экономике. СПб.: "Наука" РАН, 2001. - 328 с.

4. Гмурман В.Е. Теория вероятностей и математическая статистика. Изд. 4-е, доп. Учеб. пособие для вузов. М.: "Высшая школа ", 1972. - 368 с.

5. Дрейпер П., Смит Г. Прикладной регрессионный анализ: в 2-х кн. кн.1 / пер. с англ.- 2-е изд., перераб. и доп.- М.: Финансы и статистика, 1986,- 366 с.

6. Дрейпер, Н., Смит, Г. Прикладной регрессионный анализ: в 2-х кн. кн.2 / пер. с англ.- 2-е изд., перераб. и доп.- М.: Финансы и статистика, 1986.- 351 с.

7. Дьяконов В.П., Круглое В.В. Математические пакеты расширения MATLAB: Специальный справочник. СПб.: Питер, 2001. - 480 с.

8. Лейхтвейе К. Выпуклые множества М.: Наука, 1985, - 336 с.

9. Леоненков А.В. Нечеткое моделирование в среде MATLAB и fuzzyTECH- СПб.:, БХВ-Петербург, 2003. 736 с.

10. Малышев Н. Г., Берштейн Л. С., Боженюк А. В. Нечеткие модели для экспертных систем в САПР. М.: Энергоатомиздат, 1991. - 136 е.: ил.

11. Недосекин, А. О. Нечетко-множественный анализ риска фондовых инвестиций СПб.: Сезам, 2002.

12. Недосекин, А.О. Фондовый менеджмент в расплывчатых условиях -СПб.: Сезам, 2003.

13. Нечеткие множества в моделях управления и искуственпого интелекта / под ред. Д.А. Поспелова М.: Наука. Гл. ред. физ.-мат. лит., 1986. -312 с.

14. Препарата Ф., Шеймос М. Вычислительная геометрия: Введение М.: Мир, 1989, С.478.

15. Сантало Луи А. Интегральная геометрия и геометрические вероятности. пер. с англ./под ред. Р. В. Амбарцумяна. М.: Наука, Главная редакция физико-математической литературы, 1983.-360 с.

16. Прикладные нечеткие системы / под ред. Т. Тэрано М: Мир, 1993. -512 с.

17. Хадвигер Г., Дебруннер Г. Комбинаторная геометрия плоскости М.: Наука, 1965, - 172 с.

18. Хил Лафуенте A.M. Финансовый анализ в условиях неопределенности Минск: Тэхнолопя, 1998.

19. Andrews D.F., Pregibon D. Finding the outliers that matter // Journal of the Royal Statistical Society, 1978, Vol. 40, pp. 84—93.

20. Barber С. В., Dobkin D.P., Huhdanpaa H.T. The Quickhull Algorithm for Convex Hulls // ACM Transactions on Mathematical Software, Vol. 22, No. 4 (Dec. 1996), p. 469-483

21. Bojadziev G., Bojadziev M. Fuzzy Sets, Fuzzy Logic, Applications. World Scientific Pub Co, 1996.

22. Buchinsky M Recent Advances in Quantile Regression Models: A Practical Guideline for Empirical Research. Brown University and NBER.1997

23. Cheng L., Wang P.P. Fuzzy relation equation: the general and specialized solving algorithms, Soft Computing 6 (2002), 428-435.

24. Cook R. D. Detection of Influential Observation in Linear Regression -Technometrics, Vol. 19, No. 1. (Feb., 1977), pp. 15-18.

25. Czogala E., Drewniak, J., Pedrycz, W. Fuzzy relation equations on a finite set, Fuzzy Sets and System 7 (1982), 89-101.

26. David В., Yadolah D. Alternativ Methods of Regression. 1993 by Jonh Wiley & Sans, Inc.

27. D'Urso P., Gastaldi T. A Least-squares approach to fuzzy linear regression analysis, Computational Statistics and Data Analysis 34 (2000), 427-440.

28. Dug Hun Hong, Changha Hwang Support vector fuzzy regression machines. Fuzzy Sets and Systems. 2002

29. Gomez А. Т., Sanchez, Jorge de Andres Applications Of Fuzzy Regression In Actuarial Analysis, Journal of Risk & Insurance 30 (2003), 665-699.

30. Green W.H. Econometrics Analysis, 5th edition. Prentice-Hall,Upper Saddle River, New Jersey

31. Guo S.Z., Wang P.Z., Di Nola A., Sessa S. Further Contributions to the Study of Finite Fuzzy Relation Equations, Fuzzy Sets and Systems, 26 (1988) 93-104

32. Higashi M., Klir G. J. Resolution of finite fuzzy relation equations, Fuzzy Sets and Systems 13 (1984), 65-82.

33. Hubler 0., Frohn J. Modern Econometric Analysis. Springer, Berlin-Heidelberg, 2006.

34. Jann-Huei Jinn, Chwan- Chin Song, J.C. Chao A Study of Fuzzy Linear Regression / InterStathttp://interstat.statjournals.net/YEAR/2008/articles/0807006.pdf

35. Kyung-Bin Song, Young-Sik Baek, Dug Hun Hong, and Gilsoo Jang Short-Term Load Forecasting for the Holidays Using Fuzzy Linear Regression Method //IEEE transactions on power systems, Vol. 20, — 2005. — No. 1, P.96-101.

36. James P. LeSage Applied Econometrics using MATLAB

37. C. Radhakrishna Rao, Helge Toutenburg, Shalah, Christion Heumann. Linear Models Least Squares and Alternativ. 3rd Edition. Springer-Verlag Berlin Heidelberg, 2008.

38. Tanaka H., Uejima S., Asai K. Linear regression analysis with fuzzy model // IEEE Transactions on Systems, Man and Cybernetics, 12(6), (1982), 903907.

39. Sanchez E. Resolution of composite fuzzy relation equations // Information and Control. 1976. T. 30. C. 38-48.

40. Shapiro A. F. Fuzzy Regression and the Term Structure of Interest Rates Revisited.

41. Shu-Heng Chen, Wang P.P., Tzu-WenKuo (Eds.) Computational Intelligence in Economics and Finance Volume II. Springer-Verlag Berlin Heidelberg, 2007.

42. Wang H.F., Chang Y.C. Resolution of composite interval-valued fuzzy relation equations, Fuzzy Sets and Systems 44 (1991), 227-240.

43. Weisberg S. Applied linear regression — 3rd ed. Jonh Wiley & Sans, Inc., 2005.

44. Wu В., Tseng N.-F. A New Approach To Fuzzy Regression Models With Application To Business Cycle Analysis, Fuzzy Sets and Systems 130 (2002), 33-42.

45. Yu LI, Jonathan LI, Haibin DONG, Xiangqian GAO. A fuzzy relation based algorithm for segmenting color aerial images of urban environment

46. Zadeh LA. Fuzzy sets. Information and Control, vol. 8, 1965, pp. 338-353.

47. Zimmermann, H. J. Fuzzy Set Theory and Its Applications. Boston,Dordrecht,London: Kluwer Academic Publishers, 1991.