Математическое и программное обеспечение процесса построения моделей идентификации тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Крыжановский, Дмитрий Иванович

• Крыжановский, Дмитрий Иванович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Крыжановский, Дмитрий Иванович

СПИСОК ИСПОЛЬЗОВАННЫХ СОКРАЩЕНИЙ.

СПИСОК ИСПОЛЬЗОВАННЫХ ОБОЗНАЧЕНИЙ.

ВВЕДЕНИЕ.

ГЛАВА 1. МЕТОДЫ, АЛГОРИТМЫ И ПРОГРАММНЫЕ СРЕДСТВА, ПРИМЕНЯЕМЫЕ ДЛЯ ПОСТРОЕНИЯ МОДЕЛЕЙ ИДЕНТИФИКАЦИИ.

1.1. Задача идентификации. Основные подходы и этапы её решения.

1.2. Математическое обеспечение процесса построения моделей идентификации.

1.2.1. Этап предварительной обработки данных.

1.2.2. Этап построения модели.

1.2.3. Этап оценки качества модели.

1.3. Программные средства, применяемые для построения моделей идентификации.

1.4. Постановка задачи диссертации.

ГЛАВА 2. МЕТОДИЧЕСКОЕ И МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ПРОЦЕССА ПОСТРОЕНИЯ МОДЕЛЕЙ ИДЕНТИФИКАЦИИ.

2.1. Методика построения моделей идентификации.

2.2. Регуляризация исходных данных.

2.3. Математическое обеспечение задачи нелинейной параметрической идентификации.

2.3.1. Проблемы параметрической идентификации сугубо нелинейных зависимостей.

2.3.2. Сравнительная характеристика методов оптимизации.

2.3.3. Метод нелинейной параметрической идентификации.

2.4. Комплексная оценка качества моделей идентификации.

2.5. Структурная идентификация с использованием генетического программирования.

2.6. Выводы по главе 2.

ГЛАВА 3. ПРОГРАММНО-МЕТОДИЧЕСКИЙ КОМПЛЕКС ДЛЯ ПОСТРОЕНИЯ МОДЕЛЕЙ ИДЕНТИФИКАЦИИ.

3.1. Общие требования к системе.

3.2. Архитектура системы и инструменты разработки.

3.3. Реализация методики построения моделей идентификации.

3.4. Описание подсистем. Режимы работы.

3.5. Использование вычислительных алгоритмов и численных методов.

3.6. Выводы по главе 3.

ГЛАВА 4. АПРОБАЦИЯ И ВНЕДРЕНИЕ ПРОГРАММНОГО КОМПЛЕКСА.

4.1. Экспериментальная проверка алгоритмов и методов на тестовых задачах.

4.2. Применение программного комплекса для решения практических задач.

4.3. Использование в учебном процессе.

4.4. Возможные области применения.

Введение диссертации (часть автореферата) на тему «Математическое и программное обеспечение процесса построения моделей идентификации»

В различных областях научно-исследовательской и производственной деятельности человека встречается задача обработки экспериментальных данных с целью извлечения из них закономерностей, описывающих различные процессы и явления. Если изучающиеся закономерности представляются в виде математических моделей, они носят название моделей идентификации, а задача их восстановления - задачи идентификации. Для решения задачи идентификации разработано большое число методов. Однако, несмотря на это, задача по-прежнему далека от своего полного решения: в зависимости от конкретной ситуации применяются различные методы, выбор и правильное использование которых являются далеко не тривиальными. На ход решения задачи идентификации большое влияние оказывает человеческий фактор (знания, предпочтения, убеждения, личный опыт исследователя); многим процедурам, применяемым для восстановления математических зависимостей, свойственна низкая степень алгоритмизации.

Среди наиболее актуальных проблем, связанных с задачей идентификации, можно выделить следующие:

1) отсутствие обобщённой алгоритмической схемы построения моделей идентификации, охватывающей все этапы этого процесса и унифицирующей выборы тех или иных алгоритмов и настройку их параметров;

2) недостаточное внимание к использованию на практике процедур предварительного анализа данных (игнорирование которых может не только усложнить решение задачи, но и привести к неадекватным, неустойчивым моделям);

3) отсутствие метода для разрешения дилеммы о дисперсии и смещении;

4) отсутствие критериев комплексной оценки качества построенных моделей;

5) трудности, возникающие при параметрической идентификации сугубо нелинейных моделей;

6) отсутствие автоматизируемого алгоритма структурной идентификации.

Кроме того, следует также обозначить ещё одну проблему, носящую уже сугубо практический характер - отсутствие интегрированной программной системы построения моделей идентификации с поддержкой всех этапов процесса моделирования. Существующие программные пакеты, как правило, ориентированы или только на какой-то отдельный этап (например, корреляционный анализ данных), или же предназначены для решения узкого круга задач на весьма ограниченном множестве моделей (чаще всего линейных, внутрилинейных и полиномиальных). Пакеты, которые на рынке программного обеспечения позиционируются как универсальные, также несвободны от указанных недостатков: их универсальность приводит к тому, что для решения каждой отдельной подзадачи предлагаются только самые простые варианты, что явно недостаточно для практических целей. Наконец, многие из аналитических программных пакетов ориентированы на моделирование в социально-экономических дисциплинах, в которых стандарты моделирования и правила представления моделей сильно отличаются от принятых в физико-математических и технических областях.

Целью работы является повышение эффективности процесса построения математических моделей по результатам наблюдений за счёт повышения адекватности и устойчивости моделей путём усовершенствования ряда процедур и их автоматизации.

Для достижения данной цели необходимо решить следующие задачи:

1) проанализировать достоинства и недостатки существующих в настоящий момент алгоритмов, методик и программных средств для построения моделей идентификации;

2) сформулировать обобщённую методику построения моделей идентификации;

3) разработать и реализовать эффективный метод, позволяющий разрешать дилемму о дисперсии и смещении;

4) разработать и реализовать метод параметрической идентификации нелинейных моделей, более эффективный, чем принятые на настоящий момент;

5) разработать критерий комплексной оценки качества моделей;

6) разработать и реализовать алгоритмическую процедуру структурной идентификации;

7) разработать интегрированную программную систему построения моделей идентификации и провести её испытания на тестовых и практических задачах.

Объектом исследования настоящей диссертации является процесс построения моделей идентификации.

К предмету исследования относятся различные численные алгоритмы математической статистики, технологий Data Mining, нечётких вычислений, способы их применения для построения моделей идентификации, программные системы, выполняющие построение таких моделей.

В качестве методов исследования в работе используются методы математического анализа и математической статистики, математического моделирования на ЭВМ, искусственного интеллекта, системного анализа, теории трансляции, теории регуляризации, теории алгоритмизации, методы оптимизации, численные методы, а также методы объектно-ориентированного анализа и проектирования систем.

Научная новизна работы состоит в следующем:

1) Сформулирована обобщённая методика построения моделей идентификации, унифицирующая порядок восстановления математических зависимостей, автоматизирующая все основные этапы решения задачи (включая предварительную обработку данных, структурную и параметрическую идентификацию, оценку качества моделей) и поддерживающая вариативность и итеративность процесса моделирования.

2) Модифицирован метод регуляризации данных, позволяющий частично нейтрализовать влияние случайных шумов.

3) Разработаны и алгоритмизированы новые методы нелинейной параметрической идентификации и структурной идентификации, позволяющие автоматизировать ряд важных процедур идентификации и существенно расширить мощность моделирования.

4) Предложен комплексный критерий оценки качества моделей идентификации, помимо остаточной дисперсии учитывающий также информацию о сложности восстанавливаемой функции, что позволяет повысить адекватность моделей и улучшить их устойчивость за пределами обучающих выборок.

Достоверность и обоснованность научных положений и результатов, приведенных в диссертационной работе, обеспечиваются использованием апробированных на практике методов математического и компьютерного моделирования, искусственного интеллекта и аппарата нечётких вычислений, подтверждаются показателями эффективности работы созданного программного комплекса на тестовых массивах экспериментальных данных, а также результатами его функционирования при решении конкретных задач построения моделей по результатам наблюдений.

Основные положения диссертации, выносимые на защиту:

1) Обобщённая методика построения моделей идентификации.

2) Метод сглаживания исходных данных с использованием теории регуляризации.

3) Метод параметрической идентификации нелинейных моделей.

4) Метод комплексного оценивания качества моделей идентификации.

5) Метод структурной идентификации па базе генетического программирования и нечётких вычислений.

6) Программный комплекс построения моделей идентификации «Constellation», прошедший практическую апробацию и внедрение.

Практическая значимость и внедрение:

1) Обобщённая методика моделирования поддерживает вариативность и итеративность процесса моделирования, включает в себя все основные этапы предварительной обработки данных, структурной и параметрической идентификации и оценки качества моделей, что позволяет её использовать при решении задачи идентификации на ЭВМ, обеспечивает свободный доступ ко всем промежуточным результатам вычислений и предоставляет возможность гибкого управления ходом процесса моделирования.

2) Разработан интегрированный программный комплекс, автоматизирующий широкий набор процедур п подзадач, связанных с идентификацией. Разработанные методика и программный комплекс удовлетворяют стандарту CRISP-DM, результаты моделирования сохраняются в XML-подобный формат файлов, совместимый со стандартом PMML.

По итогам данного исследования были разработаны методические указания к выполнению лабораторных работ по курсу «Моделирование систем», разработанный программный комплекс был внедрён в учебный процесс кафедры САПР и ПК ВолгГТУ. Также программный комплекс прошёл апробацию и внедрение в Физико-техническом институте им. А.Ф. Иоффе Российской академии наук и ООО «ЛУКОИЛ-ВолгоградИИПИморнефть».

Программный комплекс прошёл регистрацию в Общеотраслевом фонде алгоритмов и программ (ОФАП), регистрационный номер 50200800656. Программный комплекс в целом и его отдельные составляющие могут применяться при решении задач инженерной практики, задач управления, научно-исследовательских и учебных задач, связанных с математическим моделированием физических процессов и технических систем.

Публикации. Основные положения диссертации отражены в 26 опубликованных работах. В том числе 3 статьи напечатаны в ведущих рецензируемых научных журналах и изданиях РФ, в которых ВАК рекомендует публикацию основных результатов диссертационных работ, получено 1 свидетельство об официальной регистрации программы для ЭВМ.

Апробация. Основные положения диссертации докладывались и обсуждались на научных семинарах кафедры «САПР и ПК» ВолгГТУ, а также на Международных, Всероссийских и региональных научных и научно-практических конференциях, в том числе «Информационные технологии в образовании, технике и медицине» (Волгоград, 2004); «Региональная конференция молодых исследователей Волгоградской области» (Волгоград, 2004, 2006, 2007); «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, 2004); «Технологии Microsoft в теории п практике программирования» (Москва, 2005, Нижний Новгород, 2006); Intel Summer School Seminar 2008 (Intel, Нижний Новгород, 2008), «Прогрессивные технологии в обучении и производстве», (Камышин, 2008).

В первой главе диссертации приводится обзор предметной области, анализируются существующие алгоритмы, методы, стандарты и программные средства построения моделей идентификации, их достоинства, недостатки, ограничения и сферы применимости, ставится задача исследования.

Во второй главе формулируется обобщённая методика построения моделей идентификации; рассматриваются вопросы, касающиеся сглаживания исходных данных с применением аппарата теории регуляризации, параметрической идентификации нелинейных моделей, комплексной оценки качества моделей, структурной идентификации нелинейных зависимостей с использованием генетических алгоритмов и нечётких вычислений.

В третьей главе описываются разработанный программный комплекс, процесс построения моделей с его использованием, поддержка итеративности и вариативности процесса моделирования с использованием дерева {Документ - Операция}. Также освещаются практические аспекты реализации программной системы.

В четвертой главе показаны результаты работы созданного программного комплекса и отдельных его частей на реальных выборках данных, взятых из разных предметных областей.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Крыжановский, Дмитрий Иванович

4.4. ВОЗМОЖНЫЕ ОБЛАСТИ ПРИМЕНЕНИЯ. ВЫВОДЫ ПО ГЛАВЕ 4

Разработанный программный комплекс может быть применён для решения широкого спектра задач, связанных с анализом экспериментальных данных в естественнонаучных и технических направлениях:

1) статистический анализ данных, расчёт выборочных характеристик;

2) фильтрация аномальных значений и нейтрализация шумов путём регуляризации;

3) анализ на наличие функциональной связи между выбранными переменными;

4) определение значений параметров модели при уже известной её структуре;

5) определение возможных вариантов структуры математической модели, наиболее близко описывающих экспериментальные данные.

Результаты апробации программной системы при решении тестовых, практических и учебных задач показали, что с её помощью создаются адекватные модели, точность вычислений соответствует требованиям, предъявляемым на практике, за счёт автоматизации большого количества вычислительных процедур и поддержки итеративности и вариативности процесса моделирования повышена эффективность построения моделей идентификации.

ЗАКЛЮЧЕНИЕ

По итогам диссертационной работы получены следующие результаты.

1) Модифицирован этап предварительной обработки данных за счёт включения процедуры регуляризации, что позволяет частично разрешить дилемму о дисперсии и смещении и добиться лучшей устойчивости моделей за пределами обучающих выборок.

2) Разработан и реализован алгоритм параметрической идентификации нелинейных моделей с использованием методов глобальной оптимизации, менее чувствительный к поведению функции и её непрерывности, чем традиционные методы, основанные на численном решении систем нелинейных уравнений.

3) Предложен критерий комплексной оценки качества моделей идентификации, помимо информации об остаточной дисперсии учитывающий также сложность восстанавливаемой функции, что позволяет повысить адекватность моделей и улучшить их устойчивость за пределами обучающих выборок.

4) Разработан и реализован алгоритм структурной идентификации, позволяющий автоматизировать процесс восстановления структуры математических зависимостей.

5) Сформулирована обобщённая методика построения моделей идентификации, учитывающая вариативность и итеративность процесса моделирования, включающая в себя все основные этапы предварительной обработки данных, структурной и параметрической идентификации и унифицирующая общин ход процесса моделирования.

6) Создан программный комплекс, автоматизирующий решение широкого спектра подзадач, встающих при построении моделей идентификации: проверку исходных распределений на нормальность, нормализацию и стандартизацию данных, выявление и отсев аномальных значений, корреляционный анализ и сокращение пространства входных переменных, регуляризацию, параметрическую идентификацию линейных, внутрилинейных и сугубо нелинейных моделей, структурную идентификацию нелинейных моделей и т.д. Разработанные методика и программный комплекс удовлетворяют стандарту CRISP-DM.

7) Программный комплекс был проверен на контрольных тестовых примерах и прошёл апробацию путём решения практических задач.

Отметим также некоторые направления продолжения исследования по данной тематике, которые кажутся особенно важными и перспективными.

1) Повышение скорости сходимости алгоритма нелинейной параметрической идентификации. В реализации метода, представленной в настоящей диссертации, требуется порядка 16 ООО - 17 ООО итераций алгоритма квантового туннелирования при поиске глобального оптимума. Хотя на современных ЭВМ эти вычисления выполняются достаточно быстро, тем не менее, желательно сократить число итераций на один - два порядка. Кроме того, актуальным остаётся вопрос о сокращении числа перезапусков метода квантового туннелирования при построении тригонометрических моделей.

2) Распараллеливание алгоритма нелинейной параметрической идентификации. В связи с развитием высокопроизводительных вычислений, основанных на физически параллельном выполнении процессов, становится возможным, во-первых, распараллелить выполнение перезапусков метода квантового туннелирования (они не влияют друг на друга), во-вторых, запускать одновременно несколько поисковых процессов при построении сложных моделей.

3) Оценка моделей и структурная идентификация. Имеет также смысл продолжить исследования с целью улучшить оценку качества модели (см. раздел 2.4). Представляется также перспективным задействование для структурной идентификации аппарата нечёткой логики и муравьиных алгоритмов. Наконец, особенное внимание стоит обратить на распараллеливание процедуры, основанной на генетическом программировании и изложенной в разделе 2.5. Это позволит, во-первых, ускорить выполнения независимых друг от друга вычислений, а во-вторых, запускать одновременно эволюции сразу нескольких популяций.

Список литературы диссертационного исследования кандидат технических наук Крыжановский, Дмитрий Иванович, 2008 год

1. Алгоритм имитации отжига Электронный ресурс. Режим доступа: http://math.nsc.ru/AP/benchmarks/UFLP/uflpsa.html

2. Алгоритмы и методы, Web-site Электронный ресурс. — Режим доступа: http ://al golist.manual ,ru

3. Барсегян А.А. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP/ А.А.Барсегян, М.С.Куприянов, В.В.Степаненко, И.И.Холод. 2-е изд., перераб. и доп. - СПб.: БХВ-Петербург, 2007. -284 е.: ил.

4. Богачёв К.Ю. Методы решения линейных систем и нахождения собственных значений. М.: МГУ им. М.В. Ломоносова, 1998. - 145 с.

5. Большая советская энциклопедия. В 30 т. Т. 13. — 3-е изд. М.: Советская энциклопедия, 1973. - 608 с.

6. Большая советская энциклопедия. В 30 т. Т. 18. — 3-е изд. М.: Советская энциклопедия, 1974. — 631 с.

7. Большая советская энциклопедия. В 30 т. Т. 27. — 3-е изд. — М.: Советская энциклопедия, 1977. — 622 с.

8. Большая советская энциклопедия. В 30 т. Т. 8. 3-е изд. — М.: Советская энциклопедия, 1972.-591 с.

9. Грэхем Р., Кнут Д., Паташник О. Конкретная математика. Основание информатики: Пер. с англ. 2-е изд., испр. - М.: Мир, БИНОМ. Лаборатория знаний, 2006. - 703 е.: ил.

10. Давыдов Д.А., Фоменков С.А. Построение математических моделей методом идентификации. Методические указания к лабораторным работам. Волгоград: ВолгГТУ, 2002.

11. Доррер М.Г. Аппроксимация многомерных функций полутораслойным предиктором с произвольными преобразователями// Методы нейроин-форматики: Сборник научных трудов/ Под ред. д. ф-м. н. А.Н. Горбаня.- Красноярск: КГТУ, 1998. С. 130 - 152.

12. Дубнер П.Н. Справочник по статистическим распределениям Электронный ресурс. [2000]. — Режим доступа: http://algolist.manual.ru/maths/ matstat/index.php

13. Дюк В. Data Mining состояние проблемы, новые решения Электронный ресурс. - [2002]. - Режим доступа: http://inftech.chat.ru/it/database/ datamining/arl .html

14. Задача о законе влияния фактора: линейный регрессионный анализ Электронный ресурс. — [2007]. Режим доступа: http://www.ievbran.ru/ kiril/Librarv/Book 1 /content3 5 5/content3 5 5. htm

15. Заенцев И.В. Нейронные сети: основные модели: Учеб. пособие к курсу «Нейронные сети» для студентов 5-ого курса магистратуры к. электроники физического ф-та Воронежского государственного университета. -Воронеж, 1998.-76 с.

16. Использование С#. Специальное издание.: Пер. с англ. — М.: Издательский дом «Вильяме», 2002. — 528 с.

17. Камаев В.А., Колесников С.Г., Фоменков С.А. Физические эффекты из материалов заявок на открытия по физике. Часть 1: Учеб. пособие. -ВолгГТУ, Волгоград, 1994.-208 с.

18. Камаев В.А., Колесников С.Г., Фоменков С.А. Физические явления из материалов заявок на открытия по физике. Часть 2: Учеб. пособие. -ВолгГТУ, Волгоград, 1995. 224 с.

19. Камаев В.А., Петрухин А.В., Фоменков С.А. и др. Представление физических знаний для автоматизированных систем обработки информации: Монография. Волгоград: ТОО «Принт», 1998. - 152 с.

20. Кнут Д. Искусство программирования для ЭВМ. Т. 1. Основные алгоритмы: Пер. с англ. М.: Мир, 1976. - 734 с.

21. Кнут Д. Искусство программирования для ЭВМ. Т. 2. Получисленные алгоритмы: Пер. с англ. М.: Мир, 1977. - 723 с.

22. Кормен Т.Х., Лейзерсон Ч.И., Ривест Р.Л., Штайн К. Алгоритмы: построение и анализ, 2-е изд.: Пер. с англ. М.: Издательский дом «Вильяме», 2005. - 1296 е.: ил.

23. Корреляционный анализ: Учеб. пособие Электронный ресурс. [2001]. - Режим доступа: http://www.usvpu.ru/stiident/ziranova/513.htm

24. Краткий технический справочник. М., Л.: Государственное издательство технико-теоретической литературы, 1949. — 532 с.

25. Крыжановский Д.И. Программная система построения моделей идентификации// XII Региональная конференция молодых исследователей Волгоградской области, г. Волгоград, 13-16 ноября 2007 г.: Тезисы докладов/ ВолгГТУ и др. Волгоград, 2008. - С.203 - 204.

26. Крыжановский Д.И., Фоменков С.А. Построение математических моделей идентификации: метод, указания; ВолгГТУ. — Волгоград, 2008. -20 с.

27. Крыжановский Д.И., Фоменков С.А. Программная система построения моделей идентификации «Constellation». — М: ВНТИЦ, 2008. -№50200800656.

28. Курош А.Г. Курс высшей алгебры. 9-е изд. - М.: Наука, 1968. - 461 с.

29. Курс по генетическим алгоритмам Электронный ресурс. Режим доступа: http://www.ai.tsi.lv/ru/ga/

30. Ландау Л.Д. Лифшиц Е.М. Теоретическая физика: Учеб. пособ.: Для вузов. В 10 т. Т. III. Квантовая механика (нерелятивистская теория). 5-е изд., стереот. - М.: ФИЗМАТЛИТ, 2002. - 808 с.

31. Леоненков А.В. Нечёткое моделирование в среде MATLAB и fuzzy TECH. СПб.: БХВ-Петербург, 2003. - 736 е.: ил.

32. Леоненков А.В. Самоучитель UML. СПб.: БХВ-Петербург, 2001. -304 е.: ил.

33. Львовский Е.Н. Статистические методы построения эмпирических формул: Учеб. пособие для втузов. — 2-е изд., перераб. и доп. М.: Высш. шк., 1988.-239 е.: ил.

34. Мазуркин П.М. Статистическое моделирование. Эвристико-математи-ческий подход: Научное издание. Йошкар-Ола: МарГТУ, 2001. - 100 с.

35. Монтенбрук О., Пфлегер Т. Астрономия на персональном компьютере. -СПб.: Питер, 2002. 320 е.: ил.

36. Нелинейное оценивание/ Электронный учебник StatSoft Электронный ресурс. [2001]. - Режим доступа: http://www.statsoft.ru/homc/textbook/ modules/stnonlin.html

37. Пащенко Ф.Ф. Введение в состоятельные методы моделирования систем: Учеб. пособие: в 2-х ч. Ч. 1. Математические основы моделирования систем. М.: Финансы и статистика, 2006. - 328 е.: ил.

38. Петрович М.Л. Регрессионный анализ и его математическое обеспечение на ЕС ЭВМ: Практическое руководство. М.: Финансы и статистика, 1982.-199 е.: ил.

39. Препарата Ф., Шепмос М. Вычислительная геометрия: Введение: Перс, с англ. М.: Мир, 1989. - 478 с.

40. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим: Методические рекомендации Электронный ресурс. [2002]. — Режим доступа: http.7/ami.nstu.ru/~headrd/applied/

41. Рассел С., Норвиг П. Искусственный интеллект: современный подход, 2-е, изд.: Пер. с англ. М.: Издательский дом «Вильяме», 2006. - 1408 е.: ил.

42. Россиев А.А. Моделирование данных при помощи кривых для восстановления пробелов в таблицах// Методы нейроинформатики: Сборник научных трудов/ Под ред. д. ф-м. н. А.Н. Горбаня. — Красноярск: КГТУ, 1998.-С. 6-23.

43. Сборник задач по математике для втузов. Ч. 3. Теория вероятности и математическая статистика: Учеб. пособие для втузов/ Под ред. А.В.Ефимова. 2-е изд., перераб. и доп. - М.: Наука. Гл. ред. физ.-мат. лит., 1990.-428 с.

44. Системы счисления: код Грея Электронный ресурс. Режим доступа: http://alglib.sourccs.ru/articles/gravcode.php

45. След матрицы Электронный ресурс. [2008]. — Режим доступа: http://ru.wikipedia.org/wiki/След матрицы

46. Статистика: Множественная регрессия Электронный ресурс. — [2007]. -Режим доступа: http://www.vartel.ru/stat/wmnreg.html

47. Троелсен Э. С# и платформа .NET. Библиотека программиста. СПб.: Питер, 2007.-796 е.: ил.

48. Трофимова Т.И. Курс физики: Учеб. пособие для вузов. 5-е изд., стер. -М.: Высш. шк, 1998. - 542 е.: ил.

49. Турчак Л.И., Плотников П.В. Основы численных методов: Учебное пособие. 2-е изд., перераб. и доп. - М.: ФИЗМАТЛИТ, 2003. - 304 с.

50. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика Электронный ресурс. — [1992]. Режим доступа: http://www.zipsites.ru/books/ neirokomp teklmika/

51. Фаулер М., Скотт1 К. UML. Основы. Пер. с англ. - Спб.: Символ-Плюс, 2002.- 192 е., ил.

52. Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: пер. с англ. -М.: ООО «И.Д. Вильяме», 2006. 1104 е.: ил.

53. Шипачёв B.C. Высшая математика. Учеб. для вузов. — 3-е изд., стер. — М.: Высш. школа, 1996. -479 е.: ил.

54. Штовба С.Д. Идентификация нелинейных зависимостей с помощью нечёткого логического вывода в системе MATLAB// Exponenta Pro, №2 (2)/2003.-С. 9- 15.

55. Элементы глобальной оптимизации. Алгоритм имитации отжига Электронный ресурс. Режим доступа: http://www.intxiit.m/department/expert/ neuro/8/l.html

56. Элементы глобальной оптимизации. Метод виртуальных частиц Электронный ресурс. Режим доступа: http://www.intuit.ru/department/expert/ neuro/8/3.html

57. Яхъяева Г.Э. Нечёткие множества и нейронные сети: Учебное пособие. -М.: Интернет-университет информационных технологий; БИНОМ. Лаборатория знаний, 2006. — 316 е.: ил., табл.

58. XML-схемы и данные// MSDN Library 2003 Электронный ресурс. -[2003]. Режим доступа: MSDN Library//ms-heb://MS.MSDNQTR. 2003FEB. 1049/vbcon/html/vburfW orkingWithXMLDataSchemas.htm

59. Ant Colony Optimization Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wiki/Ant colony optimization

60. Arsenin V.Y., Tiklionov A.N. Solutions for Ill-Posed Problems. Washigton, DC, W.H., Winston, 1977.

61. Branch and Bound Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wiki/Branchand bound

62. Chester D.L. Why two hidden layers are better than one, International Joint Conference on Neural Networks, 1990, vol. I, p. 265 268, Washington D.C.

63. CRISP-DM 1.0: Step-by-Step Data Mining Guide Электронный ресурс. -[2000]. Режим доступа: http://www.crisp-dm.org/CRISPWP-080Q.pdf

64. CRISP-DM Web-site Электронный ресурс. — Режим доступа: http:// www .crisp dm. org

65. Cross-Entropy Method Электронный ресурс. — [2007]. Режим доступа: http ://en. wikipedi a. org/ wild/Cro s s -entropy metho d

66. Friedman M., Lanholz G., Ramont D. et al. Complex Fuzzy Logic// IEEE Transactions on Fuzzy Systems. -2003, vol. 11, №4. P. 450 - 461.

67. Funahashi K. On the approximate realization of continuous mappings by neural networks, Neural Networks, 1989, vol. 2, p. 183 192.

68. Gamma-function Электронный ресурс. Режим доступа: http://algolist.manual.ru/maths/countfast/gamma function.php

69. Genetic Programming Inc. Web-site Электронный ресурс. Режим доступа: http://www.genetic-programming.com

70. Gibbs phenomenon Электронный ресурс. [2008]. - Режим доступа: http://cn.wikipedia.org/wiki/Gibbs phenomenon

71. Global Optimization Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wiki/Global optimization

72. Goldberg D.E. Genetic Algorithms in Search, Optimization and Machine Learning Электронный ресурс. Режим доступа: http://algolist.manual.m

73. Higham N.J. Exploiting Fast Matrix Multiplication within the Level 3 BLAS/ ACM Transactions on Mathematical Software, 16 (4): 352 368, 1990.

74. Hill Climbing Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wiki/Hill climbing

75. KDnuggets: Data Mining, Web Mining and Knowledge Discovery (Web-site) Электронный ресурс. Режим доступа: http://www.kdnuggcts.com100.kd-tree Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wiki/Kd tree

76. Kirsch A. An Introduction to the Mathematical Theory of Inverse Problems. -New-York, Springer-Verlag, 1996.

77. Lanczos Approximation Электронный ресурс. — [2007]. — Режим доступа: http://en.wikipedia.org/wiki/Lanczos approximation

78. Larose D.T. Data Mining Methods and Models. A John Wiley & Sons, Inc., Hoboken, New Jersey, 2005. - 322 p.

79. Larose D.T. Discovering Knowledge in Data: An Introduction to Data Mining. A John Wiley & Sons, Inc., Hoboken, New Jersey, 2005. - 222 p.

80. Little R.J.A., Rubin D.B. Statistical Analysis with Missing Data. Wiley, Hoboken, NJ, 1987.

81. Memetic Algorithm Электронный ресурс. — [2008]. — Режим доступа: http://en.wikipedia.org/wiki/Memetic algorithm

82. Monmarche N. Algorithmes de fourmis artificielles: applications a la classification et a l'optimisation. These pour obtenir le grade de doctuer de l'Universite de Tours. - Universite Franijois Rabelais, Tours, 2000. - 231 p.

83. Morozov V.A. Regularization Methods for Ill-Posed Problems. Boca Ration, FL, CRC Press, 1993.

84. National Space Science Data Center (Web-site) Электронный ресурс. -Режим доступа: http://nssdc.gsfc.nasa.gov/

85. Nearest neighbor search Электронный ресурс. — [2008]. — Режим доступа: http://en.wikipedia.org/wiki/Nearestneighborsearch

86. Nelder-Mead method Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wiki/Nelder-Mead method

87. Neumaier A. Complete Search in Continuous Global Optimization and Constraint Satisfaction, 94 p. Электронный ресурс. [2003]. - Режим доступа: http://www.mat.univie.ac.at/~neum

88. Newton's method and high order iterations Электронный ресурс. Режим доступа: http://algolist.manual.nj/maths/findroot/iterative.php

89. Numerical Recipes in С. The Art of Scientific Computing. — Second Edition, Cambridge University Press Электронный ресурс. — [2003]. Режим доступа: http://library. cornell.edu

90. Parallel Tempering Электронный ресурс. [2008]. — Режим доступа: http://en.wikipedia.org/wiki/Paralleltempering

91. Particle Swarm Optimization Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wilci/Particle swarm optimization

92. Piatt J.C., Scholkopf В., Shawe-Taylor J. et al. (2001) Estimating the support of a high-dimensional distribution. Neural Computation 13, 443 1471.

93. PMML Version 3.2 Электронный ресурс. [2007]. - Режим доступа: http ://www. dmg.org/v3 -2/

94. Quantum Annealing Электронный ресурс. [2008]. - Режим доступа: http://en.wilcipedia.org/wiki/Quantumannealing

95. Simulated Annealing Электронный ресурс. [2008]. -http://en.wikipedia.org/wiki/Simulated annealing

96. Stirling's Approximation Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wild/Stirling%27s approximation

97. Stochastic Hill Climbing Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wiki/Stochastic hillclimbing

98. Stochastic Tunneling Электронный ресурс. [2008]. - Режим доступа: http://en.wikipedia.org/wiki/Stochastictunneling

99. The Gartner Group Web-site Электронный ресурс. — Режим доступа: http://www.gartner.com

100. The Technology Review Ten, MIT Technology Review, January / February, 2001.

101. Voronoi diagram Электронный ресурс. [2008]. - Режим доступа: http.V/en. wikipedia.org/wiki/Voronoidiagram

102. Wang J., Wu X., Zhang C. et al. SVM-OD: SVM Method to Detect Outliers// Studies in Computer Intelligence, vol. 9, Foundations and Novel Approaches in Data Mining. Springer-Verlag Berlin Heidelberg, 2006. - P. 129 -141.

103. Weise Т. Global Optimization Algorithms Theory and Application, 2nd Ed, 728 p. Электронный ресурс. — [2008]. — Режим доступа: http://www.it-weise.de