Разработка алгоритмов классификации проектов планировки территории с использованием теории нечетких множеств тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат наук Коротаев, Александр Николаевич
- Специальность ВАК РФ05.13.10
- Количество страниц 155
Оглавление диссертации кандидат наук Коротаев, Александр Николаевич
СОДЕРЖАНИЕ
Введение
Глава 1. Задача классификации
проектов планировки территории и подходы к ее решению
1.1 Задача классификации проектов планировки территории
1.2 Существующие методы классификации объектов
1.3 Проблема выбора критериев для оценки проектов планировки территории
1.4 Существующие подходы для классификации объектов
Основные результаты
Глава 2. Разработка алгоритмов классификации проектов планировки территории с использованием алгоритмов кластеризации на основе нечетких множеств первого типа, интервальных нечетких множеств вто>
рого типа и генетических алгоритмов с хромосомой произвольной длины
2.1 Использование алгоритма нечетких с-средних на основе нечетких множеств первого типа для классификации проектов планировки территории
2.2 Совместное использование БСМ-алгоритма на основе нечетких множеств первого типа и генетического алгоритма с хромосомами произвольной длины для классификации проектов планировки территории
2.2.1 Кодирование хромосомы
2.2.2 Использование генетических алгоритмов с хромосомой произвольной длины
2.2.3 Скрещивание хромосом произвольной длины
2.3 Алгоритм возможностных с-средних на основе нечетких множеств первого типа для классификации проектов планировки территории
2.4 Совместное использование РСМ-алгоритма на основе нечетких множеств второго типа и генетического алгоритма с хромосомами произвольной длины для классификации проектов планировки территории
2.5 Классификация проектов планировки территории с использованием РСМ-алгоритма на основе интервальных нечетких множеств второго типа
2.5.1 Проблема неопределенности фаззификатора и «ширины зоны» в РСМ-алгоритме
2.5.2 Расширение множества проектов классификации на интервальные нечеткие множества второго типа для РСМ-алгоритма
2.6 Генетический алгоритм поиска оптимальной комбинации значений фаззи-фикаторов, реализующих управление неопределенностью, и значений «ширины зоны» для РСМ-алгоритма на основе интервальных нечетких множеств второго типа для классификации проектов планировки территории
2.7 Генетический алгоритм поиска оптимальной комбинации значения фаззификатора и значений «ширины зоны» для классификации проектов планировки территории, реализующих управление неопределенностью, для РСМ-алгоритма на основе интервальных нечетких множеств второго типа
2.8 Алгоритм классификации проектов планировки территории для кластеров произвольной формы
2.9 Использование разработанных алгоритмов для классификации проектов '
планировки территории
Основные результаты
Глава 3. Разработка алгоритмов классификации проектов планировки территории на основе нейро-нечеткой сети АОТК и кластерных ансамблей
3.1 Нейро-нечеткая сеть АМИБ
3.2 Обучение нейро-нечеткой сети
3.3 Использование нейро-нечеткой сети АОТК для классификации проектов планировки территории
3.4 Использование кластерных ансамблей для классификации проектов планировки территории
3.5 Пример классификации проектов планировки территории с использованием уточняющих алгоритмов классификации
Основные результаты
Глава 4. Программная реализация алгоритмов классификации проектов планировки территории
4.1 Общие характеристики пакета прикладных программ «Классификация проектов планировки территории
4.2 Выбор программных средств для реализации алгоритмов
4.3 Структура пакета прикладных программ «Классификация проектов планировки территории»
Основные результаты
Заключение
Список литературы
Приложения
Рекомендованный список диссертаций по специальности «Управление в социальных и экономических системах», 05.13.10 шифр ВАК
Методы кластеризации в задачах оценки технического состояния зданий и сооружений в условиях неопределённости2010 год, кандидат технических наук Коняева, Елена Ивановна
Метод адаптивной нечеткой кластеризации на основе субъективных оценок для управления качеством производства светотехнических изделий2009 год, кандидат технических наук Мальков, Александр Анатольевич
Гибридные алгоритмы анализа и обработки данных в задачах поддержки принятия решений2011 год, кандидат технических наук Титов, Сергей Борисович
Алгоритмическое обеспечение нейро-нечеткой системы классификации состояний объектов сложной структуры2022 год, кандидат наук Чернобаев Игорь Дмитриевич
Модели прогнозирования и алгоритмы анализа временных рядов для поддержки принятия управленческих решений в социально-экономической сфере2021 год, кандидат наук Степанов Максим Анатольевич
Введение диссертации (часть автореферата) на тему «Разработка алгоритмов классификации проектов планировки территории с использованием теории нечетких множеств»
ВВЕДЕНИЕ
г
Актуальность темы исследования. На сегодняшний день проблема оценки проектов планировки территории входит в число часто встречаемых, поскольку, в связи с проведением большого количества конкурсов или тендеров на разработку документации, появилась проблема быстрой и эффективной оценки материалов, предоставляемых участниками. Также участились жалобы на необъективность этих оценок, и, в связи с этим, возросло число просьб обосновать принятое решение. Эти претензии не безоснова-
с
тельны, потому что, как показывает практика, оценка выставляется исходя из предпочтений членов конкурсной комиссии. Поскольку эксперты не обосновывают свое решение, то возникает возможность ошибки. В связи с увеличением объема строительства за последнее десятилетие, а, следовательно, и
конкурсов по проектам планировки территории, вопрос о повышении объек-
{
тивности их оценок приобрел особую актуальность. Эта задача относится к задачам классификации.
Методы классификации можно разделить на несколько групп. По способу задания показателя качества классификации методы делятся на эвристические и оптимизационные. По способу объединения - на дивизимые, аг-ломеративные и итеративные.
Наиболее распространенными на сегодняшний день являются оптимизационные методы классификации. Они обычно основываются на кластерном анализе.
Специфика рассматриваемой задачи заключается в выборе наиболее значимых для конкретных проектов данных. Помимо основных показателей по каждому проекту может предоставляться дополнительная информация, которую претендент считает важной. Она предоставляется в произвольной форме, поэтому число показателей по конкурирующим проектам может различаться. Проблема отбора наиболее значимых показателей является акту-
альной. Для ее решения существуют различные алгоритмы, такие как Forward Selection, Backward Elimination, Stepwise, Best Subsets и др.
В связи с тем, что число групп, на которые будут распределяться проекты изначально неизвестно, а также неизвестны четкие критерии отнесения проекта к той или иной группе, возникает проблема классификации проектов. В таких условиях очень хорошо себя зарекомендовал аппарат теории нечетких множеств (ТНМ), основы которой были заложены JI. Заде в 1965 г. Использование ТНМ предоставляет широкие возможности для моделирования зависимостей (взаимосвязей) между показателями проектов, что позволяет разрабатывать различные варианты решения задачи классификации проектов планировки территории.
При разработке алгоритмов кластеризации проектов планировки территории рассматривались математические и прикладные задачи, в решение которых значительный вклад внесли такие ученые, как: С.А. Айвазян, В.М. Бухштабер, В.Н. Вапник, И.С. Енюков, Ю.И. Журавлев, Н.Г. Загоруйко, В.В. Рязанов, М. Шлезингер, J. Friedman, Т. Hastie, Т. Mitchell, и др.
Существует достаточно большое число алгоритмов кластеризации, основанных на применении аппарата ТНМ. Однако их большим недостатком является большое время поиска субоптимального набора параметров в следствие необходимости многократного выполнения этих алгоритмов.
Для оптимизации времени поиска искомого набора параметров алгоритма кластеризации могут быть использованы генетические алгоритмы (ГА) - эвристические алгоритмы поиска, используемые для решения оптимизационных задач путём случайного подбора, комбинирования и вариации искомых параметров с использованием механизмов, аналогичных механизмам естественного отбора в природе.
Значительный вклад в решение математических и прикладных задач с использованием ГА внесли такие ученые, как: J.H. Holland, N.A. Bariccelli, J1.A. Гладков, B.B. Курейчик, В.М. Курейчик, Д. Рутковская и др.
Однако использование алгоритмов кластеризации и ГА позволяет найти только субоптимальное решение. Это означает, что при классификации проектов могут быть получены ошибочные результаты. В связи с этим целесообразно использовать алгоритмы уточнения результатов классификации. В решении этой проблемы очень хорошо себя зарекомендовали нейро-нечеткие сети и, в частности, адаптивная сеть нечеткого вывода ANFIS (Adaptive-Network-Based Fuzzy Inference System).
Значительный вклад в решение математических и прикладных задач с
использованием нейро-нечетких сетей внесли такие ученые, как: J.S.R. Jang,
11-
A. Abraham, Y. Jin, В. Kosko, С. Quek, R.W. Zhou и др.
Еще один прогрессивный подход, обеспечивающий повышение каче-
1 )
ства классификационных решений, основан на разработке так называемых
) 1
кластерных ансамблей, консолидирующих частные классификационные решения.
Цель диссертационной работы состоит в разработке алгоритмов классификации проектов планировки территории, обеспечивающих высокую точность и обоснованность принимаемых решений.
Для достижения поставленной цели были решены следующие задачи. ,
1. Проанализировать существующие методы классификации проектов планировки территории, выявить их недостатки и возможные пути их устранения.
2. Разработать алгоритмы отбора наиболее значимых показателей для оценки проектов планировки территории.
3. Разработать алгоритмы классификации проектов планировки территории с использованием алгоритмов кластеризации на основе нечетких множеств первого типа и генетических алгоритмов с хромосомой произвольной длины.
4. Разработать алгоритмы классификации проектов планировки территории с использованием алгоритмов кластеризации на основе интервальных
нечетких множеств второго типа и генетических алгоритмов с хромосомой произвольной длины.
5. Разработать алгоритм классификации проектов планировки территории для кластеров произвольной формы.
6. Разработать алгоритм уточнения результатов классификации проектов планировки территории с использованием нейро-нечеткого логического вывода.
7. Разработать кластерные ансамбли уточнения результатов классификации проектов планировки территории.
8. Выполнить программную реализацию разработанных алгоритмов классификации проектов планировки территории.
Методы исследования. Для проведения исследований использовались инструментарий Data Mining, аппарат теории нечетких множеств, генетические алгоритмы и методы объектно-ориентированного программирования.
Научная новизна. При проведении диссертационных исследований были получены следующие результаты:
1. Разработаны алгоритмы классификации проектов планировки территории для проектов с разбиением на кластеры подобного объема с учетом свойств кластерной относительности и типичности с использованием алгоритмов кластеризации на основе нечетких множеств первого типа и генетических алгоритмов с хромосомой произвольной длины.
2. Разработаны алгоритмы классификации проектов планировки территории для проектов с разбиением на кластеры существенно разного объема с использованием алгоритмов кластеризации на основе интервальных нечетких множеств второго типа и генетических алгоритмов с хромосомой произвольной длины в условиях неопределенности выбора «ширины зоны» и фаз-зификаторов.
3. Разработан алгоритм классификации проектов планировки территории для кластеров произвольной формы с использованием алгоритмов кла-
стеризации на основе нечетких множеств первого типа и генетических алгоритмов с хромосомой произвольной длины.
4. Разработаны алгоритмы уточнения результатов классификации проектов планировки территории с использованием нейро-нечеткого логического вывода.
5. Разработаны кластерные ансамбли уточнения результатов классификации проектов планировки территории, обеспечивающие консолидацию частных классификационных решений.
Практическая ценность работы. Практическая ценность работы заключается в том, что полученные алгоритмы классификации позволяют реализовать новый подход к задаче классификации проектов планировки территории и обеспечивают:
— высокую обоснованность принятия решения;
- минимизацию трудовых затрат, связанных с необходимостью экспертной оценки проектов по множеству показателей большого объема с целью выбора проектов-победителей.
В конечном итоге предлагаемые алгоритмы обеспечивают математически обоснованное решение задачи классификации проектов планировки территории.
Практическая ценность результатов диссертации подтверждается актами внедрения.
Достоверность полученных в диссертационной работе результатов подтверждается:
- обоснованным использованием инструментария Data Mining, аппарата ТНМ, генетических алгоритмов и нейро-нечетких сетей;
— результатами программной реализации разработанных алгоритмов;
наличием актов внедрения результатов диссертационной работы.
На защиту выносятся:
1. Алгоритмы классификации проектов планировки территории для проектов с разбиением на кластеры подобного объема с учетом свойств кластерной относительности и типичности с использованием алгоритмов кластеризации на основе нечетких множеств первого типа и генетических алгоритмов с хромосомой произвольной длины.
2. Алгоритмы классификации проектов планировки территории для проектов с разбиением на кластеры существенно разного объема с использованием алгоритмов кластеризации на основе интервальных нечетких множеств второго типа и генетических алгоритмов с хромосомой произвольной длины в условиях неопределенности выбора «ширины зоны» и фаззификато-ров.
3. Алгоритм классификации проектов планировки территории для кластеров произвольной формы с использованием алгоритмов кластеризации на основе нечетких множеств первого типа и генетических алгоритмов с хромосомой произвольной длины.
4. Алгоритмы уточнения результатов классификации проектов планировки территории с использованием нейро-нечеткого логического вывода.
5. Кластерные ансамбли уточнения результатов классификации проектов планировки территории, обеспечивающие консолидацию частных классификационных решений.
Внедрение результатов.
Исследования по тематике диссертационной работы велись:
- в рамках госбюджетной НИР 9-07Г «Разработка математических моделей, методов и алгоритмов обработки больших потоков информации в сложно организованных вычислительных структурах» (2007 г.);
- в рамках госбюджетной НИР 7-09Г «Разработка математических методов и алгоритмов передачи и обработки цифровой информации для поддержки интеллектуальных систем управления» (2009 г.);
- в рамках госбюджетной НИР 11-12Г «Разработка математических моделей, методов и алгоритмов обработки больших объемов информации в сложно организованных системах искусственного интеллекта» (2012 г.).
Результаты работы внедрены и используются:
- в Министерстве строительного комплекса Рязанской области (акт внедрения от 7.09.2012г.);
- в Главном управлении архитектуры и строительства Рязанской области (акт внедрения от 7.09.2012г.);
- в Управлении капитального строительства администрации г. Рязани (акт внедрения от 11.09.2012г.);
п
Апробация работы. Основные положения диссертации докладывались на следующих конференциях:
- VI Всероссийская научно-техническая конференция «Искусственный интеллект в XXI веке. Решения в условиях неопределенности» (Пенза, 2008);
- VIII Всероссийская научно-техническая конференция «Проблемы информатики в образовании, управлении, экономике и технике» (Пенза, 2008);
- XIV Международная открытая научная конференция «Современные проблемы информатизации в анализе и синтезе программных и телекоммуникационных систем» (Воронеж, 2009);
- «Методы и алгоритмы принятия эффективных решений» (Таганрог,
2009);
- XV Международная открытая научная конференция «Современные проблемы информатизации в анализе и синтезе программных и телекоммуникационных систем» (Воронеж, 2010);
- XVII Международная научная конференция «Методы и алгоритмы принятия решений» (Нижний Новгород, 2010);
XVIII Всероссийская научно-техническая конференция студентов, молодых ученых и специалистов «Новые информационные технологии в научных исследованиях» (Рязань, 2013).
Публикации. По теме диссертации опубликовано 15 печатных работ. В их числе 3 статьи в изданиях, рекомендованных ВАК РФ, 1 монография, 3 статьи в межвузовских сборниках, 3 доклада на Международных конференциях, 4 доклада на Всероссийских конференциях, 1 свидетельство о регистрации программы для ЭВМ.
Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, списка литературы и приложения. Содержит 155 страниц (из них 140 страниц - основная часть, 15 страниц - приложения), 5 таблиц, 18 рисунков. Список литературы состоит из 79 наименований.
ГЛАВА 1. ЗАДАЧА КЛАССИФИКАЦИИ ПРОЕКТОВ ПЛАНИРОВКИ ТЕРРИТОРИИ И МЕТОДЫ
ЕЕ РЕШЕНИЯ
1.1. Задача классификации проектов планировки территории
Подготовка проекта планировки территории осуществляется для выде-
/
ления элементов планировочной структуры, установления параметров планируемого развития элементов планировочной структуры, зон планируемого размещения объектов федерального значения, объектов регионального значения, объектов местного значения. [32]
На рисунке 1.1 представлен пример проекта планировки территории.
При проведении конкурсного отбора по этим проектам неизбежно появляется вопрос об их оценке. Для решения поставленной задачи привлекают экспертов, которые производят оценку.
Оценка проектов планировки территории является задачей, которая на „ сегодняшний день решается комиссией, состоящей из экспертов. Решение осуществляется в 3 этапа.
1. На первом этапе производится проверка проектов на соответствие требованиям ГОСТ, СНиП, СанПин и иным требованиям, предъявляемых заказчиком. Проекты, соответствующие этим требованиям допускаются до следующего этапа.
2. На втором этапе производится группировка схожих проектов и выбор лучшей группы.
3. На третьем этапе производится оценка проектов внутри группы и выявление победителя.
схема территориального планирования захаровского муниципального района рязанской области проект планировки территории
Рисунок 1.1- Пример проекта планировки территории
Следует заметить, что эксперты производят оценку, исходя из своего личного опыта и предпочтений. Но, поскольку сравнивание большого количества проектов представляет собой сложную задачу, то это может привести к возникновению ошибок в оценках. Такой подход не устраивает многих участников конкурса, т.к. обоснованность оценки проектов очень низкая.
Исходя из этого, экспертам было предложено производить оценку проектов по определенным критериям. Сравнение нескольких проектов по небольшому количеству критериев произвести достаточно просто. Сложности возникают при большом числе проектов и критериев оценки, что приводит к необходимости формирования комплексной оценки. Но после ее формирования задача классификации проектов планировки территории становится тривиальной.
Поэтому в настоящее время проблема классификации проектов планировки территории является актуальной, и в ее решении нуждаются как специалисты, работающие в строительных компаниях, проектных институтах так и эксперты, производящие оценку этих проектов.
Необходимо найти подход, позволяющий производить обоснованную оценку проектов планировки территории. Решение такой задачи не должно вызывать каких-либо трудностей в случае изменения количества рассматриваемых критериев оценки и количества проектов.
Главными требованиями, при решении задачи классификации проектов планировки территории являются:
- возможность проведения оценки большого числа проектов (более 100);
- возможность проведения оценки проектов с большим (более 20) числом критериев^
- возможность разбиения проектов на заданное число групп с возможностью корректировки этого числа;
- учет вклада каждого параметра в общую оценку проекта;
— возможность учета дополнительных условий, связанных со спецификой проекта.
Поскольку задача классификации проектов является относится к задачам классификации, то необходимо рассмотреть существующие методы ее решения.
1.2. Существующие методы классификации объектов
Существует множество методов классификации объектов, которые условно можно разделить на несколько групп [2]. Как видно из рисунка 1.2 классификация может быть произведена по способу задания показателя качества классификации, а также по способам объединения. К первому случаю относятся эвристические и оптимизационные методы. Ко второму случаю -дивизимные, агломеративные и итеративные.
Рисунок 1.2. Существующие методы классификации.
Эвристические методы используются для решения задач высокой вычислительной сложности. Их достоинством является меньшее время вычис-
ления по сравнению с полным перебором вариантов. К недостаткам можно отнести неточность (из-за отсутствия полного перебора) и отсутствие объективных критериев отбора лучших вариантов.
В оптимизационных методах классификации используется показатель качества, который обращают в экстремум по множеству допустимых разбиений. В отличие от эвристических алгоритмов, классификация, получаемая оптимизационными алгоритмами, является наилучшей с точки зрения выбранного показателя качества. Выбор конкретного показателя зависит от специфики и ограничений решаемой задачи, а также принятых предложений.
В общем случае в любом оптимизационном алгоритме классификации можно выделить следующие элементы:
- показатель качества классификации;
- ограничения;
- механизм поиска результирующего разбиения.
Ограничения в методах классификации в основном касаются типа исходных данных - множества допустимых разбиений, на котором ищется результирующее разбиение, и вида самого результирующего разбиения. Поиск результирующего разбиения осуществляется в соответствии с некоторым механизмом оптимизации. Это может быть механизм полного или частичного перебора, случайного перебора и т. д. Если механизм не обеспечивает точного достижения экстремума показателя качества, он является приближенным, а ошибка оценивается величиной отклонения достигаемого значения показателя качества от оптимума. Если величина ошибки незначительна, алгоритм является субоптимальным. Оптимизационные методы классификации могут быть основаны на кластерном анализе.
Кластерный анализ — это совокупность методов, позволяющих классифицировать многомерные наблюдения, каждое из которых описывается набором исходных переменных хх,х2,...,хт [3]. В отличие от комбинационных группировок кластерный анализ приводит к разбиению на группы с учетом всех группировочных признаков одновременно.
В методах классификации, основанных на кластерном анализе, используется так называемый политетический подход. Все группировочные признаки одновременно участвуют в группировке, т.е. они учитываются все сразу при отнесении наблюдения в ту или иную группу. При этом, как правило, не указаны четкие границы каждой группы, а также неизвестно заранее, сколько же групп целесообразно выделить в исследуемой совокупности.
Кластерные методы классификации имеют большое значение в тех отраслях науки, которые связаны с изучением массовых явлений и процессов. Использование и развитие методов кластерного анализа обусловлено прежде всего тем, что они помогают построить научно обоснованные классификации, выявить внутренние связи между единицами наблюдаемой совокупности.
Методы кластерного анализа позволяют решать следующие задачи: [27]
- проведение классификации объектов с учетом признаков, отражающих сущность, природу объектов. Решение такой задачи, как правило, приводит к углублению знаний о совокупности классифицируемых объектов;
- проверка выдвигаемых предположений о наличии некоторой структуры в изучаемой совокупности объектов, т.е. поиск существующей структуры;
- построение новых классификаций для слабоизученных явлений, когда необходимо установить наличие связей внутри совокупности и попытаться привнести в нее структуру;
- сжатие данных - если исходная выборка избыточно большая, то можно сократить её, оставив по одному наиболее типичному представителю от каждого кластера.
Агломеративные методы последовательно объединяют отдельные объекты в кластеры, а дивизимные методы расчленяют группы на отдельные объекты. В свою очередь каждый метод классификации как объединяющего, так и разделяющего типа может быть реализован при помощи различных ал-
4 J
горитмов. Как агломеративные, так и дивизимные алгоритмы трудоемки и их сложно использовать для больших совокупностей. Кроме того, результаты работы таких алгоритмов трудно поддаются визуальному анализу.
I
Итеративные методы - кластеры формируются исходя из задаваемых условий разбиения, которые могут быть изменены пользователем для достижения желаемого качества. К итеративным методам относятся, например, метод к -средних, метод поиска сгущений и другие. Итеративные методы относятся к быстродействующим, что позволяет использовать их для обработки больших массивов исходной информации.
В отличие от агломеративных и дивизимных методов классификации итеративные алгоритмы могут привести к образованию пересекающихся кластеров, когда один объект может одновременно принадлежать нескольким кластерам.
Если алгоритм кластеризации основан на измерении сходства между переменными, то в качестве мер сходства могут быть использованы:
- линейные коэффициенты корреляции;
- коэффициенты ранговой корреляции;
- коэффициенты контингенции и т.д.
1.3. Проблема выбора критериев для оценки проектов
планировки территории
Одной из важнейших проблем при сравнении проектов планировки территории является выбор наиболее значимых параметров для сравнения. Поскольку эти параметры не регламентируются, то их значимость и отбор осуществляется каждым экспертом в отдельности. Это может привести с одной стороны к поверхностной оценке проектов, с другой к излишним затратам времени на детальное изучение простых проектов.
Следовательно, необходимо использовать единый метод выбора пара-
метров проекта.
В оценке проекта каждый параметр вносит определенный вклад. Для определения параметров, вносящих наибольших вклад, необходимо произве-ста анализ данных. Для этого можно использовать различные методы интеллектуального анализа данных.
Несмотря на большое разнообразие методов интеллектуального анализа все они имеют одну общую проблему - проблему отбора значимых параметров. Сокращение числа параметров упростит оценку проектов планировки территории, а также удалит избыточные данные. Дублирование информации в параметрах усложняет оценку и может запутать экспертов.
Очевидно, что одним из возможных выходов из сложившейся проблемы могло бы стать построение модели на всех возможных комбинациях наборов входных признаков с последующим отбором того варианта, который обладал бы наилучшей описательной способностью результирующего признака Y и при этом содержал бы минимум независимых переменных. Однако такое решение возможно лишь при наличии незначительного количества факторов-претендентов на включение в модель. В случае же относительно большого списка потенциальных признаков подобная методика представляется достаточно затруднительной, так как количество моделей, которые необходимо будет построить, оказывается крайне велико и в общем случае равно (2П - 1) штук. Ввиду этого необходимо иметь на вооружение какие-то иные алгоритмы отбора наиболее важных факторов, которые потребовали бы значительно
I
меньших затрат усилий, а соответственно и времени. [65]
Существует различные методики решения данной проблемы. Достаточно хорошо себя зарекомендовали такие методы, как:
- процедура Forward Selection (прямой отбор),
- процедура Backward Elimination (обратное исключение),
- процедура Stepwise,
- процедура Best Subsets (лучшие подмножества).
Метод прямого отбора (Forward Selection)
Данный алгоритм включает в себя следующие шаги: [79]
1. Из списка всех возможных входных переменных выбирается та, которая имеет наибольшую корреляцию с У, после чего модель, содержащая лишь одну выбранную независимую переменную, проверяется на значимость при помощи частного F-критерия. Если значимость модели не подтверждается, то алгоритм на этом заканчивается за неимением существенных входных переменных. В противном случае эта переменная вводится в модель и осуществляется переход к следующему пункту алгоритма. Следует отметить, что в данном случае проверка на значимость всей модели в целом будет равносильна проверке на значимость выбранной независимой переменной, так как на данном этапе модель еще не содержит других входных переменных.
2. По всем оставшимся переменным на основании формулы (1.1) рассчитывается значение статистики у, которая представляет собой отношение прироста суммы квадратов регрессии, достигаемая за счет ввода в модель соответствующей дополнительной переменной, к величине MSE<full>.
SSR <вхтга'>
где SSR ехга . вклад переменной
в объяснение общей изменчивости результативного признака Y;
MSE^fuIl> - сумма квадратов ошибок SSE, приходящаяся на одну степень свободы
3. Из всех переменных-претендентов на включение в модель выбирается та, которая имеет наибольшее значение критерия, рассчитанного в пункте 2.
4. Проводится проверка на значимость выбранной в пункте 3 независимой переменной. Если ее значимость подтверждается, то она включа-
ется в модель, и осуществляется переход к пункту 2 (но уже с новой независимой переменной в составе модели). В противном случае алгоритм останавливается.
Похожие диссертационные работы по специальности «Управление в социальных и экономических системах», 05.13.10 шифр ВАК
Исследование и разработка инвариантных кластерных алгоритмов1998 год, кандидат технических наук Хабибулин, Руслан Фаритович
Развитие методов теории нечётких множеств и генетических алгоритмов для задач поддержки принятия решений в условиях неопределённости2009 год, доктор технических наук Демидова, Лилия Анатольевна
Нейросетевые технологии решения задач кластеризации и классификации данных в технических системах2023 год, кандидат наук Харахинов Владимир Александрович
Интеллектуальный анализ данных в СУБД2020 год, доктор наук Цымблер Михаил Леонидович
Методы двухэтапной и многокритериальной кластеризации данных выборок больших объемов2008 год, кандидат технических наук Киреев, Василий Сергеевич
Список литературы диссертационного исследования кандидат наук Коротаев, Александр Николаевич, 2013 год
Список литературы
1. Аверкин А.Н., Батыршин И.З., Блишун А.Ф., Силов В.Б., Тарасов В.Б. Нечеткие множества в моделях управления и искусственного интеллекта / под ред. Д.А.Поспелова. - М.: Наука, 1986. - 312 с
2. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин JI. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989. - 607 с.
3. Айвазян С.А., Мхитарян B.C. Прикладная статистика. Основы эконометрики. Учебник для вузов: В 2 т. 2-е изд., испр. - М.: ЮНИТИ-ДАНА, 2001.-Т.1.-656 с.
4. Айвазян С.А., Мхитарян B.C. Прикладная статистика. Основы эконометрики. Учебник для вузов: В 2 т. 2-е изд., испр. - М.: ЮНИТИ-ДАНА, 2001.-Т.2.-432 с.
5. Алиев P.A., Церковный А.Э., Мамедова Г.А. Управление производством при нечеткой исходной информации. -М.: Энергоатомиздат. - 1991. - 240 с.
6. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. - Тюмень: Изд-во Тюменского государственного университета, 2000. - 352 с.
7. Андерсен Т. Статистический анализ временных рядов. М.: Мир, 1976. -756 с.
8. Андрейчиков A.B., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике. - М.: Финансы и статистика, 2000. - 368 е.: ил.
9. Антикризисное управление: Учеб. пособие: в 2 т. Т. 2.: Экономические основы / Отв. ред. Г.К. Таль. - М.: ИНФРА-М, 2004. - 1027 с.
10. Арене X., Лейтер Ю. Многомерный дисперсионный анализ - М.: Финансы и статистика, 1985. - 230 с.
11. Артеменков А.И., Микерин Г.И. О различии между профессиональной стоимостной оценкой и инвестиционно-финансовой оценкой: возможные
объяснения с учетом происходящего «пересмотра понятий» // Вопросы оценки, 2007. -№ 2-С. 23-39.
12. Асанов A.A. Генетический алгоритм построения экспертных решающих правил в задаче многокритериальной классификации // Электронный журнал «Исследовано в России», 2002. - С. 1744-1753.
13. Ашихмин И.В., Ройзензон Г.В. Выбор лучшего объекта на основе парных сравнений на подмножествах критериев //Методы принятия решений: сб. науч. тр. под ред. Ларичева О.И. - М: Эдиториал УРСС, 2001. - С.51-71.
14. Ахо А., Хопкрофт Дж., Ульман Дж. Построение и анализ вычислительных алгоритмов. - М.: Мир, 1979. - 536 с.
15. Барановская Т.П., Лойко В.И., Семенов М.И., Трубилин И.Т. Автоматизированные информационные технологии в экономике. - М.: Финансы и статистика, 2001. - 416 с.
16. Бард И. Нелинейное оценивание параметров. - М.: Финансы и статистика, 1979.-349 с.
17. Батищев Д.И. Генетические алгоритмы решения экстремальных задач. -Воронеж: Изд-во ВГТУ, 1995. - 217 с.
18. Башмаков А.И., Башмаков И.А. Интеллектуальные информационные технологии: Учеб. пособие. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. -304 с.
19. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях. В кн.: Вопросы анализа и процедуры принятия решений. - М.: Мир, 1976. - С. 172215.
20. Бендат Дж., Пирсол А. Прикладной анализ случайных данных. - М.: Мир, 1989. - 540 с.
21. Берлянт А.М. Геоэконика. - М.: МГУ, 1996. - 208 с.
22. Борисов В.В., Федулов A.C. Нечеткие оценочные модели сложных систем с учетом согласования неравнозначных целей / Нейрокомпьютеры: разработка, применение, 2003. - №5. - С. 3-12.
23. Борисов В.В., Круглов В.В., Федулов A.C. Нечеткие модели и сети. - М: Горячая линия-Телеком, 2007. - 284 е.: ил.
24. Венцель Е.С. Теория вероятностей. - М.: Наука, 1969. - 576 с.
I
25. Вучков И., Бояджиева JI., Солаков Е. Прикладной линейный регрессионный анализ. - М.: Финансы и статистика, 1987. - 240 с.
26. Вятченин Д.А. Нечёткие методы автоматической классификации. — Минск: Технопринт, 2004. — 219 с.
27. Гаврилов Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. - СПб.: Питер, 2001, - 384 е.: ил.
28. Глинский В.В., Ионин В.Г. Статистический анализ. Учебное пособие. — М.: Информационно-издательский дом «Филинъ», 1998.- 264 с.
29. Гмурман В.Е. Теория вероятностей и математическая статистика: Учеб. пособие для втузов. Изд. 9-е, перераб. и доп. - М.: Высш. школа, 2003. — 479 е.: ил.
30. Гнеденко JI.C., Фуремс Е.М. Эффективная процедура выявления нарушений транзитивности при попарных сравнениях // Проблемы и методы принятия уникальных и повторяющихся решкений. Сборник трудов. - М.: ВНИИСИ, 1990. - С. 46-48.
31. (32)Градостроительный кодекс РФ по состоянию на 1.04.13г. Введ. 200429-12. М. - Изд-во «Проспект», 2013. 160с.
32. Грановский В.А., Сирая Т.Н. Методы обработки экспериментальных данных при измерениях. - Л.: Энергоатомиздат. Ленингр. отд-ние, 1990. -288 с.
33. Гусева М.В., Демидова Л.А. Генерирование решающих правил классификации инвестиционных проектов на основе систем нечеткого вывода и мультимножеств // Системы управления и информационные технологии. -Воронеж, 2006. - №4 (26). - С. 46-53.
34. Гусева М.В., Демидова Л.А. Многокритериальная классификация инвестиционных проектов на основе систем нечеткого вывода и мультимножеств
II Научно-техническая информация. Информационные процессы и системы, 2006.-№12.-С. 16-20.
35. Гусева М.В., Демидова JI.A. Разработка систем нечеткого вывода для классификации инвестиционных проектов // Искусственный интеллект в XXI веке. Решения в условиях неопределенности: материалы IV Международной научно-технической конференции. - Пенза, 2006. - С. 124 - 127.
36. Гэри М., Джонсон Д. Вычислительные машины и труднорешаемые задачи: Пер.с. англ. - М.: Мир, 1982. - 416 с.
37. Дегтярев Ю.И. Исследование операций: Учеб. для вузов по спец. АСУ. -М.: Высшая школа, 1986. - 320 е.: ил.
38. Дегтярев Ю.И. Методы оптимизации. - М.: Советское радио, 1980. -218 с.
39. Демиденко Е.З. Линейная и нелинейная регрессия. - М.: Финансы и статистика, 1981.-302 с.
40. Демидова Л.А. Развитие методов теории нечетких множеств и генетических алгоритмов для задач поддержки принятия решений в условиях неопределенности: автореф. дис. док. техн. наук. Рязань, Редакционно-издательский центр РГРТУ, 2009. - 40 с.
41. Демидова Л.А., Коротаев А.Н. Двухуровневый генетический алгоритм кластеризации объектов на основе FCM-алгоритма с использованием нечетких множеств второго типа // Искусственный интеллект в XXI веке. Решения в условиях неопределенности: сборник статей VI Всероссийской научно-технической конференции. - Пенза: Приволжский Дом знаний, 2008. - С. 2527.
42. Демидова Л.А., Коротаев А.Н.. Генетический алгоритм настройки параметров системы нечеткого вывода на основе нечетких множеств второго типа // Проблемы информатики в образовании, управлении, экономике и технике: сборник статей VIII Всероссийской научно-технической конференции. - Пенза: Приволжский Дом знаний, 2008. - С. 79-81.
43. Демидова Л.А., Коияева Е.И., Коротаев А.Н. Сравнительный анализ ме-
г 1
тодов кластеризации на основе нечетких множеств первого и второго типа // Современные проблемы информатизации в анализе и синтезе программных и телекоммуникационных систем: Сб. трудов. Вып. 14/ Под ред. д.т.н., проф. О .Я. Кравца. - Воронеж: «Научная книга», 2009. - С. 296-302.
44. Демидова Л.А., Коротаев А.Н. Решение задачи выбора алгоритма кластеризации на основе интервальных нечетких множеств второго типа с использованием генетического алгоритма с переменной длиной хромосомь1 // Математическое и программное обеспечение вычислительных систем: Межвуз. сб. науч. тр. / Под ред. А.Н. Пылькина - М.: Горячая линия - Телеком, 2009, С. 23-30.
45. Демидова Л.А., Коняева Е.И., Коротаев А.Н. Использование модификаций генетических алгоритмов с переменной длиной хромосомы для решения задачи кластеризации объектов // Материалы международной научной конференции. «Методы и алгоритмы принятия эффективных решений» - 2 часть - Таганрог: Изд-во ТТИ ЮФУ, 2009. - С. 22-27.
46. Демидова Л.А., Коняева Е.И., Коротаев А.Н. Подход к проблеме классификации технического состояния зданий и сооружений с использованием алгоритмов нечеткой кластеризации и генетических алгоритмов // Методы и алгоритмы принятия решений: материалы 17-й международной научной конференции. - Нижний Новгород: Изд-во ТТИ ЮФУ, 2010. - С. 22-27.
47. Демидова Л.А., Кираковский В.В., Коротаев А.Н. Подход к проблеме классификации технического состояния зданий и сооружений с использованием алгоритмов возможностной кластеризации и генетических алгоритмов // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. №1. Санкт-Петербург. Издательство Политехнического университета, 2010, С. 151-157.
48. Демидова Л.А., Коротаев А.Н. Гибридный подход к проблеме нечеткой кластеризации объектов с использованием искусственных иммунных сетей // Материалы Всероссийской научной конференции «Актуальные вопросы ис-
следования общественных и технических систем» - часть 2 - Таганрог: Изд-во ТТИ ЮФУ, 2011. - С. 20-22.
49. Демидова»Л.А., Коротаев А.Н. Разработка гибридного подхода к решению задачи классификации объектов в условиях неопределенности // Математическое и программное обеспечение вычислительных систем: Межвуз. сб. науч. тр. / Под. ред. А.Н. Пылькина - Рязань (РГРТУ), 2011. - С. 22-24.
50. Демидова Л.А., Коротаев А.Н. Разработка гибридного подхода к кластеризации объектов с использованием мультимножеств в условиях неопределенности // Современные вопросы науки - XXI век: Сб. науч. тр. по материалам VII междунар. науч.-практ. конф. (29 марта 2011 г.) - Тамбов: Издательство Тамбовского областного института повышения квалификации работников образования, 2011. — Вып. 7. - Ч. 4. - С. 82-83.
51. Заде Л. Основы нового подхода к анализу сложных систем и процессов принятия решений // В кн.: Математика сегодня. — М.: Мир, 1974. - С. 5-49.
52. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. - М.: Мир, 1976. — 160 с.
53. Коняева Е.И., Коротаев А.Н. Использование генетических алгоритмов с постоянной и переменной длиной хромосомы для решения задачи кластеризации объектов // Современные проблемы информатизации в анализе и синтезе программных и телекоммуникационных систем: Сб. трудов. Вып. 15/ Под ред. д.т.н., проф. О.Я. Кравца. - Воронеж: «Научная книга», 2010. - С. 251-254.
54. Коняева Е.И., Коротаев А.Н. Использование генетических алгоритмов с постоянной и переменной длиной хромосомы для решения задачи кластеризации объектов // Современные проблемы информатизации в моделировании и социальных технологиях: Сб. трудов. Вып. 15 / Под ред. д.т.н., проф. О.Я. Кравца. - Воронеж: «Научная книга», 2010. - С. 251-254.
55. Курейчик В.В. Эволюционные, синергетические и гомеостатические методы принятия решений. Монография. -Таганрог: Изд-во ТРТУ, 2001. -221 с.
56. Ларичев О.И. Проблемы взаимодействия человек - ЭВМ в системах поддержки принятия решений // Процедуры оценивания многокритериальных объектов. - М.: ВНИИСИ, 1984, С. 20-28.
57. Ларичев О.И. Объективные модели и субъективные решения. - М.: Наука, 1987. - 142 с.
58. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. Вербальный анализ решений. - М.: Наука, Физматлит, 1996. - 208 с.
59. Петровский А.Б. Многокритериальное принятие решений по противоречивым данным: подход теории мультимножеств // Информационные технологии и вычислительные системы, 2004. - №2. - С. 56-66.
60. Петровский А.Б. Пространства множеств и мультимножеств. - М.: Еди-ториал УРСС, 2003. - 248 с.
61. Ротштейн А.П. Интеллектуальные технологии идентификации. - Винница: Континент-Прим, 2004. - 270 с.
62. Ротштейн А.П., Штовба С.Д. Нечеткая надежность алгоритмических процессов. - Винница: Континент-Прим, 1997. - 142 с.
63. Ханк Д. Э., Райте А. Дж., Уичерн Д. У.. Бизнес-прогнозирование. 7-е изд. / Пер. с англ. - М.: Издательский дом "Вильяме", 2003.
64. Шилдт Г. Теория и практика С++. — СПб.: BHV — Санкт-Петербург, 1996.—416 с.
65. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику. -Винница: Континент-Прим, 2003. - 198 с.
66. Штовба С.Д. Проектирование нечетких систем средствами MATLAB. -М.: Горячая линия - Телеком, 2007. - 288 е., ил.
67. Ярушкина Н.Г. Основы теории нечетких и гибридных систем: Учеб. пособие. - М.: Финансы и статистика, 2004. - 320 е.: ил.
68. Ali М.А., Karmakar G.C., Dooley L.S. Fuzzy Image Segmentation of Generic Shaped Clusters // Image Processing, 2005. ICIP 2005. IEEE International Conference - Vol. 2. - P. 1202-1205.
69. Bezdek J.C., Ehrlich R., Full W. FCM: Fuzzy C-Means Algorithm // Computers and Geoscience, 1984. - Vol. 10. - № 2. - P. 191-203.
70. Bezdek J.C., Keller J.M., Pal N.R., Pal K. A Possibilistic Fuzzy c-Means Clustering Algorithm // IEEE Transactions on Fuzzy Systems, 2005. - Vol. 13 (4).-P. 517-530.
71. Bezdek J.C., Pal N.R. On cluster validity for the fuzy c-means model // IEEE Transactions on Fuzzy Systems, 1995. - Vol. 3. - № 3. - P. 370-379.
72. Boeck H. The Definitive Guide to NetBeans Platform. Apress, 2009 - 450 p.
73. Hwang C., Rhee F.C.-H. Uncertain fuzzy clustering: interval type-2 fuzzy approach to C-means // IEEE transactions on fuzzy systems. 2007, vol. 15, № 1, pp. 107-120.
74. Holland J. Adaptation in Natural and Artificial Systems. Ann Arbor MI: University of Michigan Press. 1975.
75. Jang J.-S. R. ANFIS: Adaptive-Network-Based Fuzzy Inference System // IEEE Trans. Systems & Cybernetics. - 1993. - Vol. 23. - P. 665 - 685.
76. Krishnaparum R., Frigui H. Fuzzy and possibilistic shell clustering algorithms and their application to boundary detection and surface approximation - part I: a new approach // IEEE Transactions on fuzzy systems, 1995. - Vol. 3. - № 1. - P. 29-43.
77. Krishnaparum R., Frigui H. Fuzzy and possibilistic shell clustering algorithms and their application to boundary detection and surface approximation - part II: a new approach // IEEE Transactions on fuzzy systems, 1995. - Vol. 3. - № 1. - P. 44-60.
78. Larose D. T. Data mining methods and models. - John Wiley & Sons Inc., 2006.
79. Nauck D., Klawonn F., Kruse R. Foundations of Neuro-Fuzzy Systems. John Wiley & Sons.- 1997.- 305p.
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.