Интерактивные методы снижения размерности признакового пространства в задачах многокритериального принятия решений тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Ройзензон, Григорий Владимирович

• Ройзензон, Григорий Владимирович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Ройзензон, Григорий Владимирович

Введение

Глава 1. Методы многокритериального выбора

1.1. Процесс принятия решений.

1.2. Задачи выбора, упорядочивания и классификации многокритериальных альтернатив

1.3. Методы принятия решений, использующие числовые показатели

1.4. Методы вербального анализа решений

1.5. Сопоставление методов принятия решений.

Глава 2. Снижение размерности пространства качественных признаков

2.1. Проблема снижения размерности признакового пространства и методы ее решения

2.2. Формализация понятия составного критерия.

2.3. Построение шкалы составного критерия

Глава 3. Интерактивные методы снижения размерности признакового-пространства . . . . -гт~~. Т~7~7 . .7/.

3.1. Метод снижения размерности ИСКРА

3.2. Метод порядковой классификации ПАКС

3.3. Способы оценки эффективности методов.ТО

Глава 4. Программные средства

4.1. Архитектура компьютерной системы

4.2. Режимы системы

4.3. Интерфейс системы.

Глава 5. Практическое применение

5.1. Многокритериальная оценка результативности научных проектов

5.2. Многокритериальный выбор вычислительных кластеров

5.3. Многокритериальная оценка кредитного риска в коммерческом банке.

Введение диссертации (часть автореферата) на тему «Интерактивные методы снижения размерности признакового пространства в задачах многокритериального принятия решений»

Актуальность темы диссертации. Достаточно часто в задачах многокритериального принятия решений — выделении лучших вариантов, ранжировании и классификации альтернатив — необходимо сравнивать объекты, которые характеризуются разнообразными признаками: техническими, экономическими, политическими, эксплутационными и иными. Примерами таких задач служат оценка результативности научных проектов [71, 72], выбор вычислительных кластеров [83], оценка риска при выдаче банковских кредитов [49] и др.

Методы и подходы к решению задач многокритериального выбора и классификации разработаны в трудах отечественных и зарубежных ученых: С.А. Айвазяна [77], В А. Глотова [14], Н.Г. Загоруйко [19], JI. Заде [20], Д. Канема-на [24], Э. Квейда [25], Р.Л. Кини [27], Г. Крона [31], О.И. Ларичева [37], Б.Г. Литвака [42], А.В. Лотова [30], В.Д. Ногина [59], Л.М. Местецкого [48], Дж.А. Миллера [51], Б.Г. Миркина [52], А.И. Орлова [64], В.В. Павельева [14], А.Б. Петровского [69], В.В. Подиновского [74], Д.А. Поспелова [75], И. Пфанцагля [79], X. Райфы [27], А.С. Рыкова [87], Т. Саати [89], П. Словика [24], В.Л. Стефанюка [97], С.С. Стивенса [46], А. Тверски [24], В.К. Финна [100], И.Ф. -Шахнова-[44] -и-другиХг-Эти-методы-различаются способами получения~об^ работки и представления информации о свойствах объектов и предпочтениях лица, принимающего решение (ЛПР).

Вместе с тем непосредственная классификация или сравнение альтернатив, описываемых болынйм числом признаков, и в особенности качественных признаков, является трудоемкой процедурой, которая требует значительных временных затрат ЛПР, что нередко существенно затрудняет применение на практике методов принятия решений. Когда же сравниваемых объектов мало (3-5), а их признаки различны по значениям и многочисленны (десятки и сотни), такие объекты, как правило, оказываются формально несравнимыми по своим свойствам.

Исследования в области когнитивной психологии продемонстрировали склонность людей использовать различные способы «группировки информации» применительно к проблемам выбора, в которых объекты описываются болыпйм числом признаков. Так, при решении задач классификации большой размерности ЛПР зачастую применяет различные упрощенные стратегии с использованием только части критериев, что облегчает построение границ классов решений, но может негативно повлиять на выработку решающих правил и дальнейший анализ полученных результатов.

Эти обстоятельства диктуют необходимость разработки специальных методов обработки информации, обеспечивающих решение задач многокритериального выбора и классификации в пространствах большой размерности.

Одним из способов преодоления указанных трудностей при сравнении многокритериальных объектов является сокращение размерности признакового пространства и использование дополнительных, психологически корректных операций получения информации от ЛПР и экспертов. Специальные исследования показали, что человеку легче сравнивать объекты по небольшому числу показателей, результаты таких сравнений более надежны и их проще анализировать. Человек более надежно и с меньшим числом ошибок оперирует с качественными, вербальными данными, нежели с количественными, числовыми.

Для упрощения процедуры сравнения и/или классификации многопризнаковых объектов по их свойствам при решении задачи выбора ЛПР должен иметь в своем распоряжении соответствующий инструментарий, который позволяет агрегировать большое число характеристик объектов в небольшое число критериев, имеющих небольшие вербальные шкалы оценок, отражающие предпочтения ЛПР. Перечисленное выше обусловливает актуальность проведения исследований, разработку методов и процедур снижения размерности признакового пространства и их программную реализацию.

Цели и задачи исследования. Целью диссертации является разработка методов интерактивного снижения размерности пространства, образованного дискретными качественными (вербальными) признаками, которые позволяют существенно сократить трудоемкость применения на практике различных нормативных методов принятия решений (классификации, ранжирования, выбора наилучшей многокритериальной альтернативы) и предоставляют ЛПР дополнительные возможности для содержательного анализа полученных результатов решения проблемы.

Для достижения поставленной цели в диссертационной работе поставлены и решены следующие задачи:

• проведен критический анализ современных методов многокритериального принятия решений, ориентированных на задачи стратегического и тактического выбора, и особенностей их применения в большом признаковом пространстве;

• рассмотрены существующие методы снижения размерности признакового пространства и возможности их использования в слабо структурируемых задачах принятия решений, для которых характерно сочетание количественных и качественных зависимостей;

• предложен методологический подход к снижению размерности признакового пространства, обеспечивающий решение слабо структурируемых задач многокритериальной классификации и выбора;

• разработаны интерактивные методы и алгоритмы снижения размерности признакового пространства, использующие разные способы конструирования шкал составных критериев более высокого уровня иерархии;

• предложены процедуры анализа полученных результатов для разных способов многокритериального выбора с целью оценки качества выработанных решений;

• созданы программные средства, реализующие предложенные методы и алгоритмы, проведена их апробация при решении практических задач.

Методы исследования. Методы теории принятия решений, теории множеств и мультимножеств, теории графов, теории измерений, системного анализа, искусственного интеллекта и когнитивной психологии.

Результаты, выносимые на защиту:

• Методологический подход к снижению размерности признакового пространства, облегчающий и упрощающий решение слабо структурируемых задач многокритериальной классификации и выбора.

• Модель формирования составного критерия и конструирования его шкалы как средство содержательного выражения предпочтений ЛПР.

Интерактивный^ методаИСКРА"(Иёрархическая Структуризация КРитериев и Атрибутов), обеспечивающий последовательное снижение размерности признакового пространства и сочетающий при построении шкал составных критериев разные способы ранжирования и/или классификации многомерных альтернатив исходя из предпочтений ЛПР.

• Интерактивный метод ПАКС (Последовательное Агрегирование Классифицируемых Состояний) порядковой классификации альтернатив, оцененных по многим качественным критериям с вербальными шкалами, объединяющий разные способы последовательного агрегирования исходных признаков.

• Программная реализация предложенных методов, алгоритмов и процедур и их применение при решении практических задач поддержки принятия решений.

Научная новизна:

• Предложено понятие составного критерия, позволяющее ЛПР конструировать его шкалу с использованием комбинации различных методов принятия решений.

• Предложен математический аппарат для формализации понятия составного критерия, основанный на теории графов и теории мультимножеств.

• Разработан новый интерактивный метод ИСКРА снижения размерности признакового пространства, в котором различные комбинации признаков разного уровня иерархии рассматриваются как многопризнаковые объекты, последовательно агрегируемые на основе предпочтений ЛПР в составные критерии с небольшими вербальными шкалами.

• Разработан новый интерактивный метод ПАКС порядковой классификации многокритериальных альтернатив, использующий последовательное снижение размерности пространства признаков с помощью разных способов построения решающих правил.

• Предложены процедуры сопоставления и анализа решений задач многокритериального выбора, полученных с использованием разных способов формирования составных критериев, которые позволяют ЛПР оценить качество полученного решения проблемы.

Обоснованность и достоверность научных положений обеспечиваются анализом современного состояния исследований в области многокритериального принятия решений, подтверждаются корректностью предложенных моделей, алгоритмов и согласованностью результатов, полученных при практической реализации этих моделей и алгоритмов, а также апробацией основных теоретических положений в печатных трудах и докладах на российских и международных научных конференциях.

Практическая ценность работы. Предложенные методы снижения размерности признакового пространства использованы при решении практических задач: многокритериальная оценка результативности научных проектов, многокритериальный выбор вычислительных кластеров, многокритериальная оценка степени риска при выдаче банковских кредитов.

Разработанный метод ИСКРА может быть использован на практике совместно с другими нормативными методами принятия решений, препятствием к применению которых служит большое число признаков, описывающих объекты. Предложенная концепция может быть применена для анализа данных в системах OLAP (OnLine Analytical Processing), при разработке различных интегральных показателей, например, индикатора благосостояния человека, индекса общественного здоровья и других социальных индикаторов.

Реализация результатов. Результаты диссертации использованы при выполнении проектов РФФИ 98-01-00086 (1998-2000 гг.), 99-01-00476 (19992001 гг.), 00-15-96053 (2000-02 гг.), 01-01-00514 (2001-03 гг.), 01-01-06321 (200103 гг.), 02-01-06286 (2002-04 гг.), 02-01-01077 (2002-04 гг.), 03-01-06441 (2003 г.), 04-01-00290 (2004-06 гг.), 05-01-00666 (2005-07 гг.), 06-07-89352 (2006-08 гг.), 07-07-13546 (с 2007 г.), 08-01-00247 (с 2008 г.); проектов по программам фундаментальных исследований президиума РАН «Математическое моделирование и интеллектуальные системы» (2001-05 гг.), «Фундаментальные проблемы информатики и информационных технологий» (2006-08 гг.) и ОНИТ РАИ «Фундаментальные основы информационных технологий и систем» (2003-08 гг.); гранта Президента Российской Федерации для поддержки ведущих научных школ НШ1964.2003.1 (2003-05 гг.); проекта № 3 научного сотрудничества между Российской академией наук и Академией Финляндии (2000-02 гг.).

Апробация работы. Результаты, представленные в работе, обсуждались и докладывались на: 3-й Московской международной конференции по исследованию операций (Москва, 4-6 апреля, 2001 г.); международном конгрессе «Искусственный интеллект в XXI веке» (Дивноморское, Краснодарский край, 3-8 сентября 2001 г.); 4-й, 5-й, 6-й и Т-й международных научных конференциях «Интеллектуализация обработки информации» (Алушта, Украина, 17-21 июня 2002 г., 14-19 июня 2004 г., 4-11 июня 2006 г., 9-14 июня 2008 г.); 8-й, 9-й, 10-й и 11-й национальных конференциях по искусственному интеллекту с международным участием (Коломна, 7-12 октября 2002 г., Тверь, 28 сентября - 2 октября 2004 г., Обнинск, 26-28 сентября 2006 г., Дубна, 29 сентября - 3 октября, 2008 г.); международной конференции «DSS in the Uncertainty of the Internet Age» (Катовице, Польша, 13-16 июля 2003 г); международных конференциях «Интеллектуальные системы» (Дивноморское,.Краснодарский—---край, 3-10 сентября 2003 г., 3-10 сентября 2005 г., 3-9 сентября 2007 г.); 58-й международной конференции Европейской рабочей группы «Помощь в многокритериальном принятии решений» (Москва, 9-11 октября 2003 г.); 1-й и 2-й Международных конференциях «Системный анализ и информационные технологии» (Переславль-Залесский, 12-16 сентября 2005 г., Обнинск, 10-14 сентября 2007 г.); 14-й международной конференции «Знания-Диалог-Решения» (Варна, Болгария, 23 июня - 6 июля 2008 г.); 20-й международной конференции по системным исследованиям, информатике и кибернетике (Баден-Баден,

Германия, 24-30 июля 2008 г.); научных семинарах ИСА РАН.

Во введении обосновывается актуальность диссертационной работы, формулируется ее цель, научная новизна, приводятся полученные результаты, решенные практические задачи и структура работы.

Первая глава является обзорной. Описан процесс принятия решений, показаны роли основных участников (ЛПР, экспертов, аналитика) при решении проблемы. Приведены основные типы задач принятия решений. Особо выделены слабо структурируемые задачи, в том числе задачи стратегического выбора, в которых объекты представлены болыпйм числом количественных и качественных признаков при доминировании последних. Рассмотрены группы методов решения задач многокритериального выбора, упорядочения и классификации, представляющие различные направления в теории принятия решений, в том числе использующие числовые показатели. Основное внимание уделено группе методов вербального анализа решений, разработанных в ИСА РАН, ориентированных на решение слабо структурируемых задач. Проведен критический анализ достоинств и недостатков разных групп методов. Отмечено, что представленные методы неудовлетворительно работают в большом пространстве признаков. Показано, что недостатки методов принятия решений при работе с объектами, характеризуемыми большйм числом признаков, могут быть устранены с помощью самих же методов

Во второй главе изложен методологический подход к снижению размерности признакового пространства. Дана постановка задачи снижения размерности признакового пространства. Представлены различные методы снижения размерности признакового пространства, указаны препятствия к их использованию применительно к слабо структурируемым задачам принятия решений. Предложены модель формирования составного критерия и конструирования его шкалы как средство содержательного выражения предпочтений ЛПР и математический аппарат для формализации понятия составного критерия с использованием теории графов и теории мультимножеств. Подчеркнут многодисциплинарный характер задачи снижения размерности признакового пространства. Прослежена связь с задачами принятия решений, системного анализа, теории измерений, искусственного интеллекта и когнитивной психологии. Использование понятий графа и мультимножества позволяет выстроить единую схему формализации понятия составного критерия и по-новому решать как известные задачи, в которых есть определенные сложности (например, задачи распознавания иерархических структур), так и новые виды задач. Предложенный новый методологический подход к снижению размерности пространства качественных признаков обладает определенной универсальностью, т.к. в общем случае может оперировать как символьной (качественной), так числовой информацией. Он может быть успешно применен в сочетании с другими методами принятия решений и обработки информации.

В третьей главе описаны новые интерактивные методы: метод ИСКРА (Иерархическая Структуризация КРитериев и Атрибутов) снижения размерности признакового пространства, в котором различные комбинации признаков разного уровня иерархии рассматриваются как многопризнаковые объекты, последовательно агрегируемые в составные критерии на основе предпочтений ЛПР; метод ПАКС (Последовательное^ Агрегирование Классифицируемых Состояний) порядковой классификации многокритериальных альтернатив, основанный на снижении размерности пространства признаков с помощью разных способов построения решающих правил.

Схема решения задачи многокритериального выбора с использованием снижения размерности признакового пространства включает два этапа. На первом этапе проводится снижение размерности признакового пространства путем построения иерархической системы составных критериев. На втором этапе выполняется окончательное решение задачи выбора с использованием построенных составных (агрегированных) критериев.

Агрегирование признаков базируется на предпочтениях ЛПР. Первоначально при участии ЛПР формируется базовый набор характеристик рассматриваемых объектов. В зависимости от специфики задачи эти характеристики могут быть либо заданы заранее, либо сформированы в процессе анализа проблемы. Для каждого базового показателя формируется шкала, которая может иметь числовые (точечные, интервальные) или вербальные оценки. Шкалы оценок базовых показателей могут совпадать с обычно используемыми на практике, либо конструироваться специально.

Далее, основываясь на опыте и интуиции ЛПР, базовые характеристики объединяются в критерии, обладающие вербальными порядковыми шкалами с небольшим числом градаций (3-5). ЛПР по своему усмотрению определяет число, состав и содержание критериев каждого уровня иерархии. В качестве критерия можно выбрать один из базовых показателей или несколько характеристик, объединенных в составной критерий. ЛПР устанавливает, какие базовые показатели будут считаться самостоятельными критериями, а какие будут отнесены к тому или иному составному критерию. Смысловое содержание критериев и шкал оценок определяется ЛПР. Критерии должны иметь такие шкалы оценок, которые, с одной стороны, будут отражать агре-гироваштые качества объектов, а с другой стороны, будут понятны ЛПР при окончательном выборе объекта или их классификации.

Процедура агрегирования показателей может иметь последовательный характер, т.е. полученные группы критериев могут быть, в свою очередь, объединены в новые группы (следующий уровень иерархии) и так далее. При конструировании шкал составных критериев на разных этапах могут использоваться различные подходы. Например, один из составных критериев можно сформировать при помощи метода стратификации кортежей, а другой — при помощи многокритериальной порядковой классификации.

В зависимости от специфики задачи выбора иерархическая система критериев может быть известна заранее (например, организационная структура предприятия), известна частично (например, известна только структура технических характеристик многопризнаковых объектов) и неизвестна вообще, т.е. иерархию требуется разработать «с нуля» (такая ситуация характерна, например, для задач планирования научных исследований, где присутствует высокая степень неопределенности и риска, связанная с получением нового знания). При построении системы критериев в первом случае основное внимание должно быть уделено разработке шкал составных критериев. Особенностью разработки системы критериев во втором и в третьем случаях является возможность сформировать разные наборы составных критериев различными способами (например, последовательно объединяя критерии попарно или формируя группы критериев исходя из некоторой смысловой общности). Это позволяет сравнить полученные результаты для разных вариантов классификации и выбора с целью оценки качества решения исходной проблемы.

Важной особенностью предложенного подхода к снижению размерности признакового пространства является возможность его использования практически с любым методом ранжирования или классификации многокритериальных альтернатив.

Использование метода ИСКРА при решении задач многокритериально-, го выбора и классификации дает ЛПР возможность сравнить полученные решения для разных наборов составных критериев, сформированных с помощью различных подходов. В этом случае можно сравнить между собой число обращений к ЛПР, необходимых для построения полной непротиворечивой классификации для каждого набора составных критериев. Альтернативным способом оценки эффективности является сравнение распределений альтернатив по классам решений для одного и того же набора составных критериев, сформированных с помощью различных подходов. Такая методология позволяет ЛПР выбрать как наиболее предпочтительный набор составных критериев, так и метод (совокупность методов) их построения в рамках решения конкретной практической задачи.

В четвертой главе описаны программные средства, реализующие предложенные методы и алгоритмы. Приведена архитектура компьютерной системы и руководство по консультирующей системе OREX. Разработанные программные средства подтверждают реализуемость предложенных методов и алгоритмов снижения размерности признакового пространства.

В пятой главе представлены практические задачи, решенные с помощью методов снижения размерности признакового пространства: многокритериальная оценка результативности научных проектов, многокритериальный выбор вычислительных кластеров и многокритериальная оценка кредитного риска. Решенные практические задачи многокритериального выбора подтверждают обоснованность, достоверность и реализуемость предложенных методов и алгоритмов снижения размерности признакового пространства.

Заключение содержит обзор основных достижений и результатов, представленных в настоящей работе.

В приложении представлены результаты оценки результативности проектов целевых^фундаментальньршсследований.------

Автор считает своим долгом выразить благодарность, академику РАН, Олегу Ивановичу Ларичеву, оказавшему существенное влияние на формирование моего мировоззрения, скоропостижная смерть которого явилась невосполнимой утратой для меня лично и для научного сообщества в целом. Особую признательность хочется выразить всем моим коллегам по лабораториям «Методы и системы поддержки принятия решений» и «Компьютерные системы, основанные на знаниях» ИСА РАН за доброжелательную помощь в процессе работы над диссертацией.

Заключение диссертации по теме «Управление в социальных и экономических системах», Ройзензон, Григорий Владимирович

Заключение

Основные итоги диссертационной работы:

1. Проведен критический анализ современных многокритериальных методов принятия решений, ориентированных на задачи стратегического и тактического выбора. Показано, что методы многокритериального принятия решений неудовлетворительно работают в большом признаковом пространстве.

2. Рассмотрены методы снижения размерности признакового пространства и указаны препятствия их использования применительно к слабо структурируемым задачам принятия решений.

3. Разработана модель формирования составного критерия и конструирования его шкалы с использованием комбинации различных методов принятия решений, предложен математический аппарат для формализации понятия составного критерия, основанный на теории графов и теории мультимножеств.

4. Разработан интерактивный метод ИСКРА последовательного снижения размерности признакового пространства, исходя из предпочтений ЛПР, который применим для решения слабо структурируемых задач многокритериальной классификации и выбора.

5. Разработан интерактивный метод ПАКС порядковой классификации многокритериальных альтернатив, использующий снижение размерности пространства признаков с помощью разных способов построения решающих правил.

6. Предложены процедуры сопоставления и анализа решений, полученных с помощью разных наборов составных критериев, с целью оценки качества выработанных решений.

7. Решены практические задачи поддержки принятия решений: оценка результативности научных проектов, выбор вычислительных кластеров, оценка банковских кредитов в зависимости от степени риска.

Список литературы диссертационного исследования кандидат технических наук Ройзензон, Григорий Владимирович, 2008 год

1. Авен О. И. Что же такое АСУ? — М.: Наука, 1981. — 175 с.

2. Авен П. О., Ослон А. А., Мучник И. Б. Функциональное шкалирование. М.: Наука, 1988. - 182 с.

3. Андрейчиков А. В., Андрейчикова О. Н. Анализ, синтез, планирование решений в экономике. — М.: Финансы и статистика, 2000.— 368 с.

4. Асаи К., Ватада Д., Иваи С. Прикладные нечеткие системы / Под ред. Т. Тэрано, К. Асаи, М. Сугэно,- М.: Мир, 1993.- 368 с.

5. Асанов А., Подлипский О. Опыт построения большой базы экспертных знаний // Методы поддержки принятия решений: Сборник трудов Института системного анализа Российской академии наук / Под ред. О. И. Ларичева. М.: Эдиториал УРСС, 2001. - С. 42-50.

6. БорисосГА. П., Крумберг О. А., Федоров И. П. Принятие решений на основе нечетких моделей. Примеры использования. — Рига: Зинатне, 1990. 184 с.

7. Бородкин Ф. М., Айвазян С. А. Социальные индикаторы: учебник для студентов вузов, обучающихся по специальности «Статистика» и другим экономическим специальностям. — М.: ЮНИТИ-ДАНА, 2006. — 607 с.

8. Бэстенс Д.-Э., Ван Ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки. Принятие решений в торговых операциях / Под ред. А. П. Коваленко, Е. С. Пастухова.— М.: Научное издательство ТВП, 1997.- 236 с.

9. Вапник В. Н., Червоненкис А. Л. Теория распознавания образов (статистические проблемы обучения). — М.: Наука, 1974. — 416 с.

10. Глотов В. А., Кузнецова Н. Н., Ларичев О. И. Метод оценки качества журнальных статей // Тезисы докладов VI симпозиума по кибернетике. Тбилиси: Институт кибернетики АН ГССР, 1972. - С. 59-62.

11. Глотов В. А., Павелъев В. В. Векторная стратификация. — М.: Наука, 1984т-—94-е.--------------:

12. Дрейпер Н., Смит Р. Прикладной регрессионный анализ. — М.: Статистика, 1973. — 138 с.

13. Еоюкова И. В., Поспелов Д. А. Принятие решений при нечетких основаниях. 4.1. Универсальная шкала // Известия АН СССР. Техническая кибернетика. — 1977. — № 6. — С. 3-11.

14. Еремеев А. П. Организация параллельных вычислений на основе моделей потока данных // Известия РАН. Техническая кибернетика. — 1993.- № 3,- С. 212-225.

15. Жуковин В. Е. Нечеткие многокритериальные модели принятия решений / Под ред. А. X. Гиоргадзе. — Тбилиси: Мецниереба, 1988. — 71 с.

16. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: Издательство института математики, 1999. — 270 с.

17. Заде II. Понятие лингвистической переменной и его применение к принятию приближенных решений / Под ред. А. Н. Колмогорова, С. П. Новикова. Математика. Новое в зарубежной науке № 3. — М.: Мир, 1976. — 168 с.

18. Иванилов Е. И. Некоторые аспекты выбора серверов // Корпоративные системы. 2003. - № 4. - С. 34-36.

19. Ивахненко А. Р. Долгосрочное прогнозирование и управление сложными системами. — К.: Техшка, 1975. — 312 с.

20. Индикаторы устойчивого развития России. Эколого-экономические аспекты / Под ред. С. Н. Бобылева, Р. А. Макеенко. — М.: ЦПРП, 2001. — 220 с.

21. Канеман Д., Словик П., Тверски А. Принятие решений в неопределенности: правила и предубеждения, — Харьков: Гуманитарный центр, 2005. 632 с.

22. Квейд Э. Анализ сложных систем / Под ред. И. И. Ануреева, И. М. Верещагина. — М.: Советское радио, 1969.— 520 с.

23. Кини Р. Л. Размещение энергетических объектов: выбор решений. — М.: Энергоатомиздат, 1983. — 320 с.

24. Кини Р. Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. — М.: Радио и связь, 1981. — 560 с.

25. Климанов В. П., Сутягин М. В., Быстрикова В. А. Задачи катастро-фоустойчивости кластерных вычислительных систем // Новости искусственного интеллекта. — 2002. — Т. 3, № 51. — С. 22-30.

26. Компьютер и поиск компромисса. Метод достижимых целей / А. В. Лотов, В. А. Бушенков, Г. К. Каменев, О. Л. Черных, — М.: Наука, 1997. — 239 с.

27. Крон Г. Исследование сложных систем по частям (диакоптика) / Под ред. А. В. Баранова. — М.: Наука, 1972,— 544 с.

28. Кузьмин В. Б., Овчинников С. В. Об измерениях в порядковых шкалах // Автоматика и телемеханика.— 1974.— Т. 35, № 11.— С. 106— 112.

29. Ларичев О. И. Наука и искусство принятия решений.— М.: Наука, 1979.- 199 с.

30. Ларичев О. И. Объективные модели и субъективные решения.— М.: Наука, 1987.- 143 с.

31. Ларичев О. И. Противоречивые свойства методов индивидуального выбора // Доклады Академии Наук. 2001. - Т. 378, № 2,- С. 168-172.

32. Ларичев О. И. Теория и методы принятия решений, а также хроника событий в волшебных странах. — 2-е изд. — М.: Логос, 2002. — 392 с.

33. Ларичев О. И. Вербальный анализ решений / Под ред. А. Б. Петровского. М.: Наука, 2006. - 181 с.

34. Ларичев О. И., Браун Р. В. Количественный и вербальный анализ решений: сравнительное исследование возможностей и ограничений // Экономика и математические методы. — 1998. — Т. 34, № 4. — С. 97-107.

35. Ларичев О. И., Зуев Ю. А., Гиеденко Л. С. Метод ЗАПРОС (Замкнутые Процедуры у Опорных Ситуаций) решения слабоструктуризован-ных проблем выбора при миогих критериях.— М.: ВНИИСИ, 1979,— 75 с.

36. Ларичев О. И., Мошкович Е. М. Качественные методы принятия решений. — М.: Физматлит, 1996. — 208 с.

37. Ларичев О. И., Петровский А. Б. Системы поддержки принятия решений: современное состояние и перспективы развития // Итоги науки и техники. — ВИНИТИ, 1987.— Т. 21 из Техническая кибернетика,— С. 131-164.

38. Литвак Б. Г. Экспертная информация: методы получения и анализа. — М.: Радио и связь, 1981.— 184 с.

39. Лопухин М. М. ПАТТЕРН метод планирования и прогнозирования научных работ. — М.: Советское радио, 1971. — 160 с.

40. Макеев С. П., Шахнов И. Ф. Упорядочение объектов в иерархических системах // Известия АН СССР. Серия «Техническая кибернетика». — 1991.- № 3.- С. 29-46.

41. Мандель И. Д. Кластерный анализ. — М.: Финансы и статистика, 1988. — 176 с.

42. Математическое измерение и психофизика // Экспериментальная психология. Т. 1 / Под ред. С. С. Стивене. — М.: Иностранная литература, 1960.-С. 5-78.

43. Месарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем. — М.: Мир, 1973. — 344 с.

44. Местпецкий Л. М. Математические методы распознавания образов. Курс лекций. М.: МГУ, 2004. - 85 с.

45. Метод многокритериальной классификации ЦИКЛ и его применение для анализа кредитного риска / А. А. Асанов, О. И. Ларичев, Г. В. Рой-зензон и др. // Экономика и математические методы. — 2001. — Т. 37, № 2,- С. 14-21.

46. Методы и модели согласования иерархических решений / Под ред. А. А. Макарова. — Новосибирск: Наука, 1979.— 240 с.

47. Миллер Дж. А. Магическое число семь плюс или минус два. О некоторых пределах нашей способности перерабатывать информацию // Инженерная психология / Под ред. А. Н. Леонтьева. — М.: Прогресс, 1964.-С. 192-225.

48. Миркин Б. Г. Анализ качественных признаков и структур, — М.: Статистика, 1980. — 319 с.

49. Миркин Б. Г. Группировки в социально-экономических исследованиях. — М.: Финансы и статистика, 1985. — 223 с.

50. Мишин С. П. Оптимальные иерархии управления в экономических системах. М.: ПМСОФТ, 2004. - 190 с.

51. Моисеев Н. Н. Информационная теория иерархических систем // Избранные труды в 2-х томах / Под ред. А. А. Петрова. — М.: Тайдекс Ко, 2003.— Т. 1. Гидродинамика и механика. Оптимизация, исследование операций и теория управления. — С. 214-266.

52. Мясников А. Я. Гипертоническая болезнь. — М.: Медгиз, 1954. — 329 с.

53. Нечеткие множества в моделях управления и искусственного интеллекта / А. Н. Аверкин, И. 3. Батыршин, А. Ф. Блишун и др.; Под ред. Д. А. Поспелова. — М.: Наука, 1986. 312 с.

54. Ногин В. Д. Принятие решений в многокритериальной среде: количественный подход, — М.: Физматлит, 2002.— 144 с.

55. Ногин В. Д. Упрощенный вариант метода анализа иерархий на основе нелинейной свертки критериев // Журнал Вычислительной Математики и Математической Физики. — 2004. — Т. 44, № 7. — С. 1259-1268.

56. Озерной В. М., Гафт М. Г. Методология решения дискретных многокритериальных задач // Многокритериальные задачи принятия решений / Под ред. Д. М. Гвишиани, С. В. Емельянова. — М.: Машиностроение, 1978. С. 14-47.

57. Орлов А. И. Устойчивость в социально-экономических моделях. — М.: Наука, 1979, — 296 с.

58. Орлов А. И. Репрезентативная теория измерений и ее применения // Заводская лаборатория. — 1999. — Т. 65, № 3. — С. 57-62.

59. Орловский С. А. Проблемы принятия решений при нечеткой исходной информации, — М.: Наука, 1981. — 206 с.

60. Патругин Ю. А. Бальное шкалирование признака // Экономика и математические методы. — 1970. — Т. 6, № 6. — С. 887-893.

61. Петровский А. Б. Компьютерная поддержка принятия решений: современное состояние и перспективы развития // Системные исследования. Методологические проблемы. Ежегодник / Под ред. Д. М. Гвишиани,

62. B. Н. Садовского.- № 24. 1995-1996. М.: Едиториал УРСС, 1996.1. C. 146-178.

63. Петровский А. Б. Пространства множеств и мультимножеств.— М.: Едиториал УРСС, 2003. 248 с.

64. Петровский А. Б. Групповой вербальный анализ решений: подход теории мультимножеств // Первая международная конференция «Системный анализ и информационные технологии» (САИТ-2005). Труды конференции в 2 т. Т. 1.-М.: КомКнига, 2005. - С. 283-290.

65. Петровский А. Б., Ройзензон Г. В. Многокритериальный подход к построению интегральных показателей // Таврический Вестник Информатики и Математики. — 2008. — № 2. — С. 143-150.

66. Подииовский В. В. Количественная важность критериев // Автоматика и телемеханика. — 2000. — Т. 61, № 5. — С. 110-123.

67. Поспелов Д. А. Ситуационное управление. Теория и практика.— М.: Наука, 1986. — 288 с.

68. Приобретение и формализация знаний / А. Н. Аверкин, А. Ф. Б лишу н, Т. А. Гаврилова, Г. С. Осипов // Искусственный интеллект. Модели и методы: Справочник / Под ред. Д. А. Поспелова, — М.: Радио и связь, 1990. Т. 2. - С. 65-76.

69. Пфанцагль И. Теория измерений. — М.: Мир, 1976. — 248 с.

70. Разработка и внедрение автоматизированной системы оценки качества кредитов в коммерческом банке / А. А. Асанов, О. И. Ларичев, Г. В. Рой-зензон и др. // Аудит и финансовый анализ. — 2001.— № 1,— С. 196— 200.

71. Раппопорт А. М., Шнейдерман М. В. Анализ экспертных суждений, заданных в виде структур // Прикладной многомерный статистический анализ. — М.: Наука, 1978. С. 150-164.

72. Ройзензон Г. В. Выбор вычислительных кластеров па основе анализа количественной и качественной информации // Искусственный интеллект. — Т. 2. — Донецк, Украина: Наука i оевгга, 2004. — С. 375-379.

73. Ройзензон Г. В. Способы снижения размерности признакового пространства для описания сложных систем в задачах принятия решений // Новости искусственного интеллекта. — 2005. — № 1. — С. 18-28.

74. Российская фундаментальная наука в~третьем" тысячелетии "/'О. И. Ларичев. В. А. Минин, А. Б. Петровский, Г. И. Шепелев // Вестник Российской академии наук. — 2001,— Т. 71, № 1,— С. 13-18.

75. Руа Б. Классификация и выбор при наличии нескольких критериев (метод Электра) // Вопросы анализа и процедуры принятия решений. Сборник переводов / Под ред. И. Ф. Шахнова. — М.: Мир, 1976. — С. 80107.

76. Рыков А. С. Модели и методы системного анализа: Принятие решений и оптимизация: Учебное пособие для вузов. — М.: МИСИС, 2005. — 352 с.

77. Рытиков А. М., Ройтман Е. Я., Шафрин Ю. А. Что мешает эффективному внедрению типовых АСУ? // Цветные металлы. — 1988. — № 1. — С. 98-101.

78. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1993, — 278 с.

79. Саати Т. JI. Принятие решений при зависимостях и обратных связях: Аналитические сети / Под ред. А. В. Андрейчикова, О. Н. Андрейчико-вой. М.: Издательство ЛКИ, 2008. — 360 с.

80. Савяк В. Эффективные кластерные решения Электронный ресурс.— 2002,— Режим доступа: www.ixbt.com/cpu/clustering.shtml.

81. Саймон Г. Науки об искусственном. — 2-е изд. — М.: Едиториал УРСС, 2004. 144 с.

82. Свойства гиперкубовых структур в OLAP-системах / А. А. Ахрем, И. М. Макаров, В. 3. Рахманкулов, И. О. Ровкин // Труды 1-ой международной конференции «Системный анализ и информационные технологии» (SAIT-2005). Т. 1. - М.: КомКнига, 2005. - С. 56-61.

83. Смирнов А. В., Юсупов Р. М. Технология параллельного проектирования: основные принципы и проблемы внедрения // Автоматизация проектирования. — 1997. — № 2. — С. 50-55.

84. Создание и применение системы высокопроизводительных вычислений на базе высокоскоростных сетевых технологий / В. Е. Фортов, Г. И. Савин, В. К. Левин и др. // Информационные технологии и вычислительные системы. — 2002. — № 1. — С. 3-9.

85. Солсо P. JI. Когнитивиая психология. — М.: Тривола, 1996. — 600 с.

86. Стефанюк В. Л. Локальная организация интеллектуальных систем. Модели и приложения. — М.: Физматлит, 2004. — 328 с.

87. Терехина А. Ю. Анализ данных методами многомерного шкалирования,- М.: Наука, 1986,- 168 с.

88. Филиппов В. А., Ларичев О. И. Проблемы выбора при перспективном планировании научных исследований и разработок // Труды III Всесоюзного симпозиума по планированию и управлению НИР / Под ред. К. Л. Горфана, Л. Э. Миндели.- М.: ЦЭМИ, 1976. — С. 36-42.

89. Финн В. К. Интеллектуальные системы и общество: Сборник статей. — М.: КомКнига, 2006. — 352 с.

90. Фишберн П. Теория полезности для принятия решений,— М.: Наука, 1978.- 352 с.

91. Фомин Я. А. Диагностика кризисного состояния предприятия: Учебное пособие для вузов. М.: ЮНИТИ-ДАНА, 2003. - 349 с.

92. Харман Г. Современный факторный анализ. — М.: Статистика, 1972.— 488 с.1Ы1—Чесноков Сг В: Детерминационный а и ал и з ~соц й а л ь н о-э ко н о м и че с к и х данных. — М.: Наука, 1982. — 168 с.

93. Belton V., Gear А. Е. On a short-coming of Saaty's method of analytical hierarchies // Omega. — 1983. Vol. 11, no. 3.- Pp. 228-230.

94. Forman E. H., Selly M. A. Decision by Objectives: How to Convince Others That You Are Right. — Singapore: World Scientific, 2001,— 402 pp.

95. Harrington E. C. The desirability function // Industrial Quality Control. — 1965.- Vol. 21, no. 10,- Pp. 494-498.

96. Huizingh E., Vrolijk H. A comparison of verbal and numerical judgments in the Analytic Hierarchy Process // Organizational Behavior and Human Decision Processes. 1997. — Vol. 70, no. 3. — Pp. 237-247.

97. Larichev O., Brown R. Numerical and Verbal Decision Analysis used for the problems of resources allocation in arctic // Journal of Multi-Criteria Decision Analysis. — 2000. Vol. 9, no. 6. — Pp. 263-274.

98. Larichev О. I. Cognitive validity in design of decision-aiding techniques // Journal of Multi-criteria Decision Analysis. — 1992.— Vol. 1, no. 3.— Pp. 127-138.

99. Lootsma F. A. Scale sensitivity in the multiplicative AHP and SMART // Journal Multi-Criteria Decision Analysis. — 1993. — Vol. 2. — Pp. 87-110.

100. Petrovsky Alexey B. Cluster Analysis in Multiset Spaces // Information Systems Technology and its Applications / Ed. by M. Goldevsky, S. Liddle, H. Mayr. Bonn: Gesellshaft fur Informatik, 2003. — Pp. 109-119.

101. Pirlot M. A common framework for describing some outranking methods // Journal of Multi-criteria Decision Analysis. — 1997. — Vol. 6, no. 2. — Pp. 86-93.

102. Roy В. Multicriteria Methodology for Decision Aiding. — Dordrecht: Kluwer Academic Publisher, 1996. — 320 pp.

103. Roy В., Bouyssou D. Comparison of two decision-aid models applied to a nuclear power plant siting example // European Journal of Operational Research. 1986. - Vol. 25, no. 2. - Pp. 200-215.

104. Simon H. A. The New Science of Management Decision. — New York: N.Y. Harper and Row Publishers, 1960. — 50 pp.

105. Triantaphyllou E. Two new cases of rank reversals when the AHP and some of its additive variants are used that do not occur with the multiplicative AHP // Journal of Multi-criteria Decision Analysis.— 2001,— Vol. 10, no. 1,- Pp. 11-25.

106. Vallee D., Zielniewicz P. ELECTRE 3-4, version 3x. Guide d'Utilisation, Document LAMSADE N 85. — Paris: Universite de Paris Dauphine, 1994.

107. Vanderpooten D. The construction of prescriptions in ontranking methods // Readings in Multiple Criteria Decision Aid / Ed. by С. Bana e Costa.— Heidelberg: Springer Verlag, Heidelberg, 1990. — Pp. 184-216.

108. Winterfeldt D., Edwards W. Decision Analysis and Behavioral Research. — Cambridge: Cambridge University Press, 1986. — 604 pp.

109. Zadeh L. A. Fuzzy sets // Information and Control— 1965.— Vol. 8, no. 3.- Pp. 338-353.

110. Zadeh L. A. Toward a theory of fuzzy information granulation and its cen-trality in human reasoning and fuzzy logic // Fuzzy Sets and Systems.—1997. September. - Vol. 90, no. 2,- Pp. 111-127. /