Автоматизация принятия решений на основе семантического анализа иерархических и сетевых моделей тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Брундасов, Сергей Михайлович

• Брундасов, Сергей Михайлович
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Брундасов, Сергей Михайлович

Введение

Глава 1. Анализ подходов к математическому моделированию многокритериальных задач принятия решений

1.1. Введение в проблематику принятия решений

1.2. Постановка, классификация и методы формализации задач принятия решений

1.3. Анализ источников возникновения и видов взаимного влияния критериев

1.4. Обзор существующих моделей, методов и программного обеспечения поддержки принятия решений при многих критериях

1.5. Выводы по главе. Цель и задачи диссертационной работы ф

Глава 2. Постановка и анализ многокритериальной задачи выбора в условиях взаимной зависимости критериев и наличия качественных оценок

2.1. Обоснование выбора и анализ свойств объекта исследования

2.2. Разработка модели представления предметной области

2.3. Разработка обобщенного алгоритма и построение информационной модели анализа и решения задачи-объекта исследования на основе семантической модели предметной области

2.4. Разработка общих принципов математического моделирования этапов анализа и решения задачи

2.5. Выводы по главе

Глава 3. Исследование математических моделей принятия решений в условиях взаимной зависимости критериев

3.1. Анализ принципов и построение модели семантического описания предметной области

3.2. Разработка методов формализации задач на основе семантической модели предметной области

3.3. Построение решающих моделей различных типов в зависимости от структуры предпочтений лица, принимающего решения

3.4. Исследование механизмов перехода от семантической модели предметной области к модели задачи

3.5. Определение подходов к анализу устойчивости полученного решения

3.6. Выводы по главе

Глава 4. Разработка интеллектуальной системы поддержки принятия решений на основе концепции семантического расширения иерархических и сетевых моделей

4.1. Формирование структурных и функциональных требований к программному комплексу

4.2. Объектно-ориентированное представление семантической модели предметной области и модели задачи

4.3. Функциональные характеристики программного комплекса

4.4. Описание структуры и принципов функционирования программного комплекса и входящих в него подсистем и модулей

4.5. Исследование путей применения программного комплекса

4.6. Выводы по главе

Глава 5. Применение разработанных моделей, алгоритмов и программного обеспечения для решения практических задач

5.1. Построение семантической модели предметной области выбора программно-технических средств на базе ISO стандартов

5.2. Решение задачи выбора СУБД для вуза на базе построенной семантической модели

5.3. Построение модели выбора новой специализации для открытия в вузе с прогнозированием динамики изменения приоритетов

5.4. Сравнительный анализ функциональных характеристик разработанного программного комплекса с существующими аналогами

5.5. В ыводы по главе

Введение диссертации (часть автореферата) на тему «Автоматизация принятия решений на основе семантического анализа иерархических и сетевых моделей»

Характерной чертой многих технических, экономических, социальных, управленческих и других проблем является наличие нескольких альтернативных вариантов их решения. Таким образом, задачу принятия решений (ЗПР) можно считать одной из самых распространенных в любой предметной области. Процесс анализа и решения ЗПР в большинстве случаев заключается в генерации возможных альтернатив, их оценке и выборе альтернативы, наиболее предпочтительной для лица, принимающего решение (J11IP), в контексте имеющейся ситуации.

Среди особенностей, присущих большинству реальных ЗПР, можно в первую очередь выделить:

• трудноформализуемость, обусловленную неполнотой исходной информации, отсутствием ресурсов на проработку всех альтернатив, наличием большого числа критериев оценки и выбора, имеющих сложную структуру взаимосвязи, а зачастую и противоречащих друг другу, необходимостью обработки и сопоставления качественных понятий;

• уникальность, которая во многих случаях связана с принципиальной новизной возникающих задач, отсутствием у J11 IP опыта их решения, а также отсутствием во многих предметных областях международных стандартов, регламентирующих наборы критериев и методики критериального оценивания;

• тенденцию к удорожанию ошибок, связанных с неверно принимаемыми решениями.

Все это обусловливает необходимость автоматизированной поддержки методов, позволяющих заранее оценить последствия каждого решения, исключить недопустимые варианты и рекомендовать наиболее удачные. Важную роль при разработке таких методов играет построение математических моделей принятия решений (ПР), учитывающих особенности структуры исходной информации и не противоречащих интуитивным представлениям JII IP о предпочтительности того или иного решения в условиях конкретной задачи.

Научным направлением, лежащим в основе моделирования процессов ПР при многих критериях, является методология многокритериального анализа решений. В последнее время наблюдается развитие в ее рамках методов, ориентированных на учет и формализацию ситуаций, связанных с наличием взаимовлияния элементов ЗПР, выражающегося в первую очередь в форме взаимной зависимости критериев и альтернатив. Среди таких методов можно в первую очередь выделить семейство методов иерархического и сетевого анализа. Вместе с тем, многие из них сложны для алгоритмической реализации и требуют разработки новых моделей для каждой решаемой задачи в рамках общей предметной области. На практике, при решении даже относительно простых (в смысле количества критериев, альтернатив, связей и др. элементов модели) задач, приходится выполнять значительный объем работы, связанной с получением оценок интенсивности взаимосвязей. С повышением же сложности модели, дополнительно усложняется проверка ее корректности, в частности, возможна потеря значимых компонентов.

Таким образом, можно сделать вывод об актуальности работ, направленных на построение, исследование и поддержку математических моделей ПР в условиях взаимной зависимости критериев и альтернатив, для исследования всего комплекса проблем автоматизации принятия решений.

Целью диссертационной работы является разработка математических моделей, методов и средств автоматизации процессов многокритериального выбора решений в условиях взаимной зависимости критериев и альтернатив и наличия качественных оценок.

При выполнении исследований и решении поставленных в работе задач использовались научные положения системного анализа, теории принятия решений и инженерии знаний; математические методы принятия решений при многих критериях, в том числе методы анализа иерархий (МАИ) и сетей

MAC); элементы теории нечетких множеств и лингвистических переменных.

При разработке программных модулей использовались объектно-ориентированные технологии проектирования, СОМ-технологии и стандарт XML обмена информацией.

Научная новизна работы состоит в следующем:

1. Разработана концепция семантического расширения иерархических и сетевых моделей ПР на основе двухуровневого представления базы знаний, описывающей предметную область.

2. Построена многоуровневая модель описания предпочтений J11 IP на основе иерархической и сетевой декомпозиции задачи.

3. Разработаны методы автоматизации построения, проверки и корректировки модели ЗПР на основе семантического описания предметной области.

4. Предложена методика формирования семантического описания предметной области в задачах выбора программно-технических средств на основе международного стандарта ISO 9126:1991.

Практическую ценность работы составляют:

1. Созданный программный комплекс поддержки принятия решений, применение которого при анализе задач многокритериального выбора в условиях взаимной зависимости критериев и наличия качественных оценок позволяет снизить трудоемкость анализа и повысить научно-техническую обоснованность принимаемых решений.

2. Разработанные методы применения стандарта ISO 9126:1991 при выборе оптимальной конфигурации программно-технических средств.

3. Предложенные методы применения моделей семантического расширения для задачи выбора оптимальной конфигурации программно-технических средств.

Цель и поставленные задачи определили структуру работы:

В первой главе рассмотрены типичные задачи принятия решений, дано их формализованное описание и классификация на основании работ В.И. Аверченкова, А.В. Андрейчикова, P.JI. Кини, О.И. Ларичева, В.В. Мирошникова, Т. Саати, X. Райфа, Э.А. Трахтенгерца, Э. Формана и других. Рассмотрены существующие математические модели и методы поддержки ПР в условиях много-критериальности, нечеткости оценок и взаимного влияния критериев. Проанализированы источники появления взаимной зависимости критериев и влияние учета обратных связей на получаемые результаты. Проведены анализ и сравнение возможностей наиболее распространенных универсальных программных систем поддержки принятия решений (Ci II IP), по результатам чего сделан вывод об актуальности проблемы автоматизации принятия решений в условиях взаимной зависимости критериев и альтернатив. Исходной базой автоматизации является разработка математических моделей и методов ПР, эффективность которых во многом определяется использованием формализованного представления предметной области, а также учетом качественных оценок и взаимного влияния элементов модели.

Сделан вывод, что при анализе и решении многокритериальных ЗПР в условиях взаимной зависимости критериев и наличия качественных оценок наиболее перспективным является использование МАИ и MAC. Вместе с тем, требуется разработка концепции семантического расширения иерархических и сетевых моделей, которая позволила бы выполнять автоматизированное построение моделей конкретных ЗПР на основе семантического описания предметной области, проводить проверку корректности и обоснованности построенных моделей, повторно использовать ранее созданные модели.

Во второй главе рассматривается структура и свойства объекта исследования - многокритериальной задачи выбора и ранжирования альтернатив с детерминированными исходами в условиях взаимной зависимости критериев и наличия качественных оценок. На основании результатов исследования свойств, присущих данной объекту исследования, с учетом теории принятия многокритериальных решений и системного подхода разработан обобщенный алгоритм анализа и решения задачи, сформированы информационные модели его этапов. По результатам построения обобщенного алгоритма и информационных моделей определяется набор математических моделей, разработка и исследование которых необходимы для решения выбранной задачи и обеспечения автоматизированной поддержки процесса решения.

Третья глава посвящена исследованию математических моделей принятия решений в условиях взаимной зависимости критериев и альтернатив. Строится математическая модель разработанной концепции семантического расширения. Представлены модель предпочтений JII IF, строящаяся путем совместного применения иерархических и сетевых структур, модели критериального оценивания, основанные на получении оценок альтернатив, сил связей и видов взаимодействий путем применения различных методов оценки. Также предлагается метод синтеза оценок предпочтительности альтернатив и вкладов элементов модели, основанный на применении комбинации иерархических и сетевых моделей принятия решений, и рассматривается модель синтеза обобщенных оценок.

В четвертой главе рассматриваются вопросы разработки программного комплекса (ПК) поддержки семантического моделирования и принятия решений в условиях взаимной зависимости критериев и альтернатив. Требования к ПК формируются с учетом разработанных моделей принятия решений и принципов визуального проектирования. Определены и формализованы основные понятия, связанные с представлением объектов и отношений между ними. Приводятся функциональные характеристики разработанного программного комплекса, описание его структуры и принципов работы. Анализируются возможные пути развития и применения программного комплекса.

В пятой главе освещаются вопросы, связанные с применением разработанной концепции семантического расширения и программного комплекса при решении практических задач. Рассмотрено построение семантической модели предметной области программно-технических средств, включающее в себя предварительный выбор, формализацию и обоснование набора исходных данных, отражающих общие особенности потребителей и этапы жизненного цикла программных систем (ПС). На основе построенной семантической модели формализована и решена задача выбора системы управления базами данных (СУБД) для отдела «АСУ ВУЗ» технического университета. Также решена задача обоснования выбора открытия новой специализации на кафедре технического вуза. Проведено сравнение функциональных возможностей разработанного программного комплекса и существующих СППР, основанных на применении МАИ и MAC.

Результаты исследований позволили сформировать следующие положения, выносимые на защиту:

1. Концепция семантического расширения иерархических и сетевых моделей ПР.

2. Обобщенный алгоритм и информационная модель анализа и решения многокритериальной задачи выбора в условиях взаимной зависимости критериев и альтернатив.

3. Многоуровневая модель описания предпочтений ЛПР на основе иерархической и сетевой декомпозиции задачи.

4. Модели синтеза оценок предпочтительности альтернатив при использовании концепции семантического расширения.

5. Структура программного комплекса поддержки семантического моделирования и принятия решений в условиях взаимной зависимости критериев и альтернатив.

6. Модели и методы формирования семантического описания предметной области для выбора программно-технических средств на основе международного стандарта ISO 9126:1991.

7. Методика применения семантического расширения для решения задачи выбора оптимальной СУБД и принятия решения об открытии специальности в вузе.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Брундасов, Сергей Михайлович

5.5. Выводы по главе

1. Предложены модели и методы формирования семантического описания предметной области для выбора программно-технических средств на основе международного стандарта ISO 9126:1991 и проекта стандарта ISO 9126:1-4.

2. Разработана методика применения построенной семантической модели для решения задач выбора оптимальных ПС, которая была протестирована с применением разработанного программного комплекса при решении задачи выбора оптимальной СУБД.

3. При исследовании области применения разработанных моделей и программного комплекса решена задача обоснования выбора открытия новой специализации на кафедре технического вуза, на примере которой также показана возможность решения задачи прогнозирования изменения предпочтений на основе метода динамических приоритетов.

4. Проведено сравнение разработанного программного комплекса с конкурирующими программными продуктами, показавшее значительное уменьшение временных затрат на разработку математических моделей, большую устойчивость и обоснованность получаемых решений.

ЗАКЛЮЧЕНИЕ

Диссертационная работа «Автоматизация принятия решений на основе семантического анализа иерархических и сетевых моделей» выполнена в Брянском государственном техническом университете.

При проведении научных исследований, связанных с темой диссертационной работы, и решении поставленных в работе задач были достигнуты следующие результаты:

1. Предложена и исследована концепция семантического расширения иерархических и сетевых моделей ПР, позволяющая автоматизировать построение моделей ЗПР в различных областях и обеспечивающая повышение устойчивости и научной обоснованности принимаемых

2. Равряйяйана общая методология анализа и решения многокритериальной задачи выбора альтернатив в условиях взаимной зависимости критериев и наличия качественных оценок, с определением основных этапов данного процесса и информационных связей между ними.

3. Построена многоуровневая модель предпочтений ЛПР на основе иерархической и сетевой декомпозиции задачи, обеспечивающая учет различных видов взаимодействия между ее компонентами.

4. Разработана модель синтеза обобщенных оценок предпочтительности альтернатив, основанная на концепции семантического расширения и использующая комбинации иерархических и сетевых моделей ПР.

5. Создан программный комплекс поддержки математического моделирования и принятия решений в условиях взаимной зависимости критериев и альтернатив, обеспечивающий поддержку семантического расширения иерархических и сетевых моделей ПР и инвариантный по отношению к предметной области.

6. Разработаны модели и методы формирования семантического описания предметной области для выбора программно-технических средств с использованием международного стандарта ISO 9126:1991, на основе которых создана методика решения задачи выбора оптимальной СУБД. 7. Исследована возможность применения разработанных моделей в социально-экономической области, в результате чего предложена методика решения задачи выбора специальности для открытия в вузе с прогнозированием динамики изменения приоритетов.

Результаты выполненных исследований были использованы при решении задач выбора программно-технических средств и открытия новой специализации в БГТУ, а также нашли применение в учебном процессе при чтении лекций и проведении лабораторных занятий по дисциплинам «Интеллектуальные системы», «Методы принятия решений». Разработанные математические модели, методики и ПК Network Decision Analityc внедрены в АБ Газпромбанк (ЗАО) в филиале г. Брянска и используются в работе кредитно-аналитического отдела. Основные положения диссертации опубликованы в работах [2, 5, 6, 16, 17, 50].

Список литературы диссертационного исследования кандидат технических наук Брундасов, Сергей Михайлович, 2003 год

1. Абакумов В. Как правильно выбрать САПР // Открытые системы, 1997, №2.-С. 52-54.

2. Аверченков В.И., Камаев В.А. Основы проектирования САПР. Волгоград: ВПИ, 1984.-120 с.

3. Аверченков В.И., Мирошников В.В. Система компьютерного обеспечения процесса инноваций на предприятии // Проектирование технологических машин: Сборник научных трудов. Выпуск 10 / Под ред. А.В. Пуша. М.: МГТУ «Станкин», 1998. - С. 3-6.

4. Аверченков В.И., Подвесовский А.Г., Брундасов С.М. Семантическое расширение иерархических и сетевых моделей принятия решений. // Информационные технологии, 2003, № 12. в печати.

5. Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике. М.: Финансы и статистика, 2000. - 368 с.

6. Андрейчиков А.В., Андрейчикова О.Н. Компьютерная поддержка изобретательства (методы, системы, примеры применения). М.: Машиностроение, 1998.-476 с.

7. Андрейчикова О.Н. Принятие решений в условиях взаимной зависимости критериев и альтернатив сложных технических систем // Информационные технологии, 2001, № 11 с. 14-19.

8. Андрейчикова О.Н. Разработка и исследование интеллектуальной системы принятия решений на нечетких множествах // Информационные технологии, 1999, № 8-С.10-19.

9. Анфилатов B.C. и др. Системный анализ в управлении: Учеб. Пособие / Анфилатов B.C., Емельянов А.А., Кукушкин А.А. М.: Финансы и статистика, 2002. - 368 с.

10. Батыршин И.З. К анализу предпочтений в системах принятия решений // Тр. МЭИ, Вып. 533. Вопросы оптимизации больших систем. М.: МЭИ, 1981.-С. 56-62.

11. Беллман Р., ЗадеЛ. Принятие решений в расплывчатых условиях // Вопросы анализа и процедуры принятия решений. М.: Мир, 1976. - с. 172-215.

12. Борисов А.Н. Методическое обеспечение технологии принятия решений // Системы обработки знаний в автоматизированном проектировании. Рига: Изд-во Риж. техн. ун-та, 1992. - С. 12-15.

13. Борисов А.Н., Крумберг О.Г., Федоров И.П. Принятие решений на основе нечетких моделей: Примеры использования. Рига: Зинатне, 1990. - 182 с.

14. Брундасов С.М. Принципы построения модели выбора конфигурации программных средств // Тезисы докладов 56-й научной конференции профессорско-преподавательского состава / Под ред. О.А. Горленко и И.В. Говорова. Брянск: БГТУ, 2002. - с. 272-274.

15. Буч Г. Объектно-ориентированное проектирование с примерами применения. М.: Конкорд, 1992. - 519 с.

16. Варфоломеев В.И., Воробьев С.Н. Принятие управленческих решений. -М.: КУДИЦ-ОБРАЗ, 2001.-288 с.

17. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2000. - 384 с.

18. Грейс М. Проектирование баз данных на основе XML. М.: Вильяме, 2002. -640 с.

19. Грунина Г.С., Деменков Н.П. Решение многокритериальных задач оптимизации и принятия решений в нечеткой постановке // Информационные технологии, 1998, №1.-С. 13-15.

20. Дейтел X. М., Дейтел П.Д. Как программировать на XML. М.: Бином, 2001.-944 с.

21. Джексон П. Введение в экспертные системы. М.: Вильяме, 2001. - 624 с.

22. Дубов Ю.А., Травкин С.И., Якимец В.Н. Многокритериальные модели формирования и выбора вариантов систем. М.: Наука, 1986. - 296 с.

23. Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений. -М.: Мир, 1976. 168 с.

24. Искусственный интеллект: В 3 кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова. М.: Радио и связь, 1990. -464 с.

25. Искусственный интеллект: Справочник: В 3 кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А. Поспелова. М.: Радио и связь, 1990. - 304 с.

26. Кини P.JI. Размещение энергетических объектов: выбор решений. М.: Энергоатомиздат, 1983. - 320 с.

27. Кини P.JI., Райфа X. Принятие решений при многих критериях: Предпочтения и замещения. М.: Радио и связь, 1981. - 560 с.

28. Корнеев В.В., Гареев А.Ф., Васютин С.В., Райх В.В. Базы данных. Интеллектуальная обработка информации. М.: Нолидж, 2001. - 496 с.

29. Ларичев О.И. Наука и искусство принятия решений. М.: Наука, 1979. -200 с.

30. Ларичев О.И. Теория и методы принятия решений: Учебник. М.: Логос, 2000. - 296 с.

31. Ларичев О.И. Человеко-машинные процедуры принятия решений // Автоматика и телемеханика. 1971. -№ 12. - С. 130-142.

32. Ларичев О.И., Браун Р. Количественный и вербальный анализ решений: сравнительное исследование возможностей и ограничений // Экономика и математические методы. 1998. - Т. 34. - Вып. 4. - С. 97-107.

33. Липаев В.В. Выбор и оценивание характеристик качества программных средств. Методы и стандарты. Серия «Информационные технологии» М.: СИНТЕГ, 2001.-228 с.

34. Липаев В.В. Обеспечение качества программных средств. Методы и стандарты. Серия «Информационные технологии». М.: СИНТЕГ, 2001. 380 с.

35. Лорьер Ж. Л. Системы искусственного интеллекта: Пер. с франц. М.: Мир, 1991.-568.

36. Люгер Дж. Искусственный интеллект: стратегии и методы решения сложных проблем. М.: Вильяме, 2003. - 864 с.

37. Мейер Д. Теория реляционных баз данных. М.: Мир, 1987. - 608 с.

38. Матвеев Л.А. Компьютерная поддержка решений: Учебник. СПб.: «Специальная литература», 1998. - 472 с.

39. Минский М. Фреймы для представления знаний: Пер. с англ. М.: Энергия, 1979.- 152 с.

40. My шик Э., Мюллер П. Методы принятия технических решений / Пер. с нем. М.: Мир, 1990. - 204 с.

41. Нейлор К. Как построить свою экспертную систему: Пер. с англ. М.: Энергоатомиздат, 1991.-286 с.

42. Ногин В.Д. Принятие решений в многокритериальной среде. М.: Физмат-лит, 2002.-176 с.

43. Обработка нечеткой информации в системах принятия решений / Борисов А.Н., Алексеев А.В., Меркурьева Г.В. и др. М.: Радио и связь, 1989, -304 с.

44. Перегудов Ф.И., Тарасенко В.П. Введение в системный анализ. М.: Высшая школа, 1989. -361 с.

45. Подвесовский А.Г. Автоматизация многокритериального выбора технических решений на основе применения нечетких моделей различных типов: Дисс. канд. техн. наук. Брянск: БГТУ, 2001. - 229 с.

46. Ревунков Г.И. и др. Базы и банки данных и знаний: Учеб. для вузов / Г.И. Ревунков, Э.Н. Самохвалов, В.В. Чистов. М.: Высш. шк., 1992. - 367 с.

47. Руа Б. Классификация и выбор при наличии нескольких критериев (Метод ЭЛЕКТРА) // Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.-С. 80-107.

48. Руа Б. Проблемы и методы принятия решений в задач с многими целевыми функциями // Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.-С. 20-58.

49. Саати Т.П. Принятие решений. Метод анализа иерархий: Пер. с англ. М.: Радио и связь, 1993. - 320с.

50. Саати Т.П. Керне К. Аналитическое планирование. Организация систем: Пер с англ. М.: Радио и связь, 1991. - 224 с.

51. Страуструп Б. Язык программирования С++, 3-е изд. / Пер. с англ. СПб; М.: «Невский Диалект» - «Издательство БИНОМ», 1999. - 991 с.

52. ТахаХ.А. Введение в исследование операций. М.: Вильяме, 2001. - 912 с.

53. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998.-376 с.

54. Трахтенгерц Э.А. Субъективность в компьютерной поддержке управленческих решений. М.: СИНТЕГ, 2001. - 256 с.

55. Уэено Х.у Исидзука М. Представление и использование знаний. М.: Мир, 1989.-220 с.

56. Хейес-Рот Ф., Уотерман Д., Ленат Д. Построение экспертных систем. — М.: Мир, 1987.-441 с.

57. Хорошевский В.Ф. Программные средства представления знаний: состояния исследований и проблемы // В кн.: Искусственный интеллект. Кн. 3. Программные и аппаратные средства. М.: Радио и Связь, 1990. - С. 72-82.

58. Хохлов Н.В. Управление риском: Учеб. пособие для вызов. М.: ЮНИТИ-ДАНА, 1999.-239 с.

59. Фишберн П.С. Теория полезности для принятия решений: Пер. с англ. М.: Наука, 1977.-352 с.

60. Чикало О. CASE-методология разработки программного обеспечения // PC WEEK, 1996, №21. С. 21-24.

61. Юдин Д.Б. Вычислительные методы теории принятия решений. М.: Наука, 1989.-320 с.

62. Ягер P.P. Множества уровня для оценки принадлежности нечетких подмножеств // Нечеткие множества и теория возможностей. Последние достижения / Под ред. P.P. Ягера. М.: Радио и связь, 1986. - С. 71-78.

63. Carlsson C. Active DSS: Pursuing some limits in decision support // C. Carlsson eds., Exploring the limits of decision support systems / TUCS General Publications, No. 3. Turku Centre for Computer Science, Abo, 1996. - P. 33-57.

64. Carlsson C., Fuller R. Fuzzy multiple criteria decision making: Recent developments // Fuzzy Sets and Systems, 1996, Vol. 78. P. 139-153.

65. Forman E.H., Sally M.A. Decision By Objectives (How to convince others that you are right). World Scientific Press, 2001. - 420 p.

66. Forman E.H., Sally M.A. Orders of magnitude cost ratio considerations in resource allocations // Proceedings of the Sixth International Symposium on the Analytic Hierarchy Process (ISAHP 2001) / K. Dellmann eds. Berne, Switzerland, 2001.-P. 103-111.

67. Harker P. T. Incomplete pairwise comparisons in the analytic hierarchy process // Mathematical Modeling, 1987, Vol. 9 P. 837-848.

68. Harker P. T. Alternative modes of questioning in the analytic hierarchy process // Mathematical Modeling, 1987, Vol. 9 P. 353-360.

69. Lootsma F.A., Shuijt H. The Multiplicative AHP, SMART and ELECTRE in a common context // Journal of Multi-Criteria Decision Analysis, 1997, Vol. 6 P. 185-196.

70. Miller G.A. The magical number seven or minus two: Some limits on our capacity of processing information // Psychological Rev., 1956, Vol. 63. P. 81-97.

71. MinskyM. The Society of Mind. New York, NY: Simon and Schuster, 1986.

72. Piegat A. Fuzzy Modeling and Control, Series: Studies in Fuzziness and Soft Computing, Vol. 69. New York: Springer, 2001. - 728 p.

73. Vargas L.G. Reply to schenkerman's avoiding rank reversal in AHP decision support models // European journal of operational research, 1994, Vol. 74 P. 420-425.

74. Saaty T.L. Exploring the interface between hierarchies, multiple objectives and fuzzy sets // Fuzzy Sets and Systems, 1978, Vol 1. P. 57-68.

75. Saaty T.L. Decision making with Dependence and Feedback. The Analytic Network Process. Pittsburgh: PWS Publications, 2000. - 370 p.

76. Slovic P., Fichhoff В., Lichtenstein S. Behaviorial decision theory. // Annu. Phychol. Rev. vol. 28, 1997.

77. Yager R.R. On ordered weighted averaging aggregation operators in multicriteria decision making // IEEE Transactions on Systems, Man, and Cybernetics, 1988, Vol. 18.-P. 183-190.