Метод иерархической композиции оценок состояния сложных слабо формализуемых объектов тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Горбатков, Дмитрий Геннадьевич

• Горбатков, Дмитрий Геннадьевич
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Горбатков, Дмитрий Геннадьевич

Введение.

1. Иерархические модели и оценка состояния.

1.1. Иерархические модели объектов и систем.

1.2. Основные свойства иерархических систем.

1.3. Компоненты оценок состояния.

1.4. Принцип формирования иерархических оценок состояния.

1.5. Базовые методические положения.

2. Обзор методов определения рангов альтернатив на множестве номинальных данных.

2.1. Классы методов оценки альтернатив на множестве номинальных данных.

2.2. Методы группы ЭЛЕКТРА.

2.3. Метод Подиновского.

2.4. Метод порядковой оптимизации.

2.5. Метод латентно-структурного анализа.

2.6. Методы теории многомерной полезности.

2.7. Метод анализа мерархий.

2.7.1. Иерархическая модель.,.

2.7.2. Способ оценивания рангов элементов иерархической модели.

2.7.3. Алгоритм расчета весов.

2.7.4. Алгоритм расчета оценки согласованности.

2.7.5. Пример вычисления рангов с помощью МАИ.

2.8. Преимущества и недостатки рассмотренных методов в контексте задачи формирования оценок состояния.

3. Разработка методики и адаптация метода анализа иерархий для задачи иерархической композиции оценок состояния объекта.

3.1. Особенности методики формирования композиционной оценки состояния.

3.2. Исследование и разработка методики формирования многоуровневой иерархической модели для синтеза оценок состояния.

3.2.1. Системный подход к формированию иерархической модели.

3.2.2. Анализ классов иерархических структурных моделей.

3.2.3. Формирование иерархических структурных моделей.

3.2.4. Пример построения иерархической модели для расчета оценки состояния «надежность» банка.

3.3. Адаптация метода анализа иерархий для задачи иерархической композиции оценок состояния.

3.3.1. Проблема использования «неполных иерархических моделей». Анализ проблемы, решение и экспериментальное обоснование.

3.3.2. Проблема использования «неполных суждений». Анализ и решение.

3.3.3. Разработка и экспериментальное обоснование алгоритма поиска рассогласованных оценок рангов компонентов.

3.4. Разработка методики использования МАИ в задачах группового экспертного оценивания бинарных отношений.

3.4.1. Особенности группового оценивания.

3.4.2. Ранжирование экспертов.

3.4.3. Проведение группового оценивания.

3.4.4. Работа экспертов с «неполными суждениями».

3.4.4. Экспериментальное обоснование методики.

3.5.Разработка алгоритма синтеза оценки состояния на основе структурной модели объекта и ранговых (весовых) оценок полученных с использованием МАИ.

4. Проектирование и разработка программного обеспечения для расчета рангов компонентов иерархической модели.

4.1. Необходимость разработки прогаммного обеспечения для расчета рангов.

4.2. Требования к проектируемой программной системе.

4.3. Функциональная модель программного обеспечения программного обеспечения для расчета рангов компонентов.

4.4. Разработка программного обеспечения для расчета весов компонентов.

4.5. Спецификация подключаемых модулей для автоматизации формирования иерархической модели.

4.6. Описание программной системы расчета рангов компонентов иерархической модели.

5. Применение разработанного метода для формирования оценки состояния ОАО «Алтайэнерго».

5.1. Получение данных.

5.2. Формирование иерархической структурной модели для синтеза оценки состояния.

5.3. Оценивание и расчет рангов компонентов иерархической модели

5.4. Синтез оценок состояния.

Введение диссертации (часть автореферата) на тему «Метод иерархической композиции оценок состояния сложных слабо формализуемых объектов»

Среди всех проблем, стоящих перед производственно-экономическим объектом, проблема эффективного долгосрочного функционирования является одной из наиболее важных, разрешение которой возможно только собственными (внутренними) силами.

Успех» или позитивные цели достигаются, как показывает практика, с помощью и посредством рационального управления. Под рациональным управлением здесь и далее подразумевается такое управление, при котором поставленные цели могут быть достигнуты с затратами ресурсов, не превышающими заранее запланированных. Сложность такого управления усугубляется тем, что в области главных назначений производственно-экономического объекта, декларируемых органами более высокого организационного уровня (например, руководством концернов, холдингов и пр.), государством и региональным управлением, свобода действий и выбора поведения весьма ограничена. Тем не менее, существующие правовые нормы действий в экономической и правовой среде предоставляют огромный неиспользованный резерв жизнеобеспечения. На его реализацию и должно быть направлено усилие управляющей команды верхнего уровня - группе лиц принимающих решения {топ-менеджеров).

Информационное обеспечение деятельности производственно-экономических объектов в подавляющей степени ориентированно или на автоматизацию и внедрение информационных технологий на уровне производственных подразделений и служб, или на своевременное предоставление бухгалтерской отчётности для налоговых служб. К сожалению, лишь в малой степени оно поддерживает решение проблем менеджеров верхнего уровня управления - топ-менеджеров, а именно это в значительной мере определяет «успех» такого объекта.

Таким образом, для рационального управления производственно-экономическим объектом топ-менеджерам для выработки сценариев развития необходимы индикаторы, характеризующие состояние объекта как в целом, так и отдельных его составляющих, что и определяет главную проблему настоящей работы. Такие индикаторы (оценки состояния) - это безразмерные величины, представляющие собой композицию изменяющихся данных, характеризующих производственно-экономический объект, взятых с различными весовыми коэффициентами.

При этом одна их главных, но слабо исследованных проблем заключается в приемлемом по времени формировании адекватных и интерпретируемых оценок состояния из имеющихся в распоряжении производственно-экономического объекта данных. В подавляющем большинстве случаев эти данные поставляются внутренней системой учета объекта. Как правило, системы учёта складываются исторически, исходя из имеющихся возможностей, а не как целенаправленные системы наблюдения для оценивания состояний. Замена таких внутренних систем учёта или только реконструкция их до более совершенных и целенаправленных требует дополнительных и, зачастую, значительных ресурсов.

Влияние внешней среды - рынка, конкурентов и политической обстановки также должно учитываться при управлении такими сложными объектами. Однако, в любом случае, даже при наличии оценок состояния среды внешними наблюдателями, менеджерам производственно-экономических объектов необходимо выполнить собственное интегральное оценивание состояния среды по отношению к проблемам и целям управляемого объекта. Именно такой подход к управлению сложными объектами признаётся системным подходом [36].

Таким образом, для эффективного решения поставленной практической задачи необходимо разработать метод (или совокупность методов), специально ориентированный на работу с существующими системами наблюдения производственно-экономических объектов, которые являются сложными слабо формализуемыми объектами, и позволяющий синтезировать интегральные интерпретируемые оценки состояния этих объектов в целом, что и определяет актуальность исследований. Одним из перспективных направлений является предложенный в данной диссертационной работе метод иерархической композиции оценок 6 состояния, использующий «метод анализа иерархий» Т.Саати [35], который способен адекватно и эффективно решать указанные задачи.

Диссертация посвящена решению комплекса задач формирования эффективных индикаторов для информационного обеспечения топ-менеджеров в рамках рационального управления экономико-производственным объектом и созданию эффективного метода синтеза оценок состояния, являющимися такими индикаторами. Комплекс задач включает изучение проблематики топ-менеджеров и синтез рациональной информационной методики формирования индикаторов состояния по данным систем наблюдения за сложными объектами с учетом целевых функций объекта, характеристик мета среды и мета-мета среды в области рационального целевого управления сложными объектами с позиции лиц, принимающих решение. Основной особенностью разрабатываемой методики является возможность наблюдения данных в формате, чаще всего используемом топ менеджерами, то есть номинальных данных.

Объектом исследования в диссертации является сложный слабо формализуемый объект. В качестве таких объектов могут выступать как сложные технические системы, рассматриваемые вместе с социальными компонентами управления, так и сложные экономические системы типа корпораций или региональных объектов.

Целью работы является разработка метода синтеза оценок состояния производственно-экономических объектов как сложного слабо формализуемого объекта для рационального управления таким объектом.

Поставленная цель определила следующие основные задачи исследования:

• изучение и анализ существующих методов оценки отдельных аспектов состояния предприятия;

• формирование принципов метода иерархического синтеза оценок состояния, анализ задач и требований метода;

• формирование способа адаптации метода анализа иерархий для задачи иерархического синтеза оценок состояния; 7

• исследование и предложение методики формирования многоуровневой иерархии оценок состояния;

• построение методики группового экспертного оценивания рангов;

• анализ и решение частных проблем метода анализа иерархий;

• проектирование и разработка программной реализации методики расчета весов компонентов иерархической композиции оценки состояния.

Методология исследований. Методология проведения исследования основана на композиции трёх базовых методик: методология аналитического планирования [36]; метод анализа иерархий Т. Саати [35]; системологическая методология и регламенты решения системных задач, изложенные Дж. Клиром [16]. В основе исследования лежит категория обобщенной системы, представляющей все характерные свойства широкого класса конкретных систем.

Допущения и определения, используемые в работе:

1. В соответствии с терминологией Дж.Клира [16] назовем обобщающую систему в нашем исследовании «управляемое предприятие».

2. При изучении проблемы и формировании методики предполагается, что объект наблюдения уже существует и функционирует.

3. Как правило, современные производственные объекты всех типов и масштабов обеспечены системами наблюдения на базе информационной технологии. Формируемые в информационной среде предприятия системы данных содержат достаточно сведений для выполнения рационального допустимого управления. Эти сведения могут формироваться в системах класса ERP, дополненных номинальной информацией, содержащихся в отчетах (текстовых документах) внутренних подразделений. Основная деятельность топ менеджеров предприятия заключается в выполнении задач управления в области своей ответственности, причём ЛПР должен формировать и выполнять управление предприятием в целом. Первым этапом процедуры управления является оценивание и интерпретация текущего состояния объекта управления — предприятия. 8

Основной проблемой оценивания и интерпретации текущего состояния является огромный объем не целевой слабо формализованной информации получаемой в отчётах информационных систем. Эта проблема может быть решена путем уменьшения размерности информационного потока, но таким образом, чтобы характеристики, необходимые для управления, появились в той форме, в которой они необходимы топ менеджеру. В качестве способа уменьшения размерности в рамках настоящей работы разработана методика формирования «оценок состояния»

4. Определение. Оценка состояния предприятия - это безразмерная величина представляющая собой композицию изменяющихся характеристик предприятия, взятых с различными весовыми коэффициентами.

Основная идея диссертации заключается в свертке нормализованных значений доступных формализованных данных снизу вверх по иерархии, построенной по номинальным данным, с учетом весов показателей и промежуточных компонентов и разработке новых расширений метода расчета рангов.

Основные результаты, выносимые на защиту:

• Предложен метод иерархической композиции оценок состояния сложных слабо формализуемых объектов из информационных потоков собственных систем наблюдения.

• Предложен способ адаптации метода ранжирования номинальных данных (метод анализа иерархий Т.Саати) для задачи синтеза численной оценки состояния.

• Спроектированы и реализованы алгоритмы и программные решения по ранжированию (взвешиванию) компонентов оценки состояния на основе метода анализа иерархий Т.Саати.

• Разработана методика формирования многоуровневых иерархических моделей для задачи оценивания состояния.

• Разработана новая методика группового экспертного оценивания рангов с использованием метода анализа иерархий Т.Саати.

• Разработан новый алгоритм поиска оценок рангов, нарушающих транзитивность, в задачах принятия решений и ранжирования.

• Разработан алгоритм преобразования неполных иерархических моделей для задачи оценивания состояния с использованием метода анализа иерархий.

Научная новизна диссертационной работы заключается:

• в предлагаемом способе использования метода ранжирования номинальных данных (метод анализа иерархий Т.Саати) для задачи синтеза численной оценки состояния;

• в разработанной методике группового экспертного оценивания рангов с использованием метода анализа иерархий Т.Саати;

• в разработанном алгоритме поиска оценок рангов, нарушающих транзитивность, в задачах принятия решений и ранжирования;

• в разработанном алгоритме преобразования неполных иерархических моделей для задачи оценивания состояния с использованием метода анализа иерархий.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, являются развитием методов анализа и экстраполяции состояния сложных слабо формализуемых объектов, направленных на эффективное решение задач управления такими объектами. Кроме этого предложенные в работе алгоритмы расширяют метод анализа иерархий Т.Саати.

Практическая значимость работы заключается: оценка состояния предприятия, полученная по предлагаемому методу, увеличивает информативность данных систем наблюдения и обеспечивает качественный анализ результатов управления сложным объектом;

• в возможности использования методических и программных средств для решения проблем экстраполяции состояний производственных и организационных объектов на тактическом и стратегическом интервалах;

• предложенная методика группового экспертного оценивания с использованием иерархий Т.Саати позволяет принимать решения, оценивать состояние и ранжировать альтернативы в случаях, когда сложный объект многоаспектен;

• предложенные в диссертационной работе метод синтеза оценки состояния и алгоритмы могут быть использованы в различных информационных системах обработки наблюдаемых данных и управления сложными слабо формализуемыми объектами.

Достоверность полученных результатов подтверждается корректным использованием метода анализа иерархий, а также статистическими исследованиями предложенных в диссертационной работе алгоритмов и проведенными экспериментами по синтезу оценки финансового состояния ОАО «Алтайэнерго».

Использование результатов работы. Материалы диссертационной работы, а также предложенные в диссертации алгоритмы и программные решения включены в учебную программу курса «Информационные системы принятия решений» кафедры «Системный анализ и управление» Красноярского государственного технического университета, а также были использованы при разработке модели для синтеза оценки состояния КГССП «Лесснабсбыт» (г.Красноярск), что подтверждается соответствующими актами.

Апробация работы. Основные положения и результаты работы прошли всестороннюю апробацию на всероссийских конференциях, научных семинарах и научно-практических конференциях. В том числе: на I Всероссийской научно-практической конференции «Достижения науки и техники - развитию сибирских регионов», Красноярск, 1999г. на I Всероссийской конференции по финансово-актуарной математике, Красноярск, 2002г. на VIII Всероссийской конференции «Проблемы информатизации региона», Красноярск, 2003г.

Основные положения и отдельные результаты диссертационной работы докладывались и обсуждались на научных семинарах кафедры САУ КГТУ. и

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Горбатков, Дмитрий Геннадьевич

Заключение

В диссертационной работе исследована проблема оценивания текущего состояния экономико-производственного объекта преследующего цель долгосрочного функционирования. Предложенные и исследованные в работе методы и средства базируются на методологии аналитического планирования, методе анализа иерархий Т.Саати и системологии Дж.Клира. Предполагается, что необходимый информационный поток для оценивания состояния может быть получен из собственных информационных систем предприятия, использующихся для управления.

Решением является синтез оценок, характеризующих состояние предприятия, как в целом, так и отдельных его составляющих. Методы и алгоритмы предложенные для решения проблемы базируются на следующих основных результатах:

Обоснован и разработан метод иерархической композиции оценок состояния сложных слабо формализуемых объектов из информационных потоков собственных систем наблюдения.

Предложен способ адаптации метода ранжирования номинальных данных (метод анализа иерархий Т.Саати) для задачи синтеза численной оценки состояния.

Спроектированы и реализованы алгоритмы и программные решения по ранжированию (взвешиванию) компонентов оценки состояния на основе метода анализа иерархий Т.Саати.

Разработана методика формирования многоуровневых иерархических моделей для задачи оценивания состояния;

Разработана и экспериментально обоснована новая методика группового экспертного оценивания рангов с использованием метода анализа иерархий Т.Саати.

Разработан и экспериментально обоснован новый алгоритм поиска оценок рангов, нарушающих транзитивность в задачах принятия решений и ранжирования.

Разработан и экспериментально обоснован алгоритм преобразования неполных иерархических моделей для задачи оценивания состояния с использованием метода анализа иерархий.

Таким образом, в диссертации разработан эффективный метод, позволяющий оценивать состояние сложных слабо формализуемых объектов, а также позволяющий в значительной степени облегчить и упростить экстраполяцию состояния таких объектов, что имеет существенное значение для теории и практики системного анализа.

Полученные результаты позволяют сделать заключение, что поставленные задачи решены и цель диссертационного исследования достигнута.

106

Список литературы диссертационного исследования кандидат технических наук Горбатков, Дмитрий Геннадьевич, 2006 год

1. Акофф, Р. Искусство решения проблем. М.:«Мир», 1982. - 220с.

2. Акофф, Р. Планирование будущего корпорации. М.'«Прогресс», 1985. -327с.

3. Акофф, Р., Эмери Ф. О целеустремленных системах. М.:«Сов. радио», 1974.-272с.

4. Андрейчиков, A.B., Андрейчикова, О.Н. Анализ, Синтез, Планирование решений в экономике. М.: Финансы и статистика, 2000. - 368 с.

5. Борисов, В. И. Векторная оптимизация систем // Исследование систем. -Т.8.-М.: ВИНИТИ, 1971.-С. 106-114.

6. Бочаров, В.В. Финансовый анализ. С.Петербрг: Питер, 2002. - 240 с.

7. Бредникова, Т.Б. Анализ и диагностика финансово-хозяйственной деятельности предприятия. М.: ИНФРА-М, 2001. - 214 с.

8. Гинзбург, А.И. Экономический анализ. С.Петербург:Питер, 2002. -176с.

9. Глухов, В.В., Медников, М.Д., Коробко С.Б. Математические методы и модели для менеджмента. С.Петербрг:«Лань», 2000. - 480 с.

10. Горбатков, Д.Г. Исследование и развитие методов принятия решений на иерархиях для системной технологии. / Дисс. на соиск. уч. ст. магистра техники и технологии. Красноярск: КГТУ, 2000. - 91 с.

11. Дубов, Ю.А., Травкин, С.И., Якимец, В.Н. Многокритериальные модели формирования и выбора вариантов систем. — М.:«Наука», 1986. 295 с.

12. Кандырин, Ю.В., Курбатова, E.H. Выбор проектных альтернатив по априорным, апостериорным и адаптивным моделям // "Системотехника", № 1,2003.

13. Кинг, У., Клиланд, Д. Стратегическое планирование и хозяйственная политика. М.:«Прогресс», 1982. - 398с.107

14. Кини, Р.JI., Райфа, X. Принятие решений при многих критериях: предпочтения и замещения. М.:«Радио и связь», 1981. - 560с.

15. Клир, Дж. Системология. Автоматизация решения системных задач. -М.:Радио и связь, 1990. 540 с.

16. Лазарсфельд, П. Латентно-структурный анализ и теория тестов. // Математические методы в социальных науках, 1973. С. 42-54.

17. Ларичев, О.И. Методологические проблемы практического применения системного анализа //Системные исследования. Методологические проблемы. Ежегодник №11. 1979, М.: Наука. 384 с. - С. 210-219.

18. Ларичев, О.И., Мошкович, Е.М. Качественные методы принятия решений. Вербальный анализ решений. М.: Наука. Физматлит, 1996. -208 с.

19. Ларичев, О.И., Поляков, O.A. Человеко-машинные процедуры решения многокритериальных задач математического программирования. (Обзор). // Экономика и математические методы. Т. 16. 1980. - С. 129145.

20. Любушин, Н.П., Лещева, В.Б., Дьякова, В.Г. Анализ финансово-экономической деятельности предприятия. М.: ЮНИТИ, 2000. - 471с.

21. Макаров, И.М., Виноградская, Т.М., Рубчинский, А.Л., Соколов В.Б. Теория выбора и принятия решений: Учебное пособие. М.:Наука. Главная редакция физико-математической литературы, 1982. - 328 с.

22. Мангейм, М.Л. Иерархические структуры. Модель процессов проектирования и планирования. М.:«Мир», 1970. - 180с.

23. Масленченков, Ю.С. Финансовый менеджмент в коммерческом банке. -М.: Перспектива, 1996. 160 с.

24. Месарович, М. Теория иерархических многоуровневых систем. -М.:«Мир», 1973.-344с.

25. Миркин, Б.Г. Проблема группового выбора. М.:«Наука», 1974. - 256 с.

26. Моисеев, H.H. Математические задачи системного анализа. -М.:«Наука», 1981.-488 с.

27. Перегудов, Ф.И., Тарасенко, Ф.П. Основы системного анализа. Томск: НТЛ, 1997.-396 с.

28. Петцольд, Ч. Программирование для Windows 95. С.Петербург:ВНУ, 1997, 2т.-495 е., 245 с.

29. Подиновский, В.В. Многокритериальные задачи с однородными равноценными критериями // Журнал вычислительной математики и физики. Т. 15. - 1975. - С. 130-141.

30. Подиновский, В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М.:«Наука», 1.982. - 255 с.

31. Проблемы методологии системного исследования / Блауберг, И.В., Садовский, В.Н., Юдин, Е.Г. и др. М.:«Мысль», 1970. - 435с.

32. Растригин, JI.A. Кибернетика и познание. Рига: "Зинатне", 1978, - 144с.

33. Растригин, JI.A. Современные принципы управления сложными объектами. -М.:«Сов. радио», 1980. 230с.

34. Саати, Т. Метод анализа иерархий. М.гРадио и связь, 1993. - 320 с.

35. Саати, Т., Керне, К. Аналитическое планирование. М.:Радио и связь, 1991.-224 с.

36. Саламатов, Ю.П. Система законов развития техники. Основы теории развития технических систем. Петрозаводск: Карелия. 1991. - 304 с.

37. Сидоренков, М.А. Банковские рейтинги // http://www.cfin.ru/finanalysis/banks/bankratings.shtml

38. Симонов, Д. Надежность банков: деньги к деньгам. // "Деньги", 1995, №2 (12).-С. 20-29.

39. Слюсарчук, В.Ф. Конструктивная системология-1.

40. Слюсарчук, В.Ф. Основы системных представлений // Курс лекций. Текст

41. Черемных, И.Г., Семенов, И.О., Ручкин, B.C. Структурный анализ систем: IDEF-технологии. -М.: Финансы и статистика, 2001. 208 с.109

42. Черноруцкий, И.Г. Методы принятия решений. С.Петербург:БХВ-Петербург, 2005, - 416с.

43. Шеремет, А.Д., Сейфулин, P.C. Экономический анализ. М.¡Финансы и статистика, 1997. - 333с.

44. Шрейдер, Ю.А. Равенство, сходство, порядок. М.:«Наука»,1971 - 256с.

45. Экономика и энергетика Алтайского края: тенденции и перспективы развития (под редакцией Логинова А.Н., Троцковского А.Я., Шабалина С.А.). Новосибирск: ИЭиОПП СО РАН, 2004. - 738с.

46. Edwards, W. Social Utilities // The Engineering Economist. 1971 #6.

47. Emery, F. Systems Thinking. New York: Penguin, 1970. - 140p.

48. Expert Choice Professional Brochure. ExpertChoice Inc. http://www.expertchoice.com/software/ecpro/ecpro brochure.htm

49. Keeney, R., Raiffa, H. Decisions with multiple objectives: Preferences andvalue tradeoffs. New York: Wiley, 1976. - 600 p.

50. Keeney, R.L. Utility Functions of Multi-Attribute Consequences // Management Science. 1972 #18. - pp.276-278.

51. Lazlo, Ervin. Basic Constructs of System Philosophy. General Systems Theory and Human Communications. New York: Hayden. 1975.

52. Marglin, S. Public Investment Criteria: Benefit-Cost Analysis for Planned Economic Growth. Cambridge: MIT Press, 1967. - 103 p.

53. Raiffa, H. Preferences of Multiattribute Alternatives Memorandum. Santa Monica: Rand Corporation, 1969.

54. Rivett, P. The dog that did not bark // Eng. Econ. 1977, Vol.22, #4. -pp.298-300.

55. Roy, B. Classement et choix en presence de points de vue multiples (la methode ELECTRE) // Revue Française d'Informatique et de Recherche Opérationnelle. 1968. - Vol.2, #8. - pp. 57-75.

56. Roy, B. Problems and methods with multiple objective functions // Math. Programming. Amsterdam.:Nord-Holland Publish Company,1972, Vol.l, #2 -pp. 239-266.

57. Russo, I.E., Dasher, В.A. An information processing analysis of binary choice: Tech. rep. Pittsburg: Carnegie-Mellon University, 1976, November.no

58. Saaty, T. Decision Making for Leaders. Belmont, CA: Wadsworth, 1982. -323 p.

59. Saaty, T., Vargas, L. The Logic of Priorities. Boston: Kluwer-Nijhoff, 1982. -320 p.

60. Saaty, T.L., Forman, E.H. Expert Choice Decision Support Software. -McLean: Virginia, 1983.- 150 p.

61. Saaty, T.L., Forman, E.H. Expert Choice Manual. Decision Support Software. McLean: Virginia, 1986. - 111 p.

62. Saaty, T. The Analytic Network Process Decision Making with Dependence and Feedback. - Pittsburgh: RWS Publications, 1996. - 370 p.

63. Shepard, R.N. A Scaling Method for Priorities in Hierarchical Structures // J.Math.Phychology, vol.15, June 1977, #3. pp. 234-281.

64. Shepard, R.N. Exploring the Interface Between Hierarchies. Multiple Objectives and Fuzzy Sets.//Fuzzy Sets and Systems,January 1977.-pp.57-68.

65. Steiner, G. Strategic Planning. What Every Manager Must Know. New York: Free Press, 1979.-400 p.

66. Tversky, A. Intransitivity of preferences // Psychological Review. 1969. -Vol. 76, #1.- pp. 31-48.

67. Tversky, A., Kahneman, D. Judgement under uncertainty: heuristics and biases // Science. 1974, # 185. - Pp. 1124-1131.

68. Warren, Weaver. Science and Complexity. //American Scientist, 1948 №36. -pp 536-544.ш