Методы многокритериальной оценки качества информационных систем в условиях неопределенности тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Пилипенко, Виктор Александрович

• Пилипенко, Виктор Александрович
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Пилипенко, Виктор Александрович

Введение.

Глава 1. МОДЕЛИ И МЕТОДЫ ОЦЕНКИ МНОГОКРИТЕРИАЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ИНФОРМАЦИОННЫХ СИСТЕМ.

1.1. Основные понятия и обобщенная классификация задач принятия решений.

1.2. Формальное описание моделей принятия решений.

1.3. Постановки многокритериальных задач принятия решений.

1.4. Характеристики приоритета критериев. Нормализация критериев.

1.5. Статистическая модель однокритериального принятия решений в условиях неопределенности.

1.6. Построение критериев выбора решений для первой ситуации априорной информированности ЛПР.

1.6.1. Критерий Байеса-Лапласа.

1.6.2. Критерий минимума среднего квадратического отклонения функции полезности или функции потерь.

1.6.3. Критерий максимизации вероятности распределения функции полезности.

1.6.4. Модальный критерий.

1.6.5. Критерий минимума энтропии математического ожидания функции полезности.

1.6.6. Критерий Гермейера.

1.6.7. Комбинированный критерий Рыкова. Объединение критериев Байеса-Лапласа и среднего квадратического отклонения функции полезности (потерь).

1.7. Построение критериев выбора решений для второй ситуации априорной информированности ЛПР.

1.7.1. Максиминный критерий Вальда.

1.7.2. Критерий минимаксного риска Сэвиджа.

1.8. Построение критериев выбора решений для третьей ситуации априорной информированности ЛПР.

1.8.1. Критерий Гурвица.

1.8.2. Критерий Ходжеса-Лемана.

1.9. Принципы оптимальности в задачах принятия решений.

Выводы к главе 1.

Глава 2. МНОГОКРИТЕРИАЛЬНЫЕ МОДЕЛИ И МЕТОДЫ ПРИНЯТИЯ

РЕШЕНИЙ В УСЛОВИЯХ СТАТИСТИЧЕСКОЙ НЕОПРЕДЕЛЕННОСТИ

2.1. Модель, постановка задачи принятия решений в условиях неопределенности и обобщенный алгоритм решения задачи.

2.2.Построение комбинированного критерия выбора решений для различных ситуаций априорной информированности ЛПР.

2.3.Обобщенный алгоритм решения многокритериальной задачи при разной априорной информированности ЛПР.

2.4. Снятие статистической неопределенности при оценке качества ИС.

Выводы к главе 2.

Глава 3. АЛГОРИТМЫ МНОГОКРИТЕРИАЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ИНФОРМАЦИОННЫХ СИСТЕМ В УСЛОВИЯХ ОПРЕДЕЛЕННОСТИ

3.1. Модель многокритериальной оценки качества информационных систем в условиях определенности.

3.2. Обобщенный алгоритм оценки и выбора варианта ИС.

3.3. Построение многокритериального описания качества ИС.

3.4. Шкалы оценки значения критериев качества ИС.

3.5. Методические вопросы получения информации о качестве ИС.

3.6. Алгоритм многокритериальной оценки качества ИС.

Выводы к главе 3.

Глава 4. ПРИМЕР ВЫБОРА ЛУЧШЕГО ВАРИАНТА ИС

4.1. Диалоговый алгоритм решения многокритериальной задачи принятия решений при детерминированных и статистических критериях.

4.2. Пример выбора лучшего варианта ИС - варианта корпоративной системы управления предприятием.

4.2.1. Разработка многокритериального описания свойств вариантов ИС.

4.2.2. Обобщенный критерий - функциональность.

4.2.3. Обобщенный критерий у2 - технические параметры. 1 \ \

4.2.4. Обобщенный критерий у3 - стоимость системы. ^

4.2.5. Обобщенный критерий у4 - методология внедрения.

4.2.6. Обобщенный критерий j>5 - опыт работы в России. ц^

4.3. Построение агрегированных обобщенных критериальных оценок вариантов ИС.

Выводы к главе 4.

Введение диссертации (часть автореферата) на тему «Методы многокритериальной оценки качества информационных систем в условиях неопределенности»

Создание современных систем управления в производственных, финансовых, военных и других областях невозможно без использования информационных технологий, в частности информационных систем (ИС), для обеспечения сбора, обработки, хранения и представления требуемой информации. Внедрение этих технологий и систем порождает проблемы, разрешение которых требует специальных практических расчетов. Сегодня на рынке информационных технологий предлагается богатый выбор технических средств и решений, способных удовлетворить функциональным требованиям заказчиков. Из них можно выбрать приемлемый вариант, руководствуясь логическими рассуждениями.

Данный выбор будет не всегда рациональным с точки зрения достижения всех целей функционирования проектируемой системы. Рациональное обеспечение качества современных систем немыслимо без применения моделей и методов, позволяющих оценивать, исследовать и оптимизировать процессы сбора хранения, обработки и представления информации. Задачу оценки качества и надежности вариантов системотехнических решений приходится решать как на предпроектных стадиях создания систем, так и в процессе их создания и эксплуатации. На каждой стадии необходимо оценивать качество систем, соответствие замыслу, заданным или желаемым требованиям. Множественность вариантов реализации систем, разнообразие условий, в которых должны функционировать системы, оценка качества систем по нескольким критериям - все это усложняет решение задачи оценки и выбора наиболее эффективного варианта системы.

Значения критериев могут зависеть также и от внешних условий, в которых находится система, эти значения могут меняться при различных событиях. Совокупность таких событий, влияющих на значения характеристик качества систем, может интерпретироваться как состояния внешней среды. Эти состояния среды порождают неопределенность, так как заранее неизвестно, какие события произойдут и в каком состоянии и условиях будет находиться система. Неопределенность, заключающаяся в наличии нескольких различных величин оценки одного и того же критерия в зависимости от состояний среды, приводит к необходимости решения многокритериальной задачи оценки значений критериев качества и выбора наилучшего варианта системы в условиях неопределенности.

Особенностью процессов принятия решений является учет наличия лица, принимающего решения (ЛПР), индивидуального или коллективного, которое стремится к достижению некоторых целей на основе своих предпочтений. Практика принятия решений показывает, что наиболее предпочтительным считается решение, согласованное со структурой предпочтений ЛПР, а также с имеющейся у него информацией о задаче принятия решений. В этом случае необходимы процедуры, которые помогают ЛПР формализовать его предпочтения, а принятие решения сводится к сравнению существенных свойств решений и решению задачи выбора.

Важнейшая проблема при решении задач выбора, принятия решений связана с многокритериальностью, отсутствием одного признака, критерия, по которому можно упорядочить решения или выбрать лучшее. Основными способами преодоления многокритериальное™ являются привлечение ЛПР и решение задачи на основе его предпочтений.

Таким образом, существует необходимость в разработке специальных моделей и методов для решения многокритериальных задач выбора при неопределенности, ориентированных на активное участие ЛПР. Эти модели и методы ориентированы на нахождение компромиссного решения, удовлетворяющего в той или иной степени ЛПР.

На основе вышеизложенного можно сделать вывод, что усовершенствование существующих и разработка новых моделей и методов поддержки принятия многокритериальных решений в условиях неопределенности являются важной и актуальной задачей.

Цель работы:

Исследование существующих подходов к решению проблем выбора и разработка новых моделей, методов и алгоритмов для поддержки процессов формирования и выбора сложных решений в условиях неопределенности.

Для достижения этой цели в диссертации были поставлены и решены следующие задачи;

1) Анализ существующих моделей и методов для поддержки процессов многокритериального выбора решений. Выделение основных видов задач выбора при неопределенности и методов их решения.

2) Разработка формальной модели многокритериального выбора решений при неопределенности.

3) Формирование критериев оценки качества решений и постановка задач выбора.

4) Разработка диалоговых алгоритмов решения многокритериальных задач выбора.

5) Исследование свойств и характеристик разработанных моделей, методов и алгоритмов при построении информационных систем. Оценка свойств получаемых решений.

Методы исследования. Для решения поставленных задач исследования были использованы математические методы теории принятия решений и многокритериальной оптимизации, системного анализа и исследования операций, математической статистики и теории статистических решений, методы экспертных оценок.

На защиту выносятся:

1. Формализация задачи принятия решений в виде двухэтапной модели принятия решений в условиях статистической неопределенности при различных ситуациях априорной информированности ЛПР.

2. Диалоговый алгоритм снятия статистической неопределенности для разных ситуаций априорной информированности ЛПР, включающий комбинированный критерий и учитывающий степень доверия ЛПР к априорной информации.

3. Иерархическое многокритериальное описание качества ИС в виде дерева критериев.

4. Обобщенный диалоговый алгоритм решения многокритериальной задачи принятия решений при детерминированных и статистических критериях. Научная новизна. Предложены модели и методы многокритериальной оценки решений в условиях статистической неопределенности, ориентированные на активное использование в диалоговом режиме представлений ЛПР об априорной информации и качестве решений, иерархическое многокритериальное описание качества ИС, диалоговые алгоритмы снятия статистической неопределенности и решения многокритериальной задачи выбора при детерминированных и статистических критериях.

Практическая значимость и результаты внедрения. Практическая значимость работы заключается в создании теоретической основы для построения систем поддержки принятия решений, в использовании ее результатов в деятельности организаций при принятии управленческих решений. Внедрение результатов диссертационного исследования позволило повысить эффективность и качество управленческих решений при разработке информационных систем.

Разработанные модели и методы реализованы, внедрены и используются в практике ОАО «Электромашина», НОУ «Центр Информационных Технологий и Менеджмента» и внедрены в учебный процесс.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались:

• на IY Международной конференции «Идентификация систем и задачи управления» (SICPRO'2005), Москва, 2005г.;

• на Y Международной конференции «Идентификация систем и задачи управления» (SICPRO'2006), Москва, 2006 г.;

• на Третьей Международной конференции по проблемам управления, Москва, 2006 г.;

• на семинарах на кафедре автоматизированных систем управления Московского государственного института стали и сплавов (технологического университета).

Публикации. Основные результаты диссертационной работы опубликованы в четырех печатных работах.

По структуре работа имеет следующий вид: введение, глава 1 - обзорная, где рассмотрены известные формальные модели принятия решений, постановки многокритериальных задач принятия решений при определенности и неопределенности, характеристики приоритета критериев, способы нормализации критериев. Проведен обзор основных статистических критериев выбора решений при различных ситуациях априорной информированности ЛИР, описаны принципы оптимальности в задачах принятия решений.

Во второй главе рассматриваются многокритериальные модели и методы принятия решений в условиях статистической неопределенности.

В третьей главе изложен подход к оценке решений в условиях определенности, использующий двухэтапную модель многокритериального иерархического принятия решений, рассматриваются алгоритмы многокритериальной оценки качества ИС в условиях определенности.

В четвертой главе рассмотрен пример выбора лучшего варианта ИС демонстрирующий специфику и возможности предложенных моделей и алгоритмов для решения задач оценки и выбора лучших решений.

В Приложении приведены акты, подтверждающие эффективность внедрения разработанных в диссертации моделей и методов принятия решений, использование результатов в учебном процессе.

Заключение диссертации по теме «Управление в социальных и экономических системах», Пилипенко, Виктор Александрович

Выводы к главе 4

1. Сформирован обобщенный диалоговый алгоритм решения многокритериальной задачи принятия решений при детерминированных и статистических критериях.

2. Показана эффективность обобщенного диалогового алгоритма решения многокритериальной задачи принятия решений на примере выбора лучшего варианта корпоративной системы управления предприятием.

ЗАКЛЮЧЕНИЕ

В диссертации предложены модели и алгоритмы многокритериальной оценки решений для статистических и детерминированных критериев, ориентированные на активное использование в диалоговом режиме представлений ЛПР о качестве решений. Получены следующие основные научные и практические результаты.

1. Предложена двухэтапная модель принятия решений в условиях статистической неопределенности при различных ситуациях априорной информированности ЛПР.

2. Для первого этапа принятия решений предложен диалоговый алгоритм снятия статистической неопределенности для разных ситуаций априорной информированности ЛПР, включающий комбинированный критерий и учитывающий степень доверия ЛПР к априорной информации.

3. Разработано иерархическое многокритериальное описание качества ИС в виде дерева критериев.

4. Предложен обобщенный диалоговый алгоритм решения многокритериальной задачи принятия решений при детерминированных и статистических критериях.

5. Разработанные алгоритмы показали свою работоспособность и эффективность при решении многокритериальных задач выбора лучшего варианта информационных систем.

Список литературы диссертационного исследования кандидат технических наук Пилипенко, Виктор Александрович, 2006 год

1. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов: основы теории. М.: Наука,1990. 240 с.

2. Алескеров Ф.Т. Локальные модели голосования. Обзор аксиоматических моделей // А и Т, № 10, 2000. С. 3-36.

3. Артамонов В. С, Рыков А. А., Рыков А. С. Методы многокритериальной оценки качества ведомственной информационной сети. Вестник Санкт-Петербургского института Государственной противопожарной службы, № 5, 2004

4. Баранов И.В., Елисов Л.Н., Артемьев В.Г. Некоторые проблемы количественной оценки качества информационного обеспечения управленческой деятельности. МНТК «Гражданская авиация на рубеже веков». М.: МГТУ ГА, 2001. с.50

5. Баранов И.В., Елисов Л.Н., Артемьев В.Г. Некоторые процедуры получения количественных оценок показателей качества. МНТК «Гражданская авиация на рубеже веков». М.: МГТУ ГА, 2001. с.49-50

6. Баркалов С.А., Буркова И.В., Глаголев А.В., Колпачев В.Н. Задачи распределения ресурсов в управлении проектами. М.: ИПУ, 2002. 64 с.

7. Баркалов С.А., Буркова И.В., Колпачев В.Н., Потапенко A.M. Модели и методы распределения ресурсов в управлении проектами. М.: ИПУ, 2004. 86 с.

8. Безкоровайный М.М., Костогрызов А.И., Львов В.М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем «КОК»: Руководство системного аналитика. М.: Вооружение. Политика. Конверсия. 2001. - 303 е., 2-е издание

9. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

10. Борисов В.И. Проблемы векторной оптимизации. Исследование операций // Методологические аспекты. М.: Наука, 1972. С. 102-113.

11. Будзко В.И., Беленков В.Г., Синицин И.Н., Рыков А.С. Алгоритмы обработки экспертной информации//Информационные технологии. 2003. № 10, с. 56-60

12. Будзко В.И., Ильясов Д.Ф., Синицын И.Н., Рыков А.С. Многокритериальная оценка качества информационных систем в условиях неопределенности. Безопасность информационных технологий, № 1, 2004, с. 44-54

13. Бурков В.Н., Новиков Д.А. Как управлять проектами. М.: СИНТЕГ-ГЕО, 1997.188 с.

14. Бурков В.Н., Новиков Д.А. Теория активных систем: состояние и перспективы. М.: СИНТЕГ, 1999. 128 с.

15. Вентцель Е.С. Исследование операций. Задачи, принципы, методология. М.: Наука, 1988.

16. Вилкас Э.Й., Майминас Е.З. Решения: теория, информация, моделирование. М.: Радио и связь, 1981.

17. Вилкас Э.Й. Оптимальность в играх и решениях. М.: Наука, 1990. 256 с.

18. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа. СПб.: СПбГПУ, 2003. 520 с.

19. Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.

20. Воронков В. А. Системный анализ экономики связи. М.: Радио и связь, 1993.127 с.

21. Геминтер В.И., Штильман М.С. Оптимизация в задачах проектирования. М.: Знание, 1982. 64 с.

22. Гермейер Ю.Б. Введение в теорию исследования операций. М.: Наука, 1971.383 с.

23. Дегтярев Ю.И. Системный анализ и исследование операций. М.: Высшая школа, 1996. 336 с.

24. Дубов Ю.А., Травкин С.И., Якимец В.Н. Многокритериальные модели формирования и выбора вариантов систем. М.: Наука, 1986. 296 с.

25. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика,1978.

26. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. М.: Знание, 1986. 29 с.

27. Калинина Э.В., Лапига А.Г., Поляков В.В. и др. Оптимизация качества. Сложные продукты и процессы. М.: Химия, 1989. 256 с.

28. Кини Р.Л. Размещение энергетических объектов; выбор решений. М.: Энергоатомиздат, 1983.

29. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981.

30. Козлов В.Н. Системный анализ и принятие решений. СПб.: Изд-во СПбГТУ, 2000. 190 с.

31. Коновальчук Е.В., Новиков ДА. Модели и методы оперативного управления проектами. М.: ШУ РАН, 2004. 63 с.

32. Кэндалл М. Ранговые корреляции. М.: Статистика, 1975.

33. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. М.: Наука, 1996. 208 с.

34. Ларичев О.И. Наука и искусство принятия решений. М.: Наука, 1979. 200 с.

35. Ларичев О.И. Теория и методы принятия решений. М.: Логос, 2000,

36. Литвак Б. Г. Разработка управленческого решения. М.: Дело, 2003. 392 с.

37. Литвак Б. Г. Экспертная информация: Методы получения и анализа. М.: Радио и связь, 1982. 184 с.

38. Литвак Б. Г. Экспертные технологии в управлении. М.: Дело, 2004. 400 с.

39. Лотов А.В., Бушенков В.А., Каменев Г.К., Черных О.Л. Компьютер и поиск компромисса. Метод достижимых целей. М.: Наука, 1997. 247 с.

40. Математические основы управления проектами. / под. ред. Буркова В.Н. М.: Высш. шк, 2005. 423 с.

41. Многокритериальные задачи принятия решений / Под ред. Д.М. Гвишиани, СВ. Емельянова. М.: Машиностроение, 1978. 192 с.

42. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука, 1981.488 с.

43. Мушик Э., Мюллер П. Методы принятия технических решений. М.: Мир, 1990. 208 с.

44. Новиков Д.А., Глотова Н.П. Модели и механизмы управления образовательными сетями и комплексами. М.: Институт управления образованием РАО, 2004. 142 с.

45. Новиков Д.А. Институциальное управление организационными системами. М.: ИПУ РАН, 2004. 68 с.

46. Новиков Д.А. Статистические методы в педагогических исследованиях. М.: МЗ-Пресс, 2004. 63 с.

47. Новиков Д.А. Теория управления организационными системами. М.: Московский психолого-социальный институт, 2005. 584 с.

48. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа. Томск: Изд-во НТЛ, 1997. 396 с.

49. Подиновский В.В. Методы многокритериальной оптимизации. М.: Наука,1971.

50. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. М.: Экономика, 1974.

51. Растригин JI.А. Системы экстремального управления. М.: Наука, 1974.

52. Рыков А.А. Модель и методы многокритериальной оценки качества и выбора решений при риске. Автореф. канд. диссертации, Воронеж 2006. 17 с.

53. Рыков А.А., Рыков А.С. Алгоритмы обработки экспертной информации для оценки качества информационных систем: Сб. научн. трудов «Экономика, информационные техно-логии и управление в металлургии». М.: МИСиС, 2003. С. 8689.

54. Рыков А.А., Рыков А.С. Двухуровневая модель многокритериальной оценки качества информационных систем в условиях неопределенности: Сб. «Теория активных систем» // Труды международной научно-практической конференции. Т. 1. М.: ИЛУ РАН, 2003. С. 128-130.

55. Рыков А.А., Рыков А.С. Многокритериальная оценка качества информационных систем при неопределенности. Проблемы управления, № 2, 2004, с. 31-39.

56. Рыков А.А., Рыков А.С. Модель оценки характеристик качества информационных систем в условиях неопределенности: Сб. «Теория активных систем» // Труды международной научно-практической конференции. Т. 1. М.: ИПУ РАН, 2003. С. 131-133.

57. Рыков А.А., Рыков А.С. Экспертные алгоритмы оценки качества информационных систем: Сб. «Теория активных систем» // Труды международной научно-практической конференции. Т. 1. М.: ИПУ РАН, 2003. С. 133-135.

58. Рыков А.С., Исходжанов P.P., Рыков А.А. Многокритериальная модель оптимизации портфеля инвестиций // Труды III международной конференции «Идентификация систем и задачи управления» SICPRO'2004, CD. М.: Институт проблем управления, 2004. С. 984-1011.

59. Рыков А.С., Лановец В.В. Система настройки параметров моделей // Труды международной конференции «Идентификация систем и задачи управления» SICPRO'2000, CD. М.: Институт проблем управления, 2000. С. 2193-2199.

60. Рыков А.С. Методы многокритериальной оптимизации // Информационная математика. 2002. № 2. с.63-73.

61. Рыков А.С. Методы системного анализа: многокритериальная и нечеткая оптимизация, моделирование и экспертные оценки. М.: Экономика, 1999. 192 с.

62. Рыков А.С. Методы системного анализа: оптимизация. М.: Экономика, 1999.256 с.

63. Рыков А.С. Модели и методы системного анализа: принятие решений и оптимизация: Учебное пособие для вузов. М.:МИСИС, Издательский дом «Руда и металлы», 2005. - 352 с.

64. Рыков А.С. О диалоговых методах деформируемых конфигураций // Доклады РАН. Т. 375. 2000, № 2.

65. Рыков А.С., Оразбаев Б.Б. Система поддержки принятия решений для управления технологическими агрегатами // Автоматизация технологических процессов и комплексов. Алма-Ата, 1992.

66. Рыков А.С., Пилипенко В.А. Многокритериальная оценка качества систем на основе детерминированных и статистических характеристик. Третья Международная конференция по проблемам управления, Т. 1, М.: Институт проблем управления, 2006. с. 112.

67. Рыков А.С., Пилипенко В.А. Методы оценки качества информационных систем в условиях неопределенности. Системы управления и информационные технологии, № 2.1, 2006, с. 188-192

68. Рыков А.С. Системный анализ: Учебное пособие для практических занятий. М.: МИСиС, 1988.

69. Рыков А.С., Хорошилов В.О., Шевырева М.П., Щипин К.С. Концепция компьютерной системы эпидемиологического надзора за инфекционными заболеваниями. Международный форум «Информатизация процессов охраны здоровья населения -2001», М., 2001. с.54-57

70. Рыков А.С., Хорошилов В.О., Щипин К.С., Рыков А.А. Система прогнозирования на основе многокритериального анализа временных рядов. // Сб. научн. трудов Экономика, информационные технологии и управление в металлургии, М.: МИСиС, 2003, с. 77-79

71. Рыков А.С. Человеко-машинные процедуры решения задач многокритериальной оптимизации // Некоторые вопросы применения вычислительной техники к металлургии. М.: Металлургия, 1985. С. 4-10.

72. Саати Т., Керне К. Аналитическое планирование и организация систем. М.: Радио и связь, 1991. 224 с.

73. Салуквадзе М.Е. Задачи векторной оптимизации в теории управления. Тбилиси: Мецниереба, 1975.

74. Системный анализ и принятие решений. Словарь-справочник // Под ред. Волковой В.Н., Козлова В.Н. М.: Высшая школа, 2004. 616 с.

75. Соболь И.М., Статников Р.Б. Выбор оптимальных параметров в задачах со многими критериями. М.: Наука, 1981.

76. Субетто А.И. Квалиметрия. СПб.: Астерион, 2002. 288 с.

77. Теория выбора и принятия решений. М.: Наука, 1982. 328 с.

78. Трахтенгерц Э.А. Влияние процедуры голосования на результат согласованных решений // Информационные технологии, № 7, 2002.

79. Трахтенгерц Э.А. Компьютерная поддержка переговоров при согласовании управленческих решений. М.: СИНТЕГ, 2003. 284 с.

80. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998. 376 с.

81. Трахтенгерц Э.А. Компьютерная поддержка согласования управленческих решений //Труды межд. конф. «Идентификация систем и задачи управления». М., 2003. 284 с.

82. Трахтенгерц Э.А. Компьютерная поддержка формирования целей и стратегий. М.: СИНТЕГ, 2005. 224 с.

83. Трахтенгерц Э.А. Субъективность в компьютерной поддержке управленческих решений // Труды межд. конф. «Идентификация систем и задачи управления». М.: СИНТЕГ, 2001. 256 с.

84. Трухаев Р.И. Модели принятия решений в условиях неопределенности. М.: Наука, 1981,258 с.

85. Управление большими системами / Сб. трудов. Вып. 5, М.: ИПУ РАН, 2003.157 с.

86. Управление большими системами / Сб. трудов. Вып. 7, М.: ИПУ РАН, 2004.113 с.

87. Управление большими системами / Сб. трудов. Вып. 9, М.: ИПУ РАН, 2004.231 с.

88. Фишберн П. Теория полезности для принятия решений. М.: Наука, 1978

89. Хоменюк В.В. Элементы теории многоцелевой оптимизации. М.: Наука,1983.

90. Штойер Р. Многокритериальная оптимизация. Теория, вычисления и приложения. М.: Радио и связь, 1992.

91. Arrow K.J., Hurwitz L. An optimality criterion for decision-making under ignorance // Uncertainty and expectations in economics. Oxford: Basil Blackwell and Mott, 1972.

92. Arrow K.J., Hurwitz L. A class of solutions for group decision problems // Manag. Sci. 1973. V19, p. 936-946.

93. Arrow K.J. Social choice and individual values. N.-Y.: Willey, 1951.

94. Goodman L., Markowitz H. Social welfare functions based on individual rankings // Amer. J. Sociology. 1952. V 58. P. 257-262.

95. Multiple criteria decision making / Ed. M. Zeleny, Berlin: Springer Verlag, 1976.

96. Pareto V. Manuale di Economia Politica. Milan (Italy): Societa Editrice Libraria,1906.

97. Regenwetter M., Grofman B. Approval voting, Borda Winners and Condorcet Winners: Evidence from seven Elections // Management Science. 1998. V 44. № 4.

98. Roy B. Multicriteria Methodology for Decision Aiding. Dordrecht: Kluwer Academic Pulisher, 1996.

99. Rykov A.S. Configuration methods for solving problems of multiobjective optimisation // Preprints of the summer school course on Identification and Optimization oriented for use in adaptive control. Prague (Czech Republic), 1995. P. 89-97.

100. Rykov A.S., Vinogradova I.I., Kuznetsov A.G. Algorithms and software for multiobjec-tive controller design // Preprints of the spring school on Adaptive and Predictive Control. Oxford (United Kingdom), Oxford University, 1996. P. 69-78.

101. Rykov A.S., Vinogradova I.I., Kuznetsov A.G. Multiobjective optimisation techniques for computer-aided control systems design. Report, OUEL 2150/97. Oxford (United Kingdom), Department of Engineering Science, University of Oxford, 1997. 53 p.

102. Rykov A.S., Vinogradova I.I., Kuznetsov A.G. PREDCON: A package for multiobjec-tive controller design // New Trends in Design of Control Systems / Eds. Kozak S., Huba M. El-sevier Science. 1999. P. 55-59.

103. Rykov A.S., Vinogradova I.I., Kuznetsov A.G. PREDCON: a package for multiobjective controller design // Preprints of the 2th IF AC Workshop on New trends in design of Control Systems. Smolenice (Slovakia), 1997. P. 54-58.

104. Rykov A.S., Vinogradova I.I. PREDCON package for tuning GPC // Proceedings of 12th International Conference on Systems Engineering, ICSE'97. V. 2. Coventry (United Kingdom), Coventry University, 1997. P. 583-586.

105. Savage L.I. The foundations of statistics. N.-Y.: Wiley, 1954.

106. Sen A.K. Social choice theory // Handbook of mathematical economics. V III. Amsterdam; N.-Y.; Oxford; Tokyo; North-Holland, 1986.

107. Young HP. An axiomatization of Borda's rule //1. Econ. Theory. 1974. V 9. P.43.52