Моделирование процедур коллективного выбора на основе экстраполяции экспертных оценок тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Миронова, Мария Сергеевна

• Миронова, Мария Сергеевна
• кандидат физико-математических наук
• 2011

Оглавление диссертации кандидат физико-математических наук Миронова, Мария Сергеевна

Оглавление

Введение 4 ГЛАВА 1. Обзор процедур коллективного выбора и методов их

исследования

1.1. Описание задачи выбора

1.2. Процедуры коллективного выбора

1.3. Классификация процедур голосования по виду используемой информации

1.4. Традиционные методы анализа процедур голосования

1.5. Метод экстраполяции экспертных оценок

1.6. Экстраполяция на основе ММП 32 Выводы и задачи исследования

ГЛАВА 2. Применение традиционных методов анализа процедур

голосования к экстраполяции на основе ММП

2.1. Предварительный анализ свойств процедуры МЭЭО-ММП

2.2. Геометрическая интерпретация МЭЭО

2.3. Анализ на характеристические условия

2.3.1. Нейтральность по отношению к избирателям и вариантам

2.3.2. Положительная ненавязанность

2.3.3. Монотонность и принцип Кондорсе

2.3.4. Конечность решений и принцип Парето

2.4. Исследование функции выбора

2.4.1. Свойства отношения «не хуже по полезности»

2.4.2. Свойства функции выбора

2.5. Анализ на манипулируемость 57 Выводы по главе

ГЛАВА 3. Вероятностный метод анализа процедур коллективного

выбора 66 3.1 Исследование состоятельности оценок, полученных

процедурой МЭЭО-ММП

3.2. Параметризация процедур Терстоуна-Мостеллера с целью

их использования в МЭЭО

3.3. Описание вероятностного метода анализа 72 3.3.1 Вычисление вероятности определенного экспертного упорядочения

3.3.2. Вероятностный метод анализа

3.3.3. Методика разбиения профилей упорядочений на классы

3.3.4. Вероятностный метод анализа МЭЭО-ММП при использовании лингвистической шкалы

Выводы по главе

ГЛАВА 4. Описание алгоритмов и программных модулей

4.1. Обеспечение условия положительной ненавязанности

для процедуры МЭЭО-ММП

4.2. Вычислительные задачи процедуры МЭЭО-ММП при трех альтернативах

4.3. Программная реализация вероятностного метода анализа

4.3.1. Начальные расчеты

4.3.2. Расчет полезностей альтернатив

4.3.3. Расчет вероятностных характеристик 101 Выводы по главе

Заключение

Список литературы

Приложения

Введение диссертации (часть автореферата) на тему «Моделирование процедур коллективного выбора на основе экстраполяции экспертных оценок»

ВВЕДЕНИЕ

Актуальность работы. На всем протяжении жизненного цикла современных систем различного назначения (технических, технологических, экономических и др.) возникают проблемы выбора и принятия решений. Успешному поиску оптимального решения способствует применение моделей и методов поддержки принятия решений, основанных на последних достижениях математического моделирования, векторной оптимизации и теории принятия решений. Однако в условиях значительной неопределенности и противоречивости исходных данных для формальной постановки задачи выбора требуется дополнительная информация, которую можно получить посредством привлечения практического опыта эксперта в каждом конкретном случае (технолога, конструктора, консультанта и т. п., в зависимости от того, в какой области решается задача выбора).

Высокие капиталовложения в сферу проектирования, развития и планирования функционирования сложных систем, имеющие целью достижение эффективных и конкурентоспособных производств, накладывают большую ответственность на специалистов, принимающих решения. Поэтому возникающие задачи выбора редко решаются одним человеком, как правило, в процессе формирования выбора участвует целая группа экспертов. И далеко не всегда мнения специалистов могут абсолютно совпадать по рассматриваемому вопросу. Вследствие этого необходим механизм, осуществляющий переход от индивидуальных предпочтений отдельных экспертов к единому решению. В качестве такого механизма выступают процедуры коллективного выбора.

На сегодняшний день существует довольно большое количество различных процедур коллективного выбора, имеющих свои преимущества и недостатки. Однако при решении сложных задач выбора, когда количество альтернатив может достигать нескольких сотен и более, существующие

процедуры становятся непригодны, ввиду того, что в процессе экспертного сравнения и оценки участвует весь имеющийся набор альтернатив.

Принципиально иной подход содержится в методе экстраполяции экспертных оценок (МЭЭО), суть которого состоит в следующем: на ограниченной выборке вариантов (обозримой для экспертов) идентифицируется система экспертных предпочтений с ее последующей экстраполяцией на все исходное множество. Идентификация состоит в определении неизвестных коэффициентов функции полезности (функции обобщенного критерия). Данный подход был реализован в ряде процедур, одна из которых -экстраполяция на основе метода максимального правдоподобия (ММП) -применима при коллективном выборе. Экстраполяция на основе ММП была разработана Сысоевым В.В. совместно с другими авторами, а в дальнейшем модифицирована Бугаевым Ю.В. (процедура МЭЭО-ММП).

В дальнейшем выяснилось, что для экстраполяции можно использовать и некоторые другие известные процедуры посредством их частичной модификации. В связи с этим возникла необходимость проведения научных исследований по анализу возможности реализации подхода экстраполяции различными методами с целью создания автоматизированной системы поддержки принятия решений, которая позволит выбирать процедуру, рациональную для конкретных условий. Ранее подобные исследования не проводились.

Диссертационная работа выполнена в соответствии с планом госбюджетных научно-исследовательских работ по теме «Математическое и компьютерное моделирование в задачах проектирования и оптимизации функционирования информационных технологических систем» (ГР № 01.2006.06298), а также в рамках гранта ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг. по теме «Разработка открытых информационных систем перерабатывающих производств» (ГК № П947).

Цель работы - разработка и применение методики и инструментального аппарата для сравнительного анализа процедур коллективного выбора,

пригодных для использования в методе экстраполяции экспертных оценок (МЭЭО).

Задачи исследования:

1. Проверка процедуры, основанной на ММП (процедуры МЭЭО-ММП), на соответствие характеристическим условиям, принятым для оператора голосования.

2. Исследование характеристических свойств функции коллективного выбора, порождаемой процедурой МЭЭО-ММП.

3. Анализ процедуры МЭЭО-ММП на манипулируемость со стороны организатора голосования и избирателей.

4. Разработка математического метода анализа статистических свойств решений, получаемых при коллективном выборе, и его применение для исследования различных процедур.

5. Разработка комплекса программ, реализующего модели и методы анализа процедур коллективного выбора.

Методы исследования. Исследования базируются на использовании теории выбора и принятия решений, теории вероятностей и математической статистики, выпуклого анализа.

Научная новизна работы состоит в следующем.

1. Выявлены новые свойства, которыми обладает процедура МЭЭО-ММП, относящиеся к

- соответствию оператора голосования типовым характеристическим условиям: нейтральность по отношению к избирателям и вариантам, положительная ненавязанность, принцип Парето;

- удовлетворению порождаемой процедурой функции коллективного выбора свойствам наследования и отбрасывания;

- устойчивости к манипулированию со стороны организатора голосования;

- статистическим свойствам найденного решения: состоятельность, асимптотическая несмещенность.

2. Синтезирована модель для исследования устойчивости процедуры МЭЭО-ММП к манипулированию со стороны избирателей, учитывающая различия вероятностей профилей упорядочения. Ее адекватность подтверждена вычислительными экспериментами.

3. Предложен вероятностный метод моделирования процедур коллективного выбора, анализирующий статистические свойства решений. С его помощью проведены исследования и показано, что процедура МЭЭО-ММП с ранжированием на лингвистической шкале выдает удовлетворительные решения при любой погрешности экспертных оценок, в отличие от процедур, использующих порядковую шкалу, для которых это имеет место лишь в определенном диапазоне погрешностей.

Практическая значимость работы.

1. Теоретические результаты и выводы, полученные на основе вычислительных экспериментов, создают научную основу для разработки системы поддержки принятия решений, способную выбирать процедуру, наиболее пригодную для конкретных условий.

2. Разработано программное обеспечение, которое можно использовать для осуществления коллективного выбора при решении задач в различных сферах производства. Получено свидетельство о регистрации программы для ЭВМ. Программа прошла апробацию на предприятии ОАО «Кондитерская фабрика «Белогорье».

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на международных научно-технических конференциях «Информационные и управляющие системы в пищевой и химической промышленности» (г. Воронеж, 2009 г.), «Актуальные проблемы прикладной математики, информатики и механики» (г. Воронеж, 2010 г.) «Математические методы в технике и технологиях - ММТТ-23» (г. Саратов, 2010 г.), «Математические методы в технике и технологиях - ММТТ-24» (г. Киев, 2011 г.); на Всероссийской научной конференции студентов, аспирантов и молодых ученых (г. Воронеж, 2009 г.); на отчетных научных конфе-

ренциях ВГТА (г. Воронеж, 2009 г., 2010 г.).

Публикации. По теме диссертации опубликовано 11 печатных работ, из них 3 - в изданиях, рекомендованных ВАК РФ, и 1 свидетельство о регистрации программы для ЭВМ.

Структура и объем работы. Работа состоит из введения, четырех глав, заключения, списка литературы из 110 наименований и приложений. Основной материал изложен на 102 страницах, содержит 10 рисунков. Объем приложений - 25 страниц.

9

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Миронова, Мария Сергеевна

Выводы по главе

1. Разработан алгоритм, осуществляющий исключение альтернатив из исходного множества таким образом, чтобы предъявление, составленное из оставшихся альтернатив, обеспечивало процедуре МЭЭО-ММП выполнение условия положительной ненавязанности. Создано программное обеспечение, реализующее данный алгоритм.

2. Программно реализован эффективный численный метод вычисления функции правдоподобия в процедуре МЭЭО-ММП при числе альтернатив, равном трем, на порядковой и лингвистической шкалах.

3. Создано программное обеспечение, позволившее провести исследование четырех процедур голосования (Борда, Терстоуна-Мостеллера, Сы-соева-Чирко, МЭЭО-МПП) по вероятностному методу, предложенному в главе 3, при ранжировании трех альтернатив на порядковой и лингвистической шкалах.

104

ЗАКЛЮЧЕНИЕ

При выполнении диссертационного исследования получены следующие основные научные и практические результаты.

1. С помощью доказанных утверждений

- определены характеристические условия, которым удовлетворяет и не удовлетворяет процедура МЭЭО-ММП;

- определены тип механизма и свойства коллективной функции выбора в процедуре МЭЭО-ММП;

- установлено, что процедура МЭЭО-ММП защищена от манипулирования со стороны организатора голосования.

Это позволяет провести объективное сравнение процедуры МЭЭО-ММП с альтернативными вариантами и выбрать процедуру наиболее подходящую для конкретных условий.

2. Предложена модель, позволяющая определять возможные изменения в упорядочениях избирателей, способствующих манипулированию. Ее применение позволит планировать выборки, максимально защищенные от манипулирования.

3. Доказаны состоятельность и асимптотическая несмещенность решений, получаемых процедурой МЭЭО-ММП, что подтверждает эффективность данной процедуры.

4. Разработан вероятностный метод моделирования процедур коллективного выбора. На его основе проведены численные эксперименты, в результате которых была определена процедура с лучшими статистическими характеристиками.

5. Разработан численный метод обработки предъявления, обеспечивающий процедуре МЭЭО-ММП выполнение условия положительной нена-вязанности.

6. Создан комплекс программ для реализации процедуры МЭЭО-ММП при ранжировании трех альтернатив на порядковой и лингвистической шкале, решения вычислительных задач вероятностного метода моделирования и численный метод, обеспечивающий для процедуры МЭЭО-ММП положительную ненавязанность. Данный комплекс может быть включен в состав системы поддержки принятия коллективных решений.

Список литературы диссертационного исследования кандидат физико-математических наук Миронова, Мария Сергеевна, 2011 год

СПИСОК ЛИТЕРАТУРЫ

1. Андерсон, Т. Введение в многомерный статистический анализ [Текст] : пер. с англ. / Т. Андерсон. - М. : Физматгиз, 1963. - 500 с.

2. Алескеров, Ф. Т. О степени манипулируемости правил коллективного выбора [Текст] / Ф. Т. Алескеров, Э. Курбанов // Автоматика и телемеханика. - 1998. - № 10. - С. 134-146.

3. Айзерман, М. А. Задача Эрроу в теории группового выбора. Анализ проблемы [Текст] / М. А. Айзерман, Ф. Т. Алексеров // Автоматика и телемеханика. - 1983. -№ 9. - С. 127-151.

4. Айзерман, М. А. Выбор вариантов: основы теории [Текст] / М. А. Айзерман, Ф. Т. Алескеров. - М. : Наука, 1990. - 240 с.

5. Айзерман, М. А. Глобальные функции множеств в теории выбора альтернатив [Текст] / М. А. Айзерман, Н. В. Завалишин, Е. С. Пятницкий // Автоматика и телемеханика. - 1977. - № 3. - С. 11-125 ; - № 5. - С. 103-113.

6. Айзерман, М. А. Некоторые аспекты общей теории выбора лучших вариантов [Текст] / М. А. Айзерман, А. В. Малишевский // Автоматика и телемеханика. - 1981. - № 2. - С. 65-82.

7. Айзерман, М. А. Функциональные локальные операторы в теории голосования [Текст] / М. А. Айзерман, Ф. Т. Алескеров // Автоматика и телемеханика. - 1984. - № 5. - С. 78-88 ; № 6. - С. 105-114 ; № 7. -С. 108-120.

8. Белов, Ю. А. Декомпозиция задачи выбора [Текст] / Ю. А. Белов, С. В. Шафранский // Изв. АН СССР. Техн. кибернет. - 1990. - № 2. -С. 173-177.

9. Березовский, Б. А. Задача наилучшего выбора / Б. А. Березовский, А. В. Гнедин - М. : Наука, 1984. - 196 с.

10. Бугаев, Ю. В. Вопросы существования и единственности в методе максимума правдоподобия при экстраполяции экспертных оценок [Текст] / Ю. В. Бугаев // Теория конфликта и ее приложения / I Всерос. науч.-техн. конф. : материалы конф. - Воронеж : ВГТА, 2000. - С. 63-64.

11. Бугаев, Ю. В. Вычислительные задачи синтеза модели выбора методом максимального правдаподобия [Текст] / Ю. В. Бугаев, Б. Е. Никитин, А. С. Чайковский // Вестн. Воронеж, гос. техн. ун-та. - 2010. -Т. 6, №2.-С. 71-74.

12. Бугаев, Ю. В. Приближенный метод синтеза моделей выбора на основе экстраполяции экспертных оценок [Текст] / Ю. В. Бугаев, И. Е. Медведкова, Б. Е. Никитин, А. С. Чайковский // Вестн. ТГТУ. - 2009. -Т. 15, №4.-С. 766-776.

13. Бугаев, Ю. В. Применение матриц парных сравнений в методе экстраполяции экспертных оценок [Текст] / Ю. В. Бугаев, А. Н. Рязанов, С. Н. Черняева // Вестн. Воронеж, гос. технол. акад. Сер. Информационные технологии, моделирование и управление. - 2010. - № 2. - С. 90-96.

14. Бугаев, Ю. В. Применение чисел Соболя в экстраполяции экспертных оценок [Текст] / Ю. В. Бугаев, М. С. Миронова, А. С. Чайковский // Актуальные проблемы прикладной математики, информатики и механики : сб. тр. Междунар. конф. - Воронеж : Изд.-полиграф. центр Воронеж, гос. ун-та, 2010.-С. 67-70.

15. Бугаев, Ю. В. Синтез моделей выбора технологических решений на основе двухэтапных мажоритарных схем [Текст] : дис. ... д-ра ф.-м. наук. : 05.13.18 / Бугаев Юрий Владимирович. - Воронеж, 2005. - 332 с.

16. Бугаев, Ю. В. Экстраполяция экспертных оценок в оптимизации технологических систем [Текст] / Ю. В. Бугаев // Изв. АН. Сер. Теория и системы управления. - 2003. - № 3. - С. 90-96.

17. Бугаев, Ю. В. Экстраполяция экспертных оценок на порядковой и лингвистической шкалах [Текст] / Ю. В. Бугаев, Б. Е. Никитин // Современные методы в теории краевых задач. Понтрягинские чтения. -Воронеж : ВГУ, 2000. - С. 25.

18. Бугаев, Ю. В. Экстраполяция экспертных оценок при групповом выборе [Текст] : свидетельство о гос. регистрации программы для ЭВМ

№ 2011610601 / Ю. В. Бугаев, А. С. Чайковский, Б. Е. Никитин, М. С. Миронова. -№ 2010617089; заявл. 13.11.2010; зарег. 11.01.2011.

19. Волков, В. И. Основы теории и практики экспертной деятельности [Текст] : монография / В. И. Волков. - М. : АМИ, 2003. - 191 с.

20. Вольский, В. И. Голосование в малых группах: процедуры и методы сравнительного анализа [Текст] / В. И. Вольский, 3. М. Лезина. - М. : Наука, 1991.-192 с.

21. Вольский, В. И. Правила выбора лучших вариантов на ориентированных графах и турнирах [Текст] / В. И. Вольский // Автоматика и телемеханика. - 1988. - № 3. - С. 3-17.

22. Вольский, В. И. Сравнительный анализ процедур голосования [Текст] / В. И. Вольский, 3. М. Лезина // Автоматика и телемеханика. - 1992. - № 2. - С. 3-29.

23. Десятов, Д. Б. Метод экстраполяции экспертных оценок качества на основе принципа максимального правдоподобия [Текст] / Д. Б. Десятов, В. В. Сысоев, М. С. Чирко // Надежность и контроль качества. - 1984. - № 12. -С. 12-15.

24. Десятов, Д. Б. Принятие решений на основе экспертных оценок с использованием метода максимального правдоподобия [Текст] / Д. Б. Десятов, В. В. Сысоев, М. С. Чирко // Автоматизация проектирования производственных систем. - Воронеж : ВПИ, 1984. - С. 32-36.

25. Дэвид, Г. Метод парных сравнений [Текст] / Г. Дэвид. ; пер. с англ. Н. Космарской и Д. Шмерлинга ; под. ред. Ю. Адлера. - М. : Статистика, 1978.- 144 с.

26. Евланов, Л. Г. Теория и практика принятия решений [Текст] / Л. Г. Евланов. -М. : Экономика, 1984. - 176 с.

27. Евланов, Л. Г. Экспертные оценки в управлении [Текст] / Л. Г. Евланов, В. А. Кутузов. - М.: Экономика, 1978. - 133 с.

28. Емельянов, С. В. Многокритериальные методы принятия решений [Текст] / С. В. Емельянов, О. И. Ларичев. - М. : Знание, 1985. - 32 с.

29. Кендалл, М. Дж. Теория статистики [Текст] / М. Дж. Кендалл, Дж. Юл ; пер. с англ. - М. : Госстатиздат, 1960. - 779 с.

30. Королюк, В. С. Справочник по теории вероятностей и математической статистике [Текст] / В. С. Королюк, Н. И. Портенко,

A. В. Скороход. - М. : Наука, 1985. - 640 с.

31. Краснощекое, П. С. Последовательное агрегирование в задачах внутреннего проектирования технических систем [Текст] / П. С. Краснощеков, В. В. Морозов, В. В. Федоров // Изв. АН СССР. Техн. кибернет. - 1978. - № 5. - С. 5-13.

32. Ларичев, О. И. Объективные модели и субъективные решения [Текст] / О. И. Ларичев. - М. : Наука, 1987. - 144 с.

33. Ларичев, О. И. Теория и методы принятия решений, а также Хроника событий в Волшебных Странах [Текст] : учеб. / О. И. Ларичев. -М. : Логос, 2000. - 296 с.

34. Левченков, В. С. Два принципа рациональности в теории выбора: Борда против Кондорсе / В. С. Левченков. - М. : Издательский отдел ф-та ВМК МГУ, 2002. - 264 с.

35. Лезина, 3. М. Манипулирование выбором вариантов. Теория агенды [Текст] / 3. М. Лезина // Автоматика и телемеханика. - 1985. - № 4. -С. 5-29.

36. Лезина, 3. М. Процедуры коллективного выбора [Текст] / 3. М. Лезина // Автоматика и телемеханика. - 1987. - № 8. - С. 3-35.

37. Липский, В. Комбинаторика для программистов [Текст] /

B. Липский. - М. : Мир, 1988. - 213 с.

38. Литвак, Б. Г. Управленческие решения [Текст] / Б. Г. Литвак ; редактор А. П. Шутов ; художник Е. А. Ильин. - СПб. : ЭКСМО, 1998. -248 с.

39. Литвак, Б. Г. Экспертная информация. Методы получения и анализа [Текст] / Б. Г. Литвак ; ред. В. М. Ларионов ; художник В. П. Карпов. - М. : Радио и связь, 1982. - 184 с.

40. Литвак, Б. Г. Экспертные технологии в управлении [Текст] : учеб. пособие / Б. Г. Литвак. - М. : Дело, 2004. - 400 с.

41. Методы определения коэффициентов важности критериев [Текст] / А. М. Анохин, В. А. Глотов, В. В. Павельев, А. М. Черкашин // Автоматика и телемеханика. - 1997. - № 8. - С. 3-35.

42. Нейман, Д. Теория игр и экономическое поведение [Текст] / Д. Нейман, О. Моргенштерн ; ред. и перевод Н. Н. Воробьев. - М. : Наука, 1970.-707 с.

43. Никитин, Б. Е. К вопросу о выявлении предпочтений ЛПР на лингвистической шкале [Текст] / Б. Е. Никитин, В. В. Бугаев // Теория конфликта и ее приложения : материалы Всерос. науч.-техн. конф. / Воронеж, гос. технол. акад. - Воронеж, 2000. - С. 23- 24.

44. Никитин Б. Е. Математическое моделирование, численные методы и комплексы программ [Текст] : дис. ... канд. ф.-м. наук. : 05.13.18 / Никитин Борис Егорович. -Воронеж, 2001. - 156 с.

45. Ногин, В. Д. Проблема сужения множества Парето: подходы к решению [Текст] / В. Д. Ногин // Искусственный интеллект и принятие решений.-2008.-№ 1.-С. 98-112.

46. Нуреев, Р. М. Теория общественного выбора [Текст] : курс лекций / Р. М. Нуреев. - М. : Издательский дом ГУ ВШЭ, 2005. - 531 с.

47. Об одном способе экстраполяции групповых экспертных оценок [Текст] / Ю. В. Бугаев, М. С. Миронова, Б. Е. Никитин и др. // Финансы. Экономика. Стратегия. Сер. Инновационная экономика: человеческое измерение. - 2010. - № 2. - С. 22-24.

48. Оценка степени манипулируемости известных схем агрегирования в условиях множественного выбора [Текст] / Ф. Т. Алескеров, Д. С. Карабекян, Р. Санвер, В. И. Якуба // Журнал новой экономической ассоциации. - 2009. - № 1. - С. 37-61.

49. Панкова, Л. А. Организация экспертизы и анализ экспертной информации [Текст] / Л. А. Панкова, А. М. Петровский, М. В. Шнейдерман ; отв. редактор В. Н. Бурков. - М. : Наука, 1984. - 120 с.

50. Петровский, А. Б. Теория принятия решений [Текст] : учеб. для студ. вузов / А. Б. Петровский. - М. : Академия, 2009. - 400 с.

51. Петросян, Л. А. Теория игр [Текст] / Л. А. Петросян, Н. А. Зенкевич, Е. А. Семина. - М. : Высш. шк., Книжный дом Университет, 1998.-304 с.

52. Подиновский, В. В. Анализ решений при множественных оценках коэффициентов важности критериев и вероятностей значений неопределенных факторов в целевой функции [Текст] / В. В. Подиновский // Автоматика и телемеханика. - 2004. - № 11. - С. 141-159.

53. Пустыльник, Е. И. Использование линейной модели для экстраполяции экспертных оценок [Текст] / Е. И. Пустыльник, В. В. Сысоев, М. С. Чирко // Автоматизация проектирования. - М. : МДНТП. - 1981. -С. 46-50.

54. Пустыльник, Е. И. Об одном методе экстраполяции экспертных оценок [Текст] / Е. И. Пустыльник, В. В. Сысоев, М. С. Чирко // Экономика и математические методы. - 1983. - Вып. 4. - С. 716-717.

55. Система поддержки принятия решений на основе экстраполяции экспертных оценок методом максимального правдоподобия [Текст] / Ю. В. Бугаев, М. С. Миронова, Б. Е. Никитин, А. С. Чайковский // Вестн. Брянск, гос. техн. ун-та. - 2010. - № 1. - С. 84-90.

56. Соболь, И. М. Выбор оптимальных параметров в задачах со многими критериями [Текст] / И. М. Соболь, Р. Б. Статников. - М. : Наука, 1981.-110с.

57. Соболь, И. М. Численные методы Монте-Карло [Текст] / И. М. Соболь. - М. : Наука, 1973. - 312 с.

58. Справочник по специальным функциям [Текст] / под ред. М. Абрамовича. - М. : Наука, 1979. - 832 с.

59. Сысоев, В. В. Автоматизированное проектирование линий и комплектов оборудования полупроводникового и микроэлектронного производства. [Текст] / В. В. Сысоев. - М. : Радио и связь, 1982. - 120 с.

60. Сысоев, В. В. Построение модели выбора по результатам группового экспертного оценивания альтернатив на шкале отношений [Текст] / В. В. Сысоев, Ю. В. Бугаев // Искусственный интеллект в технических системах. - М.: ГосИФТП, 2001. - Вып. 22. - С. 55-66.

61. Сысоев, В. В. Системное моделирование многоцелевых объектов [Текст] / В. В. Сысоев // Методы анализа и оптимизации сложных систем : сб. науч. тр. - М. : Ин-т физ.-техн. проблем РАН, 1993. - С. 80 - 88.

62. Сысоев, В. В. Структурные и алгоритмические модели автоматизированного проектирования производства изделий электронной техники [Текст] / В. В. Сысоев. - Воронеж : ВТИ, 1993. - 207 с.

63. Черняева, С. Н. Синтез моделей индивидуального выбора в условиях избыточности экспертной информации [Текст] : дис. ... канд. ф.-м. наук.: 05.13.18 / Черняева Светлана Николаевна - Воронеж, 2010. - 141 с.

64. Экспертиза в современном мире: от знания к деятельности / под общ. ред. Г. И. Иванченко, Д. А. Леонтьева. - М. : Смысл, 2006. - 454 с.

65. Экспертные оценки. Методы и применение [Текст] : обзор / Д. С. Шмерлинг, С. А. Дубровский, Т. Д. Аржанова, А. А. Френкель // Ученые записки по статистике. - 1977. - Т. 29 : Статистические методы анализа экспертных оценок. - С. 290-382.

66. Эрроу, К. Дж. Коллективный выбор и индивидуальные ценности [Текст] : [пер. с англ.] / К. Дж. Эрроу ; науч. ред., авт. предисл., послесл. Ф. Т. Алескеров. - М.: Издательский дом ГУ ВШЭ, 2004. - 204 с.

67. Юдин, Д. Б. Вычислительные методы принятия решений [Текст] / Д. Б. Юдин. - М. : Наука, 1989. - 316 с.

68. Aleskerov, F. Т. Arrovian aggregation models [Text] / F. Т. Aleskerov. - Dordrecht: Kluwer Academic Publishers, 1999. - 242 p.

69. Aleskerov, F. T. Hierarchical voting [Text] / F. T. Aleskerov, A. V. Vladimirov // Inform. Sei. - 1986. - V. 39. - P. 41-86.

70. Arrow, R. J. Rational choice functions and ordering [Text] / R. J. Arrow // Econometrica. - 1959. - V. 26. - P. 121-127.

71. Arrow, K. J. Social Choice and Multicriterion Decision-Making [Text] / K. J. Arrow, H. Raunaud. - Cambridge: MIT Press. - 1986. -138 p.

72. Barbera, S. Manipulation of social decision functions [Text] / S. Barbera // J. econ. theory. - 1977. - V. 15. - P. 266-278.

73. Black, D. The theory of committees and elections [Text] / D. Black. -Cambridge : Cambridge University Press. - 1988. - 242 p.

74. Blair, D. H. Collective rationality and dictatorship : the scope of the Arrow theorem [Text] / D. H. Blair, R. A. Pollack // J. econ. theory. - 1979. -V. 21. -P. 186-194.

75. Blau, J. H. Semiorders and collective choice [Text] / J. H. Blau // J. econ. theory. - 1979. -V. 21. - P. 195-206.

76. David, H. A. The method of paired comparisons [Text] / H. A. David. -London - Griffin, 2d ed, 1969. - 124 p.

77. Ferejohn, J. A. Weak path independence [Text] / J. A. Ferejohn, D. Grether // J. econ. theory. - 1977. - V. 14. - P. 19-31.

78. Fishburn, P. G. Condorset social choice functions [Text] / P. G. Fishburn // SIAM J. Appl. math. - 1997. - V. 33. - P. 68-96.

79. Fishburn, P. G. Paradoxes of voting [Text] / P. G. Fishburn // Amer. political science review. - 1974. - V. 68. - P. 537-546.

80. Gardenfors, P. Manipulation of social choice functions [Text] / P. Gardenfors // J. econ. theory. - 1976. - V. 13. - P. 217-228.

81. Gibbard, A. Manipulation of voting schemes, general result [Text] / A. Gibbard // Econometrica. - 1973. - V. 41. - P. 587-601.

82. Gibbard, A. Social decision, strategic behavior and best outcomes [Text] / A. Gibbard // Decision theory and social ethics. - Dordrecht, Holland :

D. Reidel publishing Co. - 1978. - P. 153-168.

83. Hwang, Ch.-L. Group decision making under multiple criteria : methods and applications [Text] / Ch.-L. Hwang, M.-J. Lin. - Berlin: Springer -Verlag, 1987.-400 p.

84. Kelly, J. S. Almost all social choice rules are highly manipulable, but few aren't [Text] / J. S. Kelly // Social Choice and Welfare. - 1993. - V. 10. -P. 43-67.

85. Kelly, J. S. Arrow impossibility theorems [Text] / J. S. Kelly // N.Y. : Acad. Press. - 1978. - 174 p.

86. Maskin, E. Implementation and strong Nash equilibrium. [Text] /

E. Maskin // Aggregation and relevation of preferences. - Amsterdam : North -Holland, 1979. - P. 433-440.

87. Mosteller, F. The world series competitions [Text] / F. Mosteller // J. Amer. Statist. Assoc. - 1952. - V. 47. - P. 355-380.

88. Moulin, H. Fairness and strategies in voting [Text] / H. Moulin // Virginia Polytechnic Institute and State University, Working Paper. - Jan. 1985. -P. 109-142.

89. Moulin, H. Lecture notes on the theory of voting [Text] / H. Moulin // Econometric Research Program Research Memorandum № 312. - Princeton University, New Gersey. - Febr. 1984. - 118 p.

90. Moulin, H. The strategy of group choice [Text] / H. Moulin. - Paris : Laboratoire D'Econometrie de FEcole Polytechnique. - 1981. - 332 p.

91. Moulin, H. The strategy of social choice [Text] / H. Moulin. -Amsterdam : North-Holland, 1983. - 214 p.

92. Noether, G. E. Remarks about a paired comparison model [Text] / G. E. Noether // Psychometrika. - 1960. - V. 25. - P. 357-367.

93. Nurmi, H. Voting Procedures [Text] / H. Nurmi // British Journal of Political Science. - 1983 - V. 13, № 2. - P. 159-186.

94. Pattanaik, P. Strategy and group choice [Text] / P. Pattanaik // Amsterdam : North-Holland. - 1978. - 224 p.

95. Peleg, B. Game theoretic analysis of voting in committees [Text] /

B. Peleg // Cambridge : Cambridge University Press. - 1984. - 144 p.

96. Plott, C. B. Path independence, rationality and social choice [Text] /

C. B. Plott // Econometrica. - 1973. - V. 41, № 6. - P. 1075-1091.

97. Richelson, J. T. Conditions on social choice functions [Text] / J. T. Richelson // Publ. choice. - 1977. - V. 31. - P. 79-110.

98. Richelson, J. T. Majority rule and collective choice [Text] / J. T. Richelson // Washington : American University. -1981.-191 p.

99. Riker, W. H. Liberalism Against Populism [Text] / W. H. Riker // San Francisco : Freeman and Company. - 1983. - 311 p.

100. Satterthwaite, M. A. Strategy-proofness and Arrow's conditions: existence and correspondence theorems for voting procedures and social welfare functions [Text] / M. A. Satterthwaite // J. econ. theory. - 1975. - V. 10. -P. 187-217.

101. Schwartz, T. No Minimally Reasonable Collective Choice Process Can Be Strategy-Proof [Text] / T. Schwartz // Math. Social Sci. - 1982. - V. 3, № 1. -P. 52-72.

102. Schwartz, T. The Logic of Collective Choice [Text] / T. Schwartz // New York : Columbia University Press. - 1986. - 141 p.

103. Sen, A. K. Choice functions and revealed preference [Text] / A. K. Sen //Rev. econ. studies. - 1971. -V. 38, 3 (115). -P. 307-317.

104. Sen, A. K. Social choice theory: A re-examination [Text] / A. K. Sen // Econometrica. - 1977. - V. 45, № 1. - P. 121-127.

105. Sertel, M. R. On the routewise application of choice [Text] / M. R. Sertel, A. Van der Bellen // J. econ. theory. - June 1980. - V. 20, № 3. -P. 423-37.

106. Smith, D. A. Manipulability measures of common social choice functions [Text] / D. A. Smith // Social Choice and Welfare. - 1999. - V. 16, № 4. -P. 639-661.

107. Thurstone, L. L. A law of comparative judgment [Text] / L. L. Thurstone // Psychol. Rev. - 1927. - V. 34. - P. 273-286.

108. Thurstone, L. L. The measurement of values [Text] / L. L. Thurstone. -Chicago : Univ. Press, 1959. - 322 p.

109. Young, H. P. An axiomatization of Borda's rule [Text] / H. P. Young // J. econ. theory. - 1974. - V. 9. - P. 43-52.

110. Yu, P. L. Multiple criteria decision making: concepts, techniques and extensions / P. L. Yu . - New York : Plenum Press, 1985. - 388 p.