Методы и алгоритмы обработки данных в порядковых шкалах для систем поддержки принятия решений тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Даничев, Алексей Александрович

• Даничев, Алексей Александрович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Даничев, Алексей Александрович

Введение.

1 Проблематика обработки данных в порядковых шкалах для систем поддержки принятия решений.

1.1 Общее состояние.

1.2 Основные понятия.

1.2.1 Основные понятия о структурировании множества объектов.

1.2.2 Отношения и представления отношений. 1.2.3 Меры близости на отношениях.

1.2.4 Коллективные решения, результирующее ранжирование.

1.2.5 Аксиомы Эрроу.

1.3 Научная проблема.

1.4 Постановка задач исследований.

2 Методы и алгоритмы поиска результирующих ранжирований.

2.1 Исходные данные

2.1.1 Суммарные матрицы отношений.

2.1.2 Матрица весов.

2.2 Методы, использующие меру близости на отношениях.

2.2.1 Медиана Кемени.

2.2.2 Тривиальные методы нахождения Медианы Кемени.

2.2.3 Эвристический алгоритм.

2.2.4 Полный перебор строгих ранжирований.

2.2.5 К-медиана.

2.2.6 Мультипликативная свертка.

2.3 Метод минимального несогласия.

2.3.1 Метод минимального несогласия для векторов предпочтений.

2.3.2 Меры близости на отношениях порядка.

2.3.3 Метод минимального несогласия.

2.3.4 Вычисление элемента матрицы потерь.

2.3.5 Случай нестрогих ранжирований.

2.4 Свертки рангов.i.

2.4.1 Линейная свертка рангов.

2.4.2 Оценка достоверности ответа.

2.4.3 Мультипликативная свертка рангов.

2.5 Методы, использующие матрицу весов. г. 2.5.1 Модифицированный метод большинства.

2.5.2 Правило большинства.

2.5.2.1 Алгоритм 1. л ' 2.5.2.2 Алгоритм 2.

2.5.2.3 Алгоритм 3.

2.5.3 Метод Коплен да.

2.5.4 Правило Блэка.

2.5.5 Квантильный метод.

2.6 Преобразование рангов.

2.7 Спортивный турнир.

2.8 Собственные вектора.

2.9 Метод ELECTRE .'.

2.10 Получение ранжирования из матрицы отношений.

2.11 Выводы.

3 Методы и алгоритмы поиска результирующих ранжирований для данных с пропусками.

3.1 Общее состояние.

3.2 Модель Цермело-Бредли-Тири.

3.3 Модель Леонардо.

3.4 Модель Девидсона.

3.5 Обобщение метода строчных сумм.

3.6 Линейная модель.

3.7 Коррекция итоговых весов объектов.

3.8 Пополнение матриц.

3.9 Пропорциональный метод.

3.10 Метод зависимостей.

3.11 Выводы.

4 Методы и алгоритмы предварительной обработки данных и анализа решений.

4.1 Предварительная обработка данных.

4.1.1 Согласованность данных.

4.1.2 Разреженность матриц отношений.

4.1.3 Определение значимости ответов.

4.1.4 Статистический анализ рангов.

4.1.5 Выделение из множества ранжирований групп с высокой согласованностью.

4.2 Анализ решений.,.

4.2.1 Построение частотных гистограмм расстояний до образца.

4.2.2 Чувствительность решения.

4.3 Множество Парето.

4.3.1 Множество Парето для ранжирований.

4.3.2 Алгоритм формирования матрицы множества Парето.

4.4 Диалого-машинная процедура поиска итогового ранжирования.

4.4.1 Выделение наилучших и наихудших объектов.

4.4.2 Выбор методов получения результирующего ранжирования.

4.5 Оценки данных анкетирования.

4.5.1 Классы эквивалентностей.

4.5.2 Алгоритм вычисления максимально возможного расстояния до фиксированной группировки.

4.6 Задача о назначениях в порядковых шкалах.

4.7 Выводы.

5 Программная реализация и примеры практического применения.

5.1 Программная система "Обработка информации в порядковых шкалах".

5.1.1 Общее описание.

5.1.2 Особенности применения.

5.1.3 Настройка системы на предметную область задачи.

5.1.4 Ввод и редактирование исходных данных.

5.1.5 Расчет оптимальных ранжирований и их характеристик.

5.1.6 Тестирование.

5.1.7 Задача о назначениях.

5.2 Практическое применение.

5.2.1 Анализ эффективности коэффициентов согласованности и методов поиска результирующего ранжирования.

5.2.2 Рейтинг крупнейших банков России.

5.2.3 Задача о назначениях.

5.2.4 Тестирование студентов.

5.3 Выводы.

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы обработки данных в порядковых шкалах для систем поддержки принятия решений»

Актуальность. Управление организациями в условиях функционирования систем менеджмента качества (СМК) возможно только на базе систем поддержки принятия решений (СППР) как инструмента использования информационных технологий. В сложных организационно-технических системах информация представлена как в количественных, так и в порядковых шкалах. Порядковая шкала позволяет устанавливать соотношения равенства, неравенства и последовательности между уровнями при отсутствии точки отсчета и расстояния между ними. Такие шкалы — естественный инструмент получения экспертных данных. Ранжирование объектов на основе экспертной информации играет важную роль для принятия решений в вопросах экономики, управления, политики, здравоохранения, спорта, образования и в других областях [1-6]. Так же упорядочивание объектов по предпочтению используется в ряде методов многокритериальной оптимизации [7I

11]. В СППР может быть много компонентов накопления и обработки разнородной информации (формирование баз данных, оптимизация, статистическая обработка количественной информации и др.). В результате с помощью СППР формируется набор допустимых решений. Предложенные решения необходимо представить в виде упорядоченной последовательности (ранжирования) для выбора окончательных вариантов. Поэтому важнейшими компонентами СППР являются подсистемы обработки информации в порядковых шкалах. Такая обработка данных необходима как на нижних уровнях СППР (обработка первичной информации), так и на верхних — для принятия окончательных решений. Таким образом, математическое и алгоритмическое обеспечение СППР обязательно включает методы и алгоритмы обработки информации в порядковых шкалах. Сравнение в порядковых шкапах выполняется с помощью бинарных (или /¡-арных) отношений, обладающих некоторыми специальными свойствами (отношения порядка). В данной работе рассматриваются ранжирования (отношения линейного и частичного порядка) и классы эквивалентностей.

Для обработки качественной информации используются функции предпочтений пользователя, математическое программирование в порядковых шкалах, специальные методы для особых типов данных. В настоящее время методы и алгоритмы обработки информации в порядковых шкалах недостаточно проработаны для включения их в математическое обеспечение СППР, что затрудняет создание соответствующих программных компонент. Проблемам обработки информации в порядковых шкалах и методам получения результирующего ранжирования посвящены работы зарубежных ученых (Р. Л. Кини, X. Райфа, Р. Р. Девидсона, Д. Блэка), а также работы В. В. Подиновского, Б. Г. Литвака, Д. Б. Юдина и др. [12-41]. Общие вопросы обработки экспертной информации и поддержки принятия решений освещены в работах [42-53], [54-65] и [66-72]. Одна из основных задач обработки данных в порядковых шкалах — получение результирующего ранжирования (задача группового выбора), для решения которой известно более десятка методов [1, 2, 9, 18, 20, 72]. При высокой согласованности данных все методы, как правило, приводят к одинаковым результатам. На практике, когда согласованность данных невысока, применение известных методов дает противоречивые результаты, что затрудняет использование их в СППР. Необходима более глубокая теоретическая переработка существующей совокупности методов, рассмотрение их с единых позиций, представление в виде комплекса методов с возможностью их сравнения по выработанным критериям.

Это обусловливает актуальность задачи совершенствования математического и алгоритмического обеспечения СППР для обработки данных в порядковых шкалах, позволяющего выполнять ранжирование как исходных данных, так и порождаемых внутри СППР при работе других подсистем (например, в ходе имитационного моделирования с последующей экспертной оценкой).

Объектом исследований в диссертации является система поддержки принятия реI шений для задач, в которых часть данных представлена в порядковых шкалах.

Предметом исследований являются методы, модели и алгоритмы обработки данных в порядковых шкалах.

Научная задача заключается в том, чтобы для ряда практических задач принятия решений выявить характерные для них особенности исходных данных в порядковых шкалах (в виде ранжирований или матриц отношений) и разработать комплекс адекватных им методов и алгоритмов для получения результирующих ранжирований.

Цель работы — разработка и унификация математического и алгоритмического обеспечения подсистемы получения результирующего ранжирования в системах поддержки принятия решений для задач обработки информации в порядковых шкалах.

Для достижения поставленной цели в диссертации поставлены и решены следующие задачи:

1) классификация исходных данных для выбора алгоритмов их предварительной обработки и методов получения результирующих ранжирований;

2) выявление свойств существующих методов получения результирующего ранжирования применительно к типу исходных данных и свойств полученных решений;

3) разработка новых и модификация существующих методов и алгоритмов получения результирующих ранжирований с целью расширения класса решаемых задач;

4) разработка диалоговых процедур для управления процессом обработки данных в порядковых шкалах;

5) разработка и исследование комплекса алгоритмов и реализующего его программного обеспечения для подсистемы получения результирующего ранжирования в системах поддержки принятия решений.

Методы исследований: При выполнении работы использовались элементы теории многокритериальной оптимизации (решающие правила, множество Парето), дискретного программирования, комбинаторики (элементы теории графов, бинарные отношения), теории вероятностей. Эффективность методов и алгоритмов исследована с помощью численных экспериментов.

Основная идея диссертации заключается в том, чтобы распространить подходы, применяемые для анализа информации в количественных шкалах, на порядковые шкалы с учетом их специфики с разработкой новых или соответствующей модификацией существующих методов и алгоритмов.

Основные результаты:

1. На основе анализа существующих методов получения результирующего ранжирования выполнена унификация их математического описания, обоснованы рекомендации по их применению и выполнена их модификация в части реализующих их алгоритмов, а также вновь разработаны и алгоритмизированы методы для специальных типов данных (модифицированный метод большинства, метод минимального несогласия, модификация метода ELECTRE, k-медйана и мультипликативная свертка критериев качества, метод преобразования рангов, а также для неполный парных сравнений— линейная модель, пропорциональный метод, методы зависимостей и пополнения матриц). Предложены и обоснованы оценки чувствительности и достоверности решений.

2. Разработан оригинальный алгоритм предварительной обработки данных, учитывающий их пропуски и согласованность, модифицирован алгоритм очистки слабо согласованных данных и алгоритм определения компетентности эксперта на основе статистики его ответов.

3. Разработан алгоритм управления получением результирующего ранжирования со стороны ЛПР фиксированием ранга объекта или отношения между парами объектов с представлением множества Парето в виде одной матрицы и визуализацией решений (через расстояния между решениями и частотные гистограммы).

4. Предложена и реализована процедура оценивания в порядковых шкалах результатов тестирования в форме ранжирований объектов или разделения объектов на классы эк-вивалентностей.

5. Выполнена постановка задачи оптимального распределения ресурсов (задачи о назначениях) с исходными данными в виде ранжирований. Предложен и реализован подход сведения этой задачи к классической постановке в количественных шкалах с помощью I меры близости на отношениях.

6. Разработан комплекс алгоритмов для обработки данных в порядковых шкалах (в том числе построение матрицы множества Парето, вычисление максимального расстояния между классами эквивалентностей, вычисление матрицы потерь для метода минимального несогласия) с исключением вечного цикла в Венгерском алгоритме и настройкой алгоритма перестановок на тип решаемой задачи.

7. Создана диалоговая программная система, реализующая разработанный комплекс алгоритмов первичной обработки данных и получения результирующих ранжирований, протестированная на автоматически сгенерированных начальных данных с заданными (для тестирования) характеристиками.

Научная новизна пЬлученных результатов.

1. Разработаны новые, а также модифицированы существующие методы и алгоритмы поиска результирующего ранжирования, на основе исследования их свойств сформулированы рекомендации для их выбора в соответствии с типом исходных данных.

2. Разработан оригинальный алгоритм предварительной обработки данных, учитывающий их пропуски и согласованность, модифицирован алгоритм очистки слабо согласованных данных и алгоритм определения компетентности эксперта на основе статистики его ответов.

3. С помощью меры близости на отношениях задача оптимального распределения ресурсов (задача о назначениях) с исходными данными в виде ранжирований сведена к классической постановке в количественных шкалах.

4. Разработан комплекс алгоритмов для обработки данных в порядковых шкалах, обеспечивающих построение матрицы множества Парето, вычисление максимального расстояния между классами эквивалентностей, вычисление матрицы потерь для метода минимального несогласия, исключён вечный цикл в Венгерском алгоритме, обеспечена возможность настройки алгоритма перестановок на тип решаемой задачи.

Значение для теории заключается в систематизации основных методов и алгоритмов решения задач в порядковых шкалах с их сравнением, уточнением области применения, разработкой новых методов и алгоритмов.

Значение для практики заключается в расширении области применения и повышении эффективности вычисления результирующих ранжирований за счёт возможности использования их при слабо'-согласованных данных и в случае неполных парных сравнений. Реализованная диалого-машинная процедура обеспечивает проведение вычислительных экспериментов для анализа эффективности различных методов и выработки рекомендаций к их применению.

Результаты диссертации использованы в системе менеджмента качества подготовки специалистов Красноярского государственного технического университета (КГТУ) и в региональной системе управления качеством медицинской помощи на территории Красноярского края, что подтверждено соответствующими актами.

Личный вклад автора состоит в постановке задачи исследования, разработке комплекса методов и алгоритмов обработки информации в порядковых шкалах и его программной реализации.

Результаты диссертации были апробированы на Всероссийской научно-методической конференции в 2004 году [73] (Даничев, А. А. Обработка экспертной информации в порядковых шкалах / М. А. Воловик, А. А. Даничев // Материалы Всероссийской научно-методической конференции 24-26 марта 2004. — Совершенствование системы управления качеством подготовки специалистов. — Красноярск: ИПЦ КГТУ), а так же на семинарах кафедр САУП и САПР КГТУ.

Публикации по материалам диссертации включают 5 работ, из них: 4 — статьи в сборниках научных работ [74-77]; 1 — программа для электронных вычислительных машин, зарегистрированная в "Национальном информационном фонде неопубликованных документов" [78].

Общая характеристика диссертации. Диссертация состоит из 5 разделов, содержит основной текст на 130 с., 29 иллюстраций, 23 таблицы, список использованных источников из 103 наименований. I 9

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Даничев, Алексей Александрович

5.3 Выводы

По результатам исследований разработана программная система "Обработка информации в порядковых шкалах". Система позволяет находить итоговое упорядочивание для заданного множества ранжирований или матриц парных сравнений, выполнять оценивания в порядковых шкалах результатов тестирования в форме ранжирований (или разделеI ния объектов на классы эквивалентностей), решать задачу оптимального распределения ресурсов (задачу о назначениях). Реализованная диалого-машинная процедура обеспечивает проведение вычислительных экспериментов для анализа эффективности различных методов и выработки рекомендаций к их применению.

Рассмотренные примеры иллюстрируют работоспособность и многофункциональность системы. I

Заключение

Обобщённым результатом диссертационной работы можно считать комплексную проработку математического и реализующего его алгоритмического обеспечения для анализа данных в порядковых шкалах. Выполнено унифицированное представление всех рассмотренных методов, модификация существующих и разработка новых методов и алгоритмов, обоснование применения того или иного метода для получения корректного решения при низкой согласованности данных, разработаны оценки чувствительности и достоверности решений. При этом рассматривалась обработка как первичной, так и вторичной информации (результирующее ранжирование).

Полученные результаты обеспечивают более полное удовлетворение потребностей в обработке данных в порядковых шкалах и предоставляют возможность построения функционально законченных СППР.

Одной из идей диссертации является распространение, где это возможно, подходов к анализу данных в количественных шкалах на работу с порядковыми шкалами.

Были проанализированы и выделены основные типы исходных данных с возможностью их автоматизированного распознавания и для них предложены предпочтительные варианты математических методов и алгоритмов. Обеспечена возможность коррекции слабо согласованных исходных данных в порядковых шкалах (с пропусками, сильно отличающимися значениями), определения компетентности эксперта на основе статистики его ответов.

Разработаны новые методы и алгоритмы: "модифицированный метод большинства", метод минимального несогласия, "модификация метода ELECTRE", k-медиана и мультипликативная свертка критериев качества, метод преобразования рангов, а также для неполный парных сравнений — линейная модель, пропорциональный метод, методы зависимостей и пополнения матриц.

Модифицированы алгоритмы для квантильного метода, вычисления медианы Кеме-ни, правила k-болыпинства, Борда.

Алгоритмизированы известные методы Цермело-Бредли-Тири, Леонардо, Девидсо-на, Чеботарева, Копленда, Блэка, турнирные показатели, рассмотрены особенности применения среднегеометрического строчных элементов и соотношения левого и правого собственных векторов с целью программной реализации в рамках созданной подсистемы "Обработка информации в порядковых шкалах". Для ряда из них предложены способы выбора незаданных коэффициентов.

Унификация представления математических методов позволила единообразно строить реализующие их алгоритмы при создании программного обеспечения, в том числе, использовать унифицированные процедуры внутри различных алгоритмов, в частности, алгоритм перестановок с настройкой на тип решаемой задачи.

Решен ряд частных задач, связанных с повышением эффективности применения существующих и предложенных методов и алгоритмов: построение матрицы множества Па-рето, вычисление максимального расстояния между классами эквивалентностей, вычисление матрицы потерь для метода минимального несогласия, исключение вечного цикла в Венгерском алгоритме.

Создана программа в виде диалого-машинной процедуры, реализующая разработанный комплекс алгоритмов обработки данных, позволяющая выполнять предварительную обработку исходных данных (с автоматизацией их классификации), выбирать предпочтительные алгоритмы обработки данных и учитывать мнение ЛПР в случаях, когда различные методы дают противоречивые результаты.

С помощью генерации начальных данных выполнено тестирование методов первичной обработки данных и методов получения результирующих ранжирований. Созданная подсистема "Обработка информации в порядковых шкалах" позволяет находить результирующее ранжирование объектов при решении прикладных задач из различных предметных областей, решать вспомогательные задачи обработки и анализа таких данных и является инструментом для дальнейших исследований.

Разработанные методы и алгоритмы успешно опробованы при выполнении научно» исследовательских работ в региональной системе управления качеством медицинской помощи на территории Красноярского края и в системе менеджмента качества подготовки специалистов КГТУ.

Список литературы диссертационного исследования кандидат технических наук Даничев, Алексей Александрович, 2005 год

1. Жилин, Б. Б. Экспертные оценки в социологических исследованиях / Б. Б. Жилин, С. Б. Крымский, В. И. Паниотто и др.; (отв. ред. С. Б. Крымский). — Киев: Наукова думка, 1990. —320 с.

2. Литвак, Б. Г. Экспертная информация: методы получения и анализа/ Б. Г. Лит-вак. — М.: Радио и связь, 1982. — 255 с.

3. Миркин, Б. Г. Проблема группового выбора / Б. Г. Миркин. — М.: Наука, 1974. —256 с.

4. Клигер, С. А. Шкалирование при сборе и анализе социологической информации / С. А. Клигер, М. С. Косолапов, Ю. Н. Толстова. — М.: Наука, 1978.

5. Леванков, В. А. Математические методы моделирования процессов управления в социальной сфере / В. А. Леванков, Ю. Д. Максимов, М. Ф. Романов, А. В. Ястребов. — СПб.: Нестор, 1999. — 174 с.

6. Колядюк, Р. Интервью представителей целевой аудитории с использованием априорного ранжирования факторов / Р. Колядюк. — Киев: Энран Акрос, 1998.

7. Подиновский, В. В. Оптимизация по последовательно применяемым критериям /

8. B. В. Подиновский, В. М. Гаврилов. — М.: Сов. радио, 1975.

9. Гафт, М. Г. О построении решающих правил в задачах принятия решений. / М. Г. Гафт, В. В. Подиновский // Автоматика и телемеханика. — 1981. — №6.

10. Анохин, А. М. Методы определения коэффициентов важности критериев / А. М. Анохин, В. А. Глотов, В. В. Павельев, А. М. Черкашин // Автоматика и телемеханика. — 1997, —№8, —С. 3—35.

11. Машунин, Ю. К. Методы и модели векторной оптимизации / Ю. К. Машунин. — М.: Наука, 1986. — 142 с.

12. Семенкин, Е. С. Оптимизация технических систем: Учеб. пособие / Е. С. Семен-кин, О. Э. Семенкина, С. П. Коробейников. — Красноярск: СИБУП, 1996. — 284 с.

13. Кини, Р. Л. Принятие решений при многих критериях: предпочтения и замещения / Р. Л. Кини, X. Райфц. — М.: Радио и связь, 1981. — 560 с.

14. Тюрин, 10. Н. Статистические модели ранжирования / Ю. Н. Тюрин, А. П. Васильевич, П. Ф. Андрукович // Статистические методы анализа экспертных оценок. Уч. зап. по статистике. — Т. 29. — М.: Наука, 1977.

15. Шрейдер, Ю. А. Равенство, сходство, порядок/ Ю. А. Шрейдер.— М.: Наука,1971.

16. Юдин, Д. Б. Отношение Канторовича и задачи обобщенного матеметического программирования/ Д. Б. Юдин, Э. В. Цой// Экономика и мат. методы.— 1989.— Т. XXVI. — Вып. 5. — С. 885—889.

17. Юдин, Д. Б. Отношение Канторовича и задачи обобщенного матеметического программирования / Д. Б. Юдин, Э. В. Цой // Техническая кибернетика. — 1987. — №1. —1. C. 25—37.

18. Юдин, Д. Б. Вычислительные методы теории принятия решений / Д. Б. Юдин. — М.: Радио и связь, 1989. — 304 с.I

19. Руа, Б. Классификация и выбор при наличии нескольких критериев (метод е1екЦ-а)/ Б. Руа// Вопросы анализа и процедуры принятия решений/ Под редакцией И. Ф. Шахнова. — М.: Мир, 1976. — С. 20—58.

20. Тюрин, Ю. H. К проблеме обработки рядов ранжировок / Ю. Н. Тюрин, А. П. Васильевич // Статистические методы анализа экспертных оценок. Уч. зап. по статистике. — Т. 29. —М.: Наука, 1977.

21. Чеботарев, П. Ю. Обобщение метода строчной сумм для неполных парных сравнений / Чеботарев П. Ю. // Автоматика и телемеханика. — 1989. — №8. — С. 125—137.

22. Шмерлинг, Д. С. Экспертные оценки. Методы и применение / Д. С. Шмерлинг, С. А. Дубровский, Т. Д. А'ржанова, А. А. Френкель // Статистические методы анализа экспертных оценок. Уч. зап. по статистике. — Т. 29. — М.: Наука, 1977. — С. 290—382.

23. Дубровский, С. А. Об одном подходе к задаче скаляризации векторных кривых / С. А. Дубровский // Статистические методы анализа экспертных оценок. Уч. зап. по статистике. — Т. 29. — М.: Наука, 1977.

24. Подиновский, В. В. Задача оценивания коэффициентов важности как симметрически-лексикографическая задача оптимизации / Подиновский В. В. // Автоматика и телемеханика. — 2003. — №3. — С. 150—162.

25. Березовский, Б. А. Бинарные отношения в многокритериальной оптимизации / Б. А. Березовский, В. И. Борзенко, JI. М. Кемпнер. — М.: Наука, 1981.

26. Ушаков, И. А. Задача о выборе предпочтительного объекта / И. А. Ушаков // Техническая кибернетика. — 1971. — №4. — С. 3—7.

27. Гольдштейн, Г. Я Инновационный менеджмент / Г. Я. Гольдштейн. — Таганрог: Изд-воТРТУ, 1998. ,

28. Подиновский, В. В. Количественная важность критериев / Подиновский, В. В. // Автоматика и телемеханика. — 2000. — №5.

29. Ларичев, О. И. Наука и искусство принятия решений / О. И. Ларичев. — М.: Наука, 1979.

30. Ларичев, О. И. Объективные модели и субъективные решения / О. И. Ларичев. — М.: Наука. 1987.

31. Микрин, Б. Г. Группировки в социально экономических исследованиях методы построения анализа / Б. Г. Микрин. — М.: Финансы и статистика, 1985. — 223 с.

32. Панкова, Л. А. Организация Экспертизы и анализ экспертной информации / Л. А. Панкова, А. М. Петровский, М. В. Шнейдерман. — М.: Наука, 1984.

33. Ларичев, О. И Теория и методы принятия решений, а также Хроника событий в Волшебных Странах: Учебник. Изд. Второе, перераб. И доп / О. И. Ларичев. — М.: Логос, 2003. ,

34. Ларичев, О. И. Многокритериальные методы принятия решений / C.B. Емельянов, О. И. Ларичев. — М.: Знание, 1985.

35. Литвак, Б. Г. Экспертные оценки и принятие решений / Б. Г. Литвак. — М.: Патент, 1996. —271 с.

36. Литвак, Б. Г. Разработка управленческого решения: уч. для вузов/ Б. Г. Литвак. — М.: Дело, 2004. — 392 с.

37. Емельянов, С. В. Подход к формализированному синтезу структур систем бинарного вида / С. В. Емельянов. — М.: МНИПУ, 1987.

38. Вертинская, Н. Д. Математическое моделирование многофакторных и многопараметрических процессов / Н. Д. Вертинская. — Иркутск: Изд-во ИрГТУ, 2001. —286 с.

39. Жуковский, В. И. Многокритериальное принятие решений в условиях неопределенности. / В. И. Жуковский, В. С. Молоствов. — М.: МНИИПУ, 1988.

40. Батыщев, Д. И. Многокритериальный выбор с учетом индивидуальных предпочтений / Д. И. Батыщев, Д. Е. Шапошников. — РАН, Ин-т прикл. физики, 1994.

41. Айзерман, М. А. Проблемы логического обоснования в общей теории выбора вариантов / М. А. Айзерман, А. В. Малишевский. —М.: Ин-т пробл. упр., 1982.

42. Алескеров, Ф. Т. Интервальный выбор и его разложение / Алескеров Ф. Т. // Автоматика и телемеханика. — 1980. — №6. — С. 129—134.

43. Борисов, В. И. Проблемы векторной оптимизации / В. И. Борисов // сб. исследование операций / Отв. ред. А. А. Ляпунов. — М.: Наука, 1972.

44. Венцель, Е. С. Исследование операций: задачи, принципы, методология/ Е. С. Венцель. — М.: Наука, 1980.

45. Гафт, М. Г. Принятие решений при многих критериях / М. Г. Гафт.— М.: Знание, 1979.

46. Глотов, В. А. Координатно-модульные отношения / Глотов В. А. // Автоматика и телемеханика, 1984.—№2.

47. Моисеев, Н. Н. К/1етоды оптимизации / Н. Н. Моисеев, Ю. П. Иванилов, Е. М. Столярова. — М.: Наука, 1978.

48. Хоменюк, В. В. Элементы теории многоцелевой оптимизации / В. В. Хоме-нюк. — М.: Наука, 1983.

49. Елтаренко, Е. А. Решение многокритериальных задач при совершенствовании информационных систем / Е. А. Елтаренко. — Ин-т информэлектро. — 1982. — 48 с.

50. Макаров, И., М. Теория выбора и принятия решений / Т. М. Виноградская, И. М. Макаров, В. Б. Соколов. — М.: Наука, 1982. — 328 с.

51. Мамиконов, А., Г. Принятие решений и информация / А. Г. Мамиконов. — Москва, 1983.

52. Шипунов,В. Г. Основы управленческой деятельности/ В. Г. Шипунов, Е. Н. Кишкель. — М.: Высшая школа, 2000.

53. Льюс, Р. Игры и решения / Р. Льюс, X. Райфа. — М.: Иностр. лит-ра, 1961.

54. Белкин, А. Р. Принятие решений: комбинаторные модели аппроксимации информации / А. Р. Белкин, М. Ш. Левин. — М.: Наука, 1990.

55. Зайченко, Ю. П. Исследование операций: нечеткая оптимизация / Ю. П. Зайчен-ко. — Учебное пособие. — Киев: Высш. шк., 1991.

56. Коршунов, Ю. М. Математические основы кибернетики / Ю. М. Коршунов. — Учебное пособие. — М.: Энергия, 1987.

57. Кудрявцев, Е. М. Исследование операций в задачах, алгоритмах и программах/ Е. М. Кудрявцев. — М.: Радио и связь, 1984.

58. Макаров, Ч. M. Теория выбора и принятия решений / Ч. М. Макаров и др. — Учебное пособие. — М.: Наука, 1982.

59. Мелихов, А. Н. Ситуационные советующие системы с нечеткой логикой. / Л. С. Берштейн, С. Я. Коровин, А. Н. Мелихов. — М.: Наука, 1990.

60. Мушик, Э. Методы принятия технических решений / Э. Мушик, П. Мюллер. — Пер. с нем. — М.: Мир, 1990.

61. Орловский, С. А. Проблемы принятия решений при нечетких исходных данных / С. А. Орловский. — М.: Наука, 1981. — 206 с.

62. Розен, В. В. Цель, оптимальность, решение. Математические модели принятия оптимальных решений. / В. В. Розен. — М.: Радио и связь, 1982.

63. Taxa, X. Введение в исследование операций (2 тома) / X. Taxa. — M.: Мир, 1985.

64. Нэш, Жд. Бескоалиционные игры / Жд. Нэш // Сб. переводов / Под ред. H. Н. Воробьева. — Матричные игры. — М.: Физматгиз, 1961. — С. 205—221.

65. Губанов, В. А. Введение в системный анализ / В. А. Губанов, В. В. Захаров, А. Н. Коваленко. — Л.: ЛГУ, 1988.

66. Кендэл, М. Ранговые корреляции / М. Кендэл; пер. с англ. Е. М. Четыркина и Р. М. Энтова. — М.: Статистика, 1975.

67. Левина, Н. Б. Об условиях применения средних взвешенных показателей при оптимизации систем / Н. Б. Левина, И. Б. Погожев // Исследование систем: сб. ст. / Гл. ред. Е. В. Золотов. — Вып. 1. — Хабаровск: Дальневосточный ВЦ АН СССР, 1973.

68. Орлов, А. И. Сертификация и статистические методы / А. И. Орлов // Заводская лаборатория. —Т. 63.— 1997. —№3. —С. 55—62.

69. Орлов, А. И. Современная прикладная статистика / А. И. Орлов // Заводская лаборатория. — Т. 64. — 1998. — №3. — С. 52—60.

70. Подиновский, В. В. Парето-оптимальные решения многокритериальных задач/ В. В. Подиновский, В. Д. Ногин. — М.: Наука, 1982.

71. Катулев, А. Н. Математические методы в системах поддержки принятия решений: Учеб. пособие / А. Н.' Катулев, Н. А. Северцев. — М.: Высш. Шк., 1980. — 311 с.

72. Даничев, А. А. Метод минимального несогласия /А. А. Даничев // Информатика и системы управления: межвуз. сб. науч. тр. / Отв. редактор С. А. Бронов.— Вып. 10.— Красноярск: ГУ НИИ информатики и процессов управления, 2004. — С. 225—232.

73. Даничев, А. А. Система поддержки принятия решений "Обработка информации в порядковых шкалах" ESS/3RD : Свидетельство об отраслевой регистрации разработки №5652 / М. А. Воловик, А. А. Даничев // Отраслевой фонд алгоритмов и программ, 2005.— 17 с. '

74. Трахтенгерц, Э. А. Компьютерная поддержка принятия решений: Научно- практичное издание. Серия "Информатизация России на пороге XXI века" / Э. А. Трахтенгерц. — М.: СИНТЕГ, 1998.

75. Гаврилова, Т. А. Базы знаний интеллектуальных систем / Т. А. Гаврилова, В. Ф. Хорошевский. — СПб.: Питер, 2000. — 384 с.

76. Глухов, В. В. Теория автоматического управления: основы теории и элементы. Ч. 1 / В. В. Глухов. — Москва, 1991. — 68 с.

77. Евланов, JI. Г. Основы теории принятия решений / JI. Г. Евланов. — Академия народного хозяйства при СМ СССР. — М.: Экономика, 1981. — 212 с.

78. Михалевич, В. С. Вычислительные методы исследования и проектирования сложных систем. / В. С. Михалевич, В. Я. Волкович. — М.: Наука, 1982.

79. Перегудов, Ф. И. Основы системного анализа / Ф. И. Перегудов, Ф. П. Тарасен-ко. — Томск, 1997. — 396 с.

80. Попов, Э. В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ / Э. В. Попов. — М.: Наука, 1987.

81. Поспелов, Г. С. Искусственный интеллект / Г. С. Поспелов. — М.: Наука, 1988.

82. Хованов, Н. В. Матем. основы теории шкал измерения качества / Н. В. Хова-нов. — Л.: ЛГУ. — 1982. — 185 с.

83. Саати, Т. Аналитическое планирование. Организация систем / Т. Саати, К. Кер-сис. — М.: Радио и Связь, 1991.

84. Саати, Т. Принятие решений. Метод анализа иерархий. / Т. Саати. — М.: Радио и Связь, 1993.

85. Андрейчиков, А. В. Анализ, синтез, планирование решений в экономике / А. В. Андрейчиков, О. Н. Андрейчикова. — М.: Финансы и статистика, 2002. — 368 с.

86. Бомас, В. В. Применение системы поддержки решений DSS/UTES в задачах мониторинга иерархических структур / В. В. Бомас, В. В. Сурков, Г. Ф. Хахулин, В. А. Судаков // Приборы и системы. Управление, контроль, диагностика. — 2001. — №12. — 9 с.

87. Липский, В. Комбинаторика для программистов / В. Липский. — М.: Мир, 1988. —213 с.

88. Корбут, А. А. Дискретное программирование / А. А. Корбут, Ю. Ю. Финкель-штейн. — М.: Наука, 1969. — 368 с.

89. Кристофидес, Н. Теория графов. Алгоритмический подход / Н. Кристофидес. — М.: Мир, 1978. —432 с.

90. Бронштейн, И. Н. Справочник по математике / И. Н. Бронштейн, К. А. Семендя-ев. — М.: Наука, 1980. — 976 с.

91. Бобровский, С. И. Самоучитель программирования на языке С++ в системе Borland С++ Builder 4.0 / С. И. Бобровский. — М.: ООО "ДЕСС", 1999. — 287 с.

92. Теллес, М. Borland С++ Builder: библиотека программиста / М. Теллес. — СПб.: Питер Ком, 1998. —512 с.

93. Дегтярев, Ю. И. Исследование операций / Ю. И. Дегтярев. — М.: Высш. шк. —1986.

94. Рейнгольд, Э. Комбинаторные алгоритмы. Теория и практика / Э. Рейнгольд, Ю. Нивергельт, Н. Део; пер. с англ. Е. П. Липатова; под ред. В. Б. Алексеева. — М.: Мир, 1980.

95. Пападимитриу, X. Комбинаторная оптимизация / X. Пападимитриу, К. Стайг-лиц. — М.: Мир, 1985. — 512 с.

96. Глухов, В. В. Математические модели для менеджмента/ В. В. Глухов, М. Д. Медников, С. Б. Коробко. — СПб.: Лань, 2000. — 480 с.