Многометодная технология выбора вычислительного комплекса по агрегированным критериям тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Лобанов, Василий Николаевич

• Лобанов, Василий Николаевич
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Лобанов, Василий Николаевич

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. ОБЗОР СОВРЕМЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСОВ И МЕТОДОВ РЕШЕНИЯ ЗАДАЧ МНОГОКРИТЕРИАЛЬНОГО ВЫБОРА

1.1. Назначение и основные характеристики вычислительных комплексов

1.2. Классификация вычислительных комплексов

1.3. Высокопроизводительные кластеры и вычислительные комплексы персонального уровня

1.4. Классы решений задач многокритериального выбора

1.5. Методы индивидуального оптимального выбора

1.6. Методы индивидуального рационального выбора

1.7. Методы группового выбора

1.8. Процедуры снижения размерности признакового пространства

1.9. Выводы по первой главе

ГЛАВА 2. РАЗРАБОТКА МНОГОМЕТОДНОЙ ТЕХНОЛОГИИ РЕШЕНИЯ ЗАДАЧ МНОГОКРИТЕРИАЛЬНОГО ВЫБОРА БОЛЬШОЙ РАЗМЕРНОСТИ

2.1. Основные требования к технологии решения задач выбора

2.2. Разработка технологии ПАКС-М

2.3 Алгоритм группового многометодного выбора

2.4. Методика использования технологии выбора ПАКС-М

Выводы по второй главе

ГЛАВА 3. ВЫБОР ВЫЧИСЛИТЕЛЬНОГО КОМПЛЕКСА ПО МНОГИМ

КРИТЕРИЯМ

3.1. Формирование перечня характеристик комплексов

3.2 Построение дерева агрегирования показателей «Технические характеристики модуля»

3.3. Построение дерева агрегирования показателей «Аппаратно-программные характеристики комплекса»

3.4. Построение дерева агрегирования показателей «Конструкционные характеристики комплекса»

2

3.5. Построение дерева агрегирования показателей «Эксплуатационные

характеристики комплекса»

3.6. Построение иерархических систем критериев

3.7. Выбор вычислительного комплекса по многим критериям

3.8. Выбор вычислительного комплекса по интегральному показателю

перспективности

3.8 Выводы по третьей главе

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

Введение диссертации (часть автореферата) на тему «Многометодная технология выбора вычислительного комплекса по агрегированным критериям»

ВВЕДЕНИЕ

Актуальность исследования. В настоящее время различные научные и прикладные задачи все чаще решаются с применением высокопроизводительных вычислительных комплексов, которые выступают реальной альтернативой дорогостоящих суперкомпьютеров. В качестве примеров можно указать обнаружение и отслеживание целей в радиолокации и гидроакустике, моделирование быстропротекающих процессов в физике, решение сложных многокритериальных задач транспортной логистики большой размерности и ряд других задач, требующих обработки больших массивов информации за короткое время.

Стоимость создания вычислительных комплексов постоянно снижается, благодаря массовому выпуску стандартных комплектующих изделий и растущей конкуренции среди производителей. Современные стандартные и относительно недорогие микропроцессоры, сетевые технологии и периферийные устройства позволяют строить на их основе разнообразные конфигурации вычислительных комплексов, которые можно гибко и последовательно изменять и наращивать за счет добавления новых вычислительных модулей, обеспечивая требуемую производительность и соответствие потребностям пользователей по энергопотреблению, габаритам, массе, стоимости и другим параметрам.

Построение вычислительных систем из стандартных компонентов привело к тому, что на рынке представлено много комплексов различных конфигураций. Поэтому перед пользователем, которому нужно решить собственную прикладную задачу, встает непростая проблема сравнения и выбора наиболее перспективного вычислительного комплекса.

Вычислительные комплексы, как и другие сложные технические системы, характеризуются большим числом показателей, а выбор осуществляется по многим критериям, среди которых могут быть как количественные, так и качественные. Сравнение и выбор предпочтительной конфигурации комплекса, обладающего требуемыми для прикладных применений параметрами, является достаточно сложной, слабо структурируемой и плохо формализованной задачей

многокритериального выбора, с которой сталкиваются технические специалисты. [18, 21, 39, 47, 50]. Человеку в силу ограниченности физических возможностей собственной памяти, решить такую задачу, полагаясь только на свои способности, и сделать правильный выбор представляется затруднительным. Поэтому, для решения такого рода задач применяются методы теории принятия решений.

Значительный вклад в разработку методов и систем поддержки принятия решений внесли российские и зарубежные ученые: М.А.Айзерман, Ф.Т.Алескеров, Ж Борда, А.И.Борисов, Ю.Валлениус, П.Винке, Л.Заде, Д.Канеманн, Р.Л.Кини, М.Коксалан, Ж.Кондорсе, О.И.Ларичев, А.В.Лотов, О.Моргенштерн, Д.Нейман, В.Д.Ногин, А.Б.Петровский, В.В.Подиновский, Х.Райфа, Б.Руа, М.Рубенс, Т.Саати, М.Словински, П.Фишберн, К. Эрроу и др.

Вместе с тем, как правило, вариантов конфигураций бывает немного, и такие варианты оказываются несравнимыми друг с другом по своим показателям, что не позволяет применять известные методы принятия решений для выбора наиболее предпочтительного варианта комплекса. [47]. В задачах ответственного выбора, таких как выбор перспективного вычислительного комплекса, недостаточно обоснованное решение может повлечь неоправданные материальные и временные затраты.

Чтобы учесть различные точки зрения, повысить обоснованность выбора, лицо, принимающее решение (ЛПР), привлекает экспертов, или самостоятельно решает задачу несколькими методами. Результаты, полученные несколькими экспертами/способами, преобразуются в групповое предпочтение, опираясь на которое ЛПР делает окончательный выбор. Сокращение числа критериев, по которым осуществляется оценка и выбор вычислительного комплекса, обеспечивает уменьшение времени решения задачи выбора и упрощает анализ полученных результатов.

Указанные обстоятельства диктуют необходимость создания подхода, позволяющего ЛПР/эксперту сделать обоснованный многокритериальный выбор наилучшего варианта с помощью разных методов, объяснить и обосновать полученные результаты с учетом различных точек зрения.

Объектом исследования является вычислительный комплекс, характеризующийся большим числом количественных и качественных показателей.

Предметом исследования является технология выбора перспективного вычислительного комплекса, в основе которой лежат сокращение размерности признакового пространства, построение различными способами нескольких иерархических систем критериев с различной степенью агрегирования, вплоть до единственного интегрального показателя, выбор наиболее предпочтительного варианта с помощью нескольких методов многокритериального принятия решений и процедуры голосования.

Цель и задачи диссертационной работы. Целью диссертационной работы является разработка многометодной технологии решения задач многокритериального выбора большой размерности и ее применение для выбора перспективного вычислительного комплекса по агрегированным критериям.

Для достижения поставленной цели были сформулированы и решены следующие задачи.

1. Проведен обзор вычислительных комплексов, основных подходов и методов решения задач многокритериального выбора.

2. Разработана технология решения задач многокритериального выбора большой размерности ПАКС-М (Последовательное Агрегирование Классифицируемых Ситуаций многими Методами), позволяющая строить несколько иерархических систем критериев с различной степенью агрегирования и применять несколько методов принятия решений.

3. Разработан алгоритм группового многометодного выбора.

4. Предложен перечень исходных характеристик вычислительных комплексов, построено несколько иерархических систем составных критериев, предложены и обоснованы итоговые критерии и интегральный показатель для оценки перспективности вычислительного комплекса.

5. С использованием технологии ПАКС-М выбран наиболее перспективный вычислительный комплекс на основе обобщенного группового предпочтения.

Методы исследования. В работе используются: методы системного анализа и теории принятия многокритериальных решений; методы получения и обработки экспертной информации; понятия когнитивной психологии.

Научная новизна. Разработана многометодная технология ПАКС-М последовательного агрегирования классифицируемых ситуаций для решения задач многокритериального выбора большой размерности, которая включает:

-процедуры сокращения размерности признакового пространства путем агрегирования исходных показателей;

-способы построения иерархических систем критериев, имеющих разные наборы итоговых критериев, вплоть до единственного интегрального показателя;

- различные методы принятия решений, применяемые для построения шкал агрегированных критериев и решения задачи многокритериального выбора с учетом мнений нескольких экспертов;

- алгоритмы формирования итогового результата на основе обобщенного группового предпочтения с возможностью объяснения сделанного выбора.

Теоретическая значимость работы. Предложена многометодная технология последовательного агрегирования классифицируемых ситуаций ПАКС-М, которая расширяет арсенал инструментальных средств решения задач многокритериального выбора объектов, характеризующихся большим числом исходных признаков.

Практическая ценность работы. Полученные в диссертации результаты положены в основу методики выбора наиболее перспективного варианта вычислительного комплекса, которая включена в базовую технологию моделирования, проектирования, диагностики и испытаний вычислительных комплексов высокой производительности и радиоэлектронных систем различного назначения, используемую в ОАО «НИИ вычислительных комплексов им. М.А. Карцева» при выполнении плановых и договорных работ.

Реализация результатов. Результаты диссертационного исследования использованы при выполнении ОКР «Аппарат» в ОАО «НИИ вычислительных комплексов им. М.А. Карцева», а также проектов РФФИ 11-07-00398 «Информационные технологии поддержки решения слабоструктурированных многокритериальных проблем, основанные на теории мультимножеств»,

14-07-00916 «Методы и информационные технологии группового многокритериального выбора».

Положения, выносимые на защиту.

1. Многометодная технология решения задач многокритериального выбора большой размерности ПАКС-М.

2. Алгоритм группового многометодного выбора.

3. Иерархические системы составных критериев с различной степенью агрегирования и интегральный показатель «Категория комплекса» для оценки перспективности вычислительного комплекса.

4. Групповой многометодный выбор наиболее перспективного вычислительного комплекса.

Апробация работы. Основные результаты исследования доложены на 2-й Всероссийской молодежной конференции «Теория и практика системного анализа» (Россия, Белгород, 2012), 4-й и 5-й Международных конференциях «Информация-Взаимодействие-Интеллект» (Болгария, Варна, 2013, 2014), 14-м и

15-м Международных симпозиумах по технологиям принятия решений и

интеллектуальным информационным системам (Германия, Баден-Баден, 2013,

2014), 5-й Международной конференции «Системный анализ и информационные

технологии» (Россия, Красноярск, 2013), 4-й Международной научно-технической

конференции «Открытые семантические технологии проектирования

интеллектуальных систем» (Республика Беларусь, Минск, 2014), 10-й

Всероссийской школе-семинаре с международным участием «Прикладные

проблемы управления макросистемами» (Россия, Апатиты, 2014), 14-й

Национальной конференции по искусственному интеллекту с международным

участием (Россия, Казань, 2014), научных семинарах ОАО «НИИВК

8

им. М.А. Карцева», Белгородского государственного национального исследовательского университета.

Публикации. По теме диссертационной работы опубликовано 14 печатных работ, в том числе 9 статей в изданиях, рекомендуемых ВАК РФ, и 5 работ в трудах научных конференций.

Структура и объем диссертации. Диссертация состоит из трех глав.

Первая глава является обзорной, в которой рассматриваются различные типы вычислительных комплексов и особенности их применения. Также в ней проводится обзор методов индивидуального и группового выбора для решения слабо структурируемых и плохо формализованных задач.

Во второй главе описывается разработанная Многометодная технология Последовательного Агрегирования Классифицируемых Ситуаций (ПАКС-М), в основе которой лежат сокращение размерности признакового пространства путем поэтапного агрегирования исходных показателей, характеризующих варианты выбора, в составные критерии, и решение задачи выбора несколькими методами многокритериального и группового выбора. В данной главе приводится алгоритм группового многометодного выбора и рассматривается методология использования технологии выбора ПАКС-М.

Третья глава содержит решение задачи выбора наиболее перспективного вычислительного комплекса с помощью технологии ПАКС-М с обоснованием полученных результатов.

Диссертация содержит 97 страниц, 13 рисунков, 4 таблицы, список литературы, включающий 71 наименование.

ГЛАВА 1. ОБЗОР СОВРЕМЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ

КОМПЛЕКСОВ И МЕТОДОВ РЕШЕНИЯ ЗАДАЧ МНОГОКРИТЕРИАЛЬНОГО ВЫБОРА

Настоящая глава является обзорной и состоит из двух частей. В первой части дается краткий обзор вычислительных комплексов, где основное внимание уделяется их классификации по архитектурному признаку и рассмотрению основных критериев, характеризующих данный вид вычислительной техники. Анализируются преимущества и недостатки отдельных представителей высокопроизводительных кластеров и вычислительных комплексов персонального уровня. Во второй части главы приводится описание основных подходов, нацеленных на решение задач многокритериального выбора, рассматриваются методы индивидуального и группового выбора. Основной акцент делается на рассмотрение методологий снижения размерности признакового пространства и методов группового многокритериального выбора.

1.1. Назначение и основные характеристики

вычислительных комплексов.

С каждым годом компьютерные технологии все активнее внедряются в различные сферы деятельности человека и в настоящее время находят широкое применение в научных исследованиях, промышленности, обороне и разведке, образовании, финансовом секторе, административной сфере, транспорте, сфере развлечений.

Широко представлены разновидности средств вычислительной техники -персональные компьютеры, вычислительные комплексы и системы, суперкомпьютеры, компьютерные сети, распределенные сети (Опс1-системы), мобильные устройства, а также разнообразные специализированные встраиваемые системы стационарного и бортового базирования. Представленные виды вычислительной техники различаются по назначению, архитектуре, составу, производительности, габаритам, энергопотреблению, стоимости создания и обслуживания, а также по ряду других параметров.

Среди всего многообразия видов вычислительной техники наибольший интерес для автора настоящей работы представляют вычислительные комплексы,

предназначенные для параллельной обработки информации и проблема, связанная с выбором наиболее предпочтительной конфигурации вычислительного комплекса для решения прикладной задачи. Поэтому, в данной главе, прежде всего, внимание уделяется рассмотрению вычислительных комплексов и характеризующим их признакам. Обсуждение остальных видов вычислительной техники выходит за рамки данной работы.

Вычислительный комплекс является разновидностью информационной системы и представляет собой взаимосвязанную совокупность технических и программных средств вычислительной техники, включающую не менее двух процессоров, объединенных системой управления, имеющих общую память, единое математическое обеспечение и совместно используемые периферийные устройства [29].

К техническим (аппаратным) средствам вычислительных комплексов относятся процессоры, графические ускорители, модули оперативной памяти, жесткие диски, коммутаторы связи, устройства ввода/вывода (монитор, клавиатура, мышь), источники бесперебойного питания.

К программным средствам относятся операционные системы, языки программирования, стандартные библиотеки, средства для поддержки параллельной обработки информации (OpenMP, MPI, OpenCL, CUDA), компиляторы, отладчики и т.д.

Отличительной особенностью вычислительных комплексов является возможность параллельной обработки массивов информации, в связи с чем они находят применение при решении таких задач как обнаружение и отслеживание целей в радиолокации и гидроакустике, моделирование быстропротекающих процессов в физике, прогнозирование погодных и климатических явлений, численный анализ, задачи квантовой химии, медицины, нанотехнологии, сейсмическая разведка, вычислительные финансы, биологические науки и ряд других исследовательских и прикладных задач.

Вычислительные комплексы различаются между собой по степени унификации применяемых для их создания компонентов, а также по ряду

архитектурных признаков, среди которых можно отметить способ обработки информации, топологию связи между процессорными элементами, организацию адресного пространства оперативной памяти и способы обращения к нему процессорных элементов, способ исполнения арифметических операций.

Рассмотрим теперь основные характеристики вычислительных комплексов. Любой вычислительный комплекс состоит из множества комплектующих изделий, различающихся своими параметрами. Поскольку вычислительный комплекс состоит из вычислительных узлов (вычислительных модулей), то стоит отдельно оговорить характеристики вычислительных модулей и характеристики вычислительного комплекса в целом. Среди характеристик вычислительных модулей можно выделить следующие: частота ядра процессора; разрядность ядра процессора; количество потоков, по которым в процессоре происходит передача информации; количество ядер процессора; поддержка процессором объема оперативной памяти; количество процессоров в модуле; объем оперативной памяти модуля; наличие ускорителя универсальных вычислений; дисковая память модуля; наличие в модуле оптического накопителя данных.

Характеристики комплекса включают в себя аппаратно-программные, конструкционные, эксплуатационные показатели, вычислительную производительность, а также характеристики, отражающие материальные затраты, связанные с созданием и эксплуатацией комплекса на различных этапах.

К аппаратно-программным характеристикам вычислительного комплекса можно отнести такие показатели как число модулей в комплексе, скорость обмена между модулями, наличие встроенных средств ввода-вывода, наличие бесперебойного питания, программные характеристики комплекса, возможность модернизации технических и программных средств комплекса.

К конструкционным характеристикам комплекса относятся размеры комплекса (высота, глубина, ширина), масса комплекса, защищенность от помех.

К эксплуатационным характеристикам комплекса относятся энергопотребление, уровень шума, тепловыделение, условия эксплуатации (температура, влажность), наработка на отказ.

Вычислительная производительность комплекса определяет скорость обработки информации. Она может быть получена либо расчетным путем (в этом случае имеется в виду пиковая вычислительная производительность), либо при помощи синтетических компьютерных тестов на производительность, например, теста Ыпраск.

Еще одной характеристикой вычислительного комплекса является стоимость его изготовления. Как правило, комплексы, построенные из специализированных компонентов, существенно дороже тех, что собраны на базе стандартных комплектующих изделий. В некоторых случаях, если комплекс требует существенных дополнительных затрат в процессе эксплуатации следует оценивать затраты на содержание комплекса.

Особое значение имеют такие характеристики, как вычислительная производительность, размеры, энергопотребление и стоимость изготовления.

1.2. Классификация вычислительных комплексов

Существует много классификаций, основанных на различных признаках и разбивающих большое разнообразие параллельных вычислительных комплексов и систем. Среди них можно выделить классификации К. Флинна, Р. Хокни, Л. Шнайдера, Д. Скилликорна и ряда других авторов, подробно излагаемых в [7, 54], однако многие из этих классификаций к настоящему моменту устарели и используются редко. Одной из современных классификаций параллельных вычислительных систем является классификация систем типа МКМД (много команд, много данных), фрагмент которой представлен на рисунке 1.1. В данной классификации основным классификационным признаком для архитектур микропроцессорных систем является организация оперативной памяти.

По данной классификации вычислительные системы типа МКМД делятся на многопроцессорные системы, совместно использующие оперативную память, и многомашинные системы с распределенной памятью, осуществляющие обмен с помощью передачи сообщений.

Рисунок 1.1- Классификация вычислительных систем типа МКМД (фрагмент).

В системах с совместным использованием памяти процессоры имеют доступ на уровне команд к общим для них данным в памяти, что способствует ускорению выполнения единой программы параллельно работающими процессорами. В многомашинных системах с распределенной памятью процессоры обладают своей собственной памятью, а связь между процессорами осуществляется через коммуникационную сеть. Информация между процессорами передается в виде сообщений, поэтому системы с распределенной памятью также называют системами с передачей сообщений.

Каждый из классов вычислительных систем имеет свои достоинства и недостатки. Преимуществами многопроцессорных систем с общей памятью являются:

- совместимость с хорошо отлаженными механизмами доступа к оперативной памяти, используемыми в однопроцессорных системах;

- простота программирования приложений, простота разработки трансляторов и операционных систем;

- малое время доступа, более высокая производительность линий связи;

- возможность использования аппаратно-управляемого кэширования.

В качестве недостатка многопроцессорных систем с общей памятью можно отметить ограниченные возможности к масштабированию таких систем. Это

связано с тем, что увеличение числа процессоров в системе затрудняет их доступ к общей памяти.

К преимуществам систем с передачей сообщений относятся:

- более простое аппаратное устройство, не требующее согласованности кэшпамяти различных процессорных элементов;

- возможность построения хорошо масштабируемых систем.

Недостатком систем с передачей сообщений можно считать относительно

низкую скорость обмена между процессорными элементами разных вычислительных машин.

В класс систем с общей памятью входят две основные группы, UMA и NUMA. Вычислительные системы класса UMA (Uniform Memory Access -унифицированный, однородный доступ к памяти) обеспечивают всем процессорным элементам системы однородный доступ к общему адресному пространству оперативной памяти. В таких системах все процессорные элементы имеют одинаковые права доступа к памяти, вследствие чего их называют симметричными процессорными системами и обозначают SMP (Symetric MultiProcessing). В реальных системах этого типа количество процессорных элементов не превышает 32. Однако встречаются представители таких систем с большим числом процессоров. Так, например, компьютеры Sun Enterprise 10000 и Sun Enterprise 15000 содержат, соответственно 64 и 72 процессорных элемента типа Ultra Sparc III.

Системы NUMA (Non-Uniform Memory Access) состоят из нескольких однородных базовых модулей, включающих несколько процессорных элементов со своими локальными блоками оперативной памяти, а также блока общей для всех процессоров оперативной памяти. В таких системах оперативная память физически является распределенной между процессорными элементами, а логически - общей, с единым адресным пространством. Такая архитектура несет в себе хорошие возможности масштабирования: количество процессорных элементов в системах NUMA может достигать нескольких тысяч.

Класс NUMA разделен на системы без кэширования NC-NUMA (No Caching NUMA) и системы с согласованной кэш-памятью CC-NUMA (Coherent Cache NUMA), в которых проблемы когерентности кэшей решаются эффективным образом. Примером вычислительной системы класса NC-NUMA является машина Carnegie-Mellon Cm*. Системами CC-NUMA являются: суперкомпьютеры Hewlett-Packard Superdome, SGI Origin 3000, Sun HPC 15000.

К классу многопроцессорных систем с совместным использованием памяти относятся еще системы с архитектурой СОМА (Cache Only Memory Access). В таких системах общая для всех процессорных элементов оперативная память в системе отсутствует вообще, а локальная память каждого процессорного элемента используется только в качестве кэш-памяти. Такие системы в настоящее время имеют малую распространенность.

В классе многомашинных систем выделяют две группы: массивно-параллельные системы МРР (Massively Parallel Processor) и кластерные системы COW (Cluster Of Workstation). Системы класса МРР также называют системами с массовым параллелизмом, а кластерные системы иногда обозначают как NOW (Network Of Workstation).

Массивно-параллельные системы состоят из вычислительных узлов, включающих один или несколько процессорных элементов, оперативную память, модули ввода/вывода и сетевой адаптер, которые связаны высокоскоростными линиями связи. Непосредственный доступ к модулю памяти имеет только его процессорный элемент. Вычислительные узлы в системе связаны между собой высокоскоростной сетью линий связи, по которым происходит обмен сообщениями. В системах МРР оперативная память физически разделена между процессорными элементами. В таких системах вычислительные узлы часто являются системами с архитектурой SMP [29].

В настоящее время системы МРР содержат в своем составе вычислительные узлы разных архитектур. Наряду с вычислительными узлами, построенными на основе многоядерных центральных процессоров, в таких системах часто применяются графические процессоры - GPU (Graphics Processing Units). С

расширением спектра применений графических процессоров они все чаще стали использоваться в роли ускорителей универсальных вычислений или, как их еще называют, графических процессоров общего назначения - GPGPU (GeneralPurpose Graphics Processing Units) [55].

Системы класса МРР отличаются высокой отказоустойчивостью и хорошей масштабируемостью. В настоящее время системы с архитектурой МРР являются наиболее производительными. Представителями систем МРР являются системы ASCI White, ASCI Red, Blue Pacific, Blue Gene.

К недостаткам МРР-систем можно отнести низкую скорость обмена между процессорными элементами различных вычислительных узлов, а также повышенную сложность программирования.

В кластерных системах (COW) группы процессорных элементов с относительно высокой связностью имеют более низкую степень связности между процессорами из разных групп. Системы COW часто строятся в виде сети обычных персональных компьютеров.

Существуют также вычислительные системы с неклассической архитектурой, к которым можно отнести специализированные системы (машины баз данных, машины языков высокого уровня, управляющие системы), системы, управляемые потоком данных (потоковые компьютеры), и системы, работающие на физических принципах, отличающихся от используемых в электронных компьютерах (например, нейрокомпьютеры).

Список литературы диссертационного исследования кандидат наук Лобанов, Василий Николаевич, 2014 год

СПИСОК ЛИТЕРАТУРЫ

1. Айзерман М.А. Выбор вариантов: основы теории / М.А. Айзерман, Ф.Т. Алескеров. -М.: Наука, Гл. ред. физ.-мат. лит., 1990.

2. Алескеров Ф.Т. Бинарные отношения, графы и коллективные решения / Ф.Т. Алескеров, Э.Л. Хабина, Д.А. Шварц. - М.: Издательский дом ГУ ВШЭ, 2006.

3. Ашманов С.А. Линейное программирование. - М.: Наука, 1981.

4. Борисов А.И. Принятие решений на основе нечетких моделей / А.И. Борисов, O.A. Крумберг, И.П. Федоров. - М.: Наука, 1990.

5. Вагнер Г. Основы исследования операций: в 3 т. - Т. 1. - М.: Мир, 1972; Т. 2,3.-М.: Мир, 1973.

6. Вентцель Е.С. Исследование операций: задачи, принципы, методология. -2-е изд., стер. - М.: Наука. Гл. ред. физ.-мат. лит., 1988.

7. Воеводин В.В. Параллельные вычисления / В.В. Воеводин, Вл.В. Воеводин. -СПб.: БХВ-Петербург, 2002.

8. Волков И.К. Исследование операций / И.К. Волков, Е.А. Загоруйко. -М.: Изд-во МГТУ им. Н.Э. Баумана, 2000.

9. Гафт М.Г. Принятие решений при многих критериях. - М.: Знание, 1979.

10. Глотов В.А. Векторная стратификация / В.А. Глотов, В.В. Павельев -М.: Наука, 1984.

11. Дэвид Г.А. Метод парных сравнений / Пер. с англ. Н. Космарской и Д. Шмерлинга; под ред. Ю. Адлера. -М.: Статистика, 1978.

12. Емельянов C.B. Многокритериальные методы принятия решений. / C.B. Емельянов, О.И. Ларичев - М.: Знание, 1985. - 32с. - (Новое в жизни, науке, технике. Сер. «Математика, кибернетика»; № 10).

13. Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений. - М.: Мир, 1976.

14. Канеман Д. Принятие решений в неопределенности: правила и предубеждения. / Д. Канеман, П. Словик, А. Тверски. - Харьков: Гуманитарный центр, 2005.

15. Кини P.JI. Принятие решений при многих критериях: предпочтения и замещения / P.J1. Кини, X. Райфа.-М.: Радио и связь, 1981.

16. Кофман А. Введение в теорию нечетких множеств. - М.: Радио и связь, 1982.

17. Кузьмин В.Б. Построение групповых решений в пространствах четких и нечетких бинарных отношений. - М.: Наука. Главная редакция физико-математической литературы, 1982. - 168 с.

18. Ларичев О.И. Вербальный анализ решений / отв. ред. А.Б. Петровский; Ин-т системного анализа РАН. - М.: Наука, 2006

19. Ларичев О.И. Наука и искусство принятия решений. - М.: Наука, 1979.

20. Ларичев О.И. Объективные модели и субъективные решения. - М.: Наука, 1987.

21. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учебник. Изд. второе, перераб. и доп. - М.: Логос, 2002.

22. Литвак Б.Г. Экспертная информация: Методы получения и анализа. -М.: Радио и связь, 1982.

23. Лобанов В.Н. Агрегирование критериев при выборе вычислительного кластера / В.Н. Лобанов, А.Б. Петровский // Научные ведомости БелГУ. Серия: История. Политология. Экономика. Информатика, 2012. - № 19 (138). Выпуск 24/1.-С. 165-168.

24. Лобанов В.Н. Выбор вычислительного кластера, основанный на агрегировании многих критериев / В.Н. Лобанов, А.Б. Петровский // Вопросы радиоэлектроники, сер. ЭВТ, 2013. - Вып.2. - С.39-54.

25. Лобанов В.Н. Выбор вычислительного кластера по агрегированным критериям / В.Н. Лобанов, А.Б. Петровский, A.B. Заболеева-Зотова // Пятая Международная Конференция «Системный анализ и информационные технологии» САЙТ - 2013: Труды конференции. В 2-х т. - Т. 1. - Красноярск: ИВМ СО РАН, 2013. - С.329-336.

26. Лобанов В.Н. Многометодный выбор сложной технической системы / X Всероссийская школа-семинар с международным участием «Прикладные проблемы управления макросистемами». Материалы докладов. - Апатиты: КНЦ РАН, 2014. - С. 20-22.

27. Лобанов В.Н. Особенности построения иерархической системы критериев для оценки сложного технического комплекса / В.Н. Лобанов, А.Б. Петровский // Четырнадцатая национальная конференция по искусственному интеллекту с международным участием: Труды конференции. - Казань: Изд-во РИЦ «Школа», 2014. - Т.2. - С. 63-74

28. Лобанов В.Н. Построение интегрального показателя оценки перспективности вычислительного комплекса / В.Н. Лобанов, А.Б. Петровский // Открытые семантические технологии проектирования интеллектуальных систем (08Т18-2014): материалы IV международной научно-технической конференции. -Минск: БГУИР, 2014. - С.205-210.

29. Мелехин В.Ф. Вычислительные машины, системы и сети: учебник для студ. высш. учеб. заведений / В.Ф. Мелехин, Е.Г. Павловский. - 2-е изд., стер. -М.: Издательский центр «Академия», 2007. - 560 с.

30. Миркин Б.Г. Проблема группового выбора. - М.:Физматлит, 1974.

31. Миркин Б.Г. Анализ качественных признаков и структур. - М.: Статистика, 1980.

32. Мулен Э. Кооперативное принятие решений: Аксиомы и модели: Пер. с англ. - М.: Мир, 1991.

33. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. - 2-е изд., испр. и доп. - М.: ФИЗМАТЛИТ, 2004.

34. Ногин В.Д. Принятие решений при многих критериях. Учебно-методическое пособие. - СПб. Издательство «ЮТАС», 2007.

35. Ногин В.Д. Упрощенный вариант метода анализа иерархий на основе нелинейной свертки критериев // Журнал вычислительной математики и математической физики, 2004, т.44, №7, - С. 1261-1270.

36. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации. - М.: Наука, 1981.

37. Петровский А.Б. Выбор вычислительного кластера в сокращённом пространстве критериев / А.Б. Петровский, В.Н. Лобанов, А.В. Заболеева-Зотова, Т.А. Шитова // International Journal "Information Models and Analyses". 2013. - Vol. 2, Number 4. - C. 313-323.

38. Петровский А.Б. Выбор вычислительного комплекса по интегральному показателю перспективности / А.Б. Петровский, В.Н. Лобанов, А.В. Заболеева-Зотова, Т.А. Шитова // International Journal "Information Theories and Applications". - 2014. - Vol. 21, Number 3. - C. 213-223

39. Петровский А.Б. Групповой многокритериальный выбор вычислительных кластеров / А.Б. Петровский, Г.В. Ройзензон // Applicable Information Models / ed. by К. Markov, V. Velychko. - No.22. - Sofia: ITHEA, 2011. - P.23-29.

40. Петровский А.Б. Интерактивная процедура снижения размерности признакового пространства в задачах многокритериальной классификации / А.Б. Петровский, Г.В. Ройзензон // Поддержка принятия решений. Труды Института системного анализа Российской академии наук. / Под ред. А.Б. Петровского. Т.35. -М.: Издательство ЛКИ, 2008. - С.43-53.

41. Петровский А.Б. Многокритериальный выбор в пространстве признаков большой размерности: мультиметодная технология ПАКС-М / А.Б. Петровский, В.Н. Лобанов // Искусственный интеллект и принятие решений, 2014. - Вып. 3. - С. 92-104.

42. Петровский А.Б. Многокритериальный выбор сложной технической системы по агрегированным показателям / А.Б. Петровский, В.Н. Лобанов // Вестник РГУПС. Научно-технический журнал №3 (51), 2013, С.79-86.

43. Петровский А.Б. Многокритериальный выбор с уменьшением размерности пространства признаков: многоэтапная технология ПАКС / А.Б. Петровский, Г.В. Ройзензон // Искусственный интеллект и принятие решений. - 2012. - №4. - С.88-103.

44. Петровский А.Б. Многокритериальный подход к оценке результативности научных проектов / А.Б. Петровский, Г.В. Ройзензон, И.П. Тихонов, A.B. Балышев // Вестник НТУ ХПИ. 2009. № 43. - С.138-148.

45. Петровский А.Б. Построение интегральных показателей оценки результативности научных проектов / А.Б. Петровский, Г.В. Ройзензон, И.П. Тихонов // Intelligent Support of Decision Making / ed. by К. Markov, A. Voloshyn, K. Ivanova, I. Mitov. - No. 10. - Sofia: ITHEA, 2009. - P.59-66.

46. Петровский А.Б. Пространства множеств и мультимножеств. - М.: Едиториал УРСС, 2003.

47. Петровский А.Б. Теория принятия решений: учебник для студ. высш. учеб. заведений / А.Б. Петровский. - М.: Издательский центр «Академия», 2009.

48. Подиновский В.В. Введение в теорию важности критериев в многокритериальных задачах принятия решений: Учебное пособие. -М.: Физматлит, 2007.

49. Прикладная статистика: Классификация и снижение размерности: Справ, изд. / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин; Под ред. С.А. Айвазяна. - М.: Финансы и статистика, 1989.

50. Ройзензон Г.В. Многокритериальный выбор вычислительных кластеров / Методы поддержки принятия решений. Труды Института системного анализа Российской академии наук. / Под ред. С.В. Емельянова, А.Б. Петровского. Т.12. - М.: Едиториал УРСС, 2005. - С.68-94.

51. Рыков A.C. Модели и методы системного анализа: принятие решений и оптимизация. - М.: МИСИС, Издательский дом «Руда и металлы», 2005.

52. Саати Т. Принятие решений: Метод анализа иерархий / Пер. с англ. Р.Г. Вачнадзе. - М.: Радио и связь, 1993.

53. Саати Т. Принятие решений при зависимостях и обратных связях: Аналитические сети. Пер. с англ. / Науч. ред. A.B. Андрейчиков, О.Н. Андрейчикова. - М.: Издательство ЛКИ, 2008. - 360 с.

54. Степанов А.Н. Архитектура вычислительных систем и компьютерных сетей. -СПб.: Питер, 2007. - 509 е.: ил.

55. Таненбаум Э. Архитектура компьютера. 6-е изд. / Э. Таненбаум, Т. Остин. - СПб.: Питер, 2013. - 816 е.: ил.

56. Таха X. Введение в исследование операций: в 2 кн. - М.: Мир, 1985.

57. Фишберн П. Теория полезности для принятия решений (Серия: «Экономико-математическая библиотека») - М.: Наука, 1978.

58. Штойер Р. Многокритериальная оптимизация. Теория, вычисления и приложения. - М.: Радио и связь, 1992.

59. Эддоус М. Методы принятия решений / М. Эддоус, Р. Стэнсфилд // Пер. с англ. под ред. член-корр. РАН И.И. Елисеевой. - М.: Аудит, ЮНИТИ, 1997.

60. Юдин Д.Б. Вычислительные методы теории принятия решений. - М.: Наука. Гл. ред. физ.-мат. лит., 1989. - 320 с. (Теория и методы системного анализа).

61. Anderson D.R. An introduction to management science: a quantitative approach to decision making / D.R. Anderson, D.J. Sweeney, T.A. Williams. - Minneapolis: West Publishing Company, 2001.

62. Belton Valerie. Multiple criteria decision analysis: an integrated approach / Valerie Belton, Theodor J. Stewart. - Springer-Science + Business Media Dordrecht, Kluwer Academic Publishers, 2002.

63. Multiple Criteria Decision Analysis: State of the Art Surveys (International Series in Operations Research & Management Science) / Ed. by Jose Figueira, Salvatore Greco, Matthias Ehrgott. - Springer Science + Business Media, Inc., 2005.

64. Multiple Attribute Decision Making. Methods and Applications / Gwo-Hshiung Tzeng, Jih-Jeng Huang. - CRC Press, Taylor & Francis Group, LLC, 2011.

65. Petrovsky A.B. Selection of Complex System in the Reduced Multiple Criteria Space / A.B. Petrovsky, V.N. Lobanov // World Applied Sciences Journal 29 (10) -Pakistan: IDOSI Publications, 2014, P. 1315-1319.

66. Petrovsky A.B. Selection of Computing Cluster by Aggregated Complex Criteria / A.B. Petrovsky, V.N. Lobanov, A.V. Zaboleeva-Zotova // Advances in Decision Technology and Intelligent Information Systems / Ed. By K.J. Engemann, G.E. Lasker. - Tecumseh: The International Institute for Advanced Studies in Systems Research and Cybernetics, 2013. - Vol. XIV. - P. 27-31.

67. Petrovsky A.B. Selection of Computer Complex by Integral Quality Index /

A.B. Petrovsky, V.N. Lobanov, A.V. Zaboleeva-Zotova // Advances in Decision Technology and Intelligent Information Systems / Ed. By K.J. Engemann, G.E. Lasker. - Tecumseh: The International Institute for Advanced Studies in Systems Research and Cybernetics, 2014. - Vol. XV. - P. 16-20.

68. Roy B. Multicriteria Methodology for Decision Aiding. - Dordrecht: Kluwer Academic Publishers, 1996.

69. Saaty T. Multicriteria decision making. The analytic hierarchy process. - Pittsburgh: RWS Publications, 1990.

70. Vincke Ph. Multicriteria decision aid. - Chichester: Wiley, 1992.

71. Zimmerman H.J. Fuzzy sets and decision analysis / H.J. Zimmerman, L.A. Zadeh,

B.R. Gaines. - Amsterdam: North-Holland, 1984.