Методы расчета показателей и анализ эффективности функционирования большемасштабных распределенных вычислительных систем тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат наук Павский, Кирилл Валерьевич

• Павский, Кирилл Валерьевич
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Павский, Кирилл Валерьевич

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР. АРХИТЕКТУРА РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

1.1. Концептуальные основы построения большемасштабных вычислительных систем (модель коллектива вычислителей)

1.1.1. Архитектурные свойства вычислительных систем

1.2. Распределенные вычислительные системы

1.2.1. Система IBM Sequoia

1.2.2. Система Cray ХК7 Titan

1.2.3. Система МВС-ЮОК

1.2.4. Семейство живучих распределенных вычислительных систем с программируемой структурой МИКРОС

1.2.5. Система управления заданиями TORQUE

1.2.6. Планировщик заданий MAUI

1.2.7. Пакет MOJOS поддержки мультипрограммных режимов обработки наборов масштабируемых задач

1.2.8. Средства создания контрольных точек

1.3. Надежность распределенных вычислительных систем

1.3.1. Основные понятия надежности ЭМ

1.3.2. Вероятность безотказной работы ЭМ

1.3.3. Вероятность восстановления ЭМ

1.3.4. Вычислительные системы со структурной избыточностью

1.3.5. Показатели надёжности вычислительных систем

1.3.6. Расчёт показателей надёжности для переходного режима функционирования вычислительных систем

1.3.7. Расчёт показателей надёжности для стационарного режима работы вычислительных систем

1.4. Живучесть вычислительных систем

1.4.1. Живучие ВС

1.4.2. Показатели потенциальной живучести вычислительных систем

1.5. Осуществимость решения задач на вычислительных системах

1.5.1. Функция осуществимости решения задач на живучих вычислительных системах

1.6. Направления исследования эффективности функционирования распределенных вычислительных ВС, цель и задачи исследований

ГЛАВА 2. СТРУКТУРА РАБОТЫ И ОРГАНИЗАЦИЯ ПРОВЕДЕНИЯ ИССЛЕДОВАНИЙ

2.1. Организация и схема исследований

2.2. Объекты исследований

2.3. Методы исследований

2.3.1. Метод производящих функций

2.3.2. Методы операционного исчисления

2.3.3. Метод составления дифференциальных уравнений

2.3.4. Методы распараллеливания решения задач

ГЛАВА 3. СТОХАСТИЧЕСКИЕ МОДЕЛИ ФУНКЦИОНИРОВАНИЯ И РАСЧЕТ ПОКАЗАТЕЛЕЙ НАДЕЖНОСТИ И ЖИВУЧЕСТИ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

3.1. Модель функционирования распределенных вычислительных систем со структурной избыточностью

3.1.1. Расчет вероятностей состояний восстанавливающей системы

3.1.2. Условие сохранения высокой производительности распределенной ВС

3.1.3. Математическое ожидание и дисперсия числа машин в восстанавливающей системе

3.1.4. Функция F(t) - вероятности времени нахождения вычислительной системы в состоянии низкой производительности

3.1.5. Погрешность функции F(t)

3.2. Модель функционирования вычислительных систем со структурной избыточностью (произвольное число состояний)

3.2.1. Вероятности состояний восстанавливающей системы

3.2.2. Математическое ожидание и дисперсия числа машин в восстанавливающей системе

3.3. Модель функционирования вычислительных систем со структурной избыточностью без восстанавливающей системы

3.3.1. Вероятности состояний резерва, математическое ожидание и дисперсия числа машин в восстанавливающей системе

3.3.2. Приближенное решение для оценки среднего числа машин резерва

3.4. Модель функционирования распределенных вычислительных систем со структурной избыточностью (конечное число состояний)

3.4.1. Вероятности состояний восстанавливающей системы

3.4.2. Математическое ожидание числа отказавших машин и его дисперсия

3.5. Модель функционирования ВС без структурной избыточности

3.5.1. Математическое ожидание отказавших машин и его дисперсия

3.6. Модель функционирования ВС со структурной избыточностью (произвольное число состояний, усложненный процесс)

3.6.1. Модель функционирования вычислительных ВС

3.6.2. Функция F{t) - вероятности времени нахождения вычислительной системы в состоянии низкой производительности

3.6.3. Погрешность функции F{t)

3.7. Выводы по третьей главе

ГЛАВА 4. СТОХАСТИЧЕСКИЕ МОДЕЛИ И РАСЧЕТ ПОКАЗАТЕЛЕЙ ОСУЩЕСТВИМОСТИ РЕШЕНИЯ ЗАДАЧ НА РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ

4.1. Модель для расчета показателей осуществимости решения задач на

распределенных вычислительных систем с накопителем

4.1.1. Вычисление вероятностей состояний накопителя, математическое ожидание и дисперсия числа задач в накопителе

4.1.2. Оценка наполненности накопителя

4.1.3. Оценка вероятности того, что накопитель наполнен сверх критического уровня задачами и будет находиться в таком состоянии в течение времени не меньшего заданного

4.2. Модель для оценки осуществимости решения задач потока

4.3. Модель для оценки функции осуществимости параллельного решения сложных задач

4.3.1. Коэффициент ускорения решения части задачи на ВС

4.3.2. Оценка времени решения параллельных задач на распределенных ВС

4.3.3. Оценка функции осуществимости параллельного решения задач на ВС (система интегральных уравнений. Отказы и восстановления происходят согласно процессу рождения и гибели)

4.3.4. Оценка функции осуществимости параллельного решения задач на ВС (система интегральных уравнений. Отказы и восстановления происходят согласно модели функционирования ВС без структурной избыточности)

4.3.5. Оценка функции осуществимости параллельного решения задач на ВС (Отказы и восстановления происходят согласно процессу рождения и гибели)

4.3.6. Оценка функции осуществимости параллельного решения задач на ВС (модель функционирования ВС без структурной избыточности)

4.3.7. Расчет и анализ функции осуществимости параллельного решения задач

4.4. Выводы по четвертой главе

ГЛАВА 5. МУЛЬТИКЛАСТЕРНАЯ ВЫЧИСЛИТЕЛЬНАЯ СИСТЕМА И ПАРАЛЛЕЛЬНЫЕ АЛГОРИТМЫ

5.1. Мультикластерная вычислительная система

5.1.1. Конфигурация пространственно-распределённой мультикластерной вычислительной системы

5.1.2. Структура программного обеспечения пространственно-распределенной мультикластерной вычислительной системы

5.1.3. Средства формирование резерва для отказоустойчивого выполнения параллельных программ на кластерных вычислительных системах

5.2. Показатели эффективности параллельных алгоритмов

5.3. Имитационная модель функционирования распределенной вычислительной системы со структурной избыточностью

5.3.1. Численное моделирование

5.3.2. Параллельный алгоритм

5.4. Параллельные алгоритмы расчета функции осуществимости решения задач на ВС

5.4.1. Параллельные алгоритмы расчета функции осуществимости решения задач на ВС (интегральный вид)

5.4.2. Параллельные алгоритмы расчета функции осуществимости решения задач на ВС

5.5. Выводы по пятой главе

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ

ПРИЛОЖЕНИЕ 1

ПРИЛОЖЕНИЕ 2

ПРИЛОЖЕНИЕ 3

ПРИЛОЖЕНИЕ 4

Введение диссертации (часть автореферата) на тему «Методы расчета показателей и анализ эффективности функционирования большемасштабных распределенных вычислительных систем»

ВВЕДЕНИЕ

Актуальность темы. Распределенные вычислительные системы (ВС) относятся к высокопроизводительным вычислительным средствам. Архитектура распределенных ВС представляется в виде композиции множества элементарных машин или процессоров, соединенных телекоммуникационной сетыо. В таких системах все основные ресурсы (не только арифметико-логические устройства, но и память, и средства управления) являются и логически, и технически распределенными. Количество ядер в ВС может достигать миллионов. Именно поэтому подобные ВС относят к масштабируемым и большемасштабным. Проектирование и развитие распределенных болыиемасштабных вычислительных систем, в ряду вычислительных средств высокой производительности, занимает одно из приоритетных направлений науки и техники.

Фундаментальный вклад в теорию и практику вычислительных и телекоммуникационных систем, компьютерных сетей и параллельных вычислительных технологий внесли советские, российские и зарубежные учёные, среди которых: Е.П. Балашов, В.Б. Бетелин, B.C. Бурцев, В.В. Васильев, В.М. Вишневский, В.В. Воеводин, В.М. Глушков, В.Ф. Евдокимов, Э.В. Евреинов, A.B. Забродин, В.П. Иванников, М.Б. Игнатьев, A.B. Каляев, И.А. Каляев, JI.H. Королев, В.Г. Лазарев, С.А. Лебедев, В.К. Левин, Г.И. Марчук, Ю.И. Митропольский, Д.А. Поспелов, И.В. Прангишвили, Д.В. Пузанков, Г.Е. Пухов, Г.Г. Рябов, A.A. Самарский, В.Б. Смолов, А.Н. Томилин, Я.А. Хетагуров, В.Г. Хорошевский, Б.Н. Четверушкин, Ю.И. Шокин, H.H. Яненко, S. Cray, D. Slotnick, I. Foster, M. Flynn, С. Kesselman, J. Dongara, L. Lamport, M. Livny и другие [1-116].

По архитектурным возможностям промышленные ВС достаточно близки к вычислительным системам с программируемой структурой, концептуальные основы построения которых сформировались в Сибирском отделении РАН к началу 70-х годов 20 столетия [13, 16, 63, 64].

Примером отечественных ВС с программируемой структурой могут служить: первая система "Минск - 222" (1965 г.); мультиминимашинные ВС

7

МИНИМАКС (1975 г.) и СУММА (1976 г.); мультипроцессорные живучие системы семейства МИКРОС (МИКРОС-1, 1986 г., МИКРОС-2, 1992 г. МИКРОС-Т 1998 г.); суперкомпьютеры семейства МВС (МВС-100 и МВС-1000, 1999 г.) [13,31, 16,41-43].

Объединение ВС в пространственно распределенную среду рассматривается как одна из альтернатив построения сверхпроизводительпых средств обработки информации. К ним относятся большемасштабные вычислительные системы, важным архитектурным свойством которых является надежность, живучесть [16, 67, 68, 70, 146-156]. Отказ или восстановление элементарной машины может приводить лишь к изменению производительности ВС и не допускать аварийного завершения решения задач пользователей. Для таких систем важна и организация функционирования в основных режимах (режим решения сложной задачи, обработки наборов задач, обслуживание потоков задач) [16, 68, 69, 71, 141-143, 157-162]. Поэтому перспективным является разработка средств анализа и оптимизации живучего функционирования распределенных ВС [83-86, 116-145].

В силу своей болынемасштабности современные распределенные ВС требуют создания сложных многопараметрических моделей их функционирования, а это приводит к тому, что оценка меры адекватности моделей становится трудновыполнимой. Построение же простых моделей приводит, скорее, к качественным, чем количественным оценкам функционирования систем. Следовательно, создание одновременно простых и эффективных математических моделей с параметрами, основанными на качественной или достоверной, потенциально возможной, статистике, является актуальным.

Методы исследования. Для решения поставленных задач использовались методы теории вероятностей, случайных процессов, массового обслуживания (ТМО), математического анализа, теории функции комплексного переменного [163-192]. Экспериментальные исследования осуществлялись путём моделирования на пространственно-распределённой мультикластерной ВС [74].

Научная новизна. Предложены новые и развиты имеющиеся стохастические модели функционирования распределенных (однородных) вычислительных систем, позволившие рассчитать показатели надежности, живучести и осуществимости решения задач на распределенных ВС.

1. Разработана методика применения случайного процесса, описывающего функционирование распределенных ВС со структурной избыточностью.

2. Получена функция распределения времени нахождения распределенных ВС в состоянии низкой производительности.

3. Разработан алгоритмический и программный инструментарий анализа эффективности решения задач на распределенных ВС.

Практическая значимость и реализация работы. Разработанные модели и методы, полученные формулы и алгоритмы являются практическим инструментом анализа эффективности функционирования большемасштабных распределенных ВС.

Основные результаты исследований нашли применение в работах по развитию программного обеспечения для пространственно-распределённой мультикластерной ВС Центра параллельных вычислительных технологий (ЦПВТ) Федерального государственного образовательного бюджетного учреждения высшего профессионального образования «Сибирский государственный университет телекоммуникаций и информатики» (ФГОБУ ВПО «СибГУТИ») и Лаборатории ВС ИФП СО РАН. Основные этапы работы выполнены в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 20072013 годы». ГК № 02.514.11.0002, Разработка программных технологий для развития российского сегмента Грид систем параллельного программирования, систем компьютерной графики и «Научные и научно-педагогические кадры инновационной России». ГК № 02.740.11.0006, Проведение исследований в области распределённых вычислительных систем и развитие научно-учебного центра параллельных вычислительных технологий ФГОБУ ВПО «СибГУТИ».грант в виде субсидий №8228, Разработка алгоритмических и

программных средств моделирования наноструктур с квантовыми точками на информационно-вычислительных системах), при поддержке грантов Российского фонда фундаментальных исследований №№ 97-01-00883, 99-0790206, 00-01-00126, 01-01-06246, 02-01-06518, 02-07-90379, 05-07-90009, 06-0701817, 07-07-00142, 08-08-00300, 09-07-00185, 10-07-00157, 12-07-00145, 13-0700160, Совета Президента РФ по поддержке ведущих научных школ №№ НШ-9505.2006.9, НШ-2121.2008.9, НШ-5176.2010.9, НШ-2175.2012.9 и ФГОБУ ВПО «СибГУТИ» (2008-2013).

Получено три Свидетельства о государственной регистрации программ для ЭВМ (ЬШ) №№ 2012614642, 2012613763, 2013613353.

Результаты работы внедрены в учебный процесс ФГОБУ ВПО «СибГУТИ», в систему мультипрограммирования пространственно-распределенной мультикластерной ВС ЦПВТ ФГОБУ ВПО «СибГУТИ», в проект Сибнет ОАО «Ростелеком», что подтверждается соответствующими актами.

Автор защищает

1. Модели и методы расчета показателей надежности и живучести болыиемасштабных распределенных вычислительных систем со структурной избыточностью и без. Функцию распределения времени пребывания ВС в состоянии низкой производительности.

2. Модели и методы расчета показателей осуществимости, характеризующих параллельное решение задач на болынемасштабных ВС в основных режимах функционирования (решения сложной задачи, решения задач набора, обслуживания потоков задач).

Личный вклад автора заключается в проведении теоретических исследований, обосновании путей их практической реализации и авторском сопровождении при внедрении.

В диссертации обобщен комплекс исследований, выполненных сотрудниками ведущей научной школы в области анализа и организации функционирования болыиемасштабных распределенных вычислительных систем

(руководитель - чл. корр. РАН Хорошевский В.Г.), при участии сотрудников ФГОБУ ВПО «СибГУТИ» и ИФП СО РАН.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на следующих международных, всероссийских, российских и региональных конференциях: Bialystok, Poland (2006), Germany, Ilmenau (2000), пос. Кациавели, Крым, Украина (2006, 2008), Киев, Украина (2008), Минск, Беларусь (2012), пос. Дивноморское Геленджикского района (2001, 2007, 2009, 2010, 2012, 2013), Новосибирск (1994, 1995, 1998, 2000 - 2002, 20062013), Томск (2009, 2010, 2012).

Публикации. По теме диссертации опубликовано 65 работ, в том числе 1 монография, 20 статей (14 из перечня ВАК), 3 свидетельства о государственной регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, 5 глав, основных результатов и выводов, списка литературы (332 наименования) и приложений. Основное содержание работы изложено на 234 страницах, содержит 7 таблиц и 88 рисунков.

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР. АРХИТЕКТУРА РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

1.1. Концептуальные основы построения большемасштабных вычислительных систем (модель коллектива вычислителей)

Каноническую основу конструкции вычислительной системы и ее функционирования составляет модель коллектива вычислителей. Эта модель представляется парой [67, 68]:

5 = (я, л) ,

где Я и А - описание конструкции и алгоритм работы коллектива вычислителей. Конструкция коллектива вычислителей описывается в виде:

Н={С, С),

где С = {с,} - множество вычислителей с,, /V- мощность множества С, описание макроструктуры коллектива, т.е. структуры сети связей между вычислителями с,е С, г = О, N -1.

Конструкция коллектива вычислителей отражает следующие основополагающие архитектурные принципы [15, 67, 68, 193]:

1) параллелизм при обработке информации (параллельного выполнения операций на множестве С вычислителей, взаимодействующих через связи макроструктуры С);

2) программируемость макроструктуры (настраиваемость макроструктуры й сети связей между вычислителями, достигаемой программными средствами);

3) однородность конструкции Н (однородность вычислителей с;еС и макроструктуры &

1.1.1. Архитектурные свойства вычислительных систем

Основополагающие принципы конструкции коллектива вычислителей в совокупности с развитием элементной базы и математического аппарата, позволяют достичь полноты свойств архитектуры в вычислительных системах,

включая большемасштабность и масштабирование [13, 15, 20, 31, 40, 67, 68, 95,102, 193, 194]. Отметим основные свойства архитектуры ВС.

Масштабируемость ( scalability) вычислительных систем - способность к наращиванию и сокращению ресурсов, возможность изменения производительности. Сложность (трудоемкость), решаемых на вычислительных средствах задач, постоянно растет. Чтобы сохранить во времени за вычислительной системой способность быть адекватным средством решения сложных задач, необходимо чтобы она обладала таким свойством архитектуры как масштабируемость. Это означает, что производительность, достигнутую ВС на заданном количестве вычислителей, можно увеличить, добавив один или несколько вычислителей. Выполнение этого свойства ВС гарантируется принципами модульности, локальности, децентрализации и распределённости [16, 67, 68].

Свойство наращиваемости производительности предоставляет потенциальную возможность решать задачи, практически, любой заданной сложности. Однако при реализации этой возможности требуется, чтобы алгоритм решения сложной задачи удовлетворял условию локальности: межмодульные пересылки информации не должны существенно влиять на время решения задачи, что может быть достигнуто за счет крупноблочного распараллеливания сложных задач и/или аппаратурных средств, которые позволяют совместить межмодульные обмены информацией с вычислениями.

Универсальность ВС. Вычислительные системы алгоритмически и структурно универсальны.

Принято считать, что ЭВМ, в основе которых лежит модель вычислителя, являются алгоритмически универсальными, если они обладает способностью (без изменения своих структур) реализовать алгоритм решения любой задачи. С другой стороны, ВС - это коллектив вычислителей [92], каждый из которых обладает алгоритмической универсальностью, следовательно, и система универсальна (в общепринятом смысле).

В вычислительных системах могут быть реализованы не только любые алгоритмы, доступные ЭВМ, но и параллельные алгоритмы решения сложных задач. Последние следует из определений модели коллектива вычислителей [68] и, в частности, алгоритма функционирования ВС.

Структурная универсальность ВС - следствие воплощения архитектурных принципов коллектива вычислителей [57, 68], в частности, принципа программируемое™ структуры. Суть этого принципа - возможность автоматически (программно) порождать специализированные (проблемно-ориентированные) виртуальные конфигурации, которые адекватны структурам и параметрам решаемых задач.

Таким образом, вычислительные системы сочетают в себе достоинства цифровой техники, где процесс вычислений в основном задаётся алгоритмически (точнее: программно) и аналоговой техники [56], где процесс вычислений предопределяется структурными схемами.

Структурная универсальность позволяет говорить и о специализированности ВС: для каждой задачи допустима автоматическая настройка такой конфигурации из ресурсов ВС, которая наиболее адекватна алгоритму решения задачи. Итак, ВС - это средство, в котором одновременно сочетаются антагонистические свойства универсальности и специализированности [67, 68].

Алгоритмическая и структурная универсальность проявляются также в возможности организации "виртуальных" конфигураций с произвольной архитектурой (на уровне потоков команд и данных) и реализации в системе известных режимов обработки информации.

Производительность (ре^оппапсе) вычислительных систем. В отличие от ЭВМ, построенных на основе модели вычислителя, ВС не имеют принципиальных ограничений в наращивании производительности. Рост производительности достигается не только за счёт повышения физического быстродействия микроэлектронных элементов, но и благодаря увеличению количества вычислителей. Следует подчеркнуть, что благодаря свойству

однородности, наращиваемость ВС осуществляется простым подключением дополнительных вычислителей без конструктивных изменений первоначального состава системы. При этом достигается простота настройки программного обеспечения на заданное число вычислителей в системе. На основании последнего, обеспечивается совместимость вычислительных систем различной производительности.

Полнота воплощения принципа параллелизма, при выполнении операций, позволяет достичь заданной производительности ВС как в монопрограммном режиме (при решении одной сложной задачи, т.е. задачи с большим числом операций), так и в мультипрограммных режимах (при обработке наборов и обслуживании потоков задач произвольной сложности). Задачи представляются параллельными программами, количество ветвей в каждой из которых является функцией от сложности задачи [31]. Значения производительности, ёмкости памяти, скорости ввода-вывода информации для системы, определяются числом вычислителей и их составом.

Реконфигурируемость (рго£гаттаЫ1'йу) вычислительных систем. Структурная и функциональная гибкость ВС вытекает из широких возможностей систем по статической и динамической реконфигурации. Статическая реконфигурация ВС обеспечивается варьированием числа вычислителей, их структуры и состава, выбором для вычислителей числа полюсов для связи другими вычислителями, возможностью построения структур в виде графов, относящихся к различным классам, допустимостью применения в качестве связей каналов различных типов, различной физической природы и различной протяжённости и т.п. Благодаря приспособленности ВС к статической реконфигурации достигается адаптация системы под область применения на этапе её формирования [25-27, 67, 68].

Динамическая реконфигурация ВС достигается возможностью образования в системах таких подсистем, структура и функциональная организация которых адекватны входной мультипрограммной ситуации и структурам решаемых задач. Следовательно, способность ВС к динамической реконфигурации приводит к её

высокой универсальности: достигается заданный уровень производительности при решении широкого класса задач; реализуются известные в вычислительной технике режимы функционирования (коллективное пользование, пакетная обработка и др.); способы управления вычислительным процессом (централизованный, децентрализованный и др.); структурные схемы (изолированные вычислительные машины, системы из нескольких процессоров и одной элементарной машины (ЭМ); системы из одной ЭМ и нескольких устройств памяти и т.п.) и способы обработки информации (конвейерный, матричный, распределённый и др.) [67, 68].

Способность ВС к динамической реконфигурации является следствием принципов коллектива вычислителей и, прежде всего, принципа программируемости структуры. Такая способность ВС позволяет ей в процессе функционирования производить автоматическую перенастройку своей структуры для реализации обменов информацией между вычислителями, осуществлять "подстройку" состояний функциональных устройств и узлов в вычислителях с целью достижения адекватности между ВС и совокупностью совместно протекающих в ней процессов [92].

Надёжность и живучесть ВС. Эти понятия семантически близки, оба призваны характеризовать архитектурные способности ВС по выполнению возлагаемых на них функций. Однако каждое из них отражает специфические особенности ВС по использованию исправных ресурсов при переработке информации.

Под надёжностью (reliability) ВС понимается способность автоматической (программной) настройки таких структурных схем и организации их функционирования, которые, в условиях отказа и восстановления вычислителей, обеспечивают, при реализации параллельных программ решения сложных задач, заданный уровень производительности или, говоря иначе, возможность использовать фиксированное число исправных вычислителей. Это понятие характеризует возможности ВС по переработке информации при наличии фиксированной структурной избыточности (представленной частью

вычислителей) и при использовании параллельных программ с фиксированным числом ветвей.

При изучении надёжности ВС, под отказом понимается событие, при котором система теряет способность выполнять функции, связанные с реализацией параллельной программы с заданным числом ветвей. Если ВС находится в состоянии отказа, то число неисправных вычислителей превосходит число вычислителей, составляющих структурную избыточность. Понятие надёжности ВС вкладывается в общепринятое понятие надёжности систем, а структурные схемы, порождаемые в пределах ВС для надежной реализации параллельных программ с фиксированным числом ветвей, выступают как виртуальные системы и показывают достаточную близость к системам с (нагруженным) резервом.

Под живучестью (robustness) ВС понимается свойство программной настройки и организации функционирования таких структурных схем, которые в условиях отказов и восстановления вычислителей гарантируют при выполнении параллельной программы производительность в заданных пределах или возможность использования всех исправных вычислителей. Понятие живучести ВС характеризует способности систем по организации отказоустойчивых вычислений или, говоря иначе, по реализации параллельных программ, допускающих варьирование числа ветвей в известных пределах.

При рассмотрении живучести ВС выделяют полный и частичный отказы. Под полным отказом ВС понимается событие, состоящее в том, что система теряет способность выполнять параллельную программу. Частичным отказом считают событие, при котором хотя и имеют место отказы вычислителей, но сохраняется возможность реализации на ВС параллельной программы с переменным числом ветвей. Полный отказ делает производительность системы равной нулю, а частичный отказ приводит лишь к некоторому снижению производительности, т.е. к увеличению времени реализации параллельной программы с переменным числом ветвей. Понятия полного и частичного восстановления ВС очевидны.

В живучих ВС допустимо использование аппаратурной избыточности на уровне отдельных функциональных устройств и узлов вычислителей, однако эта избыточность играет лишь вспомогательную роль. Следует подчеркнуть, что в живучей ВС в любой момент функционирования используется суммарная производительность всех исправных вычислителей. Из последнего следует, что программы решения задач должны обладать свойством адаптируемости (под число исправных вычислителей) и иметь информационную избыточность [92].

Ясно, что описанные выше принципы технической реализации вычислительных систем, как коллективов вычислителей, суть необходимые условия достижения ими свойства живучести [55, 73].

Самоконтроль и самодиагностика (self-testing and self-diagnostics) вычислительных систем. Организация надёжного и живучего функционирования ВС связана с контролем правильности работы системы и с локализацией неисправностей в ней [195-203]. В системах-коллективах вычислителей может быть применён нетрадиционный подход к контролю и диагностике [67, 68]:

1) в качестве контрольно-диагностического ядра ВС могут быть использованы любые исправные вычислители и в пределе ядро любого произвольно выбранного вычислителя,

2) выбор ядра системы и определение исправности могут быть произведены автоматически (с помощью средств ВС).

Предлагаемый подход позволяет говорить о самоконтроле и самодиагностике ВС. Заключение об исправности или неисправности отдельных вычислителей системы принимается коллективно всеми вычислителями на основе сопоставления их индивидуальных заключений об исправности соседних с ними вычислителей.

Сказанное выше относительно надёжности, живучести, самоконтроля и самодиагностики ВС в равной степени относится и к отдельным частям систем, то есть к их подсистемам; надёжность и живучесть ВС могут быть достигнуты и в случае мультипрограммной работы.

Технико-экономическая эффективность (technical-economical officiency) вычислительных систем. Конструктивная однородность позволяет сократить сроки разработки и изготовления систем, приводит к высокой технологичности производства, упрощает и статическую, и динамическую реконфигурации ВС, облегчает их техническую эксплуатацию [92]. Она существенно упрощает процесс организации взаимодействий между вычислителями ВС и облегчает создание программного обеспечения. Полнота воплощения основных принципов модели коллектива вычислителей позволяет заметно ослабить зависимость между ростом производительности ВС и увеличением трудоёмкости их проектирования и изготовления, а также создания системного программного обеспечения. Они открывают возможность построения высокопроизводительных экономически приемлемых вычислительных систем при существующей физико-технологической базе. Более того, возможность наращивать производительность позволяет применять для построения ВС микроэлектронные элементы с быстродействием далеким от предельного и, следовательно, обладать более высокой надежностью и меньшим энергопотреблением. В свою очередь, это приводит к снижению расходов на установку искусственного климата и содержание эксплуатационного персонала ВС [68].

1.2. Распределенные вычислительные системы

Распределенные ВС - мультипроцессорные ВС с MIMD-архитектурой, в них нет единого ресурса (общей памяти) [68, 113]. Распределенная ВС основывается на принципах модульности и близкодействия. Основные компоненты распределенной ВС (такие, как коммутатор, устройство управления, арифметико-логическое устройство или процессор, память) допускают представление в виде композиции из одинаковых элементов (локальных коммутаторов и устройств управления, локальных процессоров и модулей памяти).

Вычислительный кластер (Cluster) - композиция множества компьютеров (элементарных машин), сети межкомпыотерных связей, специального системного программного и технического обеспечения для параллельных вычислительных технологий.

Главным преимуществом кластерных систем является относительно низкая стоимость. При стоимости в несколько раз меньшей, чем стоимость традиционных коммерческих ВС, кластерные системы дают близкую производительность по большинству классов задач.

При формировании кластерной ВС могут быть использованы как стандартные промышленные компоненты, так и специально созданные средства. Однако в кластерных ВС, как правило, превалируют массовые аппаратурно-программные средства. Они, в сущности, являются принципом конструирования кластерных ВС, обеспечивающих их высокую технико-экономическую эффективность.

Подход к организации ВС из промышленных компонентов был предложен в Лаборатории ВС СО АН СССР, руководимой членом-корреспондентом РАН В.Г. Хорошевским. Как было сказано выше, в Лаборатории ВС были созданы такие ВС, как МИКРОС (1986), МИКРОС-2 (1992), основанные на ЭВМ семейства "Электроника" [68, 72]. Эти ВС можно считать одними из первых кластеров.

Особую популярность кластерные системы приобрели со времени реализации проекта BeoWulf [31, 204]. Проект возник в Научно-космическом центре NASA - Goddard Space Flight Center (GSFC), точнее, в созданном на его основе CESDIS (Center of Excellence in Space Data and Information Sciences). Проект Beowulf начался летом 1994 года сборкой в GSFC 16-процессорного кластера (на процессорах 486DX4/100MHz, 16MB памяти и 3 сетевых адаптера на каждом узле, 3 «параллельных» Ethernet-кабеля по 10Mbit).

В 39-ой редакции списка Тор500 самых мощных суперкомпьютеров мира [205] более 80% занимают кластерные системы.

Список литературы диссертационного исследования кандидат наук Павский, Кирилл Валерьевич, 2013 год

СПИСОК ЛИТЕРАТУРЫ

1. Балашов, Е.П. Микро и мини-ЭВМ / Е.П. Балашов, В.Л. Григорьев, Г.А. Петров. - Л.: Энергоатомиздат. Ленинградское отд., 1984. - 376 с.

2. Балашов, Е.П. Микропроцессоры и микропроцессорные системы / Е.П. Балашов, Д.В. Пузанков, В.Б. Смолов. - М.: Радио и связь, 1981. -326 с.

3. Бетелин, В.Б. Архитектура цифровых процессоров обработки сигналов / В.Б. Бетелин, Е.В. Грузипова, A.A. Кольцова и др. - М.: РАН. Научный совет по комплексной проблеме «Кибернетика», 1994. - 20 с.

4. Бурцев, B.C. О необходимости создания супер-ЭВМ в России / B.C. Бурцев // Информационные технологии и вычислительные системы. -1995.-№1.-С. 5-11.

5. Бурцев, B.C. Параллелизм вычислительных процессов и развитие архитектур суперЭВМ / B.C. Бурцев. - М.: ИВВС РАН, 1997. - С. 2840.

6. Васильев, В.В. Многопроцессорные вычислительные структуры для анализа экстремальных задач на сетях / В.В. Васильев, А.Г. Додонов // Проблемы электроники вычислительной техники. - К.: Наукова думка, 1976.-С. 85-97.

7. Васильев, В.В. Сети Петри, параллельные алгоритмы и модели мультипроцессорных систем / В.В. Васильев, В.В. Кузьмук. - Киев: Наук. Думка, 1990.-216 с.

8. Вишневский, В.М. Теоретические основы проектирования компьютерных сетей / В.М. Вишневский. - М.: Техносфера, 2003. -512 с.

9. Воеводин, В.В., Воеводин Вл.В. Параллельные вычисления / В.В. Воеводин, Вл.В. Воеводин. - СПб: БХВ, 2004. - 608 с.

10. Воеводин, Вл.В. Вычислительное дело и кластерные системы / Вл.В. Воеводин, С.А. Жумайтис. - М.: Изд-во МГУ, 2007. - 150 с.

11. Глушков, В.М. Вычислительная машина «Киев». Математическое описание / В.М. Глушко, E.JI. Ющенко. - Киев: Гос. тех. изд-во УССР, 1962.- 183 с.

12. Евдокимов, В.Ф. Параллельные вычислительные структуры на основе разрядных методов / В.Ф. Евдокимов, А.И. Стасюк. - К.: Наукова думка, 1987.-311 с.

13. Евреинов, Э.В. Однородные вычислительные системы, структуры и среды / Э.В. Евреинов. - М.: Радио и связь, 1981. - 208 с.

14. Евреинов, Э.В. Однородные универсальные вычислительные системы высокой производительностью / Э.В. Евреинов, Ю.Г. Косарев. - М.: Наука, 1966. - 308 с.

15. Евреинов, Э.В. Цифровые автоматы с настраиваемой структурой / Э,В. Евреинов, И.В. Прангишвили. - М.: Энергия, 1974. - 240 с.

16. Евреинов, Э.В. Однородные вычислительные системы / Э.В. Евреинов, В.Г. Хорошевский. - Новосибирск: Наука, 1978. - 319 с.

17. Забродин, A.B. Параллельные вычислительные технологии. Состояние и перспективы // Препринт Института прикладной математики им. М.В. Келдыша РАН, 1999. -№71.

18. Аветисян, А.И. Прогнозирование производительности МР1-программ на основе моделей / А.И. Аветисян, С.С. Гайсарян, В.П. Иванников, В.А. Падарян // Автоматика и телемеханика. - 2007. - № 5. - С. 8-17.

19. Иванников, В.П. Эффективно-переносимое программирование параллельных архитектур / В. П. Иванников, А. Л. Ластовецкий // Фундаментальная и прикладная математика. - 1998. - Т4. - №3. - С. 947-974.

20. Королев, Л.Н. Функции диспетчера операционной системы БЭСМ-6 / Л. Н. Королёв, В. П. Иванников, А. Н. Томилин // Журнал вычислительной математики и математической физики. - 1968. - Т.8. -№6.-С. 1403-1418.

21. Игнатьев, М.Б. Надежность однородных вычислительных систем / М.Б. Игнатьев, Б.С. Флейшман, В.Г. Хорошевский, О.В. Щербаков //

Вычислительные системы. - вып.48. - Новосибирск: Изд-во СО РАН СССР, 1972.

22. Игнатьев, М.Б. Управление вычислительными процессами / М.Б. Игнатьев. - Л.: ЛГУ, 1973. - 296 с.

23. Игнатьев, М.Б. Рекурсивные вычислительные машины // Информационно-управляющие системы. - 2004. - №5. - С. 54-57.

24. Каляев, A.B. Проблемы оценки производительности многопроцессорных вычислительных систем / A.B. Каляев, В.Ф. Гузик, И.А. Каляев, А.И. Костюк // Электронное моделирование. - 2000. - №6.

- С. 43-59.

25. Каляев, A.B. Модульно-наращиваемые многопроцессорные системы со структурно-процедурной организацией вычислений / A.B. Каляев, И.И. Левин. - М.: Янус-К, 2003. -380 с.

26. Каляев, A.B. Реконфигурируемые мультиконвейерные вычислительные структуры / A.B. Каляев, И.И. Левин, Е.А. Семерников, В.И. Шмойлов.

- Ростов-на-Дону: Изд-во ЮНЦ РАН, 2008. - 320 с.

27. Каляев, И.А. Высокопроизводительные модульно-наращиваемые многопроцессорные системы на основе реконфигурируемой элементной базы / И.А. Каляев, И.И. Левин // Вычислительные методы и программирование. - 2007. - Т.8. - №1. - С. 181-190.

28. Каляев, И.А. Децентрализованные системы компьютерного управления / И.А. Каляев, Э.В. Мельник. - Ростов-на-Дону: Изд-во ЮНЦ РАН, 2011.-196 с.

29. Карцев, М.А. Арифметика цифровых машин / М.А. Карцев. - М.: Наука, 1969. - 576 с.

30. Корнеев, В.В. Архитектура вычислительных систем с программируемой структурой / В.В. Корнеев. - Н.: Наука, 1985. -168 с.

31. Корнеев, В.В. Параллельные вычислительные системы / В.В. Корнеев.

- М.: Нолидж, 1999. - 320 с.

32. Корнеев, B.B. Архитектуры с распределенной разделяемой памятью / В.В. Корнеев // Открытые системы. - 2001. - № 3. - С. 15-23.

33. Komeev, V. Multiagent Distributed Grid Scheduler / V. Korneev, D. Semenov, A. Kiselev et al. // Proceedings of the Federated Conference on Computer Science and Information Systems. - 2011. - P. 577-580.

34. Королёв, JI.H. Микропроцессоры, микро- и мини-ЭВМ. - М.: МГУ, 1988.-211 с.

35. Кузнецов, H.A. Методы анализа синтеза модульных информационно управляющих систем / H.A. Кузнецов, В.В. Кульба, С.Е. Ковалевский. - М.: Физмалит, 2002. - 797 с.

36. Лазарев, В.Г. Динамическое управление потоками в сетях / В.Г. Лазарев, Ю.В. Лазарев. - М.: Радио и связь, 1983. - 216 с.

37. Лацис, А. Параллельная обработка данных / А. Лацис. - М.: Академия, 2010.-336 с.

38. Лацис, А. Как построить и использовать суперкомпьютер / А. Лацис-М.: Бестселлер, 2003. - 274 с.

39. Лебедев, С.А. Быстродействующие универсальные вычислительные машины / С.А. Лебедев. - М.: Наука, 1956. - 15 с.

40. Левин, В.К. Высокопроизводительные мультипроцессорные системы / В.К. Лебедев // Информационные технологии и вычислительные системы, - 1995.- №1.-С.12-21.

41. Левин, В.К. Коммуникационная сеть МВС-Экспресс / В.К. Левин, Б.Н. Четверушкин, Г.С. Елизаров и др. // Параллельные вычисления и задачи управления (РАСО'2012): в 3 т. - Т. 1.: шестая междунар. конф. -М.: ИПУ РАН, 2012. - С. 52-69.

42. Елизаров, Г.С. Коммуникационная сеть МВС-Экспресс / Г.С. Елизаров, B.C. Горбунов, В.К. Левин и др. // Вычислительные методы и программирование. - 2012. -Т.13.-С. 103-109.

43. Дбар, С.А. Развитие программного обеспечения коммуникационной системы МВС-Экспресс и некоторые проблемы разработки гибридных приложений для суперкомпьютера К-100 / С.А. Дбар, Ю.А. Климов,

М.М. Краснов и др. // Научный сервис в сети Интернет: поиск новых решений: труды Межд. суперкомпыотерной конф. - М.: Изд-во МГУ, 2012. - С. 428^30.

44. Горбунов, B.C. О построении суперкомпьютеров на основе интерфейса PCI-EXPRESS / B.C. Горбунов, А.О. Лацис, А.Н. Иванов // Суперкомпьютерные технологии: разработка, программирование, применение (СКТ-2010): в 2 т. - Т. 1: мат-лы Межд. науч.-техн. конф. -Таганрог, 2010. - с. 55-57.

45. Марчук, Г.И. Методы вычислительной математики / Г.И. Марчук. - М.: Наука, 1980. - 535 с.

46. Krecker, G.M. POLAR - A Programming Language for Multiprocessor Systems / G.M. Krecker, T.I. Lelchuk, A.G. Marchuk // Proceed, of the IFIP: 11th World Computer Congress. - USA, San Francesco, 1989. - P. 33-37.

47. Марчук, А.Г. Распределенные электронные архивы, библиотеки и базы данных / А.Г. Марчук // Препринт 122. Новосибирск: Институт систем информатики им. А.П. Ершова СО РАН, 2004. - 25 с.

48. Митропольский, Ю.И. Мультиархитектурная вычислительная суперсистема / Ю.И. Митропольский // Методы и средства обработки информации: труды Первой Всеросс. науч. конф. - М.: МГУ, 2003. - С. 131-136.

49. Митропольский, Ю.И. Мультиархитектура - новая парадигма для суперкомпьютеров / Ю.И. Митропольский // Электроника: наука, технология, бизнес. - 2005. - № 3. - С. 42-47.

50. Митропольский, Ю.И. Мультиархитектурные вычислительные суперсистемы / Ю.И. Митропольский // Вычислительные сети. Теория и практика. - 2008. - №2(13). - http://network-journal.mpei.ac.ru/cgi-bin/main.pl?l=ru&n=13&pa=2&ar=l (дата обращения 28.11.2013).

51. Поспелов, Д.А. Введение в теорию вычислительных систем / Д.а. Поспелов. - М.: Сов. радио, 1972. - 280 с.

52. Прангишвили, И.В. Микропроцессоры и локальные сети микроЭВМ в распределенных системах управления / И.В. Прангишвили. - М.: Энергоатомиздат, 1985.-271 с.

53. Прангишвили, И.В. Принципы построения высокопроизводительных ЭВМ с перестраиваемой структурой / И.В. Прангишвили. - Киев: Наукова думка, 1976.-С. 14—25.

54. Пузанков, Д.В. Микропроцессорные системы / Д.В. Пузанков. - СПб.: Политехника, 2002. - 935 с.

55. Пухов, Г.Е. Моделирующие математические машины с переменной структурой / Г.Е. Пухов. - Киев: Наукова думка, 1970. - 248 с.

56. Пухов, Г.Е. Разрядно-аналоговые вычислительные системы / Г.Е. Пухов, В.Ф. Евдокимов, М.В. Синьков. - М.: Советское радио, 1978. -255 с.

57. Рябов, Г.Г. Выбор интегральных схем узлов ЭВМ для интегрального исполнения / Г.Г. Рябов, B.C. Чупаев и др. - М.: Наука, 1969. - 83 с.

58. Языки и параллельные ЭВМ: под ред. Самарского А.А..— М.: Наука, 1990.-91 с.

59. Matsumoto, К. Blocked All-Pairs Shortest Paths Algorithm for Hybrid CPU-GPU System / K. Matsumoto, N. Nakasato, S.G. Sedukhin // In Proceeding of HPCC. - Japan, 2011. - P. 145-152.

60. Yokoyama, S. Matrix Inversion on the Cell Processor / S. Yokoyama, K. Matsumoto, S.G. Sedukhin // In Proceeding of the 11th IEEE International Conference on High Performance Computing and Communications (HPCC-09). - Korea: Seoul, 2009. - P. 148-153.

61. Sedukhin, S.G. Highly-Scalable Array Processor for Data Parallel Applications / S.G. Sedukhin, M. Soliman // Proc. of the International Symposium on Information Science and Electrical Engineering 2003 (ISEE 2003). - Japan: Fukuoka, 2003. - P. 167 - 170.

62. Смолов, В.Б. Аналогово-цифровые и цифро-аналоговые нелинейные устройства / В.Б. Смолов, B.C. Фомичев. - Л.: Энергия, 1974. - 264 с.

63. Томилин, А.Н. Использование моделирования в анализе и разработке вычислительных систем / А.Н. Томилин // Распределённая обработка информации: труды Шестого Межд. семинара. - Новосибирск: Изд-во СО РАН, 1998. - С. 273-277.

64. Tomilin, A.N. Tunable System for Computer Structure Simulation / A.N. Tomilin // Scintific Computation, Modelling and Mathematics: in proceedings of the 15th IMACS World Congress: ed. by A.Sydow. - Berlin: Wissenschaft und Technic Verlag, 1997. - V.6. - P. 371-373.

65. Федотов, A.M. Некорректные задачи со случайными ошибками в данных / A.M. Федотов, М.М. Лаврентьев. - Новосибирск: Наука. Сибирское отделение, 1990. - 279 с.

66. Хетагуров, Я. А. Основы проектирования управляющих вычислительных систем / Я.А. Хетагуров. - М.: Радио и связь, 1991. -287 с.

67. Хорошевский, В.Г. Архитектура вычислительных систем / В.Г. Хорошевский. - М.: МГТУ им. Баумана, 2008. - 520 с.

68. Хорошевский, В.Г. Инженерный анализ функционирования вычислительных машин и систем / В.Г. Хорошевский. - М.: Радио и связь, 1987. - 256 с.

69. Хорошевский, В.Г. Организация стохастически оптимального функционирования большемасштабных распределенных вычислительных систем / В.Г. Хорошевский // Информационные технологии и вычислительные системы. - 2001. - №2/3. - С. 30-39.

70. Хорошевский, В.Г. Расчет показателей эффективности функционирования распределенных вычислительных систем / В.Г. Хорошевский, В.А. Павский // Автометрия. - 2008. - №2. - С. 3-15.

71. Khoroshevsky, V.G. Architecture of Distributed Robust Computer Systems / V.G. Khoroshevsky // 42 Internationals Wissenschaftliches Kolloquium: in proceedings. - Technische Universitaet Ilmenau, 1997. - V.l. - P. 312-317.

72. Khoroshevsky, V.G. MICROS: a family of large-scale distributed programmable structure computer systems / V.G. Khoroshevsky // Proceedings of the Sixth International Workshop on Distributed Data

Processing. - Novosibirsk: RAS Siberian Branch Publisher, 1998. - P. 6576.

73. Khoroshevsky, V.G. Modelling of Large-Scale Distributed Computer Systems / V.G. Khoroshevsky // In Proceedings of the 15th IMACS World Congress on Scintific Computation, Modelling and Mathematics: Ed. by A.Sydow. - Berlin: Wissenschaft und Technic Verlag, 1997. - v.6. - P. 359-364.

74. Хорошевский, В.Г. Пространственно-распределенная мультикластерная вычислительная система: архитектура и программное обеспечение / В.Г. Хорошевский, М.Г. Курносов, С.Н. Мамойленко // Вестник ТГУ. Управление, вычислительная техника и информатика. - 2011. -№ 1(14). - С. 79-84.

75. Четверушкин, Б.Н. Высокопроизводительные многопроцессорные вычислительные системы: проблемы использования и подготовки кадров / Б.Н. Четверушкин // Вестник РАН. - 2000. - Т.72. - № 9. -С. 786-794.

76. Четверушкин, Б.Н. Кинетически согласованные схемы в газовой динамике / Б.Н. Четверушкин. - М., изд-во МГУ, 1999. - 232 с.

77. Шокин 10. И. Телекоммуникационные и мультимедийные ресурсы СО РАН / 10. И. Шокин, В. В. Шайдуров , И. В. Бычков // Сибирское отделение РАН в XXI веке. - Новосибирск: Изд-во СО РАН. - 2012. -С. 171-176.

78. Shokin, Yu. I. Computing Facility of the Institute of Computational Technologies SB RAS / Yu. I. Shokin, D. L. Chubarov , M. P. Fedoruk , A. V. Yurchenko // Computational Science and High Performance Computing III. The 3rd Russian-German Advanced Research Workshop, Novosibirsk, Russia, 23-27 July 2007. Notes on Numerical Fluid Mechanics and Multidisciplinary Design.: Springer-Verlag - 2008. - V. 101. -P.l-7.

79. Rychkov, A.D Numerical modeling of work of pulse aerosol system of fire fighting on computer clusters / A.D. Rychkov, Yu.I. Shokin // Notes on Numerical Fluid Mechanics and Multidistiplinary Designes. - 2011. -V.115. -P. 51 -63.

80. Ryabko, В. Ya. Using information theory approach to randomness testing / B. Ya. Ryabko , A. N. Fionov , V. A. Monarev , IO. И. Шокин // Computational Science and High Performance Computing II. Notes on Numerical Fluid Mechanics and Multidisciplinary Design. - Volume 91. -Springer-Verlag. - 2006. - Pp. 261-272.

81. Shokin, Yu.I., Parallel FVTD for Solving Maxwell Equations in Dielectric-Metal Composite Media / Yu.I. Shokin, L.Yu. Prokopyeva, M.P. Fedoruk et al. // Notes on Numerical Fluid Mechanics and Multidisciplinary Design. -2011.-V.115.-P. 43-49.

82. Яненко, H.H. Параллельные вычисления в задачах математической физики на вычислительных системах с программируемой структурой / Н.Н. Яненко, В.Г. Хорошевский, А.Д. Рычков // Электронное моделирование. - 1984. - Т.6. - № 1. - С. 3-8.

83. Foster, I. Globus: A Metacomputing Infrastructure Toolkit / I. Foster, C. Kesselman // Intl J. Supercomputer Applications.— 1997.— V.ll. №3. -P. 115-128.

84. Foster, I. The Anatomy of the Grid: Enabling Scalable Virtual Organizations / I. Foster, C. Kesselman, S. Tuecke // International Journal of High Performance Computing Applications. - 2001. - №15 (3). - P. 200-222.

85. Foster, I. What is the Grid? A Three Point Checklist / I. Foster. -http://www-fp.mcs.anl.gov/~foster/Articles/WhatIsTheGrid.pdf (дата обращения 28.01.2013).

86. Dongara J.J. High-performance computing systems: Status and outlook. / J.J. Dongara Cambridge University Press, 2012. 96 p.

87. Frey, J., Condor-G: A computation management agent for multi-institutional grids / J. Frey, T. Tannenbaum, M. Livny, I. Foster, S. Tuecke // Cluster Computing. - 2001. - V.5. - P. 237-246.

88. Flynn, M. Very high-speed computing system / M. Flynn // Proc. of the IEEE. - 1966. - V.54. - P. 1901-1909.

89. Flynn, M. Some Computer Organisations and Their Effectiveness / M. Flynn // IEEE Trans. Computers. - 1972. - V.9 (21). - P. 948-960.

90. Litzkow, M., Checkpoint and migration of UNIX processes in the Condor distributed processing system / M. Litzkow, T. Tannenbaum, J. Basney, M. Livny // Technical report 1346. - Wisconsin, Madison: University of Wisconsin, 1997.

91. Таненбаум, Э. Распределенные системы: принципы и парадигмы / Э. Таненбаум. - СПб.: Питер, 2003. - 877 с.

92. Хокни, Р. Параллельные ВС. Архитектура, программирование и алгоритмы / Р. Хокни, К. Джессоуп. - М.: Радио и связь, 1986. - 392 с.

93. Авен, О.И. Оценка качества и оптимизация вычислительных систем / О.И. Авен, H.H. Турин, Я.А. Коган. - М.: Наука, 1982. - 464 с.

94. Каган, Б.М. Электронные вычислительные машины и системы / Б.М. Каган. - М.: Энергоатомиздат, 1991. - 592 с.

95. Каган, Б.М. Основы эксплуатации ЭВМ / Б.М. Каган, И.Б. Мкртумян. -М.: Энергоатомиздат, 1983. - 376 с.

96. Водяхо, А.И. Высокопроизводительные системы обработки данных / А.И. Водяхо, H.H. Горпец, Д.В. Пузанков. - М.: Высшая школа, 1997. -304 с.

97. Воробьёв, В. А. Теория однородных вычислительных систем: однородные структуры / В.А. Воробьев. - Архангельск: Изд-во ПТУ им. М.В. Ломоносова, 2001. - 95 с.

98. Воробьёв, В.А. Метод моделирования популяции автоматов / В.А. Воробьев // Современные достижения в науке и образовании: математика и информатика: мат-лы межд. науч.-практ. конф. -Архангельск, 2010. - С. 16-22.

99. Головкин, Б.А. Параллельные вычислительные системы / Б.А. Головкин. - М.: Наука, 1980. - 520 с.

100. Додонов, А.Г. Анализ отраслевых вычислительных сетей / А.Г. Додонов, Н.Т. Клещев, В.Г. Клименко. - Л.: Судостроение, 1990. -256 с.

101. Додонов, А.Г. Введение в теорию живучести вычислительных систем / А.Г. Додонов, М.Г. Кузнецова, Е.С. Горбачик. - Киев: Наукова думка, 1990.- 181 с.

102. Ларионов, A.M. Вычислительные комплексы, системы и сети / A.M. Ларионов, С.А. Майоров, Г.И. Новиков. - Л.: Энергоатомиздат, 1987. -288 с.

103. Максимей, И.В. Функционирование вычислительных систем / И.В. Максимей. - М.: Советское радио, 1979. - С. 272.

104. Попков, В.К. Математические модели живучести сетей связи / В.К. Попков. - Новосибирск: ВЦ СО РАН, 1990. - 235 с.

105. Попков, В.К. Performance analysis of sleeping attacks in wireless sensor networks / В.К. Попков, B.B. Шахов // Computational Technologies in Electrical and Electronics Enginnering (SIBIRCON 2008): Proceedings of the 1st IEEE Region 8 International Conference. - Novosibirsk: Scientific Centre. - 2008 - P. 418-420.

106. Зыкин, С. В. Разработка и исследование моделей данных и средств организации взаимодействия пользователей с информационными ресурсами / С. В. Зыкин // Диссертация на соискание ученой степени доктора технических наук, Омский филиал института математики СО РАН, Омск, 2005, 252 с.

107. Мархасин, А.Б. Асимптотическая модель суммирования нестационарных потоков однородных событий с последействием в беспроводных сетях множественного доступа / А.Б. Мархасин // Вестник СибГУТИ. - 2011. -Т.4. - С. 19-31.

108. Пирс, У. Построение надежных вычислительных машин / У. Пирс. -М., 1968. - 270 с.

109. Глинский, Б.М. Агентно-ориентированный подход к имитационному моделированию суперЭВМ экзафлопсной производительности в приложении к распределенному статистическому моделированию / Б.М. Глинский, A.C. Родионов, М.А. Марченко и др. // Вестник ЮУрГУ. - 2012. -Вып. 12. - №18 (277). - С. 93-106.

110. Glinsky, В. Scaling the Distributed Stochastic Simulation to Exaflop Supercomputers / B. Glinsky, A. Rodionov, M. Marchenko et al. // High Performance Computing and Communication IEEE (HPCC-ICESS): 9th International Conference on Embedded Software and Systems. - 2012. - P. 1131-1136.

111. Rodionov, A.S. Improvements in the Efficiency of Cumulative Updating of All-Terminal Network Reliability / A.S. Rodionov, D.A. Migov, O.K. Rodionova // IEEE Transactions on Reliability. - 2012. - V.61. - №2. - P. 460-465.

112. Rodionov, A.S. On the Expected Value of a Number of Disconnected Pairs of Nodes in Unreliable Network / A.S. Rodionov, O.K. Rodionova, H. Choo // Lecture Notes in Computer Science 4707 (ICCSA-2007). Proceedings, part III. - Springer-Verlag: Springer, 2007. - P.534-543.

113. Топорков, B.B. Модели распределенных вычислений / В.В. Топорков. -М.: ФИЗМАТЛИТ, 2004. - 320 с.

114. Самофалов, К.Г. Основы теории многоуровневых конвейерных вычислительных систем / К.Г. Самофалов, Г.М. Луцкий. - М.: Радио и связь, 1989.-272 с.

115. Смирнов, А.Д. Архитектура вычислительных систем / А.Д. Смирнов. -М.: Наука, 1990. - 320 с.

116. Якубайтис, Э.А. Архитектура вычислительных сетей / Э.А. Якубайтис.

- М.: Статистика, 1980. - 279 с.

117. Foster, I. Cloud computing and grid computing 360-degree compared / I. Foster, Y Zhao, I. Raicu, S. Lu // Grid Computing Environments Workshop (GCE'08). - 2008. - P. 1-10.

118. Huedo, E. A framework for adaptive execution on grids / E. Huedo, R. Montero, I. Llorente // Software - Practice and Experience (SPE). - 2004. -V. 34.-P. 631-651.

119. Berman, F. Adaptive computing on the grid using AppLeS. / F. Berman, R. Wolski, H. Casanova // On Parallel and Distributed Systems. - 2003. -V.14.

- №4. - P. 369-382.

120. Cooper, К. New grid scheduling and rescheduling methods in the GrADS project / K. Cooper, A. Dasgupta, K. Kennedy // Parallel and Distributed Processing (IPDPS'04): in proc. of the 18th International Symposium. -2004.-P. 199-206.

121. Buyya, R. Nimrod/G: An architecture for a resource management and scheduling system in a global computational Grid / R. Buyya, D. Abramson, J. Giddy // High Performance Computing in Asia-Pacific Region: in proceedings of the 4th International Conference. - 2000. - P. 283-289.

122. Grid Computing - Technology and Applications, Widespread Coverage and New Horizons: ed. by Soha Maad. - Published by InTech. - 2012. - 366 p.

123. Grid Computing & Grid Engine. -http://wiki.gridengine.info/wiki/index.php/Main_Page (дата обращения 11.03.2013).

124. Gabriel, E. Implementing MPI with optimized algorithms for metacomputing / E. Gabriel, M. Resch, R. R'uhle // Proc. of the Third MPI Developer's and User's Conference. - Atlanta, 1999. - P. 31-41.

125. Fernandez, E. Supporting efficient execution of MPI applications across multiple sites / E. Fernandez, E. Heymann, M.A. Senar // Proc. of Euro-Par'2006. - Berlin: Springer, 2006. - P. 383-392.

126. Takano, R. High performance relay mechanism for MPI communication libraries run on multiple private IP address clusters / R. Takano, M. Matsuda, T. Kudoh et al. // Proc. of 8th IEEE International Symposium on Cluster Computing and the Grid (CCGRID 2008). - Lyon, 2008. - P. 401408.

127. Saito, H. Locality-aware connection management and rank assignment for wide-area MPI / H. Saito, К Taura // Cluster Computing and the Grid (CCGRID 2007): proc. of the 7th IEEE International Symposium. - Rio de Janeiro, 2007. - P. 249-256.

128. Imamura, T. An architecture of Stampi: MPI library on a cluster of parallel computers / T. Imamura, Y. Tsujita, H. Koide, H. Takemiya // Proc. of the 7th European PVM/MPI'2000. - Berlin: Springer, 2000. - P. 200-207.

129. Malyshkin, N.V. The NumGRID metacomputing system / N.V. Malyshkin, B. Roux, D. Fougere, V.E. Malyshkin // Computer Science Series. - Issue 21. - Novosibirsk: Bulletin of the Novosibirsk Computing Center, 2004. -P. 57-68.

130. Филамофитский, М.П. Система поддержки метакомпыотерных расчетов X-Com: архитектура и технология работы / М.П. Филамофитский // Вычислительные методы и программирование. -2004. - Т.5. - № 1. - С. 123-137.

131. Anderson, D.P. Boinc: a system for public-resource computing and storage / D.P. Anderson // Grid Computing: 5th IEEE/ACM International Workshop. - Washington: IEEE Press, 2004. - P. 4-10.

132. Broquedis, F. Hwloc: a generic framework for managing hardware affinities in HPC applications / F. Broquedis, J. Clet-Ortega, S. Moreaud et al. // Parallel, Distributed and Network-Based Processing (PDP2010): int. Conference. - Pisa, 2010. - P. 180-186.

133. Mercier, G. Towards an efficient process placement policy for MPI applications in multicore environments / G. Mercier, J. Clet-Ortega // Recent Advances in Parallel Virtual Machine and Message Passing Interface: proc. of the 16th European PVM/MPI Users' Group Meeting. - Berlin: Springer, 2009.-P. 104-115.

134. Yu, H. Topology mapping for Blue Gene/L supercomputer / H. Yu, I.-H. Chung, J. Moreira // Proc. of SC'06. - New York: ACM, 2006. -P. 116.

135. Bhanot, G. Optimizing task layout on the Blue Gene/L supercomputer / G. Bhanot // IBM Journal of Research and Development. - 2005. -V.49. - №2. -P. 489-500.

136. Balaji, P. Mapping communication layouts to network hardware characteristics on massive-scale Blue Gene systems / P. Balaji, R. Gupta, A. Vishnu, P. Beckman // Special edition of the Springer Journal of Computer Science on Research and Development (presented at the International Supercomputing Conference (ISC)). - 2011. -№26. - P. 247-256.

137. Bhatele, A. Dynamic topology aware load balancing algorithms for molecular dynamics applications / A. Bhatele, L.V. Kale, S. Kumar //

Supercomputing (ICS'09): proc. of the 2009 ACM International Conference. - Berlin: Springer, 2009. -P. 110-116.

138. Hoefler, Т. Generic topology mapping strategies for large-scale parallel architectures / T. Hoefler, M. Snir // Supercomputing (ICS'11): proc. of the 2011 ACM International Conference. - Tucson, 2011. - P. 75-85.

139. Traff, J.L. Implementing the MPI process topology mechanism / J.L. Traff // Supercomputing: proc. of the ACM/IEEE Conference. - Los Alamitos, 2002.-P. 1-14.

140. Asanovic, K. The landscape of parallel computing research: a view from Berkeley / K. Asanovic et al. // Technical Report N UCB/EECS-2006-183. Electrical Engineering and Computer Sciences. - Berkeley: University of California, 2006.

141. Abou-Rjeili, A. Multilevel algorithms for partitioning power-law graphs / A. Abou-Rjeili, G. Karypis // International Parallel & Distributed Processing Symposium (IPDPS). - Rhodes Island: IEEE, Press, 2006. -P. 1-17.

142. Kurnosov, M. Efficiency Analysis of Decentralized Grid Scheduling with Job Migration and Replication / M. Kurnosov, A.Paznikov // Ubiquitous Information Management and Communication (ICUIMC-2013): 7th International ACM Conference. - Malaysia, 2013. - P. 7.

143. Курносов, М.Г. Эвристические алгоритмы отображения параллельных MPI-программ на мультикластерные вычислительные и Grid-системы / М.Г. Курносов, А.А. Пазников // Вычислительные методы и программирование. - 2013. - Т. 14 (2). - С. 1-10.

144. Курносов, М.Г. Инструментарий децентрализованного обслуживания потоков параллельных MPI-задач в пространственно-распределенных мультикластерных вычислительных системах / М.Г. Курносов, А.А. Пазников // Вестник ТГУ. Управление, вычислительная техника и информатика. - 2011. -№ 3 (16). - С. 78-85.

145. Фейт, С. TCP/IP: Архитектура, протоколы, реализация (включая IP версии 6 и IP Security) / С. Фейт. - М.: Лори, 2000. - 424 с.

146. Олифер, В. Г. Компьютерные сети. Принципы, технологии, протоколы / В.Г. Олифер, Н.А. Олифер. - СПб.: ПИТЕР, 2011. - 943 с.

147. Schroeder, B. A large-scale study of failures in high-performance computing systems / B. Schroeder, G.A. Gibson // Dependable Systems and Networks (DSN2006): proceedings of the International Conference. - USA: Philadelphia, PA, 2006. - P. 10.

148. Schroeder, B. Disk failures in the real world: What does an MTTF of 1,000,000 hours mean to you? / B. Schroeder, G.A. Gibson // File and Storage Technologies: in FAST'07: 5th USENIX Conference. - CA: San Jose, 2007. - P. 16.

149. Ziming, Zh. Co-analysis of RAS Log and Job Log on Blue Gene/P / Zh. Ziming, Yu Li, T. Wei et al. // 27th IEEE International Parallel & Distributed Processing Symposium. - USA, Massachusetts: Regency Cambridge Boston, 2013. - P. 12.

150. Heath, T. Improving cluster availability using workstation validation / T. Heath, R.P. Martin, T.D. Nguyen // In proc. of ACM SIGMETRICS. - 2002.

151. Mullen, B.D.R. Lifecycle analysis using software defects per million (SWDPM) / B.D.R. Mullen // Software reliability (ISSRE'05): in 16th international symposium., 2005.

152. Nath, S. Subtleties in tolerating correlated failures / S. Nath, H. Yu, P.B. Gibbons, S. Seshan // Networked Systems Design and Implementation (NSDI'06): in proc. of the Symp. - 2006.

153. Nurmi, D. Modeling machine availability in enterprise and wide-area distributed computing environments / D. Nurmi, J. Brevik, R. Wolski // in Euro-Par'05. - 2005.

154. Oppenheimer, D.L. Why do internet services fail, and what can be done about it? / D.L. Oppenheimer, A. Ganapathi, D.A. Patterson // Internet Technologies and Systems: in USENIX Symp. - 2003.

155. Plank, J.S. Experimental assessment of workstation failures and their impact on checkpointing systems / J.S. Plank, W.R. Elwasif// in FTCS'98. - 1998.

156. Sahoo, R.K. Failure data analysis of a large-scale heterogeneous server environment / R.K. Sahoo, A. Sivasubramaniam, M.S. Squillante, Y. Zhang // in Proc. of DSN'04. - 2004.

157. Zhang, Y. Performance implications of failures in large-scale cluster scheduling / Y. Zhang, M.S. Squillante, A. Sivasubramaniam, R.K. Sahoo // Job Scheduling Strategies for Parallel Processing: in Proc. 10th Workshop. -2004.

158. Khoroshevsky, V. Distributed computer systems, models and algorithms of parallel multiprogramming / V. Khoroshevsky // Information Technologies and Systems Modelling: international conference. - France, 2010.

159. Хорошевский, В.Г. Алгоритмы распределения ветвей параллельных программ по процессорным ядрам вычислительных систем / В.Г. Хорошевский, М.Г. Курносов // Автометрия. - 2008. - Т.44 - №2. -С. 56-67.

160. Курносов, М.Г. Эвристические алгоритмы отображения параллельных MPI-программ на мультикластерные вычислительные и GRID-системы / М.Г. Курносов, А.А. Пазников // Вычислительные методы и программирование. - 2013. №14. -С. 1-10.

161. Khoroshevsky V. G., Mamoilenko S. N. Stochastically optimal functioning strategies of distributed computing systems // Optoelectronics, Instrumentation and data processing, Vol. 39, No. 2, 2003, pp. 68-76.

162. Мамойленко, C.H. Алгоритмы планирования решения масштабируемых задач на распределенных вычислительных системах / С.Н. Мамойленко, А.В. Ефимов // Вестник СибГУТИ. - 2010. - №2(10).

- С. 66 -78.

163. Мамойленко, С.Н. Генетический алгоритм планирования решения масштабируемых задач на распределённых вычислительных системах / С.Н. Мамойленко, Е.Н. Перышкова, А.В. Ефимов // Вестник ТГУ. Управление, вычислительная техника и информатика. - 2011. - №2(15).

- С. 51.

164. Феллер, В. Введение в теорию вероятностей и ее приложения: в 2-х т. -Т1. - М: «ЛИБРОКОМ», 2010. - 528 с.

165. Феллер В. Введение в теорию вероятностей и ее приложения: в 2-ч т. -Т2. - М: «ЛИБРОКОМ», 2010. - 752 с.

166. Вентцель, Е.С. Теория вероятностей / Е.С. Вентцель. - М.: Высшая школа, 2002. - 576 с.

167. Вентцель, Е.С. Теория случайных процессов и ее инженерные приложения / Е.С. Вентцель, JI.A. Овчаров. - М.: Высшая школа, 2000. - 480 с.

168. Гнеденко, Б.В. Курс теории вероятностей / Б.В. Гнеденко. - М.: изд-во ЛКИ, 2007.-448 с.

169. Гнеденко, Б.В. Введение в теорию массового обслуживания / Б.В. Гнеденко, И.Н. Коваленко. - М.: Эдиториал УРСС, 2005. - 400 с.

170. Саати, Т.Л. Элементы теории массового обслуживания и ее приложения / Т.Д. Саати. - M.: URSS, 2010. - 520 с.

171. Клейнрок, Л. Теория массового обслуживания / Л. Клейнрок. - М.: Машиностроение, 1979. - 432 с.

172. Клейнрок, Л. Вычислительные системы с очередями / Л. Клейнрок. -М.: Мир, 1979.-600 с.

173. Назаров, A.A. Теория массового обслуживания / A.A. Назаров, А.Ф. Терпугов. - Томск: Изд-во НТЛ, 2010. - 228 с.

174. Кингман, Дж. Пуассоновские процессы / Дж. Кингман. - М.: МЦНМО, 2007. - 136 с.

175. Пугачев, B.C. Теория стохастических систем / B.C. Пугачев, И.Н. Синицын. - М.: Логос, 2004. - 999 с.

176. Карлин, С. Основы теории случайных процессов / С. Карлин. - М.: Мир, 1971.-536 с.

177. Кокс, Д.Р. Теория восстановления / Д.Р. Кокс, В.Л. Смит. - М: Советское радио, 1967. - 299 с.

178. Гнеденко, Б.В. Математические методы в теории надежности. Основные характеристики надежности и их статистический анализ / Б.В. Гнеденко, Ю.К. Беляев, А.Д. Соловьев. - М.: Наука, 1965. - 524 с.

179. Хорошевский, В.Г. Методика расчета показателей эффективности функционирования вычислительных систем / В.Г. Хорошевский, В.А.

Павский, K.B. Павский // Вестник компьютерных и информационных технологий. - 2008. - №2. - С. 47-55.

180. Khoroshevsky, V.G. Calculating the efficiency indices of distributed computer system functioning / V.G. Khoroshevsky, V.A. Pavsky // Optoelectronics, Instrumentation and Data Processing. - 2008. - V. 44. -№2.-P. 95-104.

181. Павский, В.А. Анализ функционирования вычислительных и сложных технологических систем: дис. ... док. техн. наук / В.А. Павский. -Новосибирск: СибГУТИ, 2007. - 316 с.

182. Диткин, В.А. Справочник по операционному исчислению / В.А. Диткин, А.П. Прудников. - М.: Высшая школа, 1965. - 466 с.

183. Степанов, В.В. Курс дифференциальных уравнений / В.В. Степанов. -М.: Едиториал УРСС, 2006. - 472 с.

184. Филиппов, А.Ф. Сборник задач по дифференциальным уравнениям / А.Ф. Филиппов. -М.: Либроком, 2013. - 240 с

185. Фихтенгольц, Г.М. Курс дифференциального и интегрального исчисления: в 2-х т. / Г.М. Фихтенгольц. - М.: Наука, 1969. - Т.2 -800 с.

186. Лапчик, М.П. Численные методы / М.П. Лапчик, М.И. Рагулина, Е.К. Хеннер. - М.: Академия, 2009. - 384 с.

187. Пискунов, Н. С. Дифференциальное и интегральное исчисление для втузов: в 2-х т. / Н.С. Пискунов. - Т.1. - М.: Интеграл-пресс, 2008416 с.

188. Пискунов, Н. С. Дифференциальное и интегральное исчисление для втузов: в 2-х т. / Н.С. Пискунов. - Т.2. - М.: Интеграл-пресс, 2009. -544 с.

189. Овчаров, Л.А. Прикладные задачи теории массового обслуживания / Л.А. Овчаров. - М.: Машиностроение, 1969, - 324 с.

190. Власова, Е.А. Ряды: под ред. B.C. Зарубина, А.П. Крищенко / Е.А. Власова. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2006. - 616 с.

191. Лаврентьев, М.А. Методы теории функций комплексного переменного / М.А. Лаврентьев, Б.В. Шабат. - .М.: Наука, 1987.- 688 с.

192. Свешников, А.Г Теория функции комплексного переменного / А.Г. Свешников, А.Н. Тихонов. - М.: Физматлит, 2010. - 336 с.

193. Мамзелев, И.А. Вычислительные системы в технике связи / И.А. Мамзелев. - М.: Радио и связь, 1987. - 240 с.

194. Додонов, А.Г. Введение в теорию живучести вычислительных систем / А.Г. Додонов, М.Г. Кузнецова, Е.С. Горбачик. - Киев: Наукова думка, 1990.- 181 с.

195. Preparata, F.P. On the connection assignment problem of diagnosable systems / F.P. Preparata, G. Metze, R.T. Chien // IEEE Trans. Electron. Comput. - 1967. - VI. EC-16. - №6. - P. 848-854.

196. Kuhl, J. Fault-diagnosis in fully distributed systems / J. Kuhl, S. Reddy // Fault-Tolerant Comp: proc. of the 11th Int. symp. 1981. - P. 100-105.

197. Bagchi, A. An optimal algorithm for distributed system level diagnosis / A. Bagchi, S.L. Hakimi // Fault-Tolerant Сотр.: proc. of the 21st int. symp. -Los Alamitos, 1991. - P. 214-221.

198. Stahl, M. On-line diagnosis in general topology networks / M. Stahl, R. Buskens, R. Bianchini // Fault-tolerant parallel and distributed systems: IEEE Workshop. - Los Alamitos, 1992. - P. 114-121.

199. Bianchini, R. The Adapt2 on-line diagnosis algorithm for general topology networks / R. Bianchini, M. Stahl, R. Buskens // Proc. of IEEE Global Telecommunications Conf. - 1992. - V.l. - P. 610-614.

200. Bartha, T. Efficient system-level fault diagnosis of large multiprocessor systems: thesis for the degree of Doctor of Philosophy / T. Bartha. -Budapest, 2000.

201. Albini, L.C.P. A generalized model for distributed comparison-based system-level diagnosis / L.C.P. Albini, Jr. E.P. Duarte, R.P. Ziwich // J. Braz. Сотр. Soc. - 2005. - V.10. - №3. - P. 44-56.

202. Майданов, Ю.С. Подходы к организации контроля, диагностики и реконфигурации структуры вычислительных систем /Ю.С. Майданов //

Информатика и проблемы телеоммуникаций: мат-лы межд. науч.-техн. конф. - Новосибирск, СибГУТИ, 2001. - С. 86-88.

203. Молдованова, О.В. Децентрализованный алгоритм самодиагностики для крупномасштабных распределенных вычислительных систем различных топологий / О.В. Молдованова // Проблемы информатики. -2012.-№2(14).-С. 70-75.

204. Что такое Beowulf? // Сетевые решения A-Z: http://www.nestor.minsk.by/sr/2000/07/00704.html (дата обращения 12.11.2013).

205. Тор500 Supercomputer sites // http://www.top500.org (дата обращения 12.11.2013).

206. Тор 50 Суперкомпьютеры // http://top50.supercomputers.ru (дата обращения 12.11.2013).

207. IBM Sequoia // WikipediA: http://en.wikipedia.org/wiki/IBM_Sequoia (дата обращения 11.11.2013).

208. Cray ХК7 // http://en.wikipedia.org/wiki/Cray_XK7 (дата обращения 06.12.2013).

209. Суперкомпьютер «МВС-100К» // Межведомственный суперкомпыотерный центр Российской академии наук http://www.jscc.ru/hard/mvsl00k.shtml (дата обращения 12.11.2013).

210. TORQUE Resource Manager // Adaptive Computing: http://www.adaptivecomputing.com/products/open-source/torque/ (дата обращения 27.11.2013).

211. SLURM: A Highly Scalable Resource Manager // SLURM@LLNL v2.3: https://computing.llnl.gov/linux/slurm/ (дата обращения 12.11.2013).

212. MAUI // Adaptive Computing : http://www.clusterresources.com/products/maui-cluster-scheduler.php (дата обращения 12.11.2013).

213. Хорошевский, В. Г. Масштабируемый инструментарий параллельного мультипрограммирования пространственно-распределенных

вычислительных систем / В.Г. Хорошевский, М.Г. Курносов, С.Н. Мамойленко и др // Вестник СибГУТИ. - 2011. - № 11. - С. 3-18.

214. Parallelworkloadsarchive // http://www.cs.huji.ac.il/labs/parallel/workload/ (дата обращения: 05.12.2013).

215. Cirne, W. A model for moldable supercomputer jobs / W. Cime, F. Berman // 15th Intl. Parallel & Distributed Processing Symp., 2001: http://cseweb.ucsd.edu/~walfredo/papers/moldability-model.pdf, (дата обращения: 05.12.2013).

216. Cirne, W. A Comprehensive Model of the Supercomputer Workload / W. Cime, F. Berman // 4th Ann. Workshop Workload Characterization. 2001.

217. Downey, A.B. A Parallel Workload Model and Its Implications for Processor Allocation / A.B. Downey // 6th Intl. Symp. High Performance Distributed Comput. - 1997.

218. Мамойленко, С.Н. Применение генетических алгоритмов для распределения наборов задач по машинам вычислительной системы / С.Н. Мамойленко, Н.А. Медведева, А.Ю. Поляков // Многопроцессорные вычислительные и управляющие систем: мат-лы Межд. науч.-техн. конф. 2007. - С. 70-75

219. Rohlfshagen, Ph. A genetic algorithm with exon shuffling crossover for hard bin packing problems / Ph. Rohlfshagen, J.A. Bullinaria // Genetic evolutionary computation: proceeding of the 9th annual conference. - USA, NY, New York: ACM, 2007. - P 1365-1371.

220. Ansel, J. DMTCP: Transparent Checkpointing for Cluster Computations and the Desktop / J. Ansel, K. Arya, G. Cooperman // Proc. of IEEE International Parallel and Distributed Processing Symposium (IPDPS'09). -2009.

221. Litzkow, M., Checkpoint and migration of UNIX processes in the Condor distributed processing system / M. Litzkow, T. Tannenbaum, J. Basney, M. Livny // Technical report 1346. - Madison, Wisconsin: University of Wisconsin, 1997.

222. Поляков, А.Ю. Алгоритмический и программный инструментарий дельта-оптимизации контрольных точек восстановления параллельных

программ / A.IO. Поляков, О.В. Молдованова // Проблемы информатики. - 2012. - № 2(14). - С. 4-11.

223. Mean time between failures // WikipediA: http://en.wikipedia.org/wiki/Mean_time_between_failures (дата обращения 02.12.2013).

224. Наработка на отказ // ВикипедиЯ: http://rn.wikipedia.org/wiki/%CD%E0%F0%E0%E1 %EE%F2%EA%E0_% ED%E0_%EE%F2%EA%E0%E7 (дата обращения 12.11.2013).

225. Ховард, Р.А. Динамическое программирование и марковские процессы / Р.А. Ховард. - М.: Сов. радио, 1964. - 189 с.

226. Nikolic, S. High Performance Computing Directions: The Drive to ExaScale Computing. / S. Nikolic // Труды международной научной конференции "Параллельные вычислительные технологии (ПаВТ'2012). -Новосибирск, 2012, URL: http://pavt.susu.ru/2012/talks/Nikolic.pdf (дата обращения 27.11.2013)

227. Павский, В.А. Вычисление показателей живучести распределенных вычислительных систем и осуществимости решения задач / В.А. Павский, К.В. Павский, В.Г. Хорошевский // Искусственный интеллект. - 2006. - №4. - С. 28 - 34.

228. Хорошевский, В.Г. Модель для расчета показателей живучести вычислительных систем со структурной избыточностью/ В.Г. Хорошевский, В.А. Павский, К.В. Павский // Многопроцессорные вычислительные и управляющие системы: в 2 т. - Т. 1.: мат-лы межд. науч.-техн. конф. - Таганрог: Изд-во ТТИ ЮФУ, 2007. - С. 152-157.

229. Хорошевский, В.Г. Модель для расчета показателей надежности распределенных вычислительных систем / В.Г. Хорошевский, В.А. Павский, К.В. Павский // Моделирование-2008: в 2 т. - Т.2.: труды межд. науч.-техн. конф. - Киев, 2008. - С. 483-488.

230. Хорошевский, В.Г. Расчет показателей эффективности функционирования болынемасштабных распределенных

вычислительных систем / В.Г. Хорошевский, В.А. Павский, К.В. Павский // Вестник компьютерных и информационных технологий. -2009. - №6. - С.25-30.

231. Павский, В.А. Математическая модель для расчета показателей функционирования вычислительных систем со структурной избыточностью / В.А. Павский, К.В. Павский // Суперкомпьютерные технологии. Разработка, программирование, применение: в 2 т. - Т.2.: мат-лы межд. науч.-техн. конф. - Таганрог: Изд-во ТТИ ЮФУ, 2010. -С. 71-73.

232. Хорошевский, В.Г. Методы анализа эффективности функционирования распределенных вычислительных систем / В.Г. Хорошевский, В.А. Павский, К.В. Павский // Распределенные информационные и вычислительные ресурсы (DICR'2010): мат-лы XIII Росс. конф. с участием иностранных ученых. - Новосибирск, 2010. - CD-ROM.

233. Хорошевский, В.Г. Расчет показателей живучести распределенных вычислительных систем / В.Г. Хорошевский, В.А. Павский, К.В. Павский // Новые информационные технологии в исследовании сложных структур: тезисы докладов Восьмой Росс. конф. с межд. участием. - Томск: Изд-во HTJI, 2010. - С. 26.

234. Хорошевский, В.Г. Методы анализа эффективности функционирования распределенных вычислительных систем / В.Г. Хорошевский, В.А. Павский, К.В. Павский // Распределенные информационные и вычислительные ресурсы (DICR'2010): мат-лы XIII Росс. конф. с участием иностранных ученых. - Новосибирс, 2010. - CD-ROM.

235. Павский, В.А. Оценки показателей функционирования вычислительных систем со структурной избыточностью / В.А. Павский, К.В. Павский И Информатика и проблемы телекоммуникаций: мат-лы Росс, науч.-техн. конф. -Новосибирск, 2011. -С. 209-210.

236. Хорошевский, В.Г. Расчет показателей живучести распределенных вычислительных систем / В.Г. Хорошевский, В.А. Павский, К.В. Павский // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. - 2011. - №2(15). -С. 81-88.

237. Павский, В.А. Стохастическая модель и оценки показателей функционирования вычислительных систем со структурной избыточностью / В.А. Павский, К.В. Павский // Вестник томского государственного университета. - 2012 - №4 (21). - С. 100-107.

238. Хорошевский, В.Г. Математическая модель и расчет показателей функционирования вычислительных систем со структурной избыточностью / В.Г. Хорошевский, В.А. Павский, К.В. Павский // Известия ЮФУ. Технические науки. - 2012. - № 5 (130). - С. 37 - 41.

239. Павский, В.А Вероятностная модель оценки показателей функционирования высоконадежных вычислительных систем с резервом / В.А. Павский, К.В. Павский // Техника и технология пищевых производств. - 2012. - № 3. - С. 80-87.

240. Павский, В.А. Оценки показателей функционирования вычислительных систем со структурной избыточностью / В.А. Павский, К.В. Павский // Вестник СибГУТИ. - 2012. - № 2. - С.71-76.

241. Павский, В.А. Стохастическая модель и оценки показателей функционирования вычислительных систем со структурной избыточностью / В.А. Павский, К.В. Павский // Новые информационные технологии в исследовании сложных структур: мат-лы Девятой Росс. конф. с межд. участием. - Томск: Изд-во HTJI, 2012. - С. 97.

242. Хорошевский, В.Г. Стохастическое моделирование распределенных вычислительных систем с резервом / В.Г. Хорошевский, В.А. Павский, К.В. Павский // «Суперкомпыотерные технологии» (СКТ-2012): мат-

лы 2-й Всеросс. науч.-техн. конф. - Ростов-на-Дону: Изд. ЮФУ, 2012. - С. 330-334.

243. Павский, К.В. Стохастические модели для оценок размера структурной избыточности болыиемасштабных вычислительных систем/ К.В. Павский // Вестник СибГУТИ. - 2013. - № 2. - С. 16-21.

244. Павский, К.В. Модель функционирования распределенных вычислительных систем с отказами и полным восстановлением / К.В. Павский, В.А. Павский // Обработка информационных сигналов и математическое моделирование: мат-лы Росс, науч.-техн. конф. -Новосибирск, 2013. - С. 167-168.

245. Павский, В.А. Аналитический анализ функционирования вычислительных систем со структурной избыточностью / В.А. Павский, К.В. Павский // 6-я Всеросс. мультиконф. по проблемам управления (МКПУ-2012): в 4 т. - Т.4: мат-лы 6-й Всеросс. мультиконф. - Ростов-на-Дону: Изд-во ЮФУ, 2013. - С. 66-70.

246. Павский, В.А. Оценка вероятности пребывания распределенных вычислительных систем в состоянии низкой производительности/ В.А. Павский, К.В. Павский // Обработка информационных сигналов и математическое моделирование: мат-лы Росс, науч.-техн. конф. -Новосибирск, 2013. - С. 165-166.

247. Павский, В.А. Оценки показателей осуществимости решения задач набора на распределенных вычислительных системах / В.А. Павский, К.В. Павский // Вестник СибГУТИ. - 2012. - № 1. - С. 51-55.

248. Павский, В.А. Анализ эффективности функционирования распределенных вычислительных систем в режиме решения задач потока с отказами / В.А. Павский, К.В. Павский // Вестник СибГУТИ -Новосибирск - 2010. -№2(10). - С. 42-47.

249. Хорошевский, В.Г. Анализ эффективности функционирования вычислительных систем в режиме обработки пакета задач /

223

В.Г. Хорошевский, В.А. Павский, К.В. Павский // Искусственный интеллект. - 2009.- №4. - С.92-99.

250. Павский, В.А. Расчет показателей осуществимости решения набора сложных задач на распределенных вычислительных системах / В.А. Павский, К.В. Павский // Искусственный интеллект. - 2008. - №4. - С. 682-685.

251. Павский, В.А. Расчет показателей эффективности решения задач потока с отказами на распределенных вычислительных системах с накопителем / В.А. Павский, К.В. Павский // Танаевские чтения: мат-лы докладов пятой межд. науч. конф. - Минск: ОИПИ HAH Беларуси, 2012. - С. 80-83.

252. Павский, В.А. Осуществимость решения задач потока с потерями на распределенных вычислительных системах / В.А. Павский, К.В. Павский // Информатика и проблемы телекоммуникаций: мат-лы Росс, науч.-техн. конф. - Новосибирск, 2010. - С. 170-171.

253. Павский, В.А. Расчет показателей эффективности решения задач потока с отказами на распределенных вычислительных системах / В.А. Павский, К.В. Павский // Многопроцессорные вычислительные и управляющие системы (МВУС-2009): мат-лы межд. науч.-техн. конф.: в 2 т. - Т.2. - Таганрог: ТТИ ЮФУ, 2009. - С. 65 - 67.

254. Павский, В.А. Расчет показателей эффективности функционирования распределенных вычислительных систем при решении задач потока с отказами / В.А. Павский, К.В. Павский // Мат-лы 5-ой Сибирской конф. по параллельным вычислениям. - Томск: ТГУ, 2009. - С. 145-148.

255. Павский, В.А. Расчет показателей эффективности функционирования распределенных вычислительных систем при решении задач потока с отказами / В.А. Павский, К.В. Павский. // Тезисы 5-ой Сибирской школы - семинар по параллельным и высокопроизводительным вычислениям. - Томск: ТГУ, 2009. - С.74-76.

256. Павский, К.В. Осуществимость параллельного решения задачи и потока задач на распределенных вычислительных системах. / К.В. Павский // Искусственный интеллект. - 2001. - №3. - С. 251-259.

257. Павский, К.В. Оценка времени решения параллельных задач на распределенных вычислительных системах / К.В. Павский // Информатика и проблемы телекоммуникаций: мат-лы Росс, науч.-техн. конф. - Новосибирск, 2000. - С. 113.

258. Pavsky, K.V. Analysis of the time of solution of parallel problems on programmable structure computer systems / K.V. Pavsky // Optoelectronics, instrumentation and data processing. - 2000. - №2. - P. 54-62.

259. Павский, К.В. Анализ времени решения параллельных задач на вычислительных системах с программируемой структурой / К.В. Павский // Автометрия. - 2000. - №2. - С. 60-69.

260. Павский, К.В. Осуществимость параллельного решения задачи и потока задач на распределенных вычислительных системах / К.В. Павский // Интеллектуальные и многопроцессорные системы: тезисы докладов Межд. конф. -Таганрог, 2001. - С. 120-123.

261. Павский, К.В. Осуществимость реализации параллельных алгоритмов обработки изображений / К.В. Павский // Информатика и проблемы телекоммуникаций: мат-лы Росс, науч-техн. конф. - Новосибирск, 2001.-С. 84-85.

262. Павский, К.В. Моделирование осуществимости решения задач на распределенных ВС / К.В. Павский // Наука, техника, инновации: мат-лы докладов регионал. науч. конф. студентов, аспирантов и молодых ученых . - Новосибирск, 2002. - С. 17-19.

263. Павский, К.В. Математическая модель для оценки функции осуществимости решения сложной задачи на распределенных вычислительных системах / К.В. Павский // Обработка информационных сигналов и математическое моделирование: мат-лы Росс, науч.-техн. конф. - Новосибирск, 2013. - С. 136-137.

264. Khoroshevsky, V.G. Technical and Economic Indices of Functioning Distributed Computer Systems and Realizability Function of Solving

Complex Problems / V.G. Khoroshevsky, K.V. Pavsky, D.S. Nikitin // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. - 2008. - № 2(3). - С. 70-76.

265. Pavsky, K.V. Stochastic analysis of solving complex problem on distributed computer systems / K.V. Pavsky // Proceed of PARELEC 2006: International Symposium on Parallel Computing in Electrical Engineering. -Bialystok, Poland: IEEE Computer Society press, 2006. -P.271-274.

266. Pavsky, K.V. Realizability of parallel solving complex problems on distributed computer systems / K.V. Pavsky // Internationales Wissenschaftliches Kolloquium: in Proceedings. - Bmenau: Technische Universitaet, 2000. -P. 823-828.

267. Хорошевский, В.Г. Расчёт функции осуществимости решения параллельных задач на распределенных вычислительных системах / В.Г. Хорошевский, К.В. Павский, В.А. Павский // Распределённая обработка информации: труды шестого межд. семинара. -Новосибирск: СО РАН, 1998. - С. 218-222.

268. Павский, В.А. Вычисление показателей осуществимости решения задач на вычислительных системах / В.А. Павский, В.Г. Хорошевский, К.В. Павский // Искусственный интеллект. Интеллектуальные и многопроцессорные системы - 2006: в 2 т. - Т.2.: мат-лы 7-ой межд. науч.-техн. конф. - Украина: изд-во ТРТУ, 2006. - С. 14 - 17.

269. Павский, В.А. Оценка показателей осуществимости в условиях реального времени / В.А. Павский, К.В. Павский // Полупроводники: сб. науч. тр. - Новосибирск: ИФП СО РАН, 1996. - С. 303-304.

270. Pavsky, V.A. Estimations of realizability indices in real time conditions / V.A. Pavsky, K.V. Pavsky // Полупроводники: сб. науч. тр. -Новосибирск: ИФП СО РАН, 1996. - С. 304-306.

271. Павский, В.А. Оценка показателей осуществимости в условиях реального времени / В.А. Павский, К.В. Павский // Распределенная

обработка информации: труды 5-го межд. семинара. - Новосибирск: СО РАН, 1995. - С. 212-213.

272. Павский, В.А. Вычисление показателей осуществимости решения задач на вычислительных системах / В.А. Павский, В.Г. Хорошевский, К.В. Павский // Высокопроизводительные вычислительные системы: мат-лы 3-ой межд. науч. молодежной школы. - Украина, 2006. - С. 1619.

273. Павский, В.А. Расчет показателей осуществимости решения задач на распределенных вычислительных системах / В.А. Павский, К.В. Павский // Системный анализ и информационные технологии: мат-лы второй межд. конф. - Обнинск, 2007. - 2 т., - С. 174-178.

274. Павский, В.А. Оценка показателей осуществимости решения задач на распределенных вычислительных системах / В.А. Павский, К.В. Павский // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. - 2008. - №4(5). - С.61-68.

275. Павский, К.В. Модель для расчета функции осуществимости параллельного решения задач на распределенных вычислительных системах / К.В. Павский // Информатика и проблемы телекоммуникаций: в 2. - Т.1.: мат-лы Росс, науч.-техн. конф. -Новосибирск, 2008. - С. 151-152.

276. Павский, В.А. Условие осуществимости решения сложных задач на живучих распределенных вычислительных системах / В.А. Павский, К.В. Павский // Информатика и проблемы телекоммуникаций: в 2 т. -Т.1.: мат-лы Росс, науч.-техн. конф. - Новосибирск, 2008. - С. 149-150.

277. Павский, В.А. Расчет показателей осуществимости решения набора сложных задач на распределенных вычислительных системах / В.А. Павский, К.В. Павский // Системы и средства искусственного

интеллекта (ССИИ-2008): мат-лы межд. науч. Школы. - Украина: пос. Кацивели, 2008. - С. 170 - 173.

278. Хорошевский, В.Г. Расчет показателей осуществимости решения задач потока на распределенных вычислительных системах / В.Г. Хорошевский, В.А. Павский, К.В. Павский // ММГ-2008: труды межд. конф. по математическим методам в геофизике. - Новосибирск: ИВМиМГ СО РАН, 2008 - CD-ROM.

279. Павский, В.А. Оценки показателей осуществимости решения задач набора на распределенных вычислительных системах / В.А. Павский, К.В. Павский // ММГ-2008: труды межд. конф. по математическим методам в геофизике. - Новосибирск: ИВМиМГ СО РАН, 2008 - CD-ROM.

280. Павский, В.А., Модель для расчета осуществимости решения сложных задач набора на распределенных вычислительных системах / В.А. Павский, К.В. Павский // Информатика и проблемы телекоммуникаций: в 2 т. - Т. 1.: Росс. науч.-техн. конф. - Новосибирск, 2009. - С. 129-130.

281. Павский, В.А. Стохастическая модель функционирования распределенных вычислительных систем при решении сложных задач / В.А. Павский, К.В. Павский // Обработка информационных сигналов и математическое моделирование: мат-лы Росс, науч.-техн. конф. -Новосибирск, 2012. - С. 164-166.

282. Павский В.А., Павский К.В. Разработка математической модели функционирования распределенных вычислительных систем при решении сложных задач набора // Материалы Второй всероссийской научно-технической конференции «Научное и техническое обеспечение исследований и освоения шельфа северного ледовитого океана», Новосибирск, 2012, С. 98-100.

283. Курносов, М.Г. Вычислительные методы, алгоритмы и аппаратурно-программный инструментарий параллельного моделирования природных процессов / М.Г. Курносов, В.Г. Хорошевский, С.Н. Маймоленко и др.: под ред. В.Г. Хорошевского. - Новосибирск: СО РАН, 2012. - 430 с.

284. Мамойленко, С.Н. Использование мультикластерной вычислительной системы для подготовки специалистов в области параллельных вычислительных технологий / С.Н. Мамойленко, К.В. Павский, М.Г. Курносов и др. // Проблемы перехода на многоуровневую систему образования: тезисы докладов ХЫХ науч.-методич. конф. -Новосибирск: СибГУТИ, 2008. - С. 38.

285. Хорошевский, В.Г. Живучая кластерная вычислительная система / В.Г. Хорошевский, К.В. Павский и др // мат-лы Межрегион, семинара по распределенным кластерным вычислениям. - Красноярск, 2001. - С. 109-113.

286. Хорошевский, В.Г. Инструментарий параллельного мультипрограммирования большемасштабных распределенных гетерогенных вычислительных систем / В.Г. Хорошевский, М.Г. Курносов, С.Н. Мамойленко и др // Результаты ориентированных целевых фундаментальных исследований и их использование в российской промышленности: мат-лы конф. - Таганрог: НИИ МВС ЮФУ, 2010.-5 с.

287. Мамойленко, С.Н. Использование мультикластерной вычислительной системы для подготовки специалистов в области параллельных вычислительных технологий / С.Н. Мамойленко, К.В. Павский, М.Г. Курносов и др. // Проблемы перехода на многоуровневую систему образования: тезисы докладов ХЫХ науч.-методич. конф. -Новосибирск: СибГУТИ, 2008. - С. 38.

288. Павский, К.В. Эффективность исполнения параллельных программ предварительной обработки изображений на кластерных вычислительных системах / К.В. Павский, Л.Н. Чирва // Информатика и

проблемы телекоммуникаций: мат-лы Росс, науч.-техн. конф. -Новосибирск, 2010. - С. 172-173.

289. Павский, К.В. Разработка алгоритмов параллельных программ предварительной обработки изображений на кластерных вычислительных системах / К.В. Павский, JI.H. Чирва // Информатика и проблемы телекоммуникаций: мат-лы Росс, науч.-техн. конф. -Новосибирск, 2011. - С. 208.

290. Павский, К.В. Исполнение параллельных программ на неоднородной вычислительной системе/ К.В. Павский // Информатика и проблемы телекоммуникаций: мат-лы Росс, науч.-техн. конф. - Новосибирск, 2006. - С. 327-328.

291. Павский, К.В. Эффективность исполнения параллельных программ на кластерной ВС / К.В. Павский, A.C. Посохов // Информатика и проблемы телекоммуникаций: мат-лы Росс, науч.-техн. конф. -Новосибирск, 2006. - С. 328-329.

292. Посохов, A.C. Оценка эффективности исполнения параллельных программ на кластерной вычислительной систем / A.C. Посохов, К.В. Павский // Студент и научно-технический прогресс: мат-лы XLIV Межд. науч. студ. конф. - Новосибирск, 2006. - С. 17-18.

293. Посохов, A.C. Эффективность исполнения параллельных программ на однородной кластерной вычислительной системе / A.C. Посохов, К.В. Павский // Научный потенциал студенчества - будущему России: в 3-х т. - Т.З: мат-лы II Межд. науч. студ. конф. - Ставрополь: СевКавГТУ, 2008.-180 с.

294. Свидетельство о государственной регистрации программы для ЭВМ №2012613763. Средства вложения и отказоустойчивого выполнения параллельных программ для вычислительных систем экзафлопсного уровня производительности / В.Г. Хорошевский, М.Г. Курносов, О.В. Молдованова, A.A. Пазников, АЛО. Поляков, К.В Павский, С.Н. Мамойленко; заявитель и правообладатель ФГОБУ ВПО СибГУТИ, зарег. 20.04.2012.

295. Павский, K.B. Имитационная модель функционирования болыиемасштабных распределенных вычислительных систем со структурной избыточностью / К.В. Павский // Обработка информационных сигналов и математическое моделирование: мат-лы Росс, науч.-техн. конф. - Новосибирск, 2013. - С. 135-136.

296. Ефимов, A.B. Средства формирования резерва для отказоустойчивого выполнения параллельных программ / A.B. Ефимов, К.В. Павский // Обработка информационных сигналов и математическое моделирование: мат-лы Росс, науч.-техн. конф. - Новосибирск, 2013. -С. 162-163.

297. Павский, К.В. Ускоренный алгоритм оценивания сдвигов и поворотов изображений на последовательности кадров / К.В. Павский // Вестник СибГУТИ - 2012. - № 3. - С.81-85.

298. Павский, К.В. Ускоренных псевдоградиентный алгоритм оценивания сдвигов и поворотов изображений на последовательности кадров / К.В. Павский // Обработка информационных сигналов и математическое моделирование: мат-лы Росс, науч.-техн. конф. - Новосибирск, 2012. -С. 166-167.

299. Павский, К.В. Разработка ускоренного псевдоградиентного алгоритма оценивания сдвигов и поворотов изображений на последовательности кадров / К.В. Павский // Научное и техническое обеспечение исследований и освоения шельфа северного ледовитого океана: мат-лы Второй всеросс. науч.-техн. конф. - Новосибирск, 2012. - С. 101-102.

300. Павский, К.В. Анализ реконфигурации на распределенных вычислительных системах / К.В. Павский // Информационные системы и технологии: в 3-х т. - Т.З: мат-лы Междунар. науч.-техн. конф. -Новосибирск: НГТУ, 2000. - С. 468-470.

301. Свидетельство о государственной регистрации программы для ЭВМ №2012614642. Программа для расчета функции осуществимости решения параллельных задач на распределенных вычислительных системах / В.Г. Хорошевский, К.В. Павский; заявитель и правообладатель ИФП СО РАН, зарег. 24.05.2012.

302. Свидетельство о государственной регистрации программы для ЭВМ № 2013613353. Программа стохастическая модель для расчета среднего времени решения параллельных задач на распределенных вычислительных системах / К.В. Павский, В.А. Павский; заявитель и правообладатель ИФП СО РАН, зарег. 02.04.2013.

303. Двуреченский, A.B. Формирование и электронные свойства квантовых точек Ge в матрице Si- моделирование на супер-ЭВМ / A.B. Двуреченский, A.A. Блошкин, В.А. Зиновьев и др. // Элементная база отечественной радиоэлектроники: в 2-х т. - Т.1: труды 1-й Росс.-Белорусс. науч.-техн. конф. - Нижний Новгород, 2013. - с.18-19.

304. Rudin, S.A. «3D Monte Carlo Simulation of strained heteroepitaxial growth of Ge on Si(100)» / S.A. Rudin, A.V. Nenashev, A.Y. Polyakov et al. // Nanosciences and Nanotechnologies: the 7th Russian-French Seminar. -Novosibirsk, 2013. -P. 70.

305. Ортега, Дж. Введение в параллельные и векторные методы решения линейных систем / Дж. Ортега. - М.: Мир, 1991. - 367 с.

306. Антонов, A.C. Технологии паралельного програмирования MPI и ОрепМР / A.C. Антонов - М.: Издательство Московского университета, 2013, 344 с.

307. Гергель, В.П. Высокопроизводительные вычисления для многопроцессорных многоядерных систем / В.П. Гергель - М.: Издательство Московского университета, 2010. - 544 е..

308. Гергель, В.П. Современные языки и технологии параллельного программирования / В.П. Гергель. - М: МГУ, 2012, 408 с.

309. Gropp, W. Using MPI - Portable Parallel Programming with the Message Passing Interface. - MIT Press, 2000. - 346 p.

310. Эндрюс, Г.Р. Основы многопоточного, параллельного и распределенного программирования / Г.Р. Эндрюс. - М.: Издательский дом «Вильяме», 2003, 512 с.

311. Старченко, A.B. Параллельные вычисления на многопроцессорных вычислительных системах / A.B. Старченко, А.О. Есаулов. - Томск: ТГУ, 2002. - 56 с

312. Шпаковский, Г.И. Программирование для многопроцессорных систем в стандарте MPI / Г.И. Шпаковский, Н.В. Серикова. - Минск.: БГУ, 2002.

- 323 с.

313. Собель, М. Администрирование и системное программирование , М. Собель. - СПб.: Питер, 2011. - 880 с.

314. Липпман, С. Язык программирования С++. Вводный курс / С. Липпман, Ж. Лажойеб, Б. My. - M.: Вильяме, 2007. - 896 с.

315. Мозолин, C.B. Разработка параллельных программ с использованием языка Parallel Fortran / C.B. Мозолин, Г.А. Перепелкин. - Москва, 1991. -97 с.

316. Немнюгин, С. А. Параллельное программирование для многопроцессорных систем / С.А. Немнюгинб О.Л. Стесик. - СПб: БХВ-Петербург, 2002. - 400 с.

317. Транспьютеры. Архитектура и программное обеспечение: под ред. Г.Харпа; пер с анг. под ред. В.П. Семика - М.: Радио и связь, 1993. -303 с.

318. Gibson Garth A. Analyzing failure data: http://www.pdl.cmu.edu/FailureData/ (дата обращения 29.11.2013 г.).

319. Пименов, Е.С Анализ статистических данных отказов кластерных систем национальной лаборатории Лос-Аламоса / Е.С. Пименов, А.Ю. Поляков // Седьмая Сибирская конференция по параллельным и высокопроизводительным вычислениям: программа и тезисы докладов.

- Томск: Изд-во ТГУ. - С. 85 - 86.

320. GNU Compiler Collection // ВикипедиЯ: http://ru.wikipedia.org/wiki/GNU_Compiler_Collection (дата обращения 27.11.2013).

321. Intel Compilers // Intel Developer Zone: http://software.intel.com/en-us/intel-compilers (дата обращения 27.11.2013).

322. GSL - GNU Scientific Library // GNU Operating System: http://www.gnu.org/software/gsl/ (дата обращения 27.11.2013).

323. A High Performance Message Passing Library // Open MPI: Open Source High Performance Computing: http://www.open-mpi.org/ (дата обращения 27.11.2013).

324. MPICH is a high performance and widely portable implementation of the Message Passing Interface (MPI) standard // High-Performance Portable MPI: http://www.mpich.org/ (дата обращения 27.11.2013).

325. Intel MPI Library // Intel Developer Zone: http://software.intel.com/en-us/intel-mpi-library (дата обращения 27.11.2013).

326. OpenMP // GCC Wiki: http://gcc.gnu.org/wiki/openmp (дата обращения 27.11.2013).

327. Начало работы с OpenMP // Intel Developer Zone: http://software.intel.com/ru-ru/articles/getting-started-with-openmp (дата обращения 27.11.2013).

328. Средства анализа производительности параллельных приложений // Parallel.ru: https://parallel.ru/tech/perf/profilers.html (дата обращения 27.11.2013).

329. Globus Toolkit // Globus: https://www.globus.org/ (дата обращения 27.11.2013).

330. GridWay // GridWay - GlobusParallel.ru: http://dev.globus.org/wiki/GridWay (дата обращения 27.11.2013).

331. Курносов, М.Г. О подходах к оценке эффективности коммуникационных функций библиотек стандарта MPI / М.Г. Курносов // Шестая Сибирская конференция по параллельным вычислениям: программа и тезисы докладов. - Томск: изд-во ТГУ, 2011. - С.87-88.

332. IBM Platform Computing Solutions / IBM RedBooks: http://www.redbooks.ibm.com/redbooks/pdfs/sg248073.pdf (дата обращения 27.11.2013).