Планирование заданий с временной функцией потери ценности решения в сетевой среде распределенных вычислений тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Голосов, Павел Евгеньевич

• Голосов, Павел Евгеньевич
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Голосов, Павел Евгеньевич

УСЛОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ.

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ РАЗРАБОТОК В ОБЛАСТИ СИСТЕМ ПЛАНИРОВАНИЯ В РАСПРЕДЕЛЕННЫХ

ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ.

1.1. Основные понятия.

1.2. Организация управления заданиями и ресурсами в ОВС.

1.2.1. Система управления ресурсами ОВС централизованного типа.

1.2.2. Иерархическое построение системы управления ОВС.

1.2.3. Децентрализованная система управления ресурсами ОВС

1.2.4. Средства промежуточного программного обеспечения для ОВС.

1.3. Проблема качества обслуживания заданий в ОВС.

1.3.1. Анализ способов построения очереди заданий в распределенных ВС.

1.3.2. Административный подход к регулированию потока заданий.

1.3.3. Распределение заданий на основе общей целевой функции.

1.3.4. Распределение заданий с использованием алгоритмов экономических моделей.

1.3.4.1. Программный комплекс GrAS.

1.3.4.2. Система планирования REXEC.

1.3.4.3. Система планирования PBS, Maui scheduler.

1.3.4.4. Система управления SGE—Enterprise Edition (ЕЕ).

1.3.4.5. Система управления Nimrod-G Grid resource broker.

1.3.4.6. Система управления Libra RMS.

1.3.5. Управление ресурсами на основе условно-стоимостного исчисления в ОВС.

1.4. Теоретические основы применения экономических моделей для организации управления в распределенных вычислительных средах.

1.5. Выводы по главе 1.

ГЛАВА 2. РАЗРАБОТКА СИСТЕМЫ ПЛАНИРОВАНИЯ

ЗАДАНИЙ В ОВС НА ОСНОВЕ УСЛОВНО-СТОИМОСТНОГО ИСЧИСЛЕНИЯ.

2.1. Модель планирования заданий в ВС и ОВС.

2.1.1. Распределение заданий для выполнения в объединении ВС.

2.1.2. Построение очереди заданий в ВС.

2.1.3. Ценовое ранжирование заданий.

2.2. Реализация планирования заданий в ОВС.

2.2.1. Архитектура и принцип функционирования системы планирования заданий, использующей алгоритмы экономических моделей.

2.2.2. Двухуровневая организация планирования заданий.

2.2.3. Внеочередное планирование.

2.2.4. Оптимизация расходования пользовательских квот.

2.2.5. Работа системы планирования заданий в режиме моделирования.

2.3. выводы по главе 2.

ГЛАВА 3. ОЦЕНКА ЭФФЕКТИВНОСТИ РАБОТЫ СИСТЕМЫ

ПЛАНИРОВАНИЯ ЗАДАНИЙ.

3.1. Обеспечение надежного распределения заданий в ОВС.

3.2. Оценка эффективности работы СПЭА.

3.2.1. Эксперименты по оценке количества обслуживаемых заданий и загруженности ресурсов для ВС (эксперименты серии 1).:.

3.2.2. Результаты экспериментов серии

3.2.3. Дополнительные оценки экспериментов серии 1 (оценка качества обслуживания заданий).

3.2.4. Оценка результатов экспериментов серии 1.

3.2.5. Эксперимент по оценке количества обслуживаемых заданий и загруженности ресурсов для ОВС (эксперименты серии 2)

3.2.6. Оценка результатов эксперимента серии 2.

3.3. Выводы по главе 3.

Введение диссертации (часть автореферата) на тему «Планирование заданий с временной функцией потери ценности решения в сетевой среде распределенных вычислений»

Область высокопроизводительных вычислений сегодня представлена обширным классом вычислительных систем и их объединений. Важным и до конца не решенным является вопрос оценки их производительности. Как правило, эффективность использования таких многопользовательских систем оценивается величиной средней загруженности вычислительных узлов или количеством выполненных задач за некоторый период времени. Однако существует класс задач, для которых наиболее существенное значение имеет своевременность их обслуживания в вычислительной системе (ВС). Системы управления ВС и их объединениями, ориентированными на решение подобных задач, должны обеспечивать качество обслуживания -гарантировать окончание выполнения задач в требуемое пользователем время. Задача гарантированного своевременного обслуживания при множественном доступе к ресурсам осложняется тем, что само время решения пользовательских задач является случайной величиной и единственной оценкой их трудоемкости является заведомо достаточное время решения (например, на одном вычислительном узле заданной ВС). При объединении ВС в единую вычислительную среду у пользователя появляется возможность решения задач большего масштаба, при этом возрастает сложность системы управления, обеспечивающей распределение заданий в ней и их назначение на локальные ресурсы ВС.

Интеграция ВС в состав объединенной вычислительной среды позволяет при наличии соответствующих механизмов повышать эффективность использования ресурсов ВС за счет перераспределения нагрузки между. ВС разной степени загруженности [74].

Характер рассматриваемых задач, предназначенных для решения в рамках объединенной вычислительной среды, позволяет отнести такие вычислительные объединения к системам «оперативного» времени. Для целей настоящей работы требования систем разделения времени являются базовыми, а требования по гарантированному реагированию на недетерминированное количество внешних воздействий в ограниченное время, характерные для систем реального времени, не предъявляются. Решение задачи представляет собой процесс выполнения параллельной программы на некотором множестве вычислительных узлов одной или нескольких ВС. Будем называть такие параллельные программы вычислительными заданиями или заданиями. Свойством заданий является ограниченное время актуальности результатов их выполнения, характеризуемое для каждого из них функцией полезности (актуальности).

Выполнение заданий происходит в оперативном режиме - до момента потери ими актуальности. Если задание было распределено на выполнение, но не было выполнено вовремя, оно не считается выполненным успешно при оценке эффективности работы вычислителя и в вычислительном смысле эквивалентно его простою. В качестве показателей эффективности функционирования рассматриваемых вычислительных систем используются целевые функции, характеризующие процесс обработки (время выполнения) заданий и пропускную способность системы (количество вовремя выполненных заданий). Сведения о средней загруженности ВС при этом не используются для оценки качества распределения заданий, поскольку не дают представления об эффективности ее работы, что отличает системы данного класса от систем разделения времени.

В качестве ресурсов вычислительных систем рассматриваются центральные процессоры вычислительных узлов. Применительно к объединенной вычислительной среде, рассматриваемой в настоящей работе, возможно указать ее следующие основные свойства:

• территориальная распределенность. Входящие в ее состав ВС распределены в открытой глобальной сетевой среде. Рассматриваемая модель вычислений (обслуживания заданий) позволяет принять коммуникационные издержки не влияющими на организацию вычислений. Предъявляются повышенные требования к безопасности доступа к ресурсам ВС;

• автономность ресурсов. База вычислительных ресурсов объединенной вычислительно среды формируется из независимых друг от друга ВС или отдельных компьютеров. Ресурсы обслуживаются и администрируются владельцами, которые имеют право реализовывать независимую политику доступа к ним;

• коллективный режим работы с неотчуждаемыми ресурсами. Ресурсы объединенной вычислительной среды используются в коллективном режиме, поэтому должно обеспечиваться гибкое и скоординированное их распределение между пользователями, решающими разные задачи. При этом остается возможность использования ресурсов ВС локально, без полного отчуждения ресурсов для общего доступа;

• вариативность среды. Состав ресурсов, состав пользователей и их заданий динамично меняются.

На сегодняшний день в ряде стран, в том числе в России и странах СНГ, уже созданы и используются объединенные вычислительные среды, организованные, в том числе, и в виде грид-систем [74,75,76], предназначенные для решения различных классов задач [62,82,87-90]. В США, помимо решения научных и образовательных задач (компьютерная сеть национального фонда научных исследований - NSF Сотр. Grid), грид-технологии активно используются в специальных и военных целях -информационная сеть поддержки НАСА (NASA Information Power Grid), глобальная информационная сеть министерства обороны (DOD GI Grid).

В настоящей работе проведены исследования на тему своевременного обслуживания заданий, обладающих свойством потери актуальности решения, в многопользовательском опытном сегменте объединенной вычислительной среды (ОВС). Архитектурно рассматриваемый опытный сегмент ОВС представляет собой объединение ряда ВС класса МВС-1000/15000 и имеет наименование сетевой среды распределенных вычислений (разработка НИИ «КВАНТ» и ИПМ им. М. В. Келдыша РАН, головное предприятие - МСЦ РАН). Существующие в ОВС средства планирования заданий [6,12,20,21,23-30] основаны на приоритетной схеме, не предусматривающей обеспечения своевременного обслуживания заданий, в силу чего требуется разработка как модели, так и программной реализации системы, устраняющий этот недостаток. Особенностью используемой сегодня в ОВС приоритетной схемы планирования является и то, что для каждой ВС, входящей в ее состав, шкала приоритетов пользователей и их заданий, в соответствии с которыми происходит определение очередности выполнения заданий, является уникальной. Это делает невозможной организацию взаимодействия ВС для перераспределения заданий между ними.

К организации вычислений в объединенной вычислительной среде предъявляются следующие общие требования, еще называемые требованиями к качеству обслуживания поступающих заданий (QoS - Quality of Service):

• безопасность объединяемых ресурсов и безопасность выполняющихся заданий;

• надежность и постоянная доступность ресурсов;

• приемлемое для использования и предсказуемое время выполнения заданий.

В работах [20-23,25,26] рассматриваются решения, позволяющие организовать процесс обработки заданий в ОВС, отвечающий предъявляемым требованиям по безопасности объединяемых ресурсов и выполняющихся заданий, а также обеспечивающие постоянную доступность и надежность вычислительных ресурсов. Разрабатываемая в настоящей работе система планирования заданий и распределения ресурсов ориентирована на обеспечение приемлемого для использования и прогнозируемого времени обслуживания параллельных заданий пользователей при их назначении на вычислительные ресурсы ОВС.

При решении заданий в объединенной вычислительной среде значимым для пользователя параметром, является его «важность» или «срочность». Степень «срочности» задания определяется пользователем индивидуально и не зависит от «срочности» заданий других пользователей ВС и ОВС. Такая характеристика задания как «срочность» для пользователя означает «наиболее позднее приемлемое время» получения результатов выполнения задания. Для описания ожидаемого времени решения задания используется невозрастающая функция полезности результатов его выполнения.

Для непротиворечивого распределения нагрузки между отдельными ВС, входящими в ОВС, необходимо, чтобы планирование заданий в каждой из ВС и на вышележащем уровне (при выборе ВС для выполнения задания) происходило на основе одних и тех же принципов. Становится очевидным, что планирование заданий в объединении ВС должно происходить как минимум на двух уровнях, которые представимы локальной частью (в рамках одной ВС) и глобальном - для ОВС в целом. В рассматриваемой ОВС количество заданий пользователей всегда превышает ее ресурсные возможности. Это обуславливает дополнительные требования к архитектуре системы управления объединением ВС, которая должна обеспечивать устойчивое планирование заданий при увеличении числа доступных ВС и росте количества поступающих заданий.

Предложенный в настоящей работе вариант планирования заданий и ресурсов в ОВС основан на условно-стоимостном исчислении и позволяет пользователям производить индивидуальную оценку информационной важности задания, выражая ее в условных единицах, определяющих доступность вычислительных ресурсов. Для исключения возникновения «узкого места», характерного для централизованной организации системы управления распределенными ресурсами [1,79,40-43], и обеспечения масштабируемости предложена система планирования заданий объединенной вычислительной среды децентрализованного типа.

Исследования по организации управления заданиями на ЭВМ на основе условно-стоимостного исчисления проводились в конце семидесятых - начале восьмидесятых годов в Институте прикладной математики им. М. В. Келдыша РАН. Коллективом авторов, в числе которых Н. Е. Балакирев, М. Г. Тонконогов, А. Е. Фирсов. Были получены результаты, позволившие заложить основу для качественного повышения эффективности использования ресурсов вычислительных систем и автоматизации управления прохождением заданий мультипроцессорных ЭВМ. Результаты исследований позднее получили отражение в работах И. А. Бахарева и В. И. Крюкова [2]. Актуальность подтверждается также тем, что работы в данном направлении активно ведутся как зарубежными [33-40,80,85], так и отечественными производственными и научно-исследовательскими организациями (ИПМ РАН, ФГУП «НИИ «КВАНТ»).

На основе модели условно-стоимостного исчисления, использующей алгоритмы экономических моделей, в работе построена система планирования заданий, обеспечивающая их распределение в ОВС на основе конкурентного доступа к вычислительным ресурсам. Внедрение системы планирования заданий, основанной на алгоритмах экономических моделей, требует проработки таких вопросов, как распределение бюджетов между пользователями системы, определение стоимости услуг (данные функции выполняются администратором системы), порядок взимания оплаты за услуги (предоплата или оплата по факту), действия сторон в случае невыполнения одной из них взятых на себя обязательств: например, в случае выхода из строя некоторого подмножества вычислительных ресурсов или при отказе пользователя от выполнения заданной им работы (завершение задания по команде пользователя).

Объектами исследования являются механизмы управления ресурсами и заданиями в распределенных вычислительных системах, величины вероятностных характеристик случайного времени совместного выполнения заданий на разделяемых ресурсах, параллельные вычислительные задания, характеризуемые функцией потери ценности решения.

Предметом исследования являются способы, методы и алгоритмы управления ресурсами и заданиями в распределенных вычислительных средах, основанные на условно-стоимостном исчислении, вероятностные свойства величины времени совместного выполнения заданий, для которых время решения есть случайная величина при условии ее равновероятного распределения на некотором периоде выполнения.

Цель работы — создание алгоритмов и программных средств, предназначенных для планирования заданий и ресурсов в распределенной вычислительной среде. Задания характеризуются параллелизмом, случайным временем выполнения и описываются невозрастающей функцией полезности на интервале планирования (обслуживания). Дисциплина планирования заданий, использующая алгоритмы экономических моделей, должна отвечать требованиям прогнозируемости времени их обслуживания.

Для достижения цели исследования были сформулированы следующие задачи:

1. Определить вероятностные характеристики случайной величины, характеризующей время выполнения заданий, претендующих на разделяемые вычислительные ресурсы.

2. Исследовать взаимное влияние заданий на время выполнения при решении на разделяемых вычислительных ресурсах.

3. Сформировать универсальный подход к определению очередности выполнения параллельных вычислительных заданий с прогнозируемым временем выполнения на узлах разнородных вычислительных систем.

4. Разработать способ оценки эффективности работы системы планирования, основанной на применении алгоритмов экономической модели.

5. Оценить применимость моделей условно-стоимостного исчисления для управления в распределенных вычислительных системах.

6. Создать систему, реализующую способ управления заданиями в объединенной вычислительной среде на основе условно-стоимостного подхода.

При решении поставленных задач применялись объектно-ориентированные методы и экспериментальные методы и методы анализа. В частности в работе использовались:

1. Анализ существующих технологий управления ресурсами распределенных вычислительных систем.

2. Объектно-ориентированные методы проектирования систем и программирования.

3. Аналитические и вероятностные математические методы.

4. Экспериментальные методы оценки качества систем. Диссертация состоит из введения, трех глав, заключения, списка

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Голосов, Павел Евгеньевич

3.3. Выводы по главе 3

В данной главе определены основные требования по обеспечению гарантированного распределения заданий при работе СПЭА в ВС и ОВС. На основании статистических сведений о работе существующего сегмента ОВС (на основе систем класса МВС) с приоритетным управлением предложен подход к оценке эффективности работы ОВС под управлением СПЭА ' " ' '

Для ВС и ОВС с функционирующей СПЭА произведена оценка и сравнение с аналогичными характеристиками приоритетной схемы планирования таких параметров как:

- количества заданий,^выполненных с соблюдением установленного времени обслуживания;

- среднего значения загруженности ресурсов; - приведенного .среднего значения времени обслуживания заданий.

Для различных. пяти вариантов начальных условий, характеризующих степень срочности результатов выполнения заданий для пользователей, было проведено три серии экспериментов, моделирующих работу ВС и ОВС под управлением СПЭА. За основу при формировании начального распределения-- поступающих заданий использован модифицированный поток заданий существующей ОВС, для каждого задания в котором определены свойства, требуемые для обработки с использованием СПЭА.

На основании проведенных экспериментов сделаны следующие общие выводы:

- выбранная модель и целевая функция работы СПЭА при планировании заданий в ВС и ОВС позволяют обеспечить требования по качеству обслуживания заданий в аспекте прогнозируемости времени обслуживания;

- величина средней загруженности ресурсов ВС не является информативной оценкой качества работы СПЭА. Для оценки ее эффективности следует использовать величины количества своевременно обслуженных заданий и величины приведенное среднее время обслуживания заданий (Кт);

- при планировании заданий с использованием СПЭА возможно достижение многократного ускорения обслуживания заданий пользователей при условии возможного сокращения количества своевременно обслуженных заданий. Степень ускорения обслуживания заданий определяется пользовательскими оценками их срочности и величиной выделяемой квоты. Таким образом, пользователь при постановке запроса о выполнении задания производит субъективную оценку важности его результатов, для которой обеспечивается сравнимость с аналогичными оценками других пользователей ВС и ОВС;

- использование дисциплины перепланирования очереди после досрочного завершения очередного задания позволяет увеличить количество заданий, выполненных с соблюдением установленного времени обслуживания. В рамках рассматриваемой модели вычислений время, затрачиваемое на перепланирование заданий, не оказывает влияния на своевременность обслуживания заданий; - совместная работа ВС в составе ОВС позволяет обеспечить общую производительность, превышающую суммарную для независимых ВС.

ЗАКЛЮЧЕНИЕ

В работе рассмотрен вопрос о гарантированном времени обслуживания параллельных заданий со случайным временем выполнения и характеризуемых невозрастающей функцией старения на интервале допустимого обслуживания на узлах ВС, входящих в состав опытного сегмента объединенной вычислительной среды - ОВС.

Необходимость обеспечения гарантированного времени обслуживания заданий в ОВС и проведенный анализ существующих систем управления распределенными вычислительными системами позволили сделать вывод о необходимости собственной разработки и построения средств управления, позволяющих обеспечить выполнение предъявляемых требований по качеству обслуживания заданий.

В качестве модели планирования заданий и ресурсов предложена модель на основе условно-стоимостного исчисления, реализующая экономические механизмы рыночной конкуренции заданий для доступа к ресурсам в условиях ограниченности доступных ресурсов и превышения спроса на ресурсы над предложением. На основании модели планирования заданий определены основные характеристики, используемые методы и целевая функция разработанной системы планирования - СПЭА, ориентированной на повышение количества своевременно обслуживаемых заданий в ОВС. Предложены способы оптимизации ее работы. Обеспечена преемственность СПЭА с существующим порядком работы пользователей по постановке заданий на выполнение. Предусмотрена работа СПЭА в режиме моделирования обработки потока заданий.

Оценка работы СПЭА была проведена на основании статистических сведений о работе опытного сегмента ОВС и результатов экспериментов по моделированию работы для различных начальных условий в соответствии с критериями количества своевременно обслуженных заданий и приведенного среднего времени обслуживания заданий для ВС и

ОВС. В результате в работе представлена разработанная децентрализованная система планирования заданий, обеспечивающая устойчивую работу в ОВС и гарантирующая своевременное обслуживание заданий в соответствии с индивидуальными оценками их «срочности» пользователями.

Направлениями дальнейших исследований являются:

1. Формирование процедур и автоматизированного способа определения трудоемкости заданий для каждого из видов ресурсов в ОВС, в том числе для случая совместного решения заданий на ресурсах различных ВС.

2. „ Обеспечение , возможности,, „ обслуживания групп заданий, связанных по результатам вычислений, с соблюдением сроков облуживания для группы в целом.

3. Определение способа, позволяющего при формировании ресурсного запроса в ОВС перейти от запрашиваемого времени к требуемому объему вычислительной работы.

Список литературы диссертационного исследования кандидат технических наук Голосов, Павел Евгеньевич, 2010 год

1. Баранов А.В., Лацис А.О., Храмцов М.Ю., Шарф С.В. Руководство системного программиста (администратора) системы управления прохождением задач МВС-5000. —Москва: ИПМ им. М. В. Келдыша РАН. Отдел ИВС и ЛС, сектор эксплуатации МВС, 2001, 65 с.

2. Бахарев И.А., Крюков В.А., Управление прохождением задач на ЭВМ, препринт Института прикладной математики им. М. В. Келдыша АН СССР, 1981, № 149, 24 с.

3. Коваленко В.Н., Корягин Д.А. Вычислительная инфраструктура будущего // Открытые системы. 1999. №11-12. С. 45-52.

4. Коваленко В.Н., Коваленко Е.И., Корягин Д.А., Любимский Э.З. Метод опережающего планирования для Грид. Препринт ИПМ им. М.В.Келдыша РАН, 2005, №112.

5. Корнай Я. Дефицит. М., 1990.к

6. Корнеев В.В, Киселёв А.В., Семёнов Д.В., Сахаров И.Е. Управление метакомпьютерными системами. // Журнал «Открытые системы» №2, 2005 г.

7. Ларичев О. И. Теория и методы принятия решений. М.: Логос, 2000, С.296, ISBN: 5-88439-046-7,

8. Лэйард Р. Макроэкономика. М., 1994.

9. Мюллер-Армак А. Принципы социального рыночного хозяйстваУ/Социальное рыночное хозяйство. СПб., 1999.

10. Самуэльсон П. Экономика в 2-х томах. Москва: МГП «Алгон» ВНИИСИ, 1992.

11. П. Е. Голосов. Об одной модели распределения заданий для обеспечения комплексной безопасности вычислений в грид-среде // Безопасность информационных технологий 2009, выпуск 4. М.: МИФИ -С. 90-93.

12. Корнеев В. В., Киселев А. В., Голосов П. Е. Планирование заданий в грид на основе экономической модели // Распределенные вычисления и

13. Грид-технологии в науке и образовании: Тез. докл. 2-й междунар. Конф. (Дубна, 26-30 июня 2006 г.). Дубна ОИЯИ, 2006, - С. 80.

14. Киселев А.В., Корнеев В.В., Баранов А.В., Зверев Е.Л., Подзоров

15. Корнеев В.В., Киселёв А.В., Семёнов Д.В., Сахаров И.Е.I

16. Семенов Д.В. Исследование моделей организации внешней памяти кластеров, включающей-локальные диски ВМ, файл-серверы кластера ифайл-серверы сетевой среды распределённых вычислений // Научный отчет, ЦНТК РАН, 2003. С. 68-74.

17. R. Buyya, D. Abramson, and J. Giddy, Nimrod/G: An Architecture for a Resource Management and Scheduling System in a Global Computational Grid, HPC ASIA'2000, China, IEEE CS Press, USA, 2000.

18. M. Stonebraker, R. Devine, M. Kornacker, W. Litwin, A. Pfeffer, A. Sah, C; Staelin, An Economic Paradigm for Query Processing and Data

19. Migration in Mariposa, Proceedings of 3rd International Conference on Parallel ' and Distributed Information Systems, Austin, TX, USA, 28-30 Sept. 1994. Los Alamitos, CA, USA: IEEE Computer Society Press, 1994.

20. C. Waldspurger, T. Hogg, B. Huberman, J. Kephart, and W. Stornetta, Spawn: A Distributed Computational Economy, IEEE Transactions on Software Engineering, Vol. 18, No. 2, Feb. 1992.

21. N. Nisan, S. London, O. Regev, N. Camiel, Globally Distributed computation over the Internet The POPCORN project, International Conference on Distributed Computing Systems (ICDCS'98), 1998.

22. В. Chun and D. Culler, Market-based proportional resource sharing for clusters, Technical report, University of California, Berkeley, September 1999.

23. G. Heiser, F. Lam, and S. Russell, Resource Management in the Mungi Single-Address-Space Operating System, Proceedings of Australasian Computer Science Conference, Perth Australia, Feb. 1998, Springer-Verlag, Singapore, 1998.

24. Y. Amir, B. Awerbuch., A. Barak A., S. Borgstrom, and A. Keren, An Opportunity Cost Approach for Job ; Assignment in a Scalable Computing Cluster, IEEE Tran. Parallel and Distributed Systems, Vol. 11, No. 7, July 2000.

25. D. Abramson, J. Giddy, and L. Kotler, High Performance Parametric Modeling with Nimrod/G:-Killer Application for the Global Grid?, IPDPS'2000, Mexico, IEEE CS Press, USA, 2000.

26. LoadLeveler for AIX 5L Version 3.2 Using and Administering, SA22-7881-01, IBM, Oct. 2003.

27. LSF Version 4.1 Administrator's Guide, Platform Computing, 2001.

28. OpenPBS Release 2.3 Administrator Guide, Altair Grid Technologies, Aug. 2000.

29. Sun ONE Grid Engine, Administration and User's Guide, Sun Microsystems, Oct. 2002.

30. Beiriger, J., Johnson, W., Bivens, H., Humphreys, S. and Rhea, R., Constructing the ASCI Grid. In Proc. 9th IEEE Symposium on High Performance Distributed Computing, 2000, IEEE Press.

31. Bolcer, G.A. and Kaiser, G. SWAP: Leveraging the Web To Manage Workflow. IEEE Internet Computing,: 85-88. 1999.

32. Grimshaw, A. and Wulf, W., Legion A View from 50,000 Feet. In Proc. 5th IEEE Symposium on High Performance Distributed Computing, 1996, IEEE Press, 89-99.

33. Nakada, H., Sato, M. and Sekiguchi, S. Design and Implementations of Ninf: towards a Global Computing Infrastructure. Future Generation Computing Systems, 1999.

34. I. Foster, C. Kesselman. Computational Grids. Chapter 2 of "The Grid: Blueprint for a New Computing Infrastructure", Morgan-Kaufman, 1999.

35. H. H. Mohamed and D. H. J. Epema. Experiences with the koala co-allocating scheduler in multiclusters. In CCGrid, pages 784-791. IEEE CS, 2005.

36. P. Saiz, P. Buncic, and A. J. Peters. AliEn resource brokers. In Computing in High Energy and Nuclear Physics, 2003. Also available as CoRR cs.DC/0306068.

37. N. Capit et al. A batch scheduler with high level components. In

38. CCGrid, pages 776-783, 2005. .- i

39. P. Buncic, A. J. Peters, P.Saiz. The AliEn system, status and perspectives. Computing in High Energy and Nuclear Physics, 24-28 March 2003, La Jolla, California.

40. A. Reinefeld et al. Managing clusters of geographically distributed high-performance computers. CP&E, 11(15):887-911, 1999.

41. Cluster Resources Inc. Moab workload manager administrator's guide. Tech. Doc. v.5.0, Jan 2007.

42. M. Ellert et al. Advanced Resource Connector middleware for lightweight computational grids. FGCS, 23(2):219-240, 2007.

43. D. Epema, M. Livny, R. Dantzig, X. Evers, and J. Pruyne. A worldwide flock of Condors: Load sharing among workstation clusters. FGCS, 12:53-65.

44. U. Schwiegelshohn and R. Yahyapour. Resource allocation and scheduling in metasystems. In DCM, volume 1593 of LNCS, "pages 851-860, 1999.

45. N. Andrade et al. OurGrid: An approach to easily assemble grids with equitable resource sharing. In JSSPP, volume 2862 of LNCS, pages 61-86, 2003.

46. M. Siddiqui, A. Villaz'on, and T. Fahringer. Grid allocation and reservation grid capacity planning with negotiation-based advance reservation for optimized qos. In SC, page 103, 2006.

47. D. Thain, T. Tannenbaum, and M. Livny. Distributed computing in practice: the condor experience. CP&E, 17(2-4):323-356, 2005.

48. K. Czajkowski et al. A resource management architecture for metacomputing systems. In IPPS/SPDP, pages 62-82, 1998.

49. The NorduGrid architecture and tools. P. Eerola et al. Computing in High Energy and Nuclear Physics, 24-28 March 2003, La Jolla, California.

50. R. Buyya, T. Cortes, and H. Jin, "Single System Image," The International Journal of High Perfoimance Computing Applications, vol. 15, no. 2, pp. 124-135, Summer 2001.

51. Foster, A. Roy, V. Sander, L. Winkler. End-to-End Quality of Service for High-End Applications. Technical Report, 1999.

52. S. Chapin, J. Karpovich, A. Grimshaw, The Legion Resource Management System, Proceedings.of the, 5th Workshop on Job Scheduling Strategies for Parallel Processing, April 1999.

53. M. Litzkow, M. Livny, and M. Mutka, Condor A Hunter of Idle Workstations, Proceedings-of-the-8th International Conference of Distributed Computing Systems, June 1988.

54. F. Berman and R. Wolski, The AppLeS Project: A Status Report, Proceedings of the 8th NEC Research Symposium, Berlin, Germany, May 1997.

55. H. Casanova and J. Dongarra, NetSolve: A Network Server for Solving Computational Science Problems, Intl. Journal of Supercomputing Applications and High Performance Computing, Vol. 11, Number 3, 1997.

56. N. Kapadia and J. Fortes, PUNCH: An Architecture for Web-Enabled Wide-Area Network-Computing, Cluster Computing: The Journal of Networks, Software Tools and Applications, September 1999.

57. B. N. Chun and D. E. Culler, "User-centric Performance Analysis of Market-based Cluster Batch Schedulers," in Proc. of 2nd IEEE International Symposium on Cluster Computing and the Grid (CCGrid 2002), Berlin, Germany, May 2002.

58. Kindleberger Ch.P. Economic Development. N. Y., 1958.1. Электронные ресурсы

59. Российский грид для интенсивных вычислений. Петербургский институт ядерной физики им. Б. П. Константинова Электронный ресурс., http://egee.pnpi.nw.ru/cgi/index.cgi?Il=5&12=2 (проверено 24.11.2009).

60. Суперкомпьютерная программа «СКИФ-ГРИД» Электронный ресурс., http://skif.pereslavl.ru/psi-info/rcms-skif/index.ru.html (проверено 13.01.2010).

61. Российский грид для интенсивных операций с данными Russian Data Intensive Grid, RDIG, // Информационный ресурс в сети Интернет Электронный ресурс., www.egee-rdig.ru (проверено 01.03.2010).

62. Condor Version 6.7.1 Manual, University of Wisconsin-Madison, 2004. Электронный ресурс., http://www.cs.wisc.edu/condor/manual/v6.7 (проверено 24.11.2009).

63. Mojo Nation June 2001. Электронный , ресурс., http://www.oreillynet.eom/pub/d/262 (проверено 01.03.2010).

64. Workload Management System. Электронный ресурс., http://egee-jral-wm.mi.infn.it/egee-jral-wm/wms.shtml (проверено 01.03.2010).

65. Enabling Grids for E-sciencE (EGEE) Электронный ресурс., http://eu-egee.org (проверено 01.03.2010).

66. The EGEE grid infrastructure Электронный ресурс., http://egeena4.lal.in2p3.fr (проверено 01.03.2010).

67. XtremWeb: the Open Source Platform for Desktop Grids Электронный ресурс., http://www.xtremweb.net/ (проверено 01.03.2010).

68. SETI@Home Электронный ресурс., http://setiathome. ssl.berkeley.edu/ (проверено 01.03.2010).

69. Maui Scheduler Version 3.2 Administrator's Guide, Supercluster Research and Development Group ^ Электронный ресурс., http://www. supercluster.org/mauidocs/mauiadmin.shtml (проверено 01.03.2010).

70. The Grid3 collaboration Электронный ресурс., http://www.grid.org.il/?CategoryID=287 (проверено 01.03.2010).

71. TeraGrid open scientific discovery infrastructure Электронный ресурс., www.teragrid.org (проверено 01.03.2010).1. О (Ь>п

72. Global Ring Network for Advanced Applications Development (GLORIAD) Электронный ресурс., http://www.gloriad.org/gloriaddrupal (проверено 01.03.2010).

73. The GEANT Collaboration Электронный ресурс., http://www.geant.net/ (проверено 01.03.2010).

74. Inter-Operating Grids through Delegated MatchMaking. A. Iosup, D.H.J. Epema, T. Tannenbaum, M. Farrellee, M. Livny Электронный ресурс., www.cs.wisc.edu/condor/doc/SC07-Iosup.pdf (проверено 01.03.2010).4 .