Разработка модели и методов управления ресурсами в виртуальных организациях распределенных вычислительных сред тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Бобченков, Александр Викторович

• Бобченков, Александр Викторович
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Бобченков, Александр Викторович

ВВЕДЕНИЕ.

1.1. Архитектура распределенных вычислительных сред.

1.1.1. Особенности больших распределенных вычислительных сред.

1.1.2. Архитектура и состав программного обеспечения РВС.

1.1.3. Виртуальная организация.

1.2. Подходы к распределению ресурсов в РВС.

1.3. Обзор методов отбора и планирования ресурсов в РВС.

1.3.1. Непосредственное назначение ресурсов (мэппинг).

1.3.2. Алгоритм бэкфиллинга (Backfill).

1.4. Обзор существующих реализаций планировщиков в РВС.

1.4.1. Планировщик AppLes.

1.4.2. Планировщик Maui.

1.4.3. Планировщик Globus Architecture for Reservation and Allocation (GARA).

1.4.4. Планировщик Highly-Available Resource Co-Allocator.

1.4.5. Планировщик G-lambda Grid Scheduling System.

1.4.6. Метаброкер Grid Capacity Planning.

1.4.7. Брокер ресурсов Nimrod/G.

1.4.8. Особенности реализаций планировщиков.

Введение диссертации (часть автореферата) на тему «Разработка модели и методов управления ресурсами в виртуальных организациях распределенных вычислительных сред»

Актуальность темы

Создание сред распределенных вычислений стало возможным в последнее время благодаря впечатляющим достижениям в следующих направлениях: существенному повышению производительности процессоров, появлению широких каналов связи, глобализации обмена информацией и развитию методов метакомпьютинга - дисциплины, изучающей организацию распределенных вычислительных процессов. Немаловажным также является выработка единых протоколов организации вычисления и обмена данными, без которых объединение разнородных вычислительных систем и платформ трудно себе представить.

Две важных проблемы, решаемые при помощи распределенных вычислительных сред (РВС), главным представителем которых являются грид-системы, - повышение отдачи от вычислительных ресурсов, в случае их недостаточной загрузки, и обеспечение необходимой вычислительной мощности для решения масштабных научных и инженерных задач.

С одной стороны, очевидно, что РВС могут потенциально иметь совокупную вычислительную мощность на порядки выше, чем любой спроектированный и построенный суперкомпьютер. Более того, можно утверждать, что превосходство РВС еще более существенно, если мы рассмотрим среднюю производительность того и другого типа вычислительных систем как динамическую характеристику. Продолжающееся действие закона Мура заставляет периодически строить все новые и новые высокопроизводительные машины из-за ограничений, накладываемых технологией производства и не позволяющих постепенное обновление оборудования. Распределенные среды, в которых связующим звеном является их промежуточное программное обеспечение (middleware), не имеют подобных проблем.

С другой стороны, сильно возрастает сложность управления средой, в рамках которой объединяются разнородные вычислительные платформы, а также люди и стоящие за ними организации, пользующиеся совместным доступом к ресурсам. Доступ к ресурсам, реальная сложность среды при этом виртуализируется, сходным образом виртуализируется и набор принципов, структурирующий работу среды, который носит название виртуальной организации (ВО).

В условиях коллективного характера функционирования РВС наиболее сложным и критически важным механизмом обеспечения качества обслуживания помимо прочих (например, обеспечения безопасности) является эффективное планирование с точки зрения баланса загрузки ресурсов. Дополнительную сложность придает то, что, в отличие от монолитных суперкомпьютерных или кластерных систем, осуществляющий планирование механизм РВС (грид-диспетчер, метапланировщик, брокер ресурсов) не имеет полного контроля над ресурсами среды (поэтому они являются неотчуждаемыми) и скорее вынужден вести переговорный процесс с контрагентами, в данном случае с локальными планировщиками вычислительных узлов.

В последнее время, с появлением таких парадигм распределенных вычислений, как «платформа как сервис» (РааБ, р1а1Гогт-а8-а-зегуюе) и «программное обеспечение как сервис» (БааБ, БоАлуаге-аз-а-зепасе) существенным аспектом является также экономическая эффективность планирования. Таким образом, появляется третья возможная функция РВС -бизнес по продаже вычислительных услуг. Тогда, если ВО кроме пользователей включает в себя собственников ресурса, то экономические интересы собственников (максимальный доход, обеспечение определенного уровня загрузки ресурсов) противоречат интересам пользователей (получить результаты вычислительных заданий как можно скорее и с минимальной стоимостью). Возникает необходимость внесения экономических факторов в процесс планирования, таких как: учет экономических интересов сторон, предоставление качественного сервиса пользователям, а также обеспечение прибыли организации, создавшей необходимую инфраструктуру самой РВС, - администраторов ВО [3].

Во множестве существующих реализаций* планировщиков [15, 40-45] данные вопросы не рассматриваются. Одним из немногих исключений является метапланировщик - брокер ресурсов МтгоёЛЗ [25], основанный на рыночной модели распределения ресурсов. Однако, подход, примененный в алгоритме данного планировщика, сводится к оптимизации планирования приложений отдельного пользователя по заданным им критериям [25,.26- 32]. Подобное решение не может обеспечить ни баланс экономических интересов в масштабе всей ВО, ни оптимизацию планирования для пакета; сформированного из заданий, принадлежащих произвольной группе пользователей. Кроме того, реализация планировщика №тгос1/0 не включает детальное решение проблемы отбора ресурсов, необходимых для выполнения пользовательских заданий.

Учитывая все вышеприведенные аргументы, представляется актуальной разработка и исследование модели ВО РВС, включающей пользователей и собственников ресурсов, а также прослойки; посредников, представляющей администраторов ВО. Необходима также разработка механизма управления ресурсами, осуществляемого в рамках ВО метапланировщиком, включающего подбор, планирование вычислительных ресурсов, основанных на экономических принципах и обеспечивающих баланс экономических интересов участников виртуальной организации путем оптимизации распределения ресурсов на уровне целого пакета заданий нескольких независимых пользователей.

Объектом исследования является управление ресурсами в РВС, предметом исследования — модель и механизмы распределения и планирования ресурсов в рамках виртуальной организации РВС.

Цели и задачи работы

Целью работы является разработка и исследование модели виртуальной организации коммерчески используемой распределенной вычислительной среды и метода управления неотчуждаемыми вычислительными ресурсами в рамках данной виртуальной организации.

Для достижения указанной цели решаются следующие задачи:

1. Исследование моделей организации распределенных вычислений, существующих алгоритмов планирования и реализаций планировщиков.

2. Разработка модели ВО коммерчески используемой РВС, включающей независимых пользователей, собственников ресурса и прослойку администраторов ВО, разработка модели ценообразования вычислительных услуг в ВО.

3. Разработка механизма управления неотчуждаемыми ресурсами ВО РВС, реализуемого метапланировщиком, построенным по централизованно-иерархической схеме организации распределения ресурсов.

4. Разработка системы имитационного моделирования, реализующей программно работу модели ВО для исследования ее поведения и свойств.

5. Экспериментальное исследование разработанной модели и механизма управления ресурсами при помощи программной реализации для изучения свойств и поведения модели, а также анализа эффективности алгоритмов метапланировщика.

Методы исследования

Методы теории расписаний, исследования операций, системного анализа; для исследования свойств модели виртуальной организации и анализа метода управления ресурсами было использовано имитационное моделирование на ЭВМ. Научная новизна

Научная новизна диссертации определяется получением следующих результатов:

• Разработан комплексный подход к процессу распределения' и планирования неотчуждаемых вычислительных ресурсов РВС, обеспечивающий более эффективную обработку потока пользовательских заданий и использование доступных ресурсов за счет динамической приоритизации заданий, подбора альтернативных наборов ресурсов для каждого задания и оптимизации плана выполнения пакета заданий с применением временных и стоимостных критериев.

• Разработан алгоритм формирования и ранжирования пакета заданий, реализующий политику приоритетной обработки заданий, устанавливаемую администраторами ВО, а также повышающий пропускную способность метапланировщика, выраженную в соотношении обработанных заданий к общему числу поступивших в очередь.

• Проведен сравнительный анализ алгоритма поиска эффективного плана выполнения в рамках метода управления ресурсами, а также режима случайного подбора ресурсов, имитирующего работу других реализаций метапланировщиков без, оптимизации на1 уровне пакета заданий, для различных модельных задач. В результате эксперимента показано преимущество разработанного алгоритма по сравнению со случайным подбором вычислительных ресурсов по интегральным выходным параметрам планирования (суммарная стоимость и время использования ресурсов).

Практическая ценность работы

Система имитационного моделирования, имеющая в основе предложенную модель ВО, которая позволяет производить подбор и планирование ресурсов для потоков пользовательских заданий. Данная программная реализация была использована для исследования свойств модели и анализа разработанных алгоритмов метапланировщика. На основе данного прототипа возможна реализация системы управления ресурсами РВС, в частности, облачных вычислений или коммерчески используемого грид. Теоретические и практические результаты исследования были использованы при' подготовке лекционных курсов «Вычислительные системы» на кафедре ВТ МЭИ (ТУ), а также курсов «Моделирование систем», «Информационные технологии» кафедры АИЛУ МИЭМ (ТУ), о чем имеются соответствующие акты.

Апробации

Основные положения и результаты работы докладывались и обсуждались в рамках научных конференций «Информационные средства и технологии» в МЭИ (ТУ) в 2009 и 2010 гг.; ACS/IEEE International Conference on Computer Systems and Applications, Тунис, Хаммамет; 16-19 мая 2010, XXXVII' «Информационные технологии в науке, образовании, телекоммуникации и бизнесе», май 2010 г., Крым; 5th International Conference on Dependability of Computer Systems DepCoS-RELCOMEX 2009. Брунов -Вроцлав, Польша, июль 2010» г., "Суперкомпьютерные технологии: разработка, программирование, применение" СКТ-2010. г. Таганрог; "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи", 2025 сентября 2010 г., г. Абрау-Дюрсо; «Суперкомпьютерные технологии: разработка, программирование, применение», г. Дивноморское, Геленджикский район, сентябрь 2010 г.

Работа выполнена при частичном содействии Совета по грантам Президента РФ для поддержки ведущих научных школ (грант НШ-7239.2010.9), РФФИ (проект № 09-01-00095), Минобрнауки в рамках аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы» (проекты № 2.1.2/6718; 2.1.2/13283) и федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы (государственные контракты № П2227; № 16.740.11.0038).

Публикации по теме диссертации

Основные результаты, полученные при выполнении диссертационной работы, опубликованы в 10 печатных работах, включая 9 статей; из'них 2 в изданиях, рекомендуемых ВАК, и 1 главу в монографии (в соавторстве).

Разработанная система имитационного моделирования зарегистрирована в государственном реестре программ для ЭВМ, свидетельство № 2011611541 от 10.03.2011.

1. Целищев A.C., Бобченков A.B., Емельянов Д.М. Модифицированный метод критических работ в решении задачи планирования распределенных вычислений // Труды XVII Международной научно-технической. конференции «Информационные средства и технологии». 20 - 22 октября 2009 г.; Москва. В 3 томах. Т. 1. — М.: Издательский дом МЭИ. С. 84-90.

2. Топорков В.В, Топоркова A.C., Целищев A.C., Бобченков A.B., Емельянов Д.М. Масштабируемые модели планирования и управления потоками заданий в распределенных вычислениях // Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность: Труды Всероссийской суперкомпьютерной конференции: - М.: Изд-во МГУ, 2009. С. 335-339.

3. Toporkov V.V., Toporkova A., Tselishchev A., Yemelyanov D., Bobchenkov A. Economic Models of Scheduling in Distributed' Systems // In: T. Walkowiak, J. Mazurkiewicz, J. Sugier, and W. Zamojski (eds.), Monographs of System Dependability. Dependability of Networks (Vol. 2). - Wroclaw: Oficyjna Wydawnicza Politechnki Wroclawskiej, 2010. - P. 143-154 (монография на англ. яз.).

4. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Экономические модели организации распределенных вычислений // Труды международной конференции-«Информационные технологии в науке, образовании, телекоммуникации и бизнесе», Май 2010 г., Крым. М.: Открытое образование. 2010; С. 7-10.

5. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Организация распределенных вычислений на основе экономических принципов // Труды Конгресса по интеллектуальным системам и информационным технологиям «AIS-IT'IO», Сентябрь 2010 г. М.: ФИЗМАТЛИТ, 2010. Т. 1. С. 563-570:

6. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Планирование вычислений в распределенных средах на основе экономических принципов // Труды всероссийской конференции "Научный сервис в сети Интернет: суперкомпьютерные центры и задачи", 20-25 сентября 2010 г., Абрау-Дюрсо. М.: Изд-во МГУ им. М.В. Ломоносова. 2010. С. 258-263.

7. Топорков В.В., Топоркова A.C., Бобченков A.B., Емельянов Д.М., Целищев A.C. Экономические принципы организации распределенных вычислений // Труды международной научно-технической конференции "Суперкомпьютерные технологии: разработка, программирование, применение" СКТ-2010. Таганрог: Изд-во ТТИ ЮФУ. 2010. Т. 2. С. 9296.

8. Бобченков A.B., Топорков В.В, Целищев A.C. Система имитационного моделирования планирования потоков независимых заданий1 в распределенных вычислительных средах. // Труды научно-технической конференции «Информационные средства и технологии» в трех томах. М: МЭИ, 2010. Том 1. С. 11-17

9. Топорков В.В., Топоркова A.C., Бобченков A.B. Стратегии, организации и поддержки масштабных вычислений в распределенных средах // Открытое образование, 2011. №2(85). Ч. 2. С.15-18.

10. Бобченков А. В., Топорков В. В. Метод оптимального планирования в модели управляемых потоков заданий в распределенных вычислительных средах. // Информационные технологии, 2011. №5. С.27-31.

1. АНАЛИЗ ПРОБЛЕМЫ УПРАВЛЕНИЯ РЕСУРСАМИ В РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СРЕДАХ

В данной главе приведен обзор современных моделей организации распределенных вычислений, рассмотрены подходы к распределению и планированию ресурсов в распределенных вычислительных средах (РВС). Рассмотрены основные используемые методы и средства подбора и планирования ресурсов РВС, а также проанализированы характеристики ряд существующих реализаций планировщиков распределенных РВС, и обоснован выбор модели управления ресурсами в рамках виртуальной организации (ВО).

Заключение диссертации по теме «Вычислительные машины и системы», Бобченков, Александр Викторович

4.7. Основные результаты и выводы

В данной главе было проведено экспериментальное исследование свойств модели и эффективности алгоритмов планирования метапланировщика при помощи реализованной' системы имитационного моделирования, описанной в главе 3. Основные результаты, полученные в данной главе, следующие:

1. Исследована устойчивость генерации входных параметров и распределение выходных параметров модели. Установлено, что большая часть выходных параметров приближенно распределена по нормальному закону распределения.

2. Исследована степень влияния входных параметров модели (параметров ресурсных запросов, параметров среды) на выходные (число найденных альтернатив, число распределенных заданий, суммарные стоимость и время использования слотов). В результате эксперимента установлено, что наиболее значимыми параметрами модели являются количество ресурсных линий домена, уровень загруженности среды, минимальное ограничение на производительность, максимальное ограничение на время, максимальное ограничение на удельную стоимость слота.

3. Исследовано влияние таких параметров работы метапланировщика, как длины- цикла планирования и длины пакета заданий. Показано, что ключевые выходные параметры модели растут с замедлением при увеличении значения соответствующих параметров. Распределяемость пакета заданий остается на приемлемом уровне при* больших значениях длины цикла планирования и при меньших значениях длины пакета (до 100).

4. Исследован разработанный в главе 2 алгоритм формирования и ранжирования пакета заданий ВР11. В ходе экспериментов показано, что включение данного алгоритма в цепочку обработки заданий метапланировщика в 2,5 раза увеличивает распределяемость потока заданий в течение 50 циклов, а также значительно (более 5 раз) I повышает вероятность распределения задания, имеющего более высокое ограничение удельной стоимости слота в ресурсном запросе. Исследована зависимость распределяемости потока заданий от параметра алгоритма ВРЯ - порога возвратов задания в очередь в результате неудачного распределения, а также длины пакета заданий. Показано, что для максимальной распределяемости потока заданий в течение 50 циклов необходимо устанавливать порог возвратов на величину, составляющую 15-20% от длины пакета заданий.

5. Проведен сравнительный анализ алгоритма поиска эффективного плана выполнения А8 и режима случайного выбора альтернатив, имитирующего работу других реализаций метапланировщиков без оптимизации на уровне пакета заданий, для различных модельных задач. Показано преимущество алгоритма А8 по сравнению со случайным выбором альтернатив (до 13%) по целевому критерию (суммарная стоимость слотов, суммарное время использования слотов, в зависимости от модельной задачи) во всех модельных задачах.

ЗАКЛЮЧЕНИЕ

В работе было показано, что на сегодняшний день не существует приемлемой реализации системы управления ресурсами для РВС, сочетающей следующие признаки:

• централизованная работа в рамках ВО РВС;

• работа с неотчуждаемыми ресурсами среды с использованием иерархической схемы организации распределения ресурсов (метапланировщик — локальные планировщики);

• экономическая модель (продажа вычислительных услуг) для работы в условиях коммерческого использования РВС;

• оптимизация на уровне пакетов заданий для обеспечения баланса экономических интересов участников ВО, в том числе организаторов самой РВС (администраторов ВО).

В ходе диссертационной работы была разработана модель виртуальной организации РВС и метод управления неотчуждаемыми ресурсами в рамках работы системы управления ресурсами среды (метапланировщика), удовлетворяющие вышеперечисленным требованиям.

Область применения разработанной модели — коммерчески используемые РВС, в частности, облачные вычисления и коммерческий, грид («грид по требованию, utility grid). Модель была реализована программно, с помощью разработанной системы имитационного моделирования свойства модели и эффективность метода управления ресурсами были экспериментально исследованы. Новизна разработанного метода управления ресурсами ВО выражается в комплексном многоэтапном подходе к процессу обработки потока заданий, включающем динамическую приоритизацию заданий, подбор альтернативных вариантов набора необходимых ресурсов для каждого задания и поиск эффективного плана выполнения пакета заданий с точки прохождения всего пакета. Показано, что гибкость разработанного метода управления ресурсами позволяет использовать его как для обеспечениями усиления экономических интересов одной из сторон, так и для балансирования экономических интересов всех участников! и организации справедливого распределения ресурсов. Разработанный' метод обеспечивает более эффективное обслуживание потока заданий; а также больший контроль над процессом распределения ресурсов для администраторов ВО, чем в существующих реализациях метапланировщиков.

В рамках диссертационной работы были получены следующие основные результаты и выводы:

1. Рассмотрены задачи, решаемые средствами РВС, а также показано место и роль эффективного планирования в архитектуре распределенных сред. Приведен краткий обзор подходов к распределению ресурсов в РВС, обоснован выбор иерархической схемы организации управления ресурсами, при которой центральный метапланировщик осуществляет планирование пользовательских заданий для выполнения на частично доступных неотчуждаемых вычислительных ресурсах ! ВО, взаимодействуя с локальными планировщиками. Проведена классификация* и отмечены* недостатки в существующих реализациях планировщиков.

2. Разработана модель виртуальной организации коммерчески используемой распределенной вычислительной среды, включающая пользователей, администраторов ВО и собственников вычислительных узлов. Разработаны функции ценообразования, моделирующие ценовую политику ВО, учитывающую интересы* администраторов ВО как посредников при продаже вычислительных услуг.

3. Разработан метод управления ресурсами ВО, включающий четыре последовательных этапа обработки» задания: помещение задания в поток, формирование и ранжирование пакета заданий, подбор ресурсов для пакета заданий с поиском нескольких альтернативных наборов слотов и оптимизация плана выполнения (комбинации наборов слотов) по одному или нескольким критериям. В рамках метода управления ресурсами разработаны необходимые алгоритмы работы метапланировщика:

• алгоритм формирования и ранжирования пакета заданий (Batch Forming and Ranking, BFR);

• алгоритм подбора слотов (Slot Processing, SP);

• алгоритм поиска эффективного плана выполнения (Alternative Selection, AS) для многокритериальной оптимизации найденных наборов слотов. Для алгоритма AS формализована задача оптимизации, описан однокритериальный и многокритериальный режим работы.

4. Разработана система имитационного моделирования, реализующая предложенную модель управления ресурсами ВО; включающая специально разработанный скриптовый язык для гибкого планирования модельных экспериментов. Предложена модификация алгоритма SP, принесшая существенный выигрыш в производительности системы имитационного моделирования.

5. При помощи- разработанной системы имитационного моделирования проведено масштабное экспериментальное исследование поведения модели в различных режимах работы. Исследована устойчивость генерации входных данных и влияние входных параметров модели (параметры среды, заданий, планирования, критерии оптимизации) на результаты работы метапланировщика.

6. Получены экспериментальные результаты, подтверждающие эффективность алгоритма формирования и ранжирования пакета заданий (BFR) в сравнении с последовательной обработкой очереди потока в многоцикловом режиме работы метапланировщика. Включение данного алгоритма в цепочку обработки заданий метапланировщиком повышает распределяемость потока заданий и экономическую отдачу от продажи слотов более чем вдвое, а также значительно повышает вероятность выполнения задания, для которого пользователь устанавливает более высокий бюджет, таким образом реализуется политика приоритетной обработки заданий. Установлено оптимальное значение параметра алгоритма ВРЯ - порога возвратов задания в очередь, величина которого должна составлять 15-20% от длины пакета заданий.

7. Показана эффективность алгоритма поиска эффективного плана выполнения (А8) в сравнении с режимом случайного выбора альтернативных наборов ресурсов для выполнения пользовательских заданий, имитирующим работу других реализаций метапланировщиков, способных планировать параллельные задания. Полученное экспериментально максимальное значение сравнительной эффективности алгоритма АБ составила величину порядка 13%.

8. Теоретические и практические результаты исследования были использованы при подготовке лекционных курсов «Вычислительные системы» на кафедре Вычислительной техники МЭИ (ТУ), а также курсов «Моделирование систем», «Информационные технологии» кафедры Автоматизации и интеллектуализации процессов убавления МИЭМ (ТУ).

В качестве дальнейшего развития модели, разработанной в настоящей диссертации, можно указать следующие направления:

• развитие алгоритма поиска эффективного плана выполнения в многокритериальном режиме, например, при помощи методов теории игр;

• введение в модель понятия спроса и предложения;

• развитие механизма динамического перераспределения заданий по потокам, в случае повторяющихся отказов на распределения (превышения порога возвратов задания в очередь);

• расширение формата ресурсного запроса, введение дополнительных параметров;

• расширение метода управления ресурсами для взаимодействия с другими типами ресурсов РВС, помимо вычислительных. •

Список литературы диссертационного исследования кандидат технических наук Бобченков, Александр Викторович, 2011 год

1. Ferreira L., Berstis V., Armstrong J. Introduction to Grid computing with Globus. IBM Redbooks, electronic book, 2003. P.35.

2. Kurowski K., Nabrzyski J., Oleksiak A.,' Weglarz J. Multicriteria aspects of Grid resource management // Grid resource management. State of the art and future trends / Eds. J. Nabrzyski, J.M. Schopf, and J. Weglarz. Kluwer Acad. Publ., 2003. P. 271-293.

3. Pearlman L., Welch V., Foster I., Kesselman C, Tuecke S. A community authorization service for group collaboration. // In Proceedings of the IEEE 3rd International Workshop on Policies for Distributed Systems and Networks. P 50-59.

4. World Wide Telescope, 2011. URL: www.worldwidetelescope.org

5. Кирьянов А. К., Рябов Ю. Ф. Введение в технологию Грид. СПб.: Гатчина, 2006. - 40 с.

6. Foster I., Kesselman С., and Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // Int. J. of High Performance Computing Applications. 2001. - Vol. 15. - No. 3. P. 200-222.

7. Коваленко B.H., Коваленко Е.И., Корягин Д.А. и др. Управление параллельными заданиями в гриде с неотчуждаемыми ресурсами. Препринт № 63. М.: ИПМ им. М.В. Келдыша РАН, 2007. - 28 с.

8. Коваленко В. Н., Коваленко Е. И., Корягин Д. А., Любимский Э. 3., Хухлаев Е. В. Управление заданиями в распределенной вычислительной среде // Открытые системы, 2001. №5-6. С. 22-28.

9. Коваленко В. Н., Семячкин Д. А. Использование алгоритма Backfill в грид // Труды международной конференции «Распределенныевычисления- и Грид- технологии в науке и образовании» (Дубна, 29 июня 2 июля 2004 г.) - Дубна: ОИЯИ, 2004. С. 139-144.

10. Buyya R., Abramson D., Venugopal S. The Grid Economy // Proceedings of the IEEE, 93(3):698714, 2005. URL: http://www.buyya.com/papers/ieee-grideconomy.pdf

11. Snell Q., Clement M., Jackson D;, Gregory C. The Performance Impact of Advance Reservation; Meta-scheduling. Computer Science Department Brigham Young University Provo, Utah, USA, 2000. P. 3-5. URL: http://supercluster.org/research/papers/ipdps2000.pdf

12. Magoules F., Pan J., Tan K., Kumar A. Introduction to Grid Computing. CRC Press, Inc. Boca Raton, FL, USA, 2009. P. 46-49.

13. LCG: LHC Computing Grid, 2011. URL: http://grid-deployment.web.cern.ch/

14. Киселев А., Корнеев В., Семенов Д., Сахаров И. Управление метакомпьютерными системами // Открытые системы, 2005. №2. С. 1116

15. Богданов С.А., Коваленко В.Н., Хухлаев Е.В., Шорин О.Н. Метадиспетчер: реализация средствами метакомпьютерной системы Globus // препринт ИПМ им. М.В.Келдыша РАН №30.- М., 2001.

16. Siegel Н. J., АН S. Techniques for mapping tasks to machines in heterogeneous computing systems // Journal of Systems Architecture,46(8). P. 627-639,2000.

17. Maheswaran» M., Ali S., Siegel H. J., Hengsen D., Freund R. Dynamic Mapping of a Class of Independent Tasks onto Heterogeneous Computing Systems. URL: www.cisr.us/projects/downloads/MSHN/dynamicjpdcspeci al.pdf

18. Feitelson D. G., Jette M.A. Improved Utilization and Responsiveness with Gang-scheduling // IPPS '97 Proceedings of the Job Scheduling Strategies for Parallel Processing, Springer-Verlag London, UK, 1997. P. 67-72.

19. Buyya R., Abramson D., Giddy J. A computational economy for grid computing and its implementation in the Nimrod/G resource broker // Future eneration Computer Systems 18(8), 1061- 1074. P 384-406.

20. Foster I., Kesselman C. The Grid: Blueprint for a Future Computing Infrastructure. Morgan Kaufmann Publishers, USA, 1999. P. 34.

21. A. Oram (editor). Peer-to-Peer: Harnessing the Power of Disruptive Technologies, O'Reilly Press, USA, 2001. P. 47-58.

22. Foster I., Kesselman C. Globus: A Metacomputing Infrastructure Toolkit // International Journal of Supercomputer Applications, 11 (2): 1997. P. 115-128

23. Grimshaw A., Wulf W. et al. The Legion Vision of a Worldwide Virtual Computer // Communications of the ACM, vol. 40(1), January 1997.

24. Abramson D., Giddy J., Kotler L. High Performance Parametric Modeling with Nimrod/G: Killer Application for the Global Grid? // Proc. of the International Parallel and Distributed Processing Symposium. New York: IEEE Press, 2000. P. 520-528.

25. In J., Avery P., Cavanaugh R., Ranka S. Policy Based Scheduling for Simple Quality of Service in Grid Computing // Proc. 18th International Parallel and Distributed Processing Symposium (IPDPS'04), Santa Fe, Mexico, 2004.

26. Siddiqui M., Fahringer T. Grid Resource Management. Springer-Verlag Berlin-Heidelberg, Germany, 2010. P: 267.

27. Sulistio A. Advance Reservation and Revenue-based Resource Management: for Grid Systems. LAP LAMBERT Academic Publishing, Germany, 2008. P. 65.

28. F. Berman, A. Chien, K. Cooper, J. Dongarra, I. Foster, R. Wolski et al.

29. The GrADS Project: Software Support for High-Level Grid Application

30. Development // International Journal of High Performance Applications and Supercomputing, Vol. 15, number 4 (Winter 2001): P. 327-344.

31. Garg S., Venugopal S., Buyya R. Market-oriented Meta-scheduling for Utility Grids // Doctoral Student Research Symposium, The 15th International Conference on High Performance Computing (HiPC 2008), Bangalore, India, December 2008.

32. Berman F., Wolski R. The AppLeS Project: A Status Report // Proceedings of the 8th NEC Research Symposium, Berlin, Germany, May 1997

33. Maui Cluster Scheduler // Интернет-ресурс Cluster Resources, 2010. URL: http://www.clusterresources.com/pages/products/maui-clusterscheduler.php.

34. MacLaren J. HARC: The Highly-Available Resource Co-allocator // Proceedings of the International Conference on Grid computing, highperformAnce and Distributed Applications (GADA'07), Vilamoura, Algarve, Portugal, Nov. 29,2007.

35. Takefusa A., Hayashi M., Nagatsu N., Nakada H., Kudoh Т., Miyamoto T. et al. G-lambda: Coordination of a Grid Scheduler and Lambda Path Service over GMPLS. // Future Generation Computer Systems, 22(8):868{875}, Oct. 2006. P. 377-389.

36. Siddiqui M., Villazon A., Fahringer T. Grid capacity planning with negotiation-based advance reservation for optimized QoS. // Proceedings of the 2006 ACM/IEEE conference on Supercomputing (SC'06), Florida, USA, Nov. 2006. P. 417-419.

37. Abramson D., Roe P., Kotler L., Mather D. ActiveSheets: SuperComputing with Spreadsheets. // 2001 High Performance Computing Symposium (HPC'01), Advanced Simulation Technologies Conference, April 2001.

38. Jones J.P., Nitzberg B. Scheduling for Parallel Supercomputing:A Historical* Perspective of Achievable Utilization // Job Scheduling Strategies for Parallel Processing, D.G. Feitelson and L. Rudolph, eds., 6, Springer-Verlag, 1999. P. 11-17.

39. Lifka D. The ANL/IBM SP Scheduling System // Job Scheduling Strategies for Parallel Processing, D.G. Feitelson and.L. Rudolph, eds., Springer-Verlag, 1995. P. 295-303

40. Srinivasan S., Kettimuthu R., Subramani V., Sadayappan P: Selective reservation strategies for backfill job scheduling // JSSPP'02: 8th International Workshop on Job Scheduling Strategies for Parallel Processing, SpringerVerlag, 2002. P. 55-71

41. Юдин Д.Б. Вычислительные методы теории принятия решений. М.: Наука, 1980.-320 с.

42. Топорков В.В. Опорные планы согласованного выделения ресурсов при организации распределенных вычислений на масштабируемых системах //Программирование. 2008. № 5. С. 50-64.

43. Таха X. Введение в исследование операций. В 2-х книгах. Кн. 1. М.: Мир, 1985.-479 с.

44. Yeo С. S., Venugopal S., Chu X., Buyya R. Autonomic Metered Pricing for aUtility Computing Service // Future Generation Computer Systems Volume 26, Issue 8, October 2010, P. 1368-1380.

45. Bredin J., Kotz D., Rus D. Economic markets as a means of open mobileagent systems // Proc. of the workshop "Mobile agents in the context of competition and cooperation (mac3)'\ 1999. P. 43-49.

46. Топорков B.B. Модели распределенных вычислений. M.: ФИЗМАТЛИТ. 2004. 320 с.

47. Jackson D., Snell Q., Clement M. Core Algorithms of Maui Scheduler. // Proceeding JSSPP '01 Revised Papers from the 7th International Workshop on Job Scheduling Strategies for Parallel Processing Springer-Verlag, London, UK, 2001.

48. Топорков В.В. Управление ресурсами при организации распределенных вычислений на основе опорных планов // Избранные доклады Третьей междунар. конф. «Параллельные вычисления и задачи управления», Москва, 2-4 октября 2006 года, ИПУ РАН, 2006. С. 49 58.

49. Топорков В.В., Топоркова А.С., Бобченков А.В. Стратегии организации и поддержки масштабных вычислений в распределенных средах // Открытое образование, 2011. №2(85). 4.2. С. 15-18.

50. Московского энергетического института (технического университета)

51. Бобченкова Александра Викторовича «Разработка модели и методов управления ресурсами в виртуальных организациях распределенных вычислительных сред»

52. Материалы проведенных в диссертационной работе исследований были использованы при подготовке лекционного курса «Вычислительные системы» на кафедре ВТ.

53. Программная реализация разработанной модели виртуальной организации нашла применение в учебном процессе при проведении лабораторных работ по курсу «Вычислительные системы».

54. Андреева И.Н./ ¿Пирогова М.А./157

55. УТВЕРЖДАЮ юректор МИЭМ по >те, д.т.н., проф. А.Ф.Каперко1. АКТоб использовании результатов кандидатской диссертационной работыаспиранта кафедры Вычислительной техники Московского энергетического института (технического университета)

56. Бобченкова Александра Викторовича «Разработка модели и методов управления ресурсами в виртуальных организациях распределенных вычислительных сред»

57. Материалы проведенного в диссертационной работе исследования внедрены в учебный процесс подготовки специалистов с высшим образованием по специальности 23.01.02 «Автоматизированные системы обработки информации и управления» по следующим курсам:

58. Моделирование систем» «Информационные технологии».

59. Использование в учебном процессе вышеуказанных результатов обеспечило повышение качества подготовки специалистов с высшим образованием по специальности 23.01.02 «Автоматизированные системы обработки информации и управления».

60. Начальник учебного управления МИЭМ В.С.Ершов

61. Зам.декана по учебной работе1. Ю.Д.Плотников

62. Зав.кафедрой «Автоматизация и интеллектуализация процессов управления»д.т.н., С.Н.Никольскийдессов уд яот1. Профессо^Якафедры АИПУ1. Д.т.н., проф. В.Г. СёминJ