Инструментальная оболочка проектирования и разработки высокопроизводительных приложений в среде Грид тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Ларченко, Алексей Викторович

• Ларченко, Алексей Викторович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Ларченко, Алексей Викторович

Введение.

Глава 1 Особенности задачи проектирования эффективных композитных приложений в современных Грид

1.1 Исторический обзор.

1.2 Обзор современного состояния.

1.3 Особенности и проблемы Грид.

1.4 Методы проектирования и достижения эффективности композитных вычислительных приложений.

Выводы по главе 1.

Глава 2 Концепция и принципы построения интеллектуальной системы поддержки принятия решений разработчика высокопроизводительных приложений в Грид

2.1 Постановка задачи проектирования.

2.2 Основы проектирования высокопроизводительных вычислительных приложений в Грид.

2.3 Интерфейс человеко-компьютерного взаимодействия.

2.4 Распределенная база знаний предметной области.

Выводы по главе 2.

Глава 3 Особенности реализации инструментальной оболочки проектирования вычислительных приложений в Грид

3.1 Архитектура Грид-систем на основе Intel GPE.

3.2 Высокоуровневая архитектура инструментальных оболочек семейства PEG.

3.3 Базовые программные компоненты семейства PEG.

Выводы по главе 3.

Глава 4 Подтверждение работоспособности и сравнение с мировым уровнем

4.1 Архитектура типового прикладного Грид-сервиса.

4.2 Сервис динамико-стохастического моделирования экстремальных гидрометеорологических явлений.

4.3 Результаты испытаний.

4.4 Оценка эффективности полученных результатов в сравнении с современным научно-техническим уровнем и перспектив коммерциализации.

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Инструментальная оболочка проектирования и разработки высокопроизводительных приложений в среде Грид»

Современный этап развития технологий Грид характеризуется многообразием концепций их интерпретации и использования. Классические (и независимые) определения, сформулированные I. Foster и С. Kesselman [1] и М. Livny [2], по мере внедрения Грид расширяются и модифицируются. В обзорной работе [3] отмечается, что основной чертой Грид, отделяющей его от других систем распределенных вычислений (например, Р2Р, utility computing и пр.), является открытая система стандартизации, на основании которой осуществляется объединение вычислительных и информационных ресурсов. Как следствие, в настоящее время наиболее часто Грид интерпретируют как единую вычислительную среду, в рамках которой выполняются задачи различных пользователей. Другими словами, во главу угла ставится виртуализация вычислительных ресурсов, а не пользовательских приложений. Это связано как с технологическими проблемами разработки приложений под Грид, так и с вопросами их коммерческого использования [4].

В рамках определения [3] допустима интерпретация Грид как среды параллельных вычислений, наряду с более традиционными (например, кластерными, гибридными, Р2Р) архитектурами. В отличие от традиционного использования Грид для удаленного выполнения заданий на мощных вычислительных системах, проблема параллельных вычислений связана с объединением и синхронизацией большого количества вычислительных узлов (в общем случае — географически распределенных и принадлежащих разным пользователям) для решения одной задачи. Очевидно, что параллельные вычисления в Грид по производительности не могут сравниться с традиционными кластерными системами в силу высокой коммуникационной составляющей. Однако использование концепции Грид способно предоставить пользователю сравнительно дешевую и практически неограниченно расширяемую параллельную архитектуру. Как следствие, потенциальными потребителями таких технологий могут быть задачи, связанные с моделированием сложных систем [5, 6], состоящих из большого количества взаимодействующих объектов с дальними связями.

Реализация параллельных вычислений в Грид по сравнению, например, с кластерными системами, даже на корпоративном1 уровне требует учета ряда специфических факторов, в общем случае отрицательно влияющих на параллельную производительность. В первую очередь к ним относятся стохастическая изменчивость параметров

1 Корпоративные Грид-системы объединяют географически локализованные вычислительные ресурсы, принадлежащие одной организации (но различным ее подразделениям), что отчасти решает проблемы администрирования, тарификации и определения загрузки каналов в Грид. сетей и вычислительных узлов, их нестационарность и неоднородность [7]. Как следствие, проектирование и разработка параллельных вычислительных приложений под Грид существенно отличается от подходов, применяемых для традиционных (кластерных) систем. Иными словами, параллельное приложение в Грид, «эффективно» спроектированное по кластерным канонам, может функционировать нестабильно с точки зрения производительности. Ввиду приведенных особенностей, «ручной» процесс разработки эффективных приложений для Грид является весьма трудоемким и требует высокой квалификации и опыта от разработчиков в области параллельных вычислений и Грид.

Потому для проектирования композитных приложений для Грид и их эффективного выполнения требуется применение качественно нового подхода. Он должен в условиях роста сложности инфраструктуры Грид и количества ПГС позволять пользователю — не специалисту в области Грид — с минимальными затратами проектировать и выполнять сложные композитные приложения с заданными критериями эффективности, абстрагируясь от трудностей использования Грид.

В нашей стране существенный вклад в развитие и применение технологий Грид внесли работы В.П. Ильина, В.М. Котова, А.П. Афанасьева, В.Г. Хорошевского, Л.Б. Соколинского и др.

В данной работе разработана концепция интеллектуальной системы поддержки принятия решений (ИСППР) разработчика высокопроизводительных приложений в Грид, которая воплощена в инструментальной оболочке PEG, осуществляющей поддержку принятия решений разработчика на этапах специфицирования, проектирования, разработки, отладки и сопровождения приложения в целях обеспечения оптимальной параллельной производительности в заданных условиях эксплуатации. Новизна предлагаемых решений состоит в интерпретации задачи проектирования приложений для Грид-архитектур как задачи искусственного интеллекта, что позволяет реализовать инструментальную оболочку как динамическую интеллектуальную систему, основанную на распределенной базе знаний о вычислительных и структурных особенностях сервисов, на основании которых строится процедура логического вывода, приводящая к построению квазиоптимальной (по производительности) архитектуры композитного приложения.

Предметом исследования в работе являются технологии проектирования и разработки высокопроизводительных вычислительных приложений в среде Грид.

Целыо работы является решение задачи, играющей существенную роль в области проектирования распределенных систем, а именно — изучение и обоснование подходов к организации процесса поддержки принятия решений разработчика высокопроизводительных приложений в среде Грид путем предоставления ему специального программного инструментария.

Задачи исследования. Достижение поставленной цели подразумевает решение следующих задач:

• обоснование способа формализации процесса проектирования композитных приложений на основе ПГС в форме неполного описания процесса вычислений посредством специальной нотации МП7;

• разработка и обоснование принципа действия инструментальной оболочки проектирования как интеллектуальной системы поддержки принятия решений (ИСППР); выбор и реализация методов интерпретации, последовательного уточнения и выполнения неполного пользовательского описания композитного приложения в Грид;

• разработка вычислительной инфраструктуры — алгоритмической и программной составляющих инструментальной оболочки проектирования высокопроизводительных приложений в Грид;

• демонстрация работоспособности и эффективности разработанной инструментальной среды на примере создания композитного приложения для решения ресурсоемкой вычислительной задачи расчета климатических спектров морского волнения.

Методы исследования включают в себя методы искусственного интеллекта и инженерии программного обеспечения, аппарат теории вероятностей и математической статистики случайных величин и функций, методы организации баз знаний и осуществления логического вывода, эвристические методы планирования и создания расписаний, методы семантического поиска в базах знаний, а также элементы анализа алгоритмов и программ.

Научная новизна результатов работы состоит в том, что:

• процесс проектирования высокопроизводительных композитных приложений в среде Грид описан последовательностью МП7 с операциями перехода между ее элементами. Первый элемент последовательности соответствует неполному описанию пользовательского приложения в терминах предметной области.

• Решение задачи проектирования высокопроизводительных композитных приложений в Грид осуществляется на основе интеллектуальных технологий, а соответствующая инструментальная оболочка интерпретируется как ИСППР разработчика.

На защиту выносятся следующие положения;

• формализация процесса проектирования приложений в Грид в виде метаопи-саний потоков заданий обеспечивает автоматизированную интерпретацию композитного приложения с использованием интеллектуальных технологий;

• инструментальная оболочка PEG, реализующая интеллектуальные механизмы планирования и составления расписаний, обеспечивает создание композитных вычислительных приложений, достигающих оптимальной производительности в заданных условиях эксплуатации в Грид.

Достоверность научных результатов и выводов обусловлена обоснованностью применения математического аппарата, оценкой адекватности математических и информационных моделей, результатами тестирования алгоритмов и программного обеспечения, а также практическим использованием разработанных математических, алгоритмических и программных методов и средств.

Публикации. По теме диссертации опубликовано 11 печатных работ (из них 4 — в изданиях из перечня ведущих рецензируемых научных журналов и изданий ВАК РФ).

Личный вклад автора в работах, выполненных в соавторстве, заключается в обосновании принципов работы, проектировании и реализации инструментальной оболочки, проведении вычислительных экспериментов и интерпретации их результатов. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (72 наименования) и 1 приложения. Содержит 114 с. текста (из них 113 основного текста и 1 — приложений), включая 23 рис. и 6 табл.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Ларченко, Алексей Викторович

Выводы по главе 4

В данной главе показаны работоспособность и эффективность разработанного программного средства. Приведено описание архитектуры типового прикладного Грид-сервиса и описан реальный сервис аппроксимации климатических спектров морского волнения. Проведенные с помощью данного сервиса испытания подтверждают работоспособность ИСППР разработчика высокопроизводительных приложений в Грид при проектировании композитного приложения и его оптимизации для достижения наибольшей эффективности. Сравнение с мировым уровнем показывает, что разработанная ИСППР отвечает современным требованиям к подобного рода системам, а в некоторых случаях — превосходит его.

Заключение

В ходе выполнения диссертационной работы были получены следующие результаты:

• Обоснован способ формализации процесса проектирования композитных приложений в Грид в виде неполного описания в терминах предметной области и порядок его последовательного уточнения (MWF—AWF—CWF).

• Предложен и обоснован принцип действия инструментальной оболочки разработчика приложений в Грид как ИСППР реального времени; разработаны основные интеллектуальные механизмы, осуществляющие работу ИСППР.

• Разработано семейство оболочек PEG (Parallel Execution on the Grid) для проектирования, разработки и выполнения высокопроизводительных композитных приложений в корпоративных средах Грид.

• Проведены экспериментальные исследования, подтверждающие работоспособность и эффективность предложенных подходов и решений.

Практическую ценность работы составляют:

• Нотация WF, допускающая неявное задание параллелизма и последовательное уточнение характеристик процесса выполнения как способ организации человеко-компьютерного взаимодействия при проектировании приложений в Грид.

• Семейство инструментальных оболочек PEG (Parallel Execution on the Grid) для проектирования, разработки и выполнения высокопроизводительных композитных приложений в корпоративных Грид-системах на основе Intel GPE и UNICORE.

Результаты, полученные в ходе диссертационной работы, были использованы при выполнении НИР в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы»: «Разработка инструментальной оболочки проектирования высокопроизводительных приложений для Грид-архитектур в целях создания прикладных сервисов компьютерного моделирования и обработки данных» (2007-4-1.4-20-01-025) и «Высокопроизводительный программный комплекс моделирования и прогноза экстремальных гидрометеорологических явлений и расчета воздействий на морские объекты и сооружения» (2007-4-1.4-00-06-108). Проводимые исследования поддержаны персональными грантами Администрации Санкт-Петербурга для молодых ученых в 2007 и 2008 гг.

Изложенные в диссертации результаты обсуждались на 10 международных и российских научных конференциях, семинарах и совещаниях, включая ежегодные Международные научно-практические семинары «Высокопроизводительные параллельные вычисления на кластерных системах» (2006 г., Санкт-Петербург; 2007 г., Нижний Новгород; 2008 г., Казань), ежегодные Всероссийские научные конференции «Научный сервис в сети Интернет» (2007 и 2008 гг., Новороссийск), ежегодную Международную научную конференцию «Параллельные вычислительные технологии (ПаВТ 2008)», XV Всероссийскую научно-методическую конференцию «Телематика 2008», IV и V Межвузовские научные конференции молодых ученых (2007 и 2008 гг., Санкт-Петербург).

Список литературы диссертационного исследования кандидат технических наук Ларченко, Алексей Викторович, 2008 год

1. Foster I., Kesselman С. The Grid: Blueprint for a New Computing Infrastructure.— Morgan-Kaufman, 1999.

2. Thain D., Tannenbaum Т., and Livny M. Condor and the Grid // Berman F., (Editor), Fox G. (Editor), Hey J.G. A. (Editor) Grid Computing: Making The Global Infrastructure a Reality. — John Wiley, 2003.

3. Stockinger H. Defining the Grid — a snapshot of the current view // Journal of Supercomputing. —Springer Science+Business Media, 2007.

4. Уэйлгам Т. Grid взята в заложники // Директор ИС, №1, 2006.

5. Sloot P.M.A., Ivanov S.V., Boukhanovsky A.V. et al. Stochastic simulation of HIV population dynamics through complex network modeling // International Journal of Computer Mathematics. — In press, 2007.

6. Foster I., Kesselman. С. The Grid2: Blueprint for a New Computing Infrastructure (Second edition).— Morgan-Kaufman, 2004.

7. Crocker, Steve. RFC 1. IETF Tools. 1969 April 7 http .-//tools. ietf.org/html/rfc 1 .

8. Bolt, Beranek, Newman. A History ofthe ARPANET: The First Decade. 1981.

9. SETI@home http://setiathome. berkeley. edu/.

10. BOINC Homepage. BOINC. http.V/boinc.berkeley.edu/.

11. NSFNET: The Partnership that Changed the World. NSFNET. http://www. nsfnet-legacy. org/\.

12. Henning, Michi. The Rise and Fall of CORBA: The story behind this once-promising distributed computing technology-why it fell short, and what we can15,16,17,18.