Приобретение знаний в интеллектуальных системах поддержки принятия решений разработчика вычислительных приложений в среде Грид тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Дунаев, Антон Валентинович

• Дунаев, Антон Валентинович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Дунаев, Антон Валентинович

Введение.

1 Особенности функционирования интеллектуальных систем поддержки принятия решений разработчика вычислительных приложений в среде Грид.Л

1.1 Анализ современных тенденций в области Грид-вычислений.

1.2 Интеллектуальный подход к проектированию приложений в Грид.

1.3 Анализ современных подходов к представлению информации о производительности в Грид.

1.4 Выводы к главе 1.

2 Приобретение экспертных знаний в форме параметрических моделей производительности, идентифицируемых на основе обработки данных.

2.1 Стратегии приобретения знаний.:.

2.2 Обзор современных моделей производительности параллельных приложений.

2.3 Методы исследования параллельной производительности на основе моделей кластерной архитектуры.

2.4 Модели в рамках схем параллельных вычислений с учетом независимой изменчивости пропускной способности сети и производительности вычислительных узлов.

2.5 Выводы к главе 2.

3 Приобретение знаний о параллельной производительности на основе имитационного моделирования.

3.1 Обзор современных имитационных моделей Грид-среды.

3.2 Особенности реализации программной системы имитационного моделирования вычислительных процессов в Грид.

3.3 Верификация имитационной модели.

3.4 Использование имитационной модели для исследования производительности сервисов Грид.

3.5 Выводы к главе 3.

4 Использование знаний о параллельной производительности для построения квазиоптимального расписания.

4.1 Подходы к составлению расписания.

4.2 Автоматизированное составление квазиоптимального расписания на основе знаний о параллельной производительности.9б

4.3 Расчет ускорения приложения в виде детерминированной функции случайного аргумента.

4.4 Выводы к главе 4.

Введение диссертации (часть автореферата) на тему «Приобретение знаний в интеллектуальных системах поддержки принятия решений разработчика вычислительных приложений в среде Грид»

Грид — географически распределенная, согласованная, открытая и стандартизованная среда разделения вычислительных и информационных ресурсов1. В нашей стране существенный вклад в развитие и применение технологий Грид внесли работы В.А. Ильина, В.М. Котова, В.Г. Хорошевского, А.П. Афанасьева, Л.Б. Соколинского и др. В отличие от Грид-систем I поколения, акцентирующихся в первую очередь, на предоставлении доступа к вычислительным ресурсам, современная концепция Грид II поколения допускает гораздо более широкую интерпретацию. В частности, допустимо рассматривать Грид как специфическую («мягкую», soft) среду параллельных вычислений, наряду с более традиционными (па-пример, кластерными, гибридными) параллельными архитектурами. При этом проблема эффективной организации параллельных вычислений в среде Грид связана с необходимостью объединения и синхронизации большого количества вычислительных систем для решения одной задачи. Это обусловлено рядом специфических факторов, в общем случае отрицательно влияющих на параллельную производительность. К ним относятся неоднородность вычислительных ресурсов и сетевых каналов связи, а также стохастическая изменчивость параметров коммуникационных сетей и вычислительных систем за счет коммунального режима их использования. Как следствие, принципы проектирования эффективных параллельных вычислительных приложений в Грид существенно отличаются от традиционных подходов, характерных, например, для кластерных систем. «Ручной» процесс создания таких приложений является весьма трудоемким, требуя высокой квалификации разработчиков, что привело к развитию специализированного инструментария — интеллектуальных систем поддержки принятия решений разработчика приложений в среде Грид. Принцип работы таких систем основывается на интерпретации знаний о параллельной производительности компонентов распределенного приложения в Грид — прикладных Грид-сервисов, а их создание требует использования соответствующих методов инженерии знаний. Важные результаты в области интеллектуальных систем и инженерии знаний были получены Д.А. Поспеловым, Т.А. Гавриловой, Ю.И. Нечаевым, B.JI. Стефанюком, Г.С. Осиповым, L. Zadeh, P. Winston и др. Однако применительно к такой специфической области, как среда Грид, с большим и непрерывно растущим количеством размещаемых в ней прикладных сервисов, использование традиционной стратегии получения знаний путем взаимодействия инженера по знаниям с экспертами и специализированной литературой становится затруднительным. Для приобре

1 Данное определение является обобщением частных определений, независимо сформулированных I. Foster н С. Kesselman, а также М. Livny. тения таких знаний в условиях неопределенности среды Грид необходимо применять косвенные методы, основанные на обработке данных экспериментальных измерений производительности, усвоении их в аналитических моделях, а также использовании индуктивных программ имитационного моделирования. Отсутствие общего подхода к решению этой задачи делает тему диссертации актуальной.

Предметом исследования данной работы являются косвенные методы формализации и приобретения знаний о параллельной производительности вычислительных сервисов в среде Грид на основе аналитических и имитационных моделей. Целью является решение задачи, играющей существенную роль в области распределенных вычислений, а именно — исследование и разработка методов формализации и приобретения знаний о параллельной производительности прикладных Грид-сервисов, используемых для наполнения базы знаний интеллектуальной системы поддержки процесса проектирования параллельных вычислительных приложений в Грид. В соответствии с целью работы были поставлены и решены следующие задачи:

• разработка и обоснование семейства аналитических моделей параллельной производительности приложений в среде Грид на основе формализма детерминированной функции случайного аргумента;

• разработка, обоснование и программная реализация метода имитационного моделирования работы параллельного приложения в Грид, позволяющего описывать среды, в которых пропускная способность каналов связи и производительность вычислительных узлов независимо меняются от запуска к запуску по заданным пользователем законам распределения;

• приобретение и формализация знаний о производительности приложений в неоднородных корпоративных Грид-средах с использованием аналитических и имитационных моделей;

• обоснование метода определения вероятностных характеристик параллельного ускорения с учетом стохастичности времени работы вычислительного приложения в среде Грид.

В ходе работы применялись различные методы исследования, включая аппарат теории вероятностей и математической статистики случайных величин и функций, методы имитационного моделирования, элементы анализа алгоритмов и программ, модели и методы инженерии знаний, методы вычислительной математики и инженерии программного обеспечения.

Научная новизна полученных результатов заключается в том, что был сформулирован метод приобретения знаний о производительности композитных вычислительных приложений в среде Грид, совокупно учитывающий алгоритмическую специфику Грид-сервисов, условия запуска приложения и изменчивость характеристик вычислительной инфраструктуры. Был обоснован метод расчета параллельного ускорения вычислительных приложений в среде Грид на основе нелинейного преобразования детерминированной функции случайного аргумента времени работы приложения на заданном количестве вычислителей. Предложено использование кортежа величин (заданного ускорения, оптимального количества вычислителей для его достижения, и соответствующей вероятности), позволяющего однозначно охарактеризовать производительность параллельного приложения в Грид.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Дунаев, Антон Валентинович

4.4 Выводы к главе 4

В этой главе была рассмотрена задача составления расписания выполнения потока задач для распределенных систем вычислений, к которым относится Грид. Рассмотрены различные современные подходы к созданию расписаний в зависимости от условий среды и характера взаимосвязанности задач. Подробно рассматривается, каким образом строятся статические каскадные расписания на основе адаптированных моделей производительности, полученных в главе 2. Далее рассматривается, каким образом процесс составления расписания, в том числе и на основе каскадных балансировок, может быть встроен в интеллектуальную систему поддержки процесса проектирования.

Рассматривается подход к определению ускорения параллельного приложения как детерминированной функции случайного аргумента, которая позволяет адекватно описывать ускорение в условиях стохастичности среды Грид.

Заключение

В ходе диссертационной работы были получены следующие результаты:

• получено семейство адаптированных моделей производительности параллельных алгоритмов для применения в условиях стохастичности среды Грид;

• разработана и реализована в виде автономного программного средства имитационная модель работы приложений в среде Грид, учитывающая специфику Грид-сервисов, условия запуска приложения и характеристики коммуникационных сетей;

• предложен метод расчета вероятностных характеристик параллельного ускорения в среде Грид на основе формализма детерминированной функции случайного аргумента;

• предложена характеристика параллельного ускорения приложения в Грид в виде кортежа трех величин — заданного ускорения, оптимального количества вычислителей для его достижения, и соответствующей вероятности.

Практическую ценность работы составляют:

• применение семейства аналитических моделей параллельной производительности в Грид для типовых классов приложений, необходимых для идентификации и валида-ции имитационной модели;

• использование программного средства имитационного моделирования работы параллельного приложения в Грид, позволяющего задавать параметрами среды произвольные сетевые топологии, производительность и загруженность для вычислительных узлов, пропускную способность и загруженность для сетевых каналов; законы распределения колебания шумовой загруженности вычислительных узлов и сетевых каналов.

Результаты, полученные в ходе диссертационной работы, были использованы при выполнении НИР в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы»: «Разработка инструментальной оболочки проектирования высокопроизводительных приложений для Грид-архитектур в целях создания прикладных сервисов компьютерного моделирования и обработки данных» (2007-4-1.4-20-01-025) и «Высокопроизводительный программный комплекс моделирования и прогноза экстремальных гидрометеорологических явлений и расчета воздействий на морские объекты и сооружения» (2007-4-1.4-00-06-108). В процессе работы получено свидетельство о государственной регистрации программ для ЭВМ: «PEG2» (свидетельство №2008614623).

Изложенные в диссертации результаты обсуждались на 9 международных и российских научных конференциях, семинарах и совещаниях, включая ежегодные Международные научно-практические семинары «Высокопроизводительные параллельные вычисления на кластерных системах» (2006 г., Санкт-Петербург; 2007 г., Нижний Новгород; 2008 г., Казань), ежегодные Всероссийские научные конференции «Научный сервис в сети Интернет» (2007 и 2008 гг., Новороссийск), ежегодную Международную научную конференцию «Параллельные вычислительные технологии (ПаВТ 2008)», XV Всероссийскую научно-методическую конференцию «Телематика 2008», IV и V Межвузовские научные конференции молодых ученых (2007 и 2008 гг., Санкт-Петербург).

Список литературы диссертационного исследования кандидат технических наук Дунаев, Антон Валентинович, 2008 год

1. Foster I., Kesselman. С. The Grid2: Blueprint for a New Computing Infrastructure (Second edition). Morgan-Kaufman, 2004.

2. Foster I., Kesselman. C. The Grid: Blueprint for a New Computing Infrastructure. Morgan-Kaufman, 1999.

3. Bolt, Beranek, Newman. A History of the ARPANET: The First Decade. 1981.

4. NSFNET: The Partnership that Changed the World. NSFNET. http://www.nsfhet-legacy.org/.

5. Crocker, Steve. RFC 1. IETF Tools. 1969 April 7 http://tools.ietf.org/html/rfcl.

6. SETI@home. http://setiathome.berkeley.edu/.

7. BOINC Homepage. BOINC. http://boinc.berkeley.edu/.

8. Henning M., The Rise and Fall of CORBA: The story behind this once-promising distributed computing technology-why it fell short, and what we can learn from it. ACM Queue. http.7/acmqueue.com/modules.php?name=Content&pa=showpage&pid=396.

9. Condor Project Homepage, http://www.cs.wisc.edu/condor/.

10. Thain D., Tannenbaum Т., and Livny M. Condor and the Grid // Berman F., (Editor), Fox G. (Editor), Hey J.G. A. (Editor) Grid Computing: Making The Global Infrastructure a Reality. John Wiley, 2003.

11. Stockinger H. Defining the Grid: a snapshot of the current view // Journal of Supercomputing, Springer Science+Business Media, 2007.

12. Foster I., Kesselman C, Tuecke S. The Anatomy of the Grid // Enabling Scalable Virtual Organizations, http://www.globus.oig/alliance/publications/papers/anatomy.pdf.

13. Globus Toolkit Homepage rhttp://globus.org/toolkit/l.14. gLite http://glite.web.cern.ch/glite/.

14. EGEE Homepage http://public.eu-egee.org/.

15. CERN rhttp://www.cern.cli/1.

16. SAGA fhttp ://forge.о gf.ore/sf/proi ects/saga-rof.

17. GPE http://gpe4gtk.sourceforge.net/.

18. Open Grid Forum: http://www.ogf.org/.

19. Соммервилл И. Инженерия программного обеспечения, 6-е изд. / Пер. с англ. — М.:22.