Разработка распределенных гетерогенных вычислительных систем и запуск приложений в распределенной вычислительной среде тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Мьё Тун Тун

• Мьё Тун Тун
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Мьё Тун Тун

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

Глава 1. Концепция распределенных Grid- вычислений.

1.1. Общие задачи грида.

1.2. Требования к Grid архитектуре.

1.3. Облачные вычисления.

1.3.1. Катергории Сервисов Облачных Вычислений.

1.3.2. Типы облачных вычислений.

1.3.3. Преимущества и недостатки.

1.4. Grid-компьютинг и Облачные вычисления.

Выводы по первой главе.

Глава 2. Обзор вычислительных Grid.

2.1. Соотношение Grid и Web.

2.2. Эталонная модель сервис ориентированной архитектуры.

2.3. Совместное использование средств Grid и SOA.

Выводы по второй главе.

Глава 3. Применяемые алгоритмы и технологии.

3.1. Архитектура построения распределенных систем.

3.2. Архитектура SOA.

3.3. Открытая архитектура грид служб.

3.4. Модель безопасности в Грид.

Выводы по третей главе.

Глава 4. Промежуточное программное обеспечение Грид для гетерогенных систем.

4.1. Грид продукты.

4.1.1. Silicon Graphics Inc. (SGI).

4.1.2. Tivoli Provisioning Manager (IBM).

4.1.3. Sun Grid Engine (Oracle).

4.2. Платформа Sun Grid Engine (SGE).

4.2.1. Четыре типа политики.

Выводы по четвертой главе.

Глава 5. Применение Грид среды для решения комплексных задач на гетерогенных системах.

5.1. Развертывание промежуточного программного обеспечения.

5.1.1. Конфигурация Sun Grid Engine.

5.2. Интеграция Sun Grid Engine и MPICH2 в распределенной вычислительной среде.

5.2.1. Три метода запуска MPICH2.

5.2.2. Запуск приложений в распределенной вычислительной среде.

Глава 6. Решение эталонных задач.

6.1. Стандартные тесты производительности и их применимость для GRID.

6.2. Тест Linpack и оценки его эффективности.

6.2.1. Применения теста NAS для однородных и гетерогенных вычислительных сред.

6.2.2. Сравнение тестов дальнего взаимодействия NPB для однородной и гетерогенной распределенных вычислительных сред.

Введение диссертации (часть автореферата) на тему «Разработка распределенных гетерогенных вычислительных систем и запуск приложений в распределенной вычислительной среде»

Растущие потребности» практики требуют все больших вычислительных ресурсов, а их увеличивающаяся сложность приводит к необходимости, консолидации большого количества разнородных ресурсов. Использование для этих целей стандартных Grid — технологий напрямую к успеху не приводят как из-за сложностей доступа к таким ресурсам, так и по технологическим соображениям. Grid может быть абстрактно рассмотрен просто как коллекция вычислительных ресурсов, способная решать вычислительные задачи. Такой подход отлично работает, если есть много простых задач и много ресурсов, на которых они запускаются. Еще' один» способ рассмотрения - это коллекция объектов, которые должны управляться запущенным кодом как единственной огромной машиной. Такой подход хорош в однородных системах, либо при возможности административного контроля ресурсов. Поэтому для решения поставленной задачи требуются новые подходы. В настоящем исследовании предполагается, что можно использовать основные достоинства Grid - систем, отказавшись от базового принципа — отрыв пользователя от инструментария и запуск приложений через виртуальные организации. Наоборот, комбинирование промежуточного программного обеспечения Grid с операционным окружением на базе UNIX позволяет строить распределенные гетерогенные вычислительные системы, на которых удается не просто запустить комплексные приложения, но и оптимизировать их. Фактически речь идет о построении определенного типа промежуточного программного обеспечения PSE (problem solution environment), которое позволяет создать удобное для пользователя операционное окружение, соединяющее достоинства Grid — инструментария с возможностями UNIXa по управлению приложениями.

Главные задачи Grid Engine могут быть категоризованы следующим образом:

• Распределенное планирование заданий

• Балансировка ресурсов и управление ими во время выполнения

• Аутентификация и авторизация

• Мониторинг ресурсов и задач

Помимо учета функциональных возможностей Grid надо иметь в виду, что родное операционное окружение UN*X сильно влияет на его структуру.

Услуги и другие объекты, которые существуют и общаются в Grid, реализованы как демоны UN*X. Кроме того, PSE предлагает огромный набор инструментов в режиме командной строки для" планирования заданий, мониторинг и общего управления, с возможностями резервного копирования, и дружественный к пользователю интерфейс. Такой подход открывает очень большие возможности для работы со скриптами операционного окружения, например в режиме терминала. В дополнение к отмеченным особенностям важно понимать, что реализация инфраструктуры Grid в среде UN*X разрешает использовать все уже доступные стандартные и привычные инструменты коммуникации, такие как rsh и ssh, продвижение Х-Window, NFS, NIS +, RPC и т.д.

В настоящей диссертации описаны эксперименты с различными способами запуска приложений в распределенных системах, варьируя возможности как параллельных библиотек, так и операционной среды распределенной системы.

Целью работы является создание набора программных средств для объединения гетерогенных вычислительных ресурсов в единый вычислительный комплекс и подбор (и программная реализация) комплекса математических моделей для тестирования и оптимизации получающихся распределенных вычислительных комплексов.

Для достижения поставленной цели в работе решены следующие задачи:

1. Тестирование Grid программного обеспечения в новых платформах;

2. Исследование алгоритмов виртуализации задачи и управления распределенными ресурсами;

3. Создание комплекса программ реализации Grid системы для запуска комплексных задач.

4. Разработка математических моделей, на, основе которых строится синтетический' тест, позволяющий определить эффективность вычислительных сред.

Методы^ исследований базируются на технологиях проектирования программного обеспечения- теории надежности, информационных систем, теории случайных процессов и потоков.

Научной новизной обладают следующие результаты, полученные автором в процессе выполнения работы:

1. Новый подход к системным интеграции! гетерогенного вычислительного комплекса.

2. Новый метод интеграции разноуровневых приложений на базе промежуточного программного обеспечения, предоставляемого платформой SGE.

3. Новые модели и алгоритмы тестирования работы приложений виртуального полигона в условиях распределенной вычислительной среды.

Достоверность научных результатов и выводов подтверждена результатами тестирования алгоритмов и программного обеспечения; а; также практическим использованием разработанных алгоритмических; и программных методов и средств.

Основные научные результаты.

1. Осуществлена системная интеграция гетерогенного вычислительного комплекса, состоящего из процессоров разных архитектур:

2. Предложен набор. программных продуктов, реализующих распределенный гетерогенный вычислительный комплекс.

3. Реализован набор вычислительных моделей, с помощью которых проведено тестирование созданного комплекса.

Научные положения, выносимые на защиту:

1. Подход к системной интеграции распределенных гетерогенных вычислительных структур.

2. Программные продукты для создания- операционного окружения в распределенной гетерогенной среде.

3. Адаптированные модели grid NAS Benchmark для тестирования полученных гетерогенных сред.

Практическую значимость составляют:

1. Набор программных продуктов, осуществляющих системную интеграцию в гетерогенной распределенной вычислительной среде.

2. Набор моделей, осуществляющих тестирование и оптимизацию в гетерогенной распределенной вычислительной среде.

Внедрение результатов работы. Результаты диссертационной работы внедрены для интеграции ресурсов в вычислительном комплексе ПМ-ПУ СПбГУ и использованы в учебном процессе кафедр ИВТ СПбГМТУ и ВТ СПбГЭТУ «ЛЭТИ».

Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях:

- Национальная конференция МОРИНТЕХ 2009, Санкт-Петербург, 2009 г.

- Международная конференция «Computer Science & Information Technologies»,Yerevan, Armenia, 2009 г.

- Научно-методическая конференция «Телематика-2009, Санкт-Петербург, 2009 г.

- 4-ая Международная конференция «Distributed Computing and Grid-Technologies in Science and Education». Dubna, 2010 r.

- Известия СПбГЭТУ «ЛЭТИ». Санкт-Петербург, 2011 г.

Публикации

Основные теоретические и практические результаты диссертации опубликованы в 6 статьях и докладах, из них по теме диссертации 6, среди которых 1 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 5 международных, всероссийских и межвузовских научно-практических конференциях перечисленных в конце автореферата.

Структура и объем диссертации

Диссертационная работа состоит из введения, шести глав с выводами, заключения, одного приложения и списка литературы, включающего 125 наименований. Основная часть работы изложена на 127 страницах машинописного текста. Работа содержит 54 рисунка.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Мьё Тун Тун

Заключение

В работе рассмотрены основные проблемы, возникающие при интеграции разнородных распределенных вычислительных ресурсов. Проанализированы достоинства и недостатки интеграции распределенных вычислительных ресурсов на уровне приложений и на системном уровне. Далее рассматривается система NAS, интегрирующая параллельные и последовательные приложения, запущенные на различных кластерах. Работы проводились на базе тестового полигона, созданного на факультете ПМ-ПУ Санкт-Петербургского государственного университета.

Таким образом, в настоящей диссертации была разработана методика создания и оптимизации распределенных гетерогенных вычислительных комплексов. Основная идея состоит в объединении трех последовательных шагов. Сначала с помощью специально подобранного промежуточного программного обеспечения осуществляется системная интеграция вычислительных систем, входящих в гетерогенный комплекс. Затем на основе специальных алгоритмов создается операционное окружение для удобной работы пользователя в распределенной вычислительной среде. И, наконец, на основе набора простых математических моделей строится синтетический тест, позволяющий определять производительность созданного комплекса и, тем самым осуществлять его оптимизацию.

Особые возможности достигаются при применении технологии виртуализации, позволяющей балансировать производительности машин и создавать сплошную адресацию ячеек памяти, тем самым устраняя основные проблемы, ограничивающие масштабирование комплекса.

Всего было построено три варианта распределенной вычислительной среды на процессорах разной архитектуры (включая высокопроизводительные и многопоточные), которые демонстрировали высокую эффективность предлагаемых методик. Все это позволяет рекомендовать предложенные программные продукты и синтетическую модель для широкого использования в распределенных гетерогенных вычислительных средах.

Список литературы диссертационного исследования кандидат технических наук Мьё Тун Тун, 2011 год

1. Абрамов С. М. (ИПС РАН, Россия), Велихов П. Е. (SDSC, США), Московский А. А. (ИПС РАН, Россия), Роганов В. А. (ИПС РАН, Россия), СУПЕРКОМПЬЮТЕРНЫЕ И GRID-ТЕХНОЛОГИИ.

2. А.В.Богданов, Е.Н.Станкова Распределенные Linux кластеры как основы сетей науки и образования будущего// Труды IX Всероссийской научно-методической конференции Телематика'2002.

3. А.В.Богданов, E.H. Станкова, В.В. Мареев, СЕРВИС-ОРИЕНТИРОВАННАЯ АРХИТЕКТУРА: НОВЫЕ ВОЗМОЖНОСТИ В СВЕТЕ РАЗВИТИЯ GRID ТЕХНОЛОГИЙ, 191119, г.

4. А.В.Богданов, М.И.Павлова, Е.Н.Станкова, Л.С.Юденич, Высокопроизводительные вычислительные алгоритмы (учебное пособие). http://www.csa.rU/old/analitik/distant/q start.html

5. А.В.Богданов, Мо Тун Тун , Разработка распределенных вычислительных систем и запуск приложений в гетерогенной вычислительной средеhttp://wwwact.edu.rii/vcon^index.php?a^conf&c=getFoim&r:H;hesisDesc&idse c=283&idvcon£=56&idthesis=l0166&d=light. 2009

6. А.В.Богданов, Шошмина И.В., Абрамсон Д. Куда идет Grid?// ОИЯИ. Специальный выпуск, посвященный Международной конференции по распределенным вычислениям и грид-технологиям в науке и образовании, 2004.

7. Ада Старосельская, Перспективные технологии. ГРИД , http://www.abitura.com/happyphysics/grid.html

8. Ю.Армонк, штат Нью-Йорк, Grid-вычисления для охраны окружающей среды, 20 сентября 2004 года.http://n-t.ru/sp/ibm/04/09201 .htm

9. Андрей Колесов, SOA — итоги трехлетних дискуссий, 14.11.2008. http://www.bytemag.ru/articles/detail.php?ID=13238

10. Андрей Колесов, SOA: переход от теории к практике, 18.06.2008. http://www.bytemag.ru/articles/detail.php?ID=l 2164

11. Андрей Колесов, Реализация SOA как разработка композитных приложений, 16.01.2007.http://www.bytemag.m/articles/detail.php?ID=6845

12. Андрей Коптелов, Виктор Голубев, Сервис-ориентированная архитектура: от концепции к применению, №6 (116), июнь 2008.http://www.bvtemag.ru/articles/detail.php?ID=l 2160

13. Андрей Шевель, Владимир Корхов, Эксперименты с фрагментами сетей GRID,http://www.osp.rU/text/print/302/l 80174.html

14. А.Е. Дорошенко, O.B. Алистратов, Ю.М. Тырчак, А.П. Розенблат, К.А. Рухлис, СИСТЕМЫ GRID-ВЫЧИСЛЕНИЙ — ПЕРСПЕКТИВА ДЛЯ НАУЧНЫХ ИССЛЕДОВАНИЙ, УДК 681.3.2006.

15. А.Е. Дорошенко, А.П. Розенблат, К.А. Рухлис, Ю.М. Тырчак, МОДЕЛИ И СРЕДСТВА ПРОГРАММИРОВАНИЯ ГРИД-СИСТЕМ,. 2007.

16. А.К. Кирьяновым и Ю.Ф. Рябовым, Введение в технологию Грид Составлено, 2006 г.

17. А.П. Демичев, В.А. Ильин, А.П. Крюков, Введение в грид-технологии, 2007.

18. Афанасьев А.П.,Ваньков А.И,Волошинов В.В.,Кривцов В.Е.,Попков Е.Ю.,Шляев П.Г., Современные технологии построения распределенных программных систем.

19. В.П.Гергель, Теория и практика параллельных вычислений. Учебное пособие М.: ИНТУИТ.РУ «Интернет-Университет Информационных Технологий»,2007http://www.intuit.ru/department/calculate/paralltp/

20. Воеводин- В.В., Воеводин Вл.В.- Параллельные вычисления. М.: "БХВ",2002 .

21. B.C. Заборовский, Развитие ГРИД-среды: аспекты создания, внедрения и использования, 28 июня 2007 г.

22. Виктор Коваленко, Евгения Коваленко, Дмитрий Корягин, Эдуард Любимский, Евгений Хухлаев, Управление заданиями в распределенной вычислительной среде.http://www.osp.ru/text/print/302/180168.html

23. Виктор Коваленко, Дмитрий Корягин, Вычислительная инфраструктура будущего, 2000 г.http://\vw\v.citfomm.ru/hardware/articles/iiiturvich.shtml

24. Владислав Шаров, Развитие grid-технологий, №9 (107), сентябрь 2007. http://www.bytemag.ru/articles/detai 1 .php ?ID=8725

25. B.H. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, A.B. Орлов, Е.В. Хухлаев, Структура и проблемы развития программного обеспечения среды распределенных вычислений Грид, 2002 г .

26. Г.Р.Эндрюс Основы многопоточного, параллельного и распределенного программирования. М.: Издательский дом «Вильяме», 2003.

27. Дж.Ортега,Введение в параллельные и векторные методы решения линейных систем. М.:Мир, 1991

28. Дмитрий ПАТЫКО, Грид — технология будущего, Четверг, 20.08.2009г. http://nanb80.belta.by/m/press?id:=272632&mode=:press

29. Евгений Хухлаев, Евгения Коваленко,Дмитрий Корягин, Эдуард Любимский, Виктор Коваленко, Управление заданиями в распределенной вычислительной среде.

30. Жучков A.B., Арнаутов С.А., ЕДИНАЯ СРЕДА РАСПРЕДЕЛЕННЫХ РЕСУРСОВ (GRID) И ЦИФРОВЫЕ БИБЛИОТЕКИ.

31. Жучков Алексей Васильевич, HEALTH GRID Особенности национальной стратегии, Институт химической физики.

32. С.Немнюгин, О.Стесик, Параллельное программирование для многопроцессорных вычислительных систем. СПб:, "БХВ-Петербург", 2002

33. И.Е. Зобов, A.B. Богданов, ОСОБЕННОСТИ ДИСПЕТЧЕРИЗАЦИИ РЕСУРСОВ SUN GRID ENGINE В ПРИМЕНЕНИИ К ГЕТЕРОГЕННЫМ GRID-КОМПЛЕКСАМ

34. К.Ю.Богачев Основы параллельного программирования. М.: БИНОМ. Лаборатория знаний, 2003.

35. Корнеев В.В. Параллельные вычислительные системы. М.: "Нолидж", 1999

36. Коваленко В.Н., Коваленко Е.И., Корягин Д.А., Любимский Э.З., Орлов A.B., Хухлаев Е.В., Структура и проблемы развития программного обеспечения среды распределенных вычислений Грид, 2002. http://www.keldysh.ru/papers/2002/prep22/prep2002 22.html

37. Козырев А.Н., Виртуальный технопарк на основе грид-технологий, 2006 г.

38. Коваленко В.Н., Корягин Д.А. Организация ресурсов грид, Москва, 2004.http://www.keldysh.ru/papers/2004/prep63/prep2004 63.html

39. Леонид Бараш, Grid Computing ~ новая парадигма Internet-вычислений, 29 августа 2001,http://itc.ua/article.phtml?ID=7249&IDw=49

40. Леонид Бараш, Grid Computing ~ новая парадигма Internet-вычислений, 29 августа 2001,http://itc.ua/article.phtml?ID=7249&IDw=49

41. Леонид Бараш, Grid Computing ~ новая парадигма Internet вычислений , 22 августа 2001 г.http://itc.ua/node/7249

42. Марк Линеш, грид масштабируемый распределенный компьютинг, сентября 2009.http ://www.bestreferat.ru/referat-101181 .html

43. Матг Хайнос, руководитель проекта, грид-маркетинг и стратегия, IBM, Перспективы грид: грид-компьютинг следующее поколение распределённого компьютинга, 27 Jan 2004.http ://www-128. ibm.com/developerworks/grid/library/gr-heritage/

44. Матг Хайнос, Перспективы грид: грид-компьютинг следующее поколение распределённого компьютинга, 27 Jan 2004.http://www-128.ibm.com/developerworks/grid/library/gr-heritage/

45. МИХАИЛ ПОПОВ, На счет grid, ОПУБЛИКОВАНО В ЖУРНАЛЕ "СЮ" №2 ОТ 16 ФЕВРАЛЯ 2005 ГОДА,http://www.cio-world.ru/offline/2005/34/37649/

46. Н.В. Макаровой, Эталонные модели взаимодействия сетей, http://www.high-info.ru/Etalonnie modeli vzaimodevstviya setey.htm

47. Олег Спиряев, Технологии Grid в решениях HP, Платформы и технологии | №7/2005,http://www.bvtemag.ru/?ID=604025

48. Олег Спиряев, Технологии передачи информации в SAN, №7-8 (95), июль-август2006.http://www.bytemag.ru/articles/detail.php?ID=8664

49. Олег Таковицкий, Технология Grid Computing, http://grid.i inr.ru/materials/education/grid computin g-technolo gy.hün

50. Павел Шелякин, Архитектуры, ориентированные на сервисы, 02.08.2004.http://xmlhack.ru/texts/Q4/SOAvsWebservices/SOAvsWebserviccs.html

51. Посыпкин M.А. , Интеграция разнородных вычислительных ресурсов на прикладном уровне при решении сложных вычислительных задач.

52. Ричард Вирт, Конвергенция средств виртуализации, grid и SOA, 05.05.2008г. http://www.osp.ru/os/2008/03/5017055/

53. Р.Миллер, Л.Боксер Последовательные и параллельные алгоритмы. М.: БИНОМ. Лаборатория знаний, 2006http://book.itep.ru/4/7/grid.htm#33

54. Савин Геннадий Иванович, Овсянников Алексей Павлович, Создание распределенной инфраструктуры для суперкомпьютерных приложений.