Разработка инструментария переноса и оптимизации приложений в многоплатформенной среде тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Лу Мо Каинг

• Лу Мо Каинг
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Лу Мо Каинг

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

1 Глава 1 Анализ Походов к объединению вычислительных и информационных ресурсов.

1.1 Технологии GRID как средство межплатформенной консолидации

1.2 Изменение Парадигмы допуска удаленных позователей -SOA.

1.3 Витуализация как средство консолидации сервисов.

1.4 Анализ реализаций GRID ведущих производителей вычислительной техники.

1.5 Выводы.

2 Глава 2. Запуск приложении среде GRID и создание Полигонаы.

2.1 Создание Полигона.

2.2 Проблемы создание Полигона.

2.3 Запуск приложений на вычислительной среде.

2.4 Оценка эффективности многоядерности для выполнения приложений.

2.4.1 Надобность многоядерные микропроцессоры.

2.5 Выводы.

3 Глава 3. Тестирование Распределенных вычислительных сред.

3.1 Производительности и применимость NAS GRID.

3.1.1 Embarrassingly Distributed.

3.1.2 Helical Chain (НС).

3.1.3 Visualization Pipeline (VP).

3.1.4 Mixed Bag (MB).

3.2 Тесты NAS как универсальный синтетический тест распределенных вычислительных систем.

3.3 Применения теста GRID NAS для гетерогенных вычислительных сред.

3.4 Результаты тестирования Реальной производительности.

3.5 Выводы.

4 Глава 4. Запуск Приложении Реальной Ситуации в Распределенной вычислительной среде.

4.1 Анализ комплексного приложения(Л¥КЕ) и разбиение его на подсистемы с учетом трудоемкости.

4.2 Отображение приложения на архитектуру распределенной вычислительной среды.

4.3 Оптимизация реального приложения в кластерном окружении.

4.3.1 Кластерное Окружение.

4.3.2 Точка росы воздуха.

4.3.3 Атмосферное давление и Температура.

4.3.4 Влажность.

4.4 Сравнение Вычислительной результаты на каждых процессов при запуска приложении

4.5 Выводы.

Введение диссертации (часть автореферата) на тему «Разработка инструментария переноса и оптимизации приложений в многоплатформенной среде»

В настоящее время требования к вычислительным ресурсам для сложных научных, инженерных и бизнес приложений под давлением экономических факторов все больше сдвигаются в сторону распределенной вычислительной среды, которая обеспечивает доступ для пользователей к географически распределенным компьютерным ресурсам, объединённым в единую мощную вычислительную платформу для выполнения параллельных и распределённых приложений.Развитие вычислительных технологий достигло колоссального прогресса. Однако сегодня у многих складывается ощущение, что экстенсивное развитие — простое увеличение мощности процессоров, емкости накопителей, пропускной способности каналов уже практически исчерпало свои ресурсы, и необходим качественный, концептуальный скачок в вычислениях.

Цели, потребности и стратегию развития ИТ на предприятии необходимо учитывать на всех этапах консолидации вычислительной инфраструктуры - и в процессе физического размещения оборудования в вычислительном центре, и при проведении консолидации на уровне вычислений. Сегодня существует множество подходов и технических решений для объединения, обеспечения возможности гибкого перераспределения, виртуализации вычислительных ресурсов и консолидации вычислений. Например, размещение на одном сервере нескольких приложений дает возможность увеличить эффективность использования его вычислительных ресурсов.Но при выборе решения, помимо технологических факторов, значительную роль играет и планируемое развитие потребностей. Что лучше, купить три недорогих сервера или Ыаёе-систему с объединенным электропитанием, управлением и интегрированными сетевыми компонентами, в которую можно установить 14 серверов и в которой изначально заложены принципы унификации оборудования, снижения затрат на обслуживание и поддержку? Ответ неочевиден. «Красивые» технологии стоят денег. Если текущую потребность можно удовлетворить тремя серверами и активное развитие инфраструктуры в ближайшие годы не планируется, нет смысла покупать блейд. И, наоборот, если системы активно развиваются, и существует большая вероятность того, что в течение года понадобится еще около десятка таких серверов, экономически более эффективно инвестировать в блейд-систему. Или в «тяжелое» ТЖ1Х-оборудование с большим количеством процессоров и возможностью виртуализации ресурсов, позволяющей использовать этот сервер для поддержки сразу нескольких приложений и операционных систем. При необходимости, на таком сервере для разных задач можно определять различные объемы вычислительных ресурсов. И постепенно, по мере роста потребностей, перераспределять имеющиеся вычислительные ресурсы, предоставляя их наиболее критичным приложениям, а остальные выводя на новое оборудование. Таким образом, обеспечивается эффективное использование оборудования, и сохраняются инвестиции в инфраструктуру.

С консолидацией вычислительной инфраструктуры связана и консолидация информации на уровне систем хранения (оставим «за рамками» вопросы консолидации информации на уровне бизнес-приложений - это тема для отдельного обсуждения). Располагая информацию на выделенных устройствах хранения данных, мы получаем возможность обеспечить ее сохранность и целостность, повысить скорость доступа к информации (для приложений, оперирующих большими объемами данных, это очень критично), оптимизировать резервное копирование. Однако консолидировать системы хранения данных целесообразно только тогда, когда каким-то образом консолидированы вычислительные ресурсы. В этом случае можно, действительно, повышать надежность, скорость обработки информации, эффективность использования ресурсов.

Продуманный подход к консолидации вычислительных ресурсов дает возможность создать единую автоматизированную систему контроля и управления работой серверов и приложений. Такие системы позволяют удаленно наблюдать за всеми серверами с одного рабочего места и через единый интерфейс: администраторам не нужно подключаться к каждому серверу отдельно и отслеживать наличие сбоев, ошибок, проблем — система мониторинга в автоматическом режиме контролирует параметры работоспособности оборудования и отражает эти показатели в «одном окне» рабочего места администратора. В результате можно не только сэкономить рабочее время персонала ИТ-поддержки, но и существенно повысить скорость устранения неисправностей, в том числе за счет проактивного мониторинга и предупреждений о возможных сбоях, генерируемых на основе анализа полной информации о динамике изменения показателей.

Целью диссертации является запукс приложений на витуальном полигоне и тоже многоплатформенной сред. Данный запуск является доказательство создание витуального полигона и разные время выполнении в разных процессорах при запуске приложении.

Как часть запуска приложении , в работе предложено три варианта.

1. Запуск приложений на Полигоне для предсказания погоды любой части нашего планета.

2. Запуск приложений (\\ГКР) и визуализации на разных процессорах и так же многоплатформенной среде.

3. Сравнение Вычислительной результаты между Разными процессорами. il

Начальный вариант - Запуск приложении на Витуальном Полине который есть возможности с помощью DB 2 ,UNICORE и Sun Grid Engine.3anycK прложении - это доказательство создание виртуального Полигона.На нем можно запускать любые промежуточное программное обеспечение и другие научные исследовании.

Второй вариант - Запуск приложении на Intel Core 2 Quad ,Intel®Xeon E5410 и так же Sun Sparc Т2 Plus( Enterprise T5440) и визуализация с помощью NCL Graphic и Vapor.

Третий варант - Сравнение вычисление резуальтаты времени выполнении в каждом процессе и получается что для того чтобы запускать приложении нужно такая гивкая система(Полино) либо очень мошная система(кластер) либо мошные северы так же Sun Sparc Т2 Plus( Enterprise Т5440).

В результате работы выработана документация по развертыванию Грид среды с целью объединения высокопроизводительных ресурсов и организации доступа для пользователей так и использование виртуальных декстопов для организации безопасного удаленного доступа к персональной рабочей области.

Для достижения поставленной цели в работе решены следующие задачи:

1. Подготовка метрологические данные для запуска приложений.

2. Установка нужные библиотеки и компиляторы для препроцессировании.

3. Разработка в части npenpoueccHpoBamffl(geogrid.exe ,ungrib.exe , metgrid.exe) для действительной ситуации в приложении (WRF).

4. Разработка интерполирует данные вертикально в модуле координаты(геа1.ехе).

5. Формирование моделя для последного прогноза(wrf.exe).

6. Разработка визуализации для получение результаты на разных метрологических ситуации(скорость верета ,темпиратура , давление 7 на поверхности , температура росы и другие метрологических ситуации).

7. Запуск приложении в разных разных процессорах.

8. Сравнение вычислительной результаты между разными процессорами.

Методы исследований базируются на технологиях проектирования программного обеспечения, теории надежности информационных систем, теории случайных процессов и потоков.

Научной новизной обладают следующие результаты, полученные автором в процессе выполнения работы:

1. метод переноса приложений в гетерогенных распределенных вычислительных средах.

2. инструментарий для переноса приложений в гетерогенных распределенных вычислительных средах и тестовый полигон для его тестирования на разных платформах.

3. тест для оптимизации как распределенной вычислительной среды, так и комплексных приложений .

Достоверность научных результатов и выводов тестирования алгоритмов и программного обеспечения, а также практическим использованием разработанных технологических, алгоритмических и программных методов и средств.

Основные научные результаты.

1. Разработана методология переноса приложений в гетерогенных 8 распределенных вычислительных средах.

2. предложен инструментарий для такого переноса и создан тестовый полигон для его тестирования на разных платформах.

3. программный пакет \VIIF использован как модель для создания синтетического теста для оптимизации как распределенной вычислительной среды, так и комплексных приложений.

Научные положения, выносимые на защиту:

1. Алгоритмы технологий витуального полтгона.

2. Программный продукт для запуска приложении в расспредённых вычислительных ресурсах.

3. Информационная модель исследования а прогнозирования погоды как синтетический тест в многоплатформенной среде .

Практическая значимость составляют:

1. Программный комплекс безопасного удаленного доступа к гетерогенным распределенным вычислительным ресурсам.

2. Программный комплекс безопасного доступа к персональной рабочей области.

Внедрение результатов работы. Результаты диссертационной работы внедрены для организации доступа пользователей в вычислительном комплексе ПМ-ПУ СПбГУ и использованы в учебном процессе кафедр ВТ и ИТ СПбГМТУ и ВТ СПбГЭТУ «ЛЭТИ».

Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях:

- Всероссийская научно-методическая 9 конференция il till 11 Ii ШЛИ H Ulli LlillI !■ III II» II ll.ll. I III il I 1ИИИ1 II it ШШ1 111 ill! ILiitiMBIi

Телематика'2008".Санкт-Петербург 2008.

- Международная конференция МОРИНТЕХ 2009, Санкт-Петербург, 2009 г.

- Международная конференция «Computer Science & Information Technologies»,Yerevan, Armenia, 2009 г.

- 4-ая Международная конференция «Distributed Computing and Grid-Technologies in Science and Education». Dubna, 2010 r.

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 5 статьях и докладах, из них по теме диссертации 5, среди которых 1 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 4 международных, всероссийских и межвузовских научно-практических конференциях.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4 глав с выводами, заключения и списка литературы, включающего 80 наименований. Основная часть работы изложена на 128 страницах машинописного текста. Работа содержит 44 рисунка.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Лу Мо Каинг

4.5 Выводы

В данной главе описывается не тольео запуск приложений кластере и визуализации с помощью NCL Graphic но и сравнение Сравнение Вычислительной результаты между Разными процессорами, которые тестировали на разных процессорах. Предсказание Погодогы на територии Санкт-Птеребурга, а так же на территории Кабардино-Балкарии на разных метеорологических видах.

ЗАКЛЮЧЕНИЕ

В последнее время ощущается необходимость в создании глобальной сетевой инфраструктуры для интергрированного использования ресурса , расположенного в различных частях страны или планеты.Причины :

• Стоимость новых суперкомпьютерных установок чрезвычайно высока.

• Характер и обьем данных , нуждающися в обработке и анализе , могут быть разнообразными , в частности , извлекаться из устройств значительно удаленных друг от дрга.

В качестве конкретного решения проблемы можеть быть предложена тегнология GRID.

В данной работе показана запуск приложении на распределённых гетерогенных вычислительных ресурсах и необходимость для запуск приложении . На базе такого подхода создан Виртуальный полигон, который может использоваться для запуска реальных приложений, требующих больших и гетерогенных вычислительных ресурсов.Для запуска такой приложении необходимо мощные серверы или кластеры.В данной работе уже тестировали на Гриде , Кластере и тоже современом CepBepe(Ultra SparcT2+).

Таким образом, в настоящей диссертации была предложена методология и разработаны программные продукты для запуска приложений на распределённых гетерогенных вычислительных ресурсах. Применение этой системы показало высокую эффективность Полигона, основанного на облачных технологиях (малые накладные расходы), и возможность относительно простого управления вычислительным процессом. Кроме того, была продемонстрирована эффективность современных поточных процессоров (Ultra SparcT2+) для решения таких задач. Скомпилированное на гетерогенной распределенной системе приложение - модель WRF - показало себя эффективным синтетическим тестом для оптимизации вычислительных комплексов.

Список литературы диссертационного исследования кандидат технических наук Лу Мо Каинг, 2011 год

1. Создание европейской научной грид инфраструктуры , Российская Академиянаук , Петербургский ИнститутДдерной Физики , http://egee.pnpi.nw.ru/cgi/index.cgi?! 1=5&12=0

2. Концепция GRID , Информационые Технологии, http://technologies.su/grid

3. Iran foster ,What is The Grid, http://gridclub.ru/library/publication.2004-11-29.5830756248/publ file/

4. C.Mathew Mackenzie , Ken Laskey ,Model for Service-Oriented Architechure . http://www.oasisopen.org/committees/download.php/19679/soa-rm-cs.pdf.

5. G. Goth. Grid services arthitecture plan gaining momentum ,IEEE internet Computig , с 7-8 , 2002.

6. Андрей Коптелов, Виктор Голубев , Сервис-ориентированная архитектура: от концепции к применению http://www.bytemag.ru/articles/detail.php?ID=12160

7. Хадиев А. М., Варламов О. О ,Оверчук М. JL, Адамова JL Е, Санду Р. А , Информационные системы в образовании , III Международная научно-практическая конференция , http://it2009.petrsu.ru/

8. Биберштейн H., Боуз С. Компас в мире сервис-ориентированной архитектуры (SAO). M.: КУДИЦ-ОБРАЗ, 2007.

9. Лори Маквитти , Архитектура SOA как она есть // Сети и Системы Связы , http://www.ccc.ru/magazine/depot/06 02/read.html?0104.htm11 ) Manuel Permuy , Basic SOA ,http://www.codeproiect.com/KB/cs/InsideTrivadisFramework.aspx

10. Валерий Коржов , Витуализация и Сонсилидация ,1993. http://citforum.ru/consultmg/articles/virtualization/

11. Кузюрин H.H., Фрумкин М.А. Параллельные вычисления: теория и алгоритмы // Программирование. 1991. N 2. С. 3-19.

12. Виртуализация и консолидация ,http://www.sime.kz/content/view/21 /36/1 an», ru/

13. Шпаковский Г. И., Серикова Н. В. Программирование для многопроцессорных систем в стандарте MPI. Мн.: БГУ, 2002. 323 с.

14. В. Коваленко, Д. Корягин. Эволюция и проблемы Grid // Открытые системы, №1, январь , 2003 г.

15. Астахов Алексей Вячеславович , Распределенное моделирование задач оптимизации компьютерных сетей на вычислительном кластере , http://masters.donntu.edu.ua/2009/fvti/evdokimov/library/libl.htm

16. Коваленко В.Н., Корягин Д.А. Организация ресурсов грид, ИПМ им. М.В.Келдыша РАН, Москва 2004.http://www.keldysh.ru/papers/2004/prep63/prep2004 63.html

17. Коваленко В.Н., Коваленко Е.И., Шорин О.Н. Разработка диспетчера заданий грид, основанного на опережающем планировании, ИПМ им. М.В.Келдыша РАН, Москва. г 2005. http://www.keldvsh.ru/papers/2005/prepl33/prep2005 133.html

18. Шелестов А.Ю., Скакун C.B., Куссуль О.М , Агентный подход к реализации модели поведения пользователей Grid-систем . Институт космических исследований НАНУ-НКАУ , Москва,2004.

19. Фостер Я. Разные оттенки ГРИД. Еженедельник "Computerworld", #13, 2005 год // Издательство "Открытые системы". http://www.osp.ru/cw/2005/13/038 1 .htm

20. Гороховський С.С., Римарчук В.К. Технолопя сггки (GRID) i використання агентних платформ для задач планування // HayKOBi записки НаУКМА. Комп'ютерш науки.- 2005. http://www.library.ukma.kiev.ua/e-lib/NZ/NZV36 2005/04 gorokhovsky ss.pdf

21. David W. Emerging Distributed Computing Technologies, Department of Computer Science, Cardiff University, Cardiff, 2004. http://www.cs.cf.ac.Uk/User/David.W.Walker/IGDS/GridCourse.doc

22. В. Воеводин, Вл. Воеводин. Параллельные вычисления. СПб.: БХВ, Петербург, 2002. 609 с.

23. Тестов производительности нацеленных на проверку возможностей высокопараллельных суперкомпьютеров.http://ru.wikipedia.org/wiki/NAS Parallel Benchmarks

24. Jly Mo Каинг , Создание полигона для тестирования Grid продуктов как оперативного окружения для больших вычислительных центров , XV Всероссийская научно-методическая конференция "Телематика'2008 .

25. Weather research and Forecasting Modelhttp://www.meteolab.ru/projects/wrf/.

26. A.B. Богданов, А.Б. Дегтярев, Соэ Моэ Лвин, Проблемы Создания Комплекса Многоуровеневых Приложений в Распределенной Среде.

27. Stratis Gallopoulos, Elias Houstis and John Rice // Problem Solving Environments , IEEE Computational Science and Engineering, Summer 1994. http://www-cgi.cs.purdue.edu/cgi-bin/acc/pses.cgi.

28. Высокопроизводительные параллельные вычисления накластерных системах. Материалы Седьмой Международной конференции-семинара. Нижний Новгород: Изд-во Нижегородского госуниверситета, 2007. 443 с.

29. A.B. Дунаев, A.B. Ларченко, A.B. Бухановский , Моделирование параллельных вычислительных процессов вереде Грид на примере Intel Grid Programming Environment, http://w^ww.ict.edu.ru/vconf/files/l 1503.pdf

30. Globus® Toolkit, http://globus.org/toolkit/.37. gLite Lightweight Middleware for Grid Computing , http://glite.cern.ch/

31. Grid Programming Environment™, http://gpe4gtk.sourceforge.net.

32. SAGA, http://saga.cct.lsu.edu/.

33. Московского университета,2007. — с. 156.123

34. Каляев А.В. Многопроцессорные системы с программируемой архитектурой / А.В. Каляев. М.: Радио и Связь, 1984 - С.52.

35. Столлинг В. Структурная организация и архи-тектура компьютерных систем: пер. с англ. / В. Стол-линг. 5-е изд. - М.: Издательский дом «Вильяме», 2002 - С.32.

36. Воеводин В.В. Параллельные вычисления // БХВ, 2002 С.66.

37. С.А. Немнюгин , Законы Амдала, Поддержка курса Модели и средства программирования для многопроцессорных вычислительных систем информация.http://www.mtuit.m/department/supercomputing/modswms/l/2.html

38. Валерий Сидоров , Multi-Core vs. Many-Core, или Зачем нужны многоядерные микропроцессоры, http://netler.ru/pc/multi-core.htm

39. Многоядерные микропроцессоры.http://ru.wikipedia.org/wiki/мнoгoядepный процессор.

40. Морис Дж. Бах,Глава 12 , Многопроцессорные системы ,http://lib.ru/BACH/chap 12.txt.

41. Э.И.Ватутин , В.С.Титов , Особенности Реализации Технологии Hyper-Threading в процессорах Intel Pentium 4 на примере выполнения кода различного типа.

42. NAS Parallel Computing , NGB , http://www.nas.nasa.gov/

43. Allan Snavely, Greg Chun, Henri Casanova, Rob F. Van der Wijngaat and Michael A. Frumkin. Benchmarks for Grid Computing. University of Califonia, San Diego and NASA Ames Research Center. 2002.C.52-54.

44. D. Bailey and J. Barton. The NAS Kernel Benchmark Program. Technical Report 86711, NASA Ames Research Center, Moett Field, California, August 1985.C.30-33.

45. G. Cybenko, L. Kipp, L. Pointer, and D. Kuck. Supercomputer Performance Evaluation and the Perfect Benchmarks. Technical Report 965,CSRD, Univ. of Illinois, Urbana, Illinois, March 1990.C.14-17.

46. Marios D. Dikaiakos. Grid Benchmarking: Vision, Challenges, and Current Status. University of Cyprus. May 4, 2005.C.11-13.

47. Rob F. Van der Wijngaat and Michael Frumkim. NAS Grid Benchmarks Version 1.0. NASA Technical Report NAS-02-005. NASA Ames Research Center. July, 2002.C.17-19.

48. Rob F. Van der Wijngaart and Michael A. Frumkin. Evaluating the Information Power Grid using the NAS Grid Benchmarks. NASA Technical Report NAS-04-005. NASA Ames Research Center. May, 2004.C.8-10.

49. The Weather Research and Forecasting (WRF) Model , http://www.wrf-model. org/i ndex.php.

50. Создание вложенных областей WPS , http://www.dtcenter.org/wrf-nmm/users/overview/wps overview.php

51. Available Interpolation Options in Geogrid and Metgrid , WRF-ARW V3: User's Guide / Janaury , 2009 . с 46.

52. The sixteen pt overlapping parabolic interpolation method , WRF-ARW V3: User's Guide / Janaury , 2009 . с 47.

53. Advanced Research WRF (ARW) , Version 3.0 modelingsystem, released in April 2008.C.30-32.

54. The Weather Research and Forecasting (WRF) Modelhttp://www.mmm.ucar.edu/wrf/users/docs/arw v3.pdf.

55. The grid-cell average interpolator , WRF-ARW V3: User's Guide / Janaury , 2009 . с 48.

56. Running the WPS // Step 1: Define model domains with geogrid , WRF-ARW V3: User's Guide / Janaury , 2009 . с 3-7.

57. The WRF Preprocessing System (WPS) Preparing Input Data ,http://www.mmm.ucar.edu/wrf/users/docs/user guide/users guide chap3.html

58. Running the WPS // Step 2: Extracting meteorological fields from GRIB files with ungrib , WRF-ARW V3: User's Guide / Janaury , 2009 . с 7-11.

59. Running the WPS // Step 3: Horizontally interpolating meteorological data with metgrid , WRF-ARW V3: User's Guide / Janaury , 2009 . с 11-13.

60. Сбитнев Юрий Иванович // Параллельные вычисления, Екатеринбург , Россия , http://cluster.linux-ekb.info/

61. Бурцев.С. И., Цветков.Ю.Н. Влажный воздух. Состав и свойства , С-23.

62. Pew Point, http://en.wikipedia.org/wiki/Dew point.

63. И. П. Базаров. Термодинамика, М., Высшая школа, 1976, с. 13-14.

64. Людмила Алекандровна Авдеева синоптик Отдела метеорологических прогнозов.

65. Усольцев В. А. Измерение влажности воздуха. — Л.: Гидрометеоиздат, 1959. С 5.

66. Берлинер М. А. Измерения влажности. — Изд. 2-е, перераб. и доп. — М.: Энергия, 1973.С-10.

67. Richard Shelquist , Density Altitude Calculations , March 2011, http://wahiduddin.net/calc/densityaltitude.htm

68. А.М.Гузий , И.В.Ковалец , A.A Кущан ,М.и. Железняк , Система Численого Прогноза погоды WRF- Украина.С.14-15.

69. Модели погоды используемые на WindGURU ,http://ww\Y.vvindguru.cy/ru/helpindex.php?sec=models.

70. Создание вложенных областей WPS , http://www.dtcenter.org/wrf-nmm/users/overview/wps overview.php.

71. А. В. Богданов, E.H. Станкова, Jly Mo Каинг , Оценка Возможности Витуального Полигона для Исследования Динамики noroflbi(WRF) на Терртьории Санкт-Петербурга. Известия , СПбГЭТУ «ЛЭТИ». 2011-Вып. 8.- С.51-55.