Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Ковальчук, Сергей Валерьевич

• Ковальчук, Сергей Валерьевич
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Ковальчук, Сергей Валерьевич

Введение.

Глава 1. Анализ и постановка задачи.

1.1. Современная концепция получения информации об экстремальных гидрометеорологических явлениях.

1.1.1. Эволюция подходов к расчету гидрометеорологических экстремумов

1.1.2. Современная концепция получения информации об экстремальных гидрометеорологических явлениях на базе модельного подхода.

1.2. Основные расчетные модули: математические модели, численные методы и параллельные алгоритмы.

1.2.1. Расчет скорости ветра по полям давления.

1.2.2. Гидродинамическое моделирование полей течений и уровня моря.

1.2.3. Гидродинамическое моделирование полей морского волнения.

1.2.4. Параметризация климатических спектров морского волнения.

1.2.5. Статистическая обработка расчетных данных и моделирование экстремальных гидрометеорологических явлений.

1.2.6. Расчет экстремальных характеристик гидрометеорологических явлений и рисков их воздействий на морские объекты и сооружения.

1.3. Современные подходы к разработке программного обеспечения.

1.4. Выводы к главе 1.

Глава 2. Построение архитектуры высокопроизводительного программного комплекса

2.1. Общая концепция построения архитектуры высокопроизводительного программного комплекса моделирования экстремальных гидрометеорологических явлений.

2.1.1. Специфические требования к архитектуре высокопроизводительного программного комплекса.

2.1.2. Концепция построения архитектуры программного комплекса на основе интеллектуальной интеграции компонентов.

2.1.3. Реализация концептуальной архитектуры на основе сервисно-ориентированного подхода.

2.1.4. Оценка концептуальной архитектуры.

2.2. Общая структура программного комплекса.

2.2.1. Общая классификация и структура сервисов.

2.2.2. Организация вычислительной подсистемы.

2.3. Архитектура базовых сервисов.

2.3.1.' Сервис управления вычислительным модулем.

2.3.2. Сервис декомпозиции.

2.3.3. Сервис удаленного запуска.

2.3.4. Сервис управления вычислениями.

2.4. Организация работы с данными.

2.5. Выводы к главе 2.

Глава 3. Организация интеллектуального управления процессом параллельных вычислений в программном комплексе.

3.1. Моделирование производительности вычислительных модулей.

3.1.1. Иерархическая структура параллельных вычислений.

3.1.2. Принципиальная модель параллельной производительности приложений для систем с общей памятью.

3.1.3. Система параметрических моделей параллельной производительности для алгоритмов гидродинамического и статистического моделирования полей ветра, волнения, течений и уровня моря.

3.1.4. Общая модель производительности программного комплекса на вычислительной системе с гибридной архитектурой.

3.2. Общая структура интеллектуальной подсистемы.

3.3. Этапы эффективного управления параллельными вычислениями в многопроцессорной среде.

3.3.1. Априорный анализ параллельной производительности вычислительных модулей.

3.3.2. Управление параллельной производительностью в ходе функционирования программного комплекса.

3.4. Приобретение знаний о производительности вычислительных модулей.

3.4.1. Данные и знания, необходимые для управления параллельными вычислительными процессами.

3.4.2. Способы представления знаний о производительности вычислительных модулей.

3.4.3. Приобретение экспертных знаний.

3.4.4. Уточнение экспертных знаний путем идентификации моделей по результатам профилирования вычислительного модуля.

3.4.5. Приобретение дополнительных знаний путем имитационного моделирования.

3.5. Организация логического вывода.

3.6. Выводы к главе 3.

Глава 4. Тестирование программного комплекса моделирования экстремальных гидрометеорологических явлений.

4.1. Исследования масштабируемости программного комплекса.

4.1.1. Тестирование масштабируемости вычислительных модулей.

4.1.2. Анализ логики интеллектуальной подсистемы управления масштабируемостью.

4.2. Экспериментальные расчеты экстремальных гидрометеорологических характеристик и их воздействий на морские объекты и сооружения.

4.2.1. Подготовка массивов исторических данных и их сравнение с экспериментальными расчетами.

4.2.2. Проведение экспериментальных расчетов экстремальных характеристик для Северной части Каспийского моря.

4.2.3. Проведение экспериментальных расчетов рисков воздействий на морские объекты и сооружения.

4.3. Электронный атлас экстремальных гидрометеорологических явлений Каспийского моря.

4.3.1. Общая структура атласа.

4.3.2. Технологии реализации атласа.

4.3.3. Справочный массив.

4.3.4. Выводы к главе 4.

Введение диссертации (часть автореферата) на тему «Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений»

Прогресс в освоении природных богатств Мирового океана неразрывно связан с накоплением знаний о гидрометеорологических процессах. Непрерывный рост численности судов мирового флота, а также бурное освоение шельфовой зоны требуют не только умения предсказывать неблагоприятные погодные условия с той или иной заблаговремен-ностью, но и количественных характеристик морских явлений редкой повторяемости. К ним относятся скорости ветра, морское волнение, течения и уровень моря, а также их сочетания, возможные один раз в 100 или даже 1000 лет. Методы анализа и прогноза различных элементов режима морей и океанов насчитывают много десятилетий, однако, те методы, которые активно использовались еще 20-30 лет назад, по большей части устарели. Современная концепция получения информации о состоянии Мирового океана предполагает модельный подход на базе гидродинамического и статистического моделирования ветра, волнения, течений и уровня моря [1]. Оперативное решение таких задач невозможно без использования параллельных вычислительных комплексов, обладающих терафлоп-ной производительностью.

Специфика создания высокопроизводительного программного обеспечения для расчета характеристик экстремальных гидрометеорологических явлений связана не только (и не столько) с потребными объемами вычислений, сколько со сложностью (комплексностью) самой предметной области. Система «океан-атмосфера», рассматриваемая в диапазонах мелкомасштабной, синоптической, сезонной, межгодовой изменчивости (временные масштабы от секунд до десятилетий, и пространственные — от метров до тысяч километров), является характерным примером сложной системы (complex system). Под сложной системой [2] понимается система, которая (а) состоит из очень большого количества элементов; (б) допускает «дальние» связи между элементами; (в) обладает многомасштабной (пространственно-временной) изменчивостью. Как следствие, поведение системы описывается целым комплексом взаимодействующих моделей (в общем случае основанных на различном математическом аппарате и соответствующих различным областям знания), которые требуют не только существенных вычислительных затрат, но и порождают конкурирующие требования к реализации параллельной программной архитектуры в целом.

В данной работе предлагается качественно новая концепция построения высокопроизводительных комплексов компьютерного моделирования сложных систем. Новизна предлагаемых решений основывается на принципе построения интеллектуальной оболочки управления параллельными вычислительными процессами в иерархической вычислительной среде, построенной на основе сервисно-ориентированной архитектуры. Это дает возможность гибко и эффективно организовать взаимодействие между вычислительными компонентами комплекса на всех этапах выполнения задачи: подготовки метеорологических данных, гидродинамического моделирования, параметризации, расчета оперативной статистики, стохастического моделирования, анализа экстремальных явлений.

Пояснительная записка, представляющая основные положения работы, состоит из четырех глав. В первой главе приводится обзор существующих подходов к построению программных средств для моделирования экстремальных гидрометеорологических явлений, приводится описание основных моделей, необходимых для решения поставленной задачи. Кроме того, анализируются основные подходы к построению сложных высокопроизводительных программных комплексов, позволяющие облегчить интеграцию внешних вычислительных модулей. Во второй главе рассматривается процесс построения архитектуры программного комплекса, описывается разработанная онтология сервисов, входящих в состав наукоемкого программного обеспечения, и приводится описание структуры основных сервисов разработанного программного комплекса. В третьей главе приводится описание структуры и принципов действия интеллектуальной подсистемы программного комплекса, обеспечивающей эффективное отображение системы параллельных алгоритмов на заданную сложную иерархическую архитектуру. Четвертая глава посвящена описанию экспериментальных исследований разработанного программного комплекса и анализу их результатов. Дополнительно в этой главе приводится описание структуры и принципов работы интерактивного атласа экстремальных гидрометеорологических явлений.

Пояснительная записка содержит 158 страниц, 63 рисунка, 11 таблиц. Список литературы состоит из 57 наименований.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Ковальчук, Сергей Валерьевич

Результаты работы были использованы в научно-исследовательской работе по проектам направления 1.4 «Генерация знаний» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007 -2012 годы»: «Высокопроизводительный программный комплекс моделирования и прогноза экстремальных гидрометеорологических явлений и расчета воздействий на морские объекты и сооружения» (НИР 2007-4-1.4-00-06-108), «Разработка инструментальной оболочки проектирования высокопроизводительных приложений для Грид-архитектур в целях создания прикладных сервисов компьютерного моделирования и обработки данных»

НИР 2007-4-1.4-20-01-025), «Инструментальная технологическая среда для создания массовых мобильных он-лайн сервисов нового поколения» (НИР 2008-4-1.4-18-01-022).

Диссертационный проект поддержан грантами комитета по науке и высшей школе Правительства Санкт-Петербурга (в 2007, 2008 гг.).

В ходе работы проведена апробация результатов на 10 научно-практических конференциях. Результаты освещались в 17 публикация, из них 6 — в журналах из перечня ведущих рецензируемых научных журналов и изданий ВАК РФ. Получено два свидетельства о государственной регистрации программ для ЭВМ (см. Приложение А).

Основной областью применения разработанного программного комплекса моделирования экстремальных гидрометеорологических явлений является обеспечение процесса гидрометеорологических изысканий на шельфе морей России в целях строительства и эксплуатации морских объектов и сооружений. Разработанный прототип высокопроизводительного комплекса опробован и внедрен в работу в ГУ «Гидрометцентр России».

Заключение

В данной пояснительной записке изложены основные результаты, полученные в процессе диссертационной работы по теме «Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений». В частности:

• Описана онтология сервисов, входящих в состав программного обеспечения, предназначенного для моделирования сложных систем. На базе предложенной онтологии спроектирована и описана архитектура программного комплекса моделирования экстремальных гидрометеорологических явлений, допускающая бесшовную интеграцию внешних вычислительных модулей.

• Рассмотрен принцип построения интеллектуальной подсистемы управления параллельными вычислениями, предназначенной для эффективного отображения системы параллельных алгоритмов на сложную иерархическую параллельную архитектуру, обладающую динамической изменчивостью. Предложенная структура интеллектуальной подсистемы учитывает актуальные характеристики вычислительной системы, параллельных реализаций алгоритмов и параметров конкретной задачи для построения оптимальной схемы распараллеливания. Оптимальность схемы оценивается, исходя из комплекса знаний экспертов предметной области и экспертов в области параллельных вычислений.

• Продемонстрирована эффективность применения предложенных подходов и методов на примере прототипа программного комплекса моделирования экстремальных гидрометеорологических явлений.

• С использованием построенного программного комплекса произведены расчеты совместных экстремальных характеристик для Каспийского моря и создан прототип интерактивного атласа экстремальных гидрометеорологических явлений.

Список литературы диссертационного исследования кандидат технических наук Ковальчук, Сергей Валерьевич, 2008 год

1. Л.И. Лопатухин, А.В. Бухановский, В.А. Рожков и др., ред.. Справочные данные по режиму ветра и волнения Балтийского, Северного, Черного, Азовского и Средиземного морей. СПб.: Российский Морской регистр судоходства, 2006. стр. 450.

2. N. Boccara. Modeling Complex Systems, б.м. : Springer New York, 2004. стр. 397.

3. Sloot P.M.A., Frenkel D., Vorst H.A. Van der et al. Computational e-Science: Studying complex systems in silico. A National Coordinated Initiative. White Paper. Online. February 2007. http://www.science.uva.nl/research/scs/papers/archive/Sloot2007a.pdf.

4. Estimation of extreme wind wave heights. L.J. Lopatoukhin, V.A. Rozhkov, V.E. Ryabinin, V.R. Swail, A.V. Boukhanovsky, A.B. Degtyarev. s.l. : World Meteorologcal Organization, 2000. WMO/TD-No 1041. p. 76.

5. London : s.n., 1985.E xploration and production Forum: "Application of Joint Probability of Metocean Phenomena in the Oil Industry's Structural Design Work".

6. Jonathan Tawn Statistical Methods for Multivariate extremes: an Application to structural design. Coles, Stuart G. N1, 1994, Applied Statistics, Vol. 43, pp. 1-48.

7. Extreme analysis in a multivariate offshore environment. Morton I.D, Bowers J. 18, 1996, Applied Ocean Res., pp. 303-317.

8. Подходы, опыт и некоторые результаты исследований волнового климата океанов и морей, часть 1. А.В. Бухановский, С.В Иванов, Л.И. Лопатухин. 3, 2005 г., Вестник СПбГУ, сер. 7.

9. Guide to wave analysis and forecasting, s.l.: World Meteorologcal Organization, 1998. ISBN 92-63-12702-6.

10. И.В. Лавренов. Математическое моделирование ветрового волнения в пространственно-неоднородном океане. СПБ. : Гидрометеоиздат, 1998. стр. 500.

11. Komen G.L., Cavaleri L., Donelan M., et al. Dynamic and modeling of ocean waves, б.м.: Cambridge, 1994.

12. John E. Cazes, Tim Campbell, Erick Rogers. OpenMP Parallel Implementation of SWAN, s.l.: Navo MSRC Navigator,2001 . Vol. 13.

13. Spectral wave climate of the North Sea. Boukhanovsky A.V., Lopatoukhin L.J., Soares C.G. 2007, Applied Ocean Research. In Press.

14. Multivariate stochastic models of metocean fields: computational aspects and applications. A.V. Boukhanovsky. 2002, Lecture Notes in Computer Science, Vol. 2329, pp. 216-225.

15. Stochastic simulation of inhomogeneous metocean fields. Part III: High-performance parallel algorithms. Boukhanovsky A.V., Ivanov S.V. 2003, Lecture Notes in Computer Science, Vol. 2658, pp. 234-243.

16. Многомерный статистический анализ связных гидрометеорологических полей. А.В. Бухановский, В.А. Рожков, б.м.: Гидрометеоиздат, 2002 г., Тр. Государственного океанографического института, Т. 208, стр. 338-364.

17. И. Соммервилл. Инженерия программного обеспечения. 6. М.: Издательский дом «Вильяме», 2002. стр. 624.

18. Н. Вирт. Алгоритмы + структуры данных = программы. М. : Мир, 1985. стр. 406.

19. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++. 2. М. : «Бином», 1999. стр. 560.

20. С. Szyperski. Component Software: Beyond Object-Oriented Programming, s.l. : Addison-Wesley Professional, 1998. p. 411.

21. B. Lublinsky. Defining SOA as an architectural style. В Интернете. 9 January 2007 r. http://www.ibm.com/developerworks/architecture/librarv/ar-soastyle/.

22. Architectural Styles and the Design of Network-based Software Architectures. R.T. Fielding. 2000. Doctoral thesis, University of California, Irvine, стр. 162.

23. Aspect Modelling at Architecture Design. Navasa A., Pérez M.A., Murillo J.M. 2005 г., Lecture Notes in Computer Science, T. 3527, стр. 41-58.

24. Якобсон А., Буч Г., Рамбо Дж. Унифицированный процесс разработки программного обеспечения. СПб.: Питер, 2002. стр. 496.

25. OASIS. В Интернете. http://www.oasis-open.org/.

26. OASIS. Reference Model for Service Oriented Architecture. В Интернете. www.oasis-open.org/committees/download.php/19679/soa-rm-cs.pdf.

27. SaaS и SOA: вместе навсегда. Хеншен, Дуг. 5 (161), б.м.: СК Пресс, 2007 г., Intelligent Enterprise/RE Корпоративные системы, www.iemag.ru.

28. R. Sessions. COM and DCOM: Microsoft's Vision for Distributed Objects. New York, USA : John Wiley & Sons, 1998. стр. 492.

29. OMG's CORBA website. В Интернете. Object Management Group, http://www.corba.org.

30. Matena V., Stearns B. Applying Enterprise JavaBeans: Component-Based Development for the J2EE Platform, б.м.: Prentice Hall, 2000. стр. 464.

31. A Component Architecture for High-Performance Computing. BernholdtD .E., Elwasif W.R., Kohl J.A., Epperly T.G.W. New York, USA : б.н., 2002. Proceedings of the Workshop on Performance Optimization via High-Level Languages and Libraries.

32. Ontology and Taxonomy of Services in a Service-Oriented Architecture. S., Cohen. 2007 г., The Architecture Journal, T. 11, стр. 30-35.

33. Role Based Access Control. Ferraiolo D.F., Kuhn D.R. 1992. 15th National Computer Security Conference, стр. 554-563.

34. Гамма Э., Хелм Р., Джонсон Р., Влиссидес Дж. Приемы объектно-ориентированного проектирования. Паттерны проектирования. СПб. : Питер, 2007. стр. 366.

35. REST Eye for the SOA Guy. S., Vinoski. 2007 г., IEEE Internet Computing, Т. 11, N 1, стр. 82-84.

36. D. Obasanjo. XML Serialization in the .NET Framework. Microsoft MSDN Library. Online. January 23, 2003. http://msdn2.microsoft.com/en-us/library/ms950721.aspx.

37. Akhter S., Roberts J. Multicore programming, s.l. : Intel Press, 2006. p. 336.

38. Дж. Ортега. Введение в параллельные и векторные методы решения линейных систем. М. :Мир, 1991.

39. Архитектура глобальной памяти с общим доступом SGI NUMAflex и интерконнекта SGI NUMAlink в серверах и суперкомпьютерах Silicon Graphics. 2, 2006 г., САПР и графика.

40. Т-Платформы. В Интернете. http://www.t-platforms.ru/.

41. Application of Mixed MPI/OpenMP Programming in a Multi SMP Cluster Computer. Smyk A., Tudruj M. 2002, Lecture Notes in Computer Science, Vol. 2328, p. 288.

42. Ю.И., Нечаев. Искусственный интеллект: концепции и приложения. СПб. : Изд. СПбГМТУ, 2000. стр. 294.

43. Minsky М. A Framework for Representing Knowledge. The Psychology of Computer Vision, ed. Patrick Henry Winston. New York : McGraw-Hill, 1975.

44. JI.A. Растригин. Адаптация сложных систем. Рига : Зинатне, 1981. стр. 375.

45. В.П. Гергель. Система "Параллельная Лаборатория". В Интернете. http.7/www.software.unn.ac.ru/?doc=13.

46. Моделирование климатической термохалинной циркуляции в Каспийском море. С.К. Попов. 5 2004 г., Метеорология и гидрология, стр. 76-84.

47. The Princeton Océan Model. В Интернете. http://www.aos.princeton.edu/WWWPUBLIC/htdocs.pom/.

48. Романов В.Ф., Арискина Н.В., Васильев В.Ф., Лагун В.Е. Энергетика атмосферы в полярных областях. Л. : Гимиз, 1987. стр. 296.

49. Расчет полей ветра по полям атмосферного давления над морем. Обзорная информация. В.И. Макова. 4, Обнинск : Изд-во ВНИИГМИ-МЦД, 1989 г., Гидрометеорология. Серия 37.21. Метеорология., стр. 54.

50. Л. И. Лопатухин, А. В. Бухановский, В. А.Рожков, ред.. Справочные данные по режиму ветра и волнения Баренцева, Охотского и Каспийского морей. СПб. : б.н., 2003.

51. С.Д. Кошинский. Режимные характеристики сильных ветров на морях Советского Союза. Л. : Гидрометеоиздат, 1975. стр. 803.

52. Гидрометеорология и Гидрохимия морей СССР. вып. 1: Каспийское море. Гидромеорологические условия. СПб. : Гидрометеоиздат, 1992. стр. 359.

53. К расчету скоростей ветра по барическому полю. Е.П., Веселов. 1985. Тр. ГМЦ СССР. Т. 268, стр. 26-35.

54. Statistics for the Draupner January 1995 freak wave event. O. Hagen. 2002. Proceedings of OMAE'2002: 21stl nternational Conférence of offshore mechanics and Arctic engineering.