Программный комплекс численного моделирования совместной системы океан-атмосфера на массивно-параллельных компьютерах тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Калмыков, Владимир Владимирович

• Калмыков, Владимир Владимирович
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Калмыков, Владимир Владимирович

Оглавление

Введение

1 Постановка задачи математического моделирования динамики Мирового океана и глобальной атмосферы

1.1 Модель Мирового океана

1.1.1 Уравнения математической модели термогидродинамических процессов океана

1.1.2 Краевые условия

1.1.3 Система координат. Сетка

1.1.4 Метод решения уравнений модели

1.2 Математическая модель глобальной атмосферы ПЛАВ

1.3 Обмен информации между моделями в совместной системе

1.4 Обзор основных задач, решаемых системой совместного моделирования

2 Вычислительные методы ПКСМ и математической модели Мирового океана ИВМ-ИО

2.1 Многоуровневая параллельная интерполяция каплера ПКСМ

2.1.1 Подготовительный этап

2.1.2 Вычислительный этап

2.1.3 Схема источника

2.1.4 Схема получателя

2.1.5 Комментарии

2.1.6 Тестирование

2.1.7 Сравнение с существующими системами

2.1.8 Выводы

2.2 Алгоритм с перекрытиями для решения системы уравнений мелкой воды

2.2.1 Постановка задачи

2.2.2 Прямой алгоритм

2.2.3 Алгоритм с перекрытиями

2.2.4 Выводы

3 Архитектура Программного комплекса для совместного моде-

лирования

3.1 Основные черты ПКСМ

3.2 Общая конфигурация ПКСМ

3.3 Архитектура совместной системы

3.4 Довычислительный блок

3.4.1 Описание блока

3.5 Блок визуализации

3.5.1 Описание блока

3.6 Общая конфигурация каплера ПКСМ

3.7 Параллельная система ввода-вывода

3.7.1 Стратегии работы с файловой системой

3.7.2 Описание блока ввода-вывода ПКСМ

3.7.3 Тестирование

3.8 Блок сбора-распределения данных

3.8.1 Описание блока

3.9 Выводы

4 Реализация математической модели Мирового океана и совместной модели с применением средств ПКСМ

4.1 Применение ПКСМ в математической модели Мирового Океана

4.1.1 Масштабируемость параллельной модели Мирового океана ИВМ-ИО в составе ПКСМ

4.1.2 Результаты численных экспериментов

4.2 Применение ПКСМ для создания совместной математической модели Мировой океан-Атмосфера

4.2.1 Краткие характеристики программ моделей-участников

4.2.2 Конфигурация совместной модели Мировой океан-глобальная атмосфера

4.2.3 Результаты численных экспериментов

4.3 Выводы

Заключение

Приложение

Введение диссертации (часть автореферата) на тему «Программный комплекс численного моделирования совместной системы океан-атмосфера на массивно-параллельных компьютерах»

Введение

Как отмечалось на Всемирной конференции по моделированию и прогнозированию климата [55], существует общее согласие о том, что гораздо более высокое, по сравнению с существующим, разрешение моделей основных компонентов (атмосфера, океан, лед, суша) является главной предпосылкой для реалистичного представления климатической системы. На современном уровне знаний представляется, что перспективная модель Земной системы должна иметь горизонтальное разрешение около 1 км. Сложность физических и химико-биологических процессов в Земной системе и ее компонентах (атмосфера, океан, лед, суша) и большой объем данных о состоянии системы ставит задачу моделирования изменений климата Земли в ряд самых вычислительноёмких в науке.

Последние исследования подтверждают преимущества моделей высокого разрешения.

Например, в работе [59] были приведены прогнозы десятилетних изменений климата с использованием модели Community Climate System Model (CCSM) версии 3.5 для двух разрешений компонентов атмосфера-суша: текущего 2° и нового 0.5°. Основным отличием было уменьшение ошибки температуры поверхности океана в регионах апвеллинга, включающих западное побережье США, более чем на 60%. Также наблюдалось улучшение представления осадков и речного стока в Северной Америке, более реалистичный вид летнего Восточно-азиатского муссона, улучшение в описании Арктической атмосферной циркуляции, ведущее к более реалистичному региональному распределению морского льда в Северном Ледовитом океане.

В работе [65] авторы использовали раннюю версию Community Atmosphere Model (САМ) для исследования формирования и развития тропического шторма в Северной Атлантике. В ходе работы несколько штормов были изучены и классифицированы в соответствии с местоположением и силой. На разрешении 1° штормов было недостаточно и они были слишком слабы, тогда как при разрешении 0.5° распределение количества и силы было гораздо более точным. Еще более точные результаты были получены при разрешении 0.25°.

Улучшенное формирование тропического шторма было продемонстрировано в работе [68] при моделировании на несколько десятилетий с использованием CCSM версии 4. Разрешение модели атмосферы/суши составляло 0.25° и океа-

на/морского льда - 0.1°. Акцент был сделан на тропической западной части Тихого океана. Были смоделированы не только тропические штормы, но и подъем с глубин холодной воды, образующей слой пониженной поверхностной температуры. Исследования также показали гораздо более реалистичные амплитуды аномалии высоты поверхности океана в вихрях, в течении мыса Игольного по сравнению с версиями моделей, где атмосферный форсинг основывается на моделях атмосферы с более грубым разрешением.

В работе [64] был проведен анализ корреляции между температурой поверхности океана и напряжением ветра и результаты были сравнены со спутниковыми наблюдениями. Использовалась модель CCSM4: две модели океана, разрешения 1° и 0.1°, и общая для эксперимента 0.5° атмосфера. Верная положительная корреляция между поверхностной температурой и напряжением ветра наблюдается только при использовании вихреразрешающего разрешения океана.

Таким образом, современное понятие высокое разрешение предполагает горизонтальный шаг сетки около 0.1° для модели Мирового океана и около 0.25° для модели глобальной атмосферы (в работе [74]) подобное разрешение также называется «ultra high-resolution»). В настоящей работе под высоким пространственным разрешением мы будем понимать горизонтальный шаг сетки модели около 0.1° и менее. Несмотря на то, что подобного пространственного разрешения пока достигли только несколько исследовательских центров, в работе мы будем ориентироваться именно на него как на наиболее перспективное.

Разработка модели физического компонента Земной системы (океана, льда, атмосферы и т.д.) для сеток высокого пространственного разрешения требует повышенного внимания к параллельным алгоритмам: используемые численные схемы, внутрикомпонентные обмены, работа с большими массивами данных, их хранение в файловой системе. Увеличение размеров сеток ведет к росту вычислительной нагрузки, и в программном алгоритме могут возникнуть так называемые «узкие места», то есть участки кода, имеющие низкую параллельную эффективность. Особенностью таких мест является то, что они чаще всего не проявляются при использовании небольшого числа вычислительных ресурсов, когда коммуникационная нагрузка задачи относительно низка.

Первые совместные модели представляли собой прямое объединение моделей отдельных компонентов Земной системы и не требовали разработки дополнительных алгоритмов. По мере повышения сложности моделей, роста их разрешения и соответствующих вычислительных мощностей встала задача построения отдельных программных комплексов, в рамках которых могут совместно работать несколько компонентов Земной системы, причем связью моделей в единую систему занимается новый сервисный компонент - каплер (от англ. coupler). Разработка программного комплекса совместного моделирования

и численных алгоритмов для него является отдельной задачей, не связанной с разработкой физических моделей. К его главным задачам относятся синхронизация работы моделей, численные алгоритмы интерполяции данных между различными сетками компонентов и работа с файловой системой. Таким образом, современная совместная модель состоит из нескольких физических моделей и дополнительного внешнего программного обеспечения, разработка которого является чрезвычайно актуальной задачей.

Computing Capability & Model Grid Size (km)

Peak Rate: 10 T FLO PS 100 TFLOPS 1 PFLOPS 10 PFLOPS 100 PFLOPS

Cores 1,400 (2006) 12,000 (2008) 80-100,000 (2009) 300-800,000 (2011) 6,000.000? (20xx?)

Global NWP0: 5-10 days/hr 18-29 8.5- 14 4.0 - 6 3 1.8-2.9 0.85-1.4

Seasonal1: 50-100 days/day 17-28 8.0- 13 3.7 - 5 9 1.7-2.8 0.80-1.3

Decadal1: 5-10 yrs/day 57-91 27-42 12-20 57-91 2.7 -42

Climate Change2: 20-50 yrs/day 120-200 57-91 27-42 12-20 5 7-9 I

Range: Assumed efficiency of 10-40%

0 - Atmospheric General Circulation Model (AGCM: 100 levels)

1 - Coupled Ocean-Atmosphere-Land Model (CGCM; - 2X AGCM computation with IOC-level OGCM)

2 - Earth System Model (with blogeochemical cycles) (ESM; -2X CGCM computation)

• Core counts above 0(10J) are unprecedented for weather or climate codes, so the last 3 columns require getting 3 orders of magnitude in scalable parallelization (scalar processors assumed vector processors would have lower processor counts)

Thanks to Jim Abslas {IBM)

Рис. 1. Требуемые вычислительные ресурсы и шаг сетки модели по горизонтали в километрах (по данным работы [55]). Global NWP - численный прогноз погоды по глобусу, Seasonal - прогноз среднего состояния атмосферы за сезон, Decadal - прогноз среднего состояния системы на десятилетие, Climate change - оценка изменений климата Земной системы.

Объединенный ансамбль физических моделей, реализованный на параллельных компьютерах, задействует огромные вычислительные ресурсы. Согласно сделанным предварительным оценкам (Табл. 1), реализация перспективной модели Земной системы, предназначенной для моделирования климата, может потребовать миллионов процессорных ядер.

В 2008 году был впервые построен петафлопсный компьютер, преодолевший барьер 1015 операций с плавающей запятой в секунду. Сегодня первое место в рейтинге высокопроизводительных систем Тор500 [90] принадлежит суперкомпьютеру «MilkyWay-2», имеющим пиковую произвольность 55 петафлопс

и содержащему 3120000 вычислительных ядер. По предварительным оценкам, первая экзафлопсная система (1018 операций с плавающей запятой в секунду) должна появиться в 2016 году.

Использование десятков тысяч ядер (а затем сотен тысяч и миллионов) означает коренную ревизию вычислительных алгоритмов моделей - только локальные численные методы смогут обеспечить эффективное использование такого количества ресурсов. Кроме того, очевидно, что любое «узкое место» в реализации программы, объединяющей модели на миллионах ядер, станет причиной замедления работы всей совместной системы.

Существуют различные способы объединить две и более моделей в единую совместную систему: прямое слияние кода или объектно-ориентированный подход, последовательный или параллельный режим работы, ориентирование на конкретные модели Земной системы или создание архитектуры для общего случая. Каждый подход имеет свои сильные и слабые стороны, связанные с реализацией, поддержкой и сопровождением кода, удобством работы, эффективностью выполнения программы и т.д.

В диссертационной работе представлен Программный комплекс численного моделирования совместной системы океан-атмосфера на массивно-параллельных компьютерах. Для краткости мы будем использовать аббревиатуру ПКСМ (Программный Комплекс Совместного Моделирования). ПКСМ разработан для создания совместной модели высокого пространственного разрешения на основе моделей Мирового океана ИВМ-ИО [67, 73] и глобальной атмосферы ПЛАВ [32, 61]. Совместная модель предназначается для исследований внутри- и межгодовой изменчивости Земной системы и разработки на ее основе системы сезонного прогноза погоды.

История развития программных средств для создания совместных моделей

С момента возникновения первых геофизических моделей возникал вопрос их объединения из отдельных компонентов в единую функционирующую систему. По мере повышения алгоритмической и вычислительной сложности компонентов стало понятно, что упрощенное слияние нескольких моделей в одну (например, за счет прямого объединения кода) уже невозможно по причинам трудоемкости и неэффективности. Так возникает задача разработки системы для создания совместных моделей (или системы совместного моделирования), которая по определению не является частью какой-либо модели, а представляет собой внешнее для нее программное обеспечение.

Разработкой таких систем занимаются уже несколько десятилетий по всему миру [60, 93]. Наиболее известные центры: National Oceanic and Atmospheric Administration National Center for Atmospheric Research (NOAA NCAR),

Geophysical Fluid Dynamics Laboratory (GFDL), Centre Europen de Recherche et de Formation Avance en Calcul Scientifique (CERFACS), Argonne National Laboratory и т.д. Ниже приведен анализ исторического развития зарубежных программных комплексов и даны краткие выводы относительно существующих систем. В заключении главы сформулированы ключевые свойства систем совместного моделирования.

Первые совместные модели

Первые совместные модели представляли собой прямое объединение кода отдельных компонентов (Рис. 2), выполнялись последовательно и чаще всего на единой сетке. Данный метод работал для небольших проектов из нескольких процедур при обязательном условии наличия кода всех участников ансамбля.

atm осп

Рис. 2. Прямое объединение кода моделей.

Объединение моделей через файловую систему

По мере роста размера проектов и их постепенного распределения в различные институты, встала необходимость разработки программных средств и стандартов, позволяющих объединять в единую систему написанный разными людьми код.

Первая попытка создания программного обеспечения для объединения произвольных компонентов была предпринята во французском центре CERFACS (Centre Europen de Recherche et de Formation Avance en Calcul Scientifique) в 1991 году. Требовалось создать интерфейсы объединения модели общей циркуляции океана OPA, разрабатываемой в лаборатории LODYC, с двумя различными атмосферными моделями - ARPEGE и LMDz, разрабатываемыми, соответственно, Meteo-France и LMD (Laboratoire de Meteorologie Dynamique). Два года спустя появилась первая версия каплера OASIS (Ocean Atmosphere

Sea Ice Soil) [88], [75]. Система представляла собой набор процедур для обмена моделей через файловую систему (Рис. 3).

Запуск совместной системы выполнялся в режиме нескольких исполняемых файлов. Достигнув определенного шага, каждый процесс модели океана вызывал процедуры OASIS, которые выполняли сбор данных на одном процессе и запись их в файл. Мастер-процесс модели атмосферы опрашивал файловую систему до появления необходимых данных, считывал их, глобально интерполировал на свою сетку и распределял остальным ядрам. Такая же схема применялась и при интерполяции в обратном направлении.

осп

File System

Рис. 3. Объединение моделей через файловую систему.

Достоинством данного метода является минимальное вмешательство в код моделей, так как они лишь вызывают внешние процедуры. Очевидный недостаток - скорость. Дело в том, что канал обмена с файловой системой имеет наименьшую скорость среди всех коммуникационных каналов вычислительной системы. Поэтому использование файлов не по прямому назначению (редкое сохранение решения или диагностических данных), а для частых обменов полями между компонентами, выливается в крайне низкую параллельную эффективность совместной системы и постоянную загрузку 1/О-коммутатора суперкомпьютера. Отсюда следует полное отсутствие масштабируемости и серьезное падение скоростных характеристик системы при росте нагрузки.

Тем не менее, для небольших сеток в условиях создания максимально простого способа обмена компонентов этот метод имеет право на существование. Современные же размеры сеток моделей и количество используемых вычислительных ресурсов делают метод редко применимым для моделей высокого разрешения.

Сегодня единственная российская климатическая модель Института вычислительной математики ШМСМЗ.О [49], ШМСМ4.0 [62], представленная за рубежом, использует как раз метод обмена через файловую систему. Для работы

совместной модели запускаются отдельные MPI-задачи, которые обмениваются полями через разделяемый файловый ресурс.

Объединение моделей через мастер-процесс каплера

Важнейшим этапом развития совместных моделей становится добавление в совместную систему в конце 90-х годов отдельного процесса каплера (Рис. 4). Таким образом, в системе появляется новый компонент, запускаемый как еще один исполняемый файл под общим коммуникатором с компонентами ансамбля. В результате, взаимодействие компонентов происходит теперь только по быстрым каналам вычислительной сети (интерконнекта) суперкомпьютера, без использования файловой системы. Она теперь используется только по своему прямому назначению - для хранения диагностики и контрольных точек. При этом запись данных осуществляется средствами мастер-процесса каждого компонента.

Данная идея была реализована примерно в одно время в двух системах - OASIS3 (2001 год) и ср13 NCAR CCSM (1998 год) (The National Center for Atmospheric Research Community Climate System Model [47], [85]).

ocn

File System

Рис. 4. Объединение моделей через мастер-процесс каплера.

Версия OASIS3 представляет собой отдельную последовательную интерполяционную программу и библиотеку функций для параллельного взаимодействия PSMILe (PRISM System Model Interface Library ). В начале работы главный процесс OASIS3 считывает из специального текстового файла всю необходимую структуру запуска: время счета, информацию о компонентах, частоту обменов и т.д., и во время счета связывание происходит автоматически на основе этих параметров. При необходимости межкомпонентного обмена мастер-процесс собирает данные от всех процессов модели-источника, переинтерполирует полученные глобальные массивы, и, наконец, рассылает результат

компоненту-получателю с учетом его декомпозиции.

Другой пример использования схемы с мастер-процессом каплера - ср13 CCSM. Совместная модель NCAR CCSM - проект с огромной историей. Начальная версия системы появилась в 1980 году, она была одной из первых совместных моделей в мире. Программа была полностью последовательной, все компоненты рассчитывались на единой сетке. В середине 90-х NCAR начал разработку более сложных моделей, что вылилось в модель CSM1 (с капле-ром ср13), запускаемую в виде отдельных исполняемых файлов и поддерживающую SMP-параллелизм (Symmetric Multiprocessing). Идея похожа на мастер-процесс OASIS3, с дополнительной организацией ОрепМР-параллелизма в вычислительных циклах каплера.

Достоинствами подхода объединения моделей через мастер-процесс каплера является делегирование сервисной деятельности (коммуникации, интерполяции данных, сбора диагностики) отдельному компоненту. Для небольших сеток и редких межкомпонентных обменов этот метод можно использовать и сегодня, что определяет популярность пакета OASIS3 уже на протяжении более десяти лет.

К минусам системы с одноядерным каплером стоит отнести, во-первых, полное отсутствие масштабируемости при росте вычислительных ресурсов. Напротив, при увеличении нагрузки на центральный элемент за счет увеличения размера сеток, частоты обмена полей или роста коммуникаторов компонентов, произойдет падение скорости работы совместной системы, а в некоторый момент и полная ее остановка в связи с нехваткой памяти.

Вторым минусом является необходимость ручной синхронизации системы с несколькими исполняемыми файлами. Дело в том, что поскольку модели представляют собой физически различный код, то нет единого общего участка программы, где они бы выполнялись одновременно. Из этого следует необходимость ручной настройки периодов и последовательности обменов при модификациях одного из работающих компонентов или добавлении нового.

Наконец, как видно из рисунка, ввод-вывод в системе реализован только посредством мастер-процесса для каждой отдельной модели.

Объединение моделей через полностью параллельный каплер

В связи с ростом разрешения пространственных сеток и развитием компьютеров с распределенной памятью, в 2004 году появляется новая версия модели CCSM3 с каплером ср16. По структуре она по-прежнему представляет собой несколько одновременно запускаемых программ, каждая из которых выполняется на отдельном множестве процессоров, причем отдельный компонент-каплер несет всю сервисную нагрузку. Нововведением является МРР-параллелизм (Massively Parallel Processing) сервисного компонента-

каплера (Рис. 5).

осп

File System

Рис. 5. Объединение моделей через полностью параллельный каплер.

Начиная с данной версии модели CCSM вся низкоуровневая коммуникация (например, связь двух параллельных компонентов между собой) производится средствами стороннего пакета МСТ [48] (Model Coupling Toolkit). Данная система разрабатывалась, начиная с 2002 года, в Argonne National Laboratory. Философия МСТ - максимально гибкая (за счет использования при сборке GNU Autoconf, утилиты для создания скриптов, которые автоматически настраивают пакеты с исходным кодом так, чтобы они могли работать на множестве UNIX) и нейтральная к приложению система, что означает возможность работы не только с климатическими задачами, так как МСТ не налагает на архитектуру системы никаких ограничений и может использоваться как библиотека посредством вызовов отдельных инструментов. Язык системы - Fortran90 с возможностью использования интерфейсов для С++ и Python.

Для работы с МСТ необходимо, используя встроенные типы данных и методы, написать компонент-каплер, а в физических компонентах создать точки обмена интерполируемыми полями. Сами поля и их декомпозицию перед обменом необходимо загрузить в специальные структуры, которые уже будут отправлены каплеру для переинтерполяции. Минусом такого подхода является необходимость построения явного временного цикла каплера (поскольку его реализация не включена в систему), что в условиях нескольких компонентов с разными периодами обмена может потребовать серьезных дополнительных усилий. Кроме того, для работы с файловой системой необходимо использовать сторонние библиотеки - встроенной системы ввода-вывода в МСТ не предусмотрено. К ограничениям системы также относится отсутствие процедур работы с коммуникаторами (все разбиения множеств процессоров приходится делать вручную) и встроенного механизма построения интерполяционных весов. Наконец, обмениваемые данные моделей должны быть линеаризованы и только

затем переданы в процедуры обмена, что несколько усложняет естественную передачу данных в виде многомерных массивов и подмассивов.

В обзоре конференции 2012 года Earth System Modelling: Today and tomorrow [87] говорится о серьезных трудностях M CT при переходе в экзафлоп-ную эру, связанных с возможной нехваткой памяти из-за необходимости копировать данные и их декомпозицию перед передачей каплеру. Авторы планируют пересматривать некоторые затратные по памяти алгоритмы системы.

Примерно в одно время с появлением модели CCSM3, в 2007 году CERFACS выпускает новую, полностью параллельную версию системы OASIS4 [66]. Четвертый релиз также обладает полностью параллельным каплером. В качестве особенностей системы авторы упоминают собственный параллельный алгоритм поиска соседних ячеек при интерполяции. Запуск моделей по-прежнему происходит в виде отдельных исполняемых файлов под общим коммуникатором (так называемый, псевдо-MPMD режим) средствами MPI-1 или MPI-2, но теперь появляется возможность порождать компонент в процессе счета при поддержке такой возможности установленным на компьютере оборудованием. Кроме того, поддерживается 3 D- и нтер п о л я ци я как расширенная версия двумерной. Несмотря на нововведения, подавляющее большинство пользователей по-прежнему предпочитают отлаженную последовательную версию OASIS3.

Можно заметить, что развитие систем OASIS и CCSM/CESM привело к похожим результатам. Основной механизм интерполяции (маппинга, от англ. mapping) данных реализован в этих системах одинаковым образом - посредством отдельного параллельного компонента и внешнего пакета построения матрицы интерполяционных весов SCRIP (Spherical Coordinate Remapping and Interpolation Package [24]). К недостаткам обеих систем следует отнести режим запуска по-прежнему в виде отдельных исполняемых файлов. Такая возможность зависит от установленного на суперкомпьютере программного обеспечения и далеко не всегда поддерживается и кроме того требует упоминавшейся выше явной синхронизации обмениваемых потоков в коде отдельных моделей. Работа с файловой системой по-прежнему реализована только посредством мастер-процессов отдельных моделей.

Другой системой похожего вида является Flexible Modelling System (FMS), разрабатываемая в Geophisical Fluid Dynamics Laboratory (GFDL). GFDL была основана в 1955 году и сегодня является одним из лидеров в области климатического моделирования. Одни из ее основателей, Kirk Bryan и Mike Сох, в 60-80-х годах создали ставшую сегодня канонической модель океана MOM. Что касается остальных моделей, то это атмосферная модель АМЗ (Atmosphere Model 3), модели земной поверхности LD3 (Land Dynamics 3) и SHE (Soil, Hydrology and Ecology) и модель льда SIS (Sea Ice Simulator). Лаборатория является одним из ведущих мировых центров по моделированию климата, развивающим

собственную.модель Земной системы.

Система РМЭ появляется в 2001 году. Она ориентирована именно на моделирование земных процессов и поддерживает только несколько компонентов - океан, атмосферу, землю и морской лед. Остальные модели (например, биохимии, биосферы, рек и земного льда) не могут работать отдельно и должны наследовать их пространственные сетки. Также сейчас действуют некоторые ограничения - лед и океан должны иметь единую логически прямоугольную сетку, а модели земли и атмосферы - только широтно-долготную. Соглашения РМЭ предоставляют слоты для вставки компонентов в код, которые должны быть помещены в специальные структуры и поддерживать определенные системой методы. В систему включена возможность использования параллельного фильтра Калмана.

ЕМв построена как единый исполняемый файл, в главной программе которого находятся вызовы нужных моделей и каплера, занимающегося переинтерполяцией данных на различные сетки и обеспечивающего межкомпонентную коммуникацию. Система может быть запущена как в последовательном, так и в параллельном режимах. Для включения своего варианта модели в систему требуется выполнить несколько условий: все массивы должны быть размещены в виртуальной памяти в начале программы и быть строго локальными, а ввод-вывод должен осуществляться через РМЭ-библиотеку трр_ю, сетки -представимые в виде прямоугольных. Полный перечень требований к модели можно найти в руководстве к РМЭ [33].

Структура РМЭ представлена на Рис. 6. Она подразделяется на машинный, сеточный, модельный уровни и каплер. Модельный уровень предназначен для пользовательского кода с использованием интерфейса каплера, нижние же два являются скрытыми.

FMS Superstructure User code

FMS Infrastructure

Рис. 6. Структура системы GFDL FMS.

Объединение моделей через полностью параллельный каплер с драйвером

В 2010-2011 годах в CCSM была добавлена модель углеродного цикла, модель атмосферы расширилась до стратосферы и мезосферы и появился новый компонент наземного льда. Так CCSM превратилась в Community Earth

Coupler layer Model layer Distributed grid layer Machine layer

System Model (CESM). Сегодня проект содержит современные модели атмосферы (САМ5), земной поверхности (CLM4), морского льда (CICE4), океана (РОР2) и наземного льда (CISM), объединенные современным каплером ср!7 ¡85j. Появление в системе большого количества новых моделей сильно усложнило процесс ручной синхронизации. Поэтому в новой версии каплера CESM ср17 2012 года появляется так называемый драйвер, то есть некоторая управляющая программа, которая выполняется на всех ядрах моделей. Такое решение приводит систему к виду единого исполняемого файла, что позволяет наконец избавится от необходимости наличия на целевом суперкомпьютере режима одновременного запуска нескольких программ.

Главная программа ср17 выполняет роль высокоуровневого драйвера, вызывающего компоненты с помощью стандартизированных методов init, run и finalize. Драйвер запускается на всех предоставленных процессорах, а функции компонентов и каплера - согласно определенным при старте подмножествам. Таким образом, ср17 состоит из драйвера, контролирующего последовательность всех вызовов модели, процессорную декомпозицию и связь компонентов, в то время как операции каплера (переинтерполяция, работа с файловой системой) выполняются на выделенном для него подмножестве процессоров (Рис. 7). Поскольку интерфейсы стандартизованы, пользователю необходимо привести модель к виду, понятному драйверу, то есть разбить ее на части инициализации, выполнения шага, завершения и т.д.

Список литературы диссертационного исследования кандидат наук Калмыков, Владимир Владимирович, 2013 год

Литература

[1] Munk W.H., Anderson E.R. Notes on the theory of the thermocline // J. Mar. Res. 1948. vol. 7, № 3. P. 276-295.

[2] Sarkisyan Л.5*., 1966. On dynamics of currents in the Equatorial Atlantic. Proc. of the Symp. on the oceanogr. and fisheries resource of the Tropical Atlantic, Abidjan.

[3] Bryan, K., 1969: A numerical method for the study of the circulation of the World ocean. J. Сотр. Physics, 4, 54-72.

[4] Каменкович B.M., Основы динамики океана, Ленинград, Гидрометиздат, 1973, 240 с.

[5] Veronis G., 1973. Large scale ocean circulation, Advances in Applied Mathematics, 13, 2-92.

[6] Williamson D.L., Browning G.L. Comparison of grids and difference approximations for numerical weather prediction over a sphere // J. Appl. Meteor. 1973. V. 106. P. 69-88.

[7] Sarkisyan A.S., 1977. Numerical analysis and forecast of sea currents. Leningrad, Gidrometeoizdat, 183 p. (in Russian).

[8] Fofonoff N. P., Millard R.C. Algorithms for computation of fundamental properties of seawater. UNESCO Technical Papers in Marine Science. -UNESCO, 1983. - vol. 44. - 53 p.

[9] Marchuk G.I., V.P. Dymnikov, V.N. Lykossov, V.B. Zalesny, V.Ya. Galin, 1984. Mathematical modeling of general circulation of the atmosphere and ocean, Leningrad, Gidrometeoizdat, 320 p. (in Russian).

[10] Залесный В. Б. Моделирование крупномасштабных движений в Мировом океане. М.: Отдел вычислит, мат. АН СССР, 1984. 158 с.

[11] Гилл А. Динамика атмосферы и океана. Т. 1-2 // Москва, Мир, 1986, 397 с.

[12] Blumberg, A F, Mellor, G L 1987 A description of a three-dimensional coastal ocean circulation model In Three-Dimensional Coastal Ocean Models, vol 4, Ed N S Heaps, American Geophysical Union, Washington, D С , USA, p 1-16

[13] Marchuk GI, Sarkisyan AS, 1988 Mathematical modelling of ocean circulation Springer-Verlag, 292 p

[14] Sarkisyan A S , 1991 Modelling of Ocean Dynamics, S -Petersburg, 295p (in Russian)

[15] Killworth, P D, D Stamforth, D J Webb, and S Paterson, 1991 The development of a free surface Bryan-Cox-Semtner model J Phys Oceanogr , 21, 1333-1348

[16] DASILVA Atlas of Surface Marine Data 1994 [Электронный ресурс] http. //lridl.ldeo.Columbia.edu/SOURCES/.DASILVA/.SMD94/ (Последнее обращение 19 10 2013)

[17] Geleyn J -F, Bazile E , Bougeault P , Deque M, Ivanovici V, Joly A , Labbe L , Piedehevre J -P , Pznou J -M, Royer J -F proceedings Reading, UK 1994 P 385-402

[18] Feistel R , Hagen E On the GIBBS thermodynamic potential of seawater // Progress m Oceanography - 1995 - vol 36 - P 249-327

[19] Murray R J 1996 Explicit Generation of Orthogonal Grids for Ocean Models, J Comp Physics, 126, 251-273

[20] Mitchell J L , Teague W J, Jacobs G A and Hurlburt H E Kuroshio Extention dynamics from satellite altimetry and a model simulation // J Geophys Res - 1996 - vol 101, № Cl P 1045-1058

[21] Fu, L -L , Smith R D Global Ocean Circulation from Satellite Altimetry and High-Resolution Computer Simulations//Bull Amer Meteor Soc 1996 V 77, 2625-2636

[22] Houghton J T , L G M Filho, В A Callander, N Harris, A Kattenberg, and К Maskell Climate Change 1995 The Science of Climate Change Cambridge University Press 1996

[23] Hallberg R W Stable split time stepping schemes for large-scale ocean modeling //J Comput Phys , 1997 V 135 P 54-65

[24] Jones, P W A User's Guide for SCRIP A Spherical Coordinate Remapping and Interpolation Package // Los Alamos National Laboratory 1998

[25] Smith R.D., Maltrud M.E., Bryan F.O., Hecht M.W. Numerical Simulation of the North Atlantic Ocean at 1/10° //J. Phys. Oceanogr. - 2000. - vol. 30. P. 1532-1561.

[26] Pacanowski R.C., Griffies S.M., 2000, MOM3 Manual, 680p.

[27] Ibrayev R.A., 2001. Model of enclosed and semi-enclosed sea hydrodynamics. Russ. J. Numer. Anal. Math. Modelling, 16(4), 291-304.

[28] Trenberth K.E., Caron J.M. Estimates of Meridional Atmosphere and Ocean Heat Transports // J. of Climate, 2001: V. 14, 3433-3443.

[29] Chassignet E.P., and Z.D. Garraffo, 2001: Viscosity parameterization and the Gulf Stream separation, in From Stirring to Mixing in a Stratified Ocean, Proceedings 'Aha Huliko'a Hawaiian Winter Workshop January 15-19, 2001, edited by P. Muller and D. Henderson, pp. 37-41, University of Hawaii.

[30] Ding C. and He Y., A Ghost Cell Expansion Method for Reducing Communications in Solving PDE Problems, PROCEEDINGS OF SC2001, 2001, ACM Press.

[31] WOA2001, World Ocean Atlas 2001. National Oceanographic Data Center. [Электронный ресурс]. http://www.node.noaa.gov/0C5/W0AO1/pr_woaO1. html (Последнее обращение 15.10.2013)

[32] Tolstykh M.A. Vorticity-divergence semi-Lagrangian shallow-water model on the sphere based on compact finite differences //J. Comput. Phys. 2002. V. 179. P. 180-200.

[33] Balaji V. The FMS Manual: A developer's guide to the GFDL Flexible Modeling System. 2002. http://www.gfdl.noaa.gov/fms/

[34] Дианский H.A., Багно А.В., Залесный В.Б. Сигма-модель глобальной циркуляции океана и ее чувствительность к вариациям напряжения трения ветра // Изв. РАН. Физика атмосферы и океана. 2002. Т. 38. № 4. С. 537-556.

[35] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

[36] Tolstykh M.A. Variable resolution global semi-Lagrangian atmospheric model 11 Russian J. Num. An. & Math. Mod. 2003. 18, №4. 347-361.

[37] McDougall T.J., Jackett D.R., Wright D.G., Feistel R. Accurate and computationally efficient algorithms for potential temperature and density of seawater // J. Atmos. Oceanic Technol. - 2003. - vol. 20. - 730-741.

[38] Parallel Ocean Program (POP) User Guide, Version 2.0, Los Alamos National Laboratory, LACC 99-18, 2003, 78 p.

[39] Large W.G., Yeager S.G. Diurnal to decadal global forcing foi ocean and sea-ice models: the datasets and flux climatologies. NCAR Technical Note: NCAR/TN-460+STR, CGD Division of the National Centre for Atmospheric Research. Boulder, Colorado. 2004. 105 p.

[40] Griffies S.M. 2004. Fundamentals of Ocean Climate Models, Princeton University Press, Princeton, USA, 518 p.

[41] Griffies S., Harrison M.J., Pacanowski R.C., Rosati A.. A Technical Guide to MOM4. GFDL Ocean Group Technical Report No. 5. Princeton, NJ: NOAA / Geophysical Fluid Dynamics Laboratory, 2004. 342 p.

[42] Masumoto Y., Sasaki H., Kagimoto Т., Komon N., Ishida A., Sasai Y., Miyama Т., Motoi Т., Mitsudera H., Takahashi K., Sakuma H. and Yamagata T. A Fifty-Year Eddy-Resolving Simulation of the World Ocean - Preliminary Outcomes of OFES (OGCM for the Earth Simulator) // Journal of Earth Simulator - 2004. - vol. 1. - P. 35-56.

[43] Антонов А.С. Параллельное программирование с использованием технологии MPI: Учебное пособие. -М.: Изд-во МГУ, 2004.-71 с.

[44] Maltrud М.Е., McClean J.L. An eddy resolving global 1/10° ocean simulation // Ocean Modelling, 2005. 8. 31-54.

[45] Griffies, Stephen M., 2005: Some ocean model fundamentals In Ocean Weather Forecasting: An Integrated View of Oceanography, Berlin, Germany, Springer, 19-74.

[46] Collins, N., Theurich, G., DeLuca, C., Suarez, M., Trayanov A.„ Balaji, V., Li, P., Yang, W., Hill, C. and da Silva, A. Design and Implementation of Components in the Earth System Modeling Framework // IJHPCA. 2005. 19, №3. 341-350.

[47] Craig, A.P., Jacob, R. Kaufman B.G. CPL6: The new extensible, high performance parallel coupler for the Community Climate System Model // IJHPCA. 2005. 19. 309-327.

[48] Larson, J.W., Jacob, R. and Ong, E. The Model Coupling Toolkit: a new Fortran90 toolkit for building multiphysics parallel coupled models // IJHPCA. 2005. 19, №3. 277-292.

[49] Володин Е M, Дианский H А Моделирование изменений климата в XX-XXII столетиях с помощью совместной модели общей циркуляции атмосферы и океана // Изв РАН, ФАО 2006 42, №3 291-306

[50] Chassignet Е Р , Hurlburt H Е , Smedstad О M, Halhwell G R , Wallerafl A J, Metzger E J, Blanton В О , Lozano С, Rao D В , Hogan P J, and Srimvasan A Generalized vertical coordinates for eddy-resolving global and coastal ocean forecasts // Oceanography 2006 V 19 P 118-129, http //dx doi org/10 5670/oceanog 2006 95

[51] Pau J С, Sanders В F Performance of Parallel Implementations of an Explicit Finite-Volume Shallow-Water Model // ASCE Journal of Computing m Civil Engineering 2006 20 №2 99-110

[52] Clyne J, Minmni P , Norton A and Rast M (2007) Interactive desktop analysis of high resolution simulations application to turbulent plume dynamics and current sheet formation New J Phys 9 301

[53] Ibrayev R A , 2008 Numerical modeling of thermodynamical processes of the Caspian Sea Moscow, GEOS Publ, 128p

[54] Madec G NEMO ocean engine, Version 3 1 Note du Pole de modélisation, Institute Pierre-Simon Laplace (IPSL), France, 2008 No 27, 197 p ISSN NO 1288-1619

[55] World Modelling Summit for Climate Prediction Workshop report UK WCRP-131, WMO/TD-1468 2008

[56] Large W G , Yeager S G The global climatology of an mterannually varying air-sea flux data set // Climate Dynamics 2009 vol 33, JY° 2-3 P 341-364

[57] Sarkisyan A S , Sundermann J E Modelling Ocean Climate Variability Berlin Springer, 2009 374 p

[58] Griffies S M, Biastoch A , Boning С, Bryan F, Danabasoglu G , Chassignet E P , England M H, Gerdes R , Haak H, Hallberg R W, Hazeleger W, Jungelaus J, Large W G , Madec G , Pirani A , Samuels В L , Schemert M, Gupta A S , Severijns С A , Simmons H L , Treguier A M, Wmton M , Yeager S, Yin J Coordinated ocean-ice reference experiments (COREs) // Ocean Modelling 2009 vol 26, JV° 1-2 P 1-46

[59] Gent P R , Yeager S G , Neale R В , et al (2009) Improvements m a half degree atmosphere/land version of the CCSM Climate Dynamics Doi 10 1007/s00382-009-0614-8

[60] Ибраев Р.А., Калмыков В.В., Ушаков К.В. Мировой океан, изменения климата и суперкомпьютерное моделирование // Сборник: Суперкомпьютерные технологии в науке, образовании и промышленности (Под редакцией: академика В.А. Садовничего, академика Г.И. Савина, чл.-корр. РАН Вл.В. Воеводина).- М.: Издательство Московского университета, 2010. 49-54.

[61] Толстых М.А. Глобальная полулагранжева модель численного прогноза погоды. М, Обнинск: ОАО ФОП , 111 стр, 2010.

[62] Володин Е.М, Гусев А.В., Дианский Н.А. Воспроизведение современного климата с помощью совместной модели общей циркуляции атмосферы и океана INMCM4.0 // Известия РАН. Физика атмосферы и океана. 2010. 46, т. 448-466.

[63] F. Kjolstad, М. Snir Ghost Cell Pattern. Proceeding ParaPLoP '10 Proceedings of the 2010 Workshop on Parallel Programming Patterns Article No. 4 ACM New York, NY, 2010.

[64] Bryan F., Tomas R., Dennis J., et al. (2010) Frontal scale air-sea interaction in high-resolution coupled climate models. Journal of Climate 23(23): 6277-6291.

[65] Wehner M.F., Bala G., Duffy P., et al. (2010) Towards direct simulation of future tropical cyclone statistics in a high-resolution global atmospheric model. Advances in Meteorology, 2010. Doi: 10.1155/2010/915303.

[66] R. Redler, S. Valcke and H. Ritzdorf OASIS4 - A Coupling Software for Next Generation Earth System Modelling // Geoscience Model Development. 2010. 3. 87-104.

[67] Ибраев P.А., Калмыков В.В., Ушаков К.В., Хабеев Р.Н. Вихреразрешаю-щая 1/10° модель Мирового океана. Экологическая безопасность прибрежной и шельфовой зон и комплексное использование ресурсов шельфа: Сб. научн. тр. Вып. 25, том 2 / НАН Украины, МГИ, ИГН, ОФ ИнБЮМ -Севастополь, 2011. 30-44.

[68] McClean J., Bader D.C., Bryan F.O., et al. (2011) A prototype two-decade fully-coupled fine-resolution CCSM simulation. Ocean Modelling 39: 10-30.

[69] The Enthought Python Distribution. [Электронный ресурс]. https://www. enthought.com/products/epd/ (Последнее обращение 20.10.2011)

[70] Network Common Data Form (netCDF). [Электронный ресурс]. http://www. unidata.ucar.edu/software/netcdf/ (Последнее обращение 20.10.2011)

[71] Parallel netCDF. [Электронный ресурс], http://trac.mcs.ajil.gov/ projects/parallel-netcdf. (Последнее обращение 14.08.2011)

[72] PyNGL graphic library. [Электронный ресурс], http://www.pyngl.ucar. edu/. (Последнее обращение 20.10.2011)

[73] Ибраев РА, Хпбеев РН, Ушаков К.В.. 2012. Вихреразрешающая 1/10° модель Мирового океана. Известия РАН. Физика атмосферы и океана, 48(1), 45-55.

[74] Dennis, J.M., Vertenstem М., Р.Н. Worley Computational performance of ultra-high-resolution capability in the Community Earth System Mode // IJHPCA. 2012. 26. 5-16.

[75] Руководство пользователя OASIS-MCT. [Электронный ресурс], https://verc.enes.org/oasis/oasis-dedicated-user-support-1/ documentation/oasis3-mct-user-guide. (Последнее обращение 20.10.2013)

[76] Community Earth System Model, version 1.1: руководство пользователя. 2012. [Электронный ресурс], http://www.cesm.ucar.edu/models/cesml.1/ cesm/doc/usersguide/bookl .html, (Последнее обращение 10.10.2013)

[77] Community Earth System Model cpl7: руководство пользователя. 2012. [Электронный ресурс], http://www.cesm.ucar.edu/models/cesml.0/cpl7/ cpl7_doc/ug.pdf. (Последнее обращение 21.10.2013)

[78] Tsai, Y.M., H.C. Kuo, Y.C. Chang A new parallel domain-decomposed Chebyshev collocation method for atmospheric and oceanic modeling. // Terrestrial, Atmospheric and Oceanic Sciences. 2012. 23, 439-450.

[79] Worley P., Capturing Computer Performance Variability in CESM Experiments, Oak Ridge National Laboratory, 17th Annual CESM Workshop, June 18-21, 2012, Breckenridge, CO, USA

[80] Etopo Global Relief. Сайт «NOAA. National Oceanographic Data Center». [Электронный ресурс], www.ngdc.noaa.gov/mgg/global/ (Последнее обращение 01.10.2012)

[81] Climate Data Operators (CDO) [Электронный ресурс], https://code.zmaw. de/projects/cdo/. (Последнее обращение 20.10.2012)

[82] Hierarchical Data Format (HDF). [Электронный ресурс], http://www. hdfgroup.org/HDF5/ (Последнее обращение 20.10.2012)

[83] Суперкомпьютер «Ломоносов» Московского Государственного Университета им. Ломоносова. [Электронный ресурс], http://parallel.ru/cluster/ lomonosov.html. (Последнее обращение 02.09.2012)

[84] Межведомственный суперкомпьютерный центр Российской академии наук [Электронный ресурс], http://www.jscc.ru/. (Последнее обращение 02.09.2012)

[85] Craig, А.P., Vertenstem, М., Jacob, R.L. A new flexible coupler for earth system modeling developed for CCSM4 and CESM1 // IJHPCA. 2012. 26, №1. 31-42.

[86] Dennis, J. M., Edwards, J., Loy, R., Jacob, R., Mirin, A.A., Craig, A.P., and Vertenstem, M. An application-level parallel I/O library for Earth system models // IJHPCA. 2012. 26. 43-53.

[87] Valcke, S., Balaji, V, Craig, A., DeLuca, C., Dunlap, R., Ford, R. W., Jacob, R., Larson, J., O'Kumghttons, R., Riley, G. D., and Vertenstem, M. Coupling technologies for Earth System Modelling // Geosci. Model Dev., 2012. 5, 15891596.

[88] Valcke, S. The OASIS3 coupler: a European climate modelling community software, Geosci. Model Dev., 6, 373-388, doi:10.5194/gmd-6-373-2013, 2013.

[89] Ocean Atmosphere Sea Ice Soil (OASIS) Project official website. [Электронный ресурс], https://verc.enes.org/oasis (Последнее обращение 09.10.2013)

[90] Проект по составлению рейтинга и описаний 500 самых мощных общественно известных компьютерных систем мира. [Электронный ресурс]. http://www.top500.org/list/2013/06/ (Последнее обращение 13.10.2013)

[91] ЕСМWF-WWRP/THORPEX Polar Prediction Workshop, 24-27 June 2013, European Centre for Medium Range Weather Forecasts, Reading, UK

[92] Regional Cooperation for Limited Area modeling in Central Europe. [Электронный ресурс], http://www.rclace.eu (Последнее обращение 20.10.2013)

[93] М.А. Толстых, Р.А. Ибраев, Е.М. Володин, К.В. Ушаков, В.В. Калмыков, А.В. Шляева, В.Г. Мизяк, Р.Н. Хабеев; Предисл.: В. А. Садовничий Модели глобальной атмосферы и Мирового океана: алгоритмы и суперкомпьютерные технологии. М.: Издательство МГУ, 2013.

[94] Калмыков В.В., Ибраев Р.А. Программный комплекс совместного моделирования системы океан-лед-атмосфера-почва на массивно-параллельных компьютерах // Вычислительные методы и программирование. 2013. 14. 8895.

[95] Калмыков В.В., Ибраев Р. А. Алгоритм с перекрытиями для решения системы уравнений мелкой воды на параллельных компьютерах с распределенной

памятью // Вестник УГАТУ: науч. журн. Уфимск. гос. авиац. техн. ун-та. 2013. 17. 5(58). 3. 252-259.