Реализация моделей климата на многопроцессорных вычислительных системах кластерного типа тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Глухов, Валерий Николаевич

• Глухов, Валерий Николаевич
• кандидат физико-математических наук
• 2004

Оглавление диссертации кандидат физико-математических наук Глухов, Валерий Николаевич

Список иллюстраций

Список таблиц

Введение

1 Постановка задачи

1.1 Формулировка уравнений гидротермодинамики атмосферы

1.2 Численные методы решения уравнений гидротермодинамики атмосферы

1.3 Проблема эффективной реализации программ на многопроцессорных вычислительных системах.

2 Реализация атмосферных динамических блоков на многопроцессорных кластерах

2.1 Тест Хельда-Суареза.

2.2 Коммуникационное ядро.

2.3 Параллельная реализация конечно-разностного динамического блока.

2.4 Параллельная реализация спектрального динамического блока

3 Реализация моделей общей циркуляции атмосферы и океана ИВМ РАН на параллельных вычислительных системах

3.1 Реализация модели общей циркуляции атмосферы ИВМ РАН на многопроцессорных ЭВМ с распределенной памятью

3.2 Реализация модели общей циркуляции океана ИВМ РАН на многопроцессорных ЭВМ с общей памятью.

Введение диссертации (часть автореферата) на тему «Реализация моделей климата на многопроцессорных вычислительных системах кластерного типа»

Модели общей циркуляции атмосферы Земли и Мирового океана, являясь на сегодняшний день основным инструментом для изучения изменения климата нашей планеты, происходящего под воздействием естественных и антропогенных факторов, представляют собой достаточно сложные, как с алгоритмической, так и с программной точки зрения системы, предъявляющие серьезные требования к аппаратным ресурсам современных вычислительных комплексов.

Фактически, каждый новый виток в развитии вычислительной техники давал "повод" для совершенствования моделей. На первых порах, это развитие происходило за счет замены электронных ламп транзисторами, затем, микросхемами, наконец, появились микропроцессоры, тактовая частота которых непрерывно возрастала, увеличивался также размер оперативной памяти ЭВМ и скорость доступа к ней.

Как результат, увеличивалось пространственное разрешение моделей, происходили качественные изменения в формулировках их основных уравнений, в параметризациях физических процессов. Так, используемое на заре компьютерной эры, уравнение переноса вихря было заменено полными уравнениями гидротермодинамики атмосферы, а в настоящее время все чаще применяются негидростатические модели [4]. Одновременно эволюционировали языки программирования, на которых были написаны модели.

Однако, как было отмечено в [1], основа роста производительности ЭВМ на протяжении последних десятилетий заключалась, прежде всего, в развитии их архитектуры, нежели элементной базы, в котором основную роль играла идея одновременной обработки данных - несколькими арифметическими устройствами, процессорами, узлами - то есть, концепция параллельных вычислений, воплощением которой стали векторные, векторно-конвейерные, массивно-параллельные, кластерные вычислительные системы. Последние сейчас доминируют на рынке суперкомпьютеров, из-за их сравнительно низкой стоимости по отношению к производительности.

Как правило, кластеры состоят из вычислительных узлов, соединенных высокоскоростной сетью (Myrinet, SCI, Fast Ethernet). Каждый узел имеет несколько (обычно, от 2 до 16) процессоров, адресующих общую память. Процессоры, принадлежащие различным узлам, способны обмениваться сообщениями через сеть. Построенная таким образом многоуров-невость аппаратного параллелизма выражается на программном уровне в применении парадигм (моделей) общей и разделенной памяти.

Первая модель программирования, в основе которой лежит предположение о равнозначности процессоров по отношению к общей памяти, реализуется стандартом ОрепМР [5], состоящего из набора директив и функций, "указывающих" компилятору фрагменты в программе, допускающие параллельную обработку. Руководствуясь ими, основная программа создает нити (threads), адресующие общую память, выполнение которых может осуществляться несколькими процессорами одновременно.

Модель общей памяти расчитана, главным образом, на многопроцессорные машины SMP архитектуры, ее существенным недостатком при использовании на кластерах является то, что количество процессоров, ограничивается всего лишь одним узлом. Однако, стоит отметить, что существуют технологии (ccNUMA), позволяющие приложениям работать с разделенной памятью как с общей.

Вторая модель базируется на предположении о том, что каждый процессор обладает своей собственной разделенной памятью, процессоры способны обмениваться информацией посредством передачи сообщений. Наиболее распространенным стандартом, поддерживающим эту модель, на сегодняшний день является стандарт MPI [6]. При использовании MPI количество параллельных процессов не меняется в течении всего времени выполнения программы, каждый процесс работает в своем адресном пространстве, основной способ взаимодействия между ними - явная передача сообщений, которая физически осуществляется через сеть в случае, если процессоры принадлежат разным узлам, и - посредством копирования данных в специальный буфер в общей памяти в случае, если процессоры принадлежат одному узлу.

Общепризнано, что распараллеливание программ с помощью MPI требует более существенных модификаций их последовательного кода и, как следствие, больших трудозатрат по сравнению с ОрепМР [19].

Обобщением этих двух моделей программирования является гибридное распараллеливание, использующее ОрепМР на нижнем уровне, внутри узлов, a MPI - для обменов данными между узлами.

Данная работа посвящена прикладным аспектам применения параллельных вычислений в задачах моделирования климата и численного прогноза погоды, основные принципы которого были сформулированы еще Ричардсоном в 1922 г, задолго до создания первых ЭВМ. Описанная им в [3] "фабрика прогноза" (forecast factory) должна была состоять из 64 тысяч вычислителей, производящих расчет погоды для всего Земного шара.

Представьте себе зал, похожий на театр, но с рядами и ложами, идущими по кругу и проходящими через то место, где обычно находится сцена. Стены этого зала разукрашены как карта земного шара. Потолок представляет из себя северные полярные области, Англия - там, где ложи верхнего яруса, тропики -где ложи нижнего яруса, Австралия - где бельэтаж, а Антарктида - где партер. Громадное количество вычислителей заняты работой: каждый расчитывает погоду в той части земного шара, где он сидит, отвечая за расчет одного уравнения или даже части уравнения. Работа каждого региона координируется чиновником более высокого ранга. Многочисленные светящиеся цифирки показывают мгновенные значения так, что соседние вычислители могут их читать. Каждая цифра светиться в три стороны, передавая свое значение на север и на юг. Из пола партера на половину высоты зала возвышается высокий столб, на конце которого - кабина, в которой находится человек, отвечающий за весь зал целиком. Он окружен несколькими помощниками и курьерами. Одна из его обязанностей - поддерживать постоянную скорость вычислений в различных частях земного шара. В этом отношении, он похож на дирижера оркестром, в котором инструментами являются логарифмические линейки и вычислительные машины, но вместо того, чтобы размахивать палочкой, он светит розовым лучом на те области, которые считают быстрее остальных, а синим - на отстающие области.1

В контексте сегодняшних многопроцессорных ЭВМ эти принципы известны как распределение вычислений между процессорами, обмены данными между ними, их равномерная загрузка. Все они имели применение в рабо

1 переведено с англ. автором те по созданию параллельной версии модели общей циркуляции атмосферы (ОЦА) ИВМ РАН.

Модель ОЦА ИВМ РАН является инструментом для изучения современного климата Земли, его внутренней изменчивости и изменений под воздействием антропогенных внешних воздействий [12]. Модель решает систему уравнений гидротермодинамики атмосферы в форме Громеко-Лэмба в гидростатическом приближении. Прогностическими величинами являются скорость ветра, температура, приземное давление, относительная влажность; независимые переменные - широта, долгота, вертикальная сг-координата. Дискретизация прогностических величин выполнена на "смещенной" С-сетке Аракавы. Интегрирование по времени осуществляется по полунеявной схеме. Модель включает в себя параметризации коротковолновой и длинноволновой радиации, пограничного слоя Земли, конвекции, крупномасштабной конденсации, растительности, почвы и снежного покрова. Программная реализация модели выполнена на языке Фортран 77.

Модель участвовала в международной программе сравнения атмосферных моделей AMIP [13, 14] и во многих других экспериментах [15, 16, 17, 18]. При этом большая часть расчетов проводилась либо на персональных компьютерах, либо на рабочих станциях. Типичные разрешения пространственной сетки модели 4° х 5°, 2° х 2.5°, 1° х 1.25° по широте и долготе, соответственно, и 21 уровень - по вертикали. Данная работа посвящена результатам адаптации модели к параллельной вычислительной системе с распределенной памятью.

Первая попытка такой адаптации была предпринята автором совместно с Уртминцевым А.Г. в 1995-96 гг. Распараллеливание проводилось на многопроцессорном комплексе МВС100, установленном в Институте прикладной математики им. М.В. Келдыша. Комплекс состоял из модулей, оснащенных процессорами i860XP с тактовой частотой 40 MHz, используемыми для вычислений, и транспьютерами Т805 предназначенными для обмена данными. Пропускная способность каналов MBG100 составляла примерно 1 Мб в секунду, время латентности сообщений - 1 мс, а пиковая производительность всей системы - 100 Gflops. Тогда модель ОЦА имела пространственное разрешение 4° х 5° и 7 вертикальных уровней. Данные распределялись по процессорам равномерными полосами по широте, а для решения уравнения Гельмгольца, возникающего при применении полунеявной схемы для интегрирования динамических уравнений модели, - конвейер2. В результате, на МВС100 было достигнуто ускорение 4 на 9 процессорах и дальнейшее увеличение количества процессоров не давало дополнительного ускорения.

Полученный параллельный код модели, к сожалению, не был востребован практически, отчасти, по причине не высокого ускорения, и не модифицировался, в то время, как последовательный вариант претерпел существенные изменения, в основном, в физических процедурах. Кроме того, пространственное разрешение модели было увеличено до 2° х 2.5° по горизонтали и 21 уровня по вертикали. Новая последовательная версия модели в 2001 г. была опять адаптирована к многопроцессорной машине, но на этот раз, - к кластерной системе МВСЮООМ, пиковая производительность которой составляет 1 TFlops.

Суперкомпьютер МВСЮООМ состоит из 6 базовых блоков, каждый из которых включает в себя 64 двухпроцессорных модуля. Модули собраны на базе процессоров Alpha21264A, 667 MHz и объединены высокоскоростной сетью Myrinet (2 Gbit/s), используемой только для межпроцессорных коммуникаций во время параллельных вычислений.

Также параллельная версия модели была адаптирована к SCI-кластеру НИВЦ МГУ, собранному на базе процессоров Pentium III, 500-550 MHz и высокоскоростной сетевой технологии SCI.

Для распараллеливания модели было применено более общее двумерное распределение данных как по долготе так и по широте. Для Фурье фильтрации полей вблизи полюсов данные транспонировались, таким образом, что каждый процессор обладал частью широт, частью вертикальных уровней и всеми долготами. После завершения фильтрации восстанавливалось первоначальное распределение данных по широте и долготе. Для решения уравнения Гельмгольца использовалось двойное транспонирование данных - сначала, собирались все долготы, а затем все широты.

В 2001 г. параллельная версии атмосферной модели с разрешением 2° х 2.5° и 21 вертикальным уровнем показала ускорение 32 на 64 процессорах

2Идея построения конвейера была предложена А.В. Забродиным в личной беседе.

МВСЮООМ и 14 на 32 процессорах SCI-кластера НИВЦ МГУ.

Аналогичные работы, направленные на построение параллельных климатических моделей проводились зарубежом.

Так, программа СНАММР, предпринятая Отделом энергетики Соединенных Штатов (US Department of Energy) в 1990 г. и расчитанная на 10 лет, преследовала в качестве основной цели создание нового поколения моделей климата, способных эффективно использовать высокопроизводительные суперкомпьютеры. В первоначальном плане [7] приводилась цифра 10 Tflops - такой должна была стать производительность совместной климатической модели к 2000 г. В достижении этой цели основную ставку планировалось сделать на массивно:параллельные системы, состоящие из большого числа (100-1000) относительно недорогих скалярных процессоров.

Наряду с вычислительными системами эволюционировали и применяемые в моделях алгоритмы. До недавнего времени основными методами численного интегрирования полных атмосферных уравнений были конечно-разностный, спектральный и полулагранжев методы [21, 22]. Также представляется весьма перспективным метод спектральных элементов [20].

Построенная NCAR, модель атмосферы ССМ2 [11], использующая спектральный метод для дискретизации основных прогностических уравнений и полулагранжеву схему переноса влаги, при горизонтальном разрешении Т170 с 18 вертикальными уровнями достигла производительности 3.18 Gflops на 1024 процессорах Paragon, и 2.27 Gflops - на 128 процессорах IBM SP2, что сравнимо с 5.3 Gflops, полученными на Cray С90/16.

Модель среднесрочного прогноза погоды MRF, созданная в NCEP, также основана на спектральном методе. Она используется индийским Национальным центром среднесрочного прогноза погоды (NCMRWF) в качестве оперативной с 1994 г. Первоначально, модель была распараллелена на вычислительной системе PARAM10000 вдоль широты [23]. Однако, двумерное распараллеливание по широте и долготе позволило достичь в два раза большего ускорения [24].

Применение парадигмы распределенной памяти в работе по адаптации глобальных атмосферных моделей к многопроцессорным кластерам основывалась на методе декомпозиции расчетной области по независимым пространственным переменным. При этом устанавливалось взаимнооднозначное соответствие между процессорами и подобластями так, что каждый процессор обрабатывал соответствующую ему подобласть. Как показала практика, большая часть модификаций последовательного кода моделей заключается в изменении границ циклов по распределенным размерностям и организации межпроцессорных обменов данными; при чем, если изменение параметров циклов легко осуществимо в текстовом редакторе командой "Найти и заменить.", программирование обменов - гораздо более трудоемкая задача, решение которой определяется структурой данных в данном конкретном приложении.

Для решения этой задачи автором была разработана библиотека коммуникационных процедур ParLib, применение которой не ограничивается глобальными атмосферными моделями, но которая применима для большого набора задач математической физики, использующих прямоугольные сетки. В таких приложениях, как правило, данные хранятся в многомерных массивах, размерности которых соответствуют пространственным размерностям или различным физическим переменным. Коммуникационные процедуры, входящие в библиотеку, построены на основе универсального описания массивов данных и их распределения по процессорам. Библиотека реализует такие операции как обмены граничными значениями и транспонирование данных.

Цель данной работы заключается в разработке технологии адаптации климатических моделей к многопроцессорным вычислительным комплексам параллельной архитектуры, которая складывается из изучения параллелизма алгоритмов моделей, выбора методов их реализации на параллельных ЭВМ, выявления трудно распараллеливаемых блоков, их оптимизации, отладки и верификации параллельных версий моделей. Окончательным итогом адаптации является значительное уменьшении времени счета моделей за счет полученного ускорения.

Научная новизна работы состоит в применении метода двумерной декомпозиции расчетной области по широте и долготе для распараллеливания модели ОЦА ИВМ РАН. Было показано, его преимущество по сравнению с одномерным разбиением. Проведено сравнение ускорения, полученного при применении явной и полунеявной схем для решения уравнений гидротермодинамики атмосферы конечно-разностным методом. Для уравнения Гельмгольца, возникающего в полунеявной схеме, испытаны итерационные методы. Ускорение, полученное для конечно-разностного метода сопоставлено с ускорением для спектрального метода. Модель океана ИВМ РАН реализована на параллельных вычислительных системах с общей памятью.

Практическая ценность работы состоит в реализации модели общей циркуляции атмосферы ИВМ РАН на многопроцессорной вычислительной системе с распределенной памятью, а модели общей циркуляции океана ИВМ РАН на многопроцессорной системе с общей памятью. В процессе работы, было проведено сопоставление различных методов и создана библиотека коммуникационных процедур.

В первой главе приводятся уравнения, описывающие крупномасштабную динамику атмосферы и океана, методы их численного решения, кроме того описываются целевые архитектуры ЭВМ. В качестве методов решения атмосферных уравнений приводится метод конечных разностей и спектральный метод.

Во второй главе рассматриваются различные подходы к распараллеливанию динамических блоков атмосферных моделей, проводится их сравнение. Кроме того глава содержит в себе описание библиотеки коммуникационных процедур ParLib.

Третья глава содержит результаты адаптации моделей общей циркуляции атмосферы и океана ИВМ РАН к многопроцессорным ЭВМ с распределенной и общей памятью, соответственно.

В заключении кратко сформулированы основные результаты, полученные в диссертационной работе.

Результаты диссертации докладывались на научных семинарах ИВМ РАН, НИВЦ МГУ, а также на конференции The International Conference on Computational Science (ICCS 2002), проходившей в апреле 2002 г. в Амстердаме (Нидерланды).

Автор выражает глубокую признательность своему научному руководителю академику Воеводину В.В., члену-корреспонденту РАН Лыкосо-ву В.Н., д.ф-м.н Володину Е.М. к.ф-м.н Фролову А.В. за помощь при работе над диссертацией.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Глухов, Валерий Николаевич

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. Разработана тахнология адаптации моделей климата к многопроцес-соным вычислительным системам.

2. Модель общей циркуляции атмосферы ИВМ РАН была реализована на вычислительных системах с распределенной памятью с использованием MPI. Для ее распараллеливания был применен метод двумерной декомпозиции расчетной области по широте и долготе. Для решения дискретного уравнения Гельмгольца, возникающего при применении полунеявной схемы интегрирования по времени, прямым методом, включающим преобразование Фурье вдоль долготы и трех-диагональные прогонки вдоль широты, данные транспонировались два раза: сначала, в плоскости высота-дол гота, затем, - в плоскости широта-долгота. При вычислении производных методом конечных разностей и интерполяции значений горизонтальных компонент скорости в центральные точки ячеек смещенной С-сетки Аракавы процессы обменивались значениями полей в граничных точках подобластей.

Кроме того, была изменена численная схема, применявшаяся в процедурах вычисления вертикальной диффузии и переноса гравитационных волн. Сделанные модификации не повлекли за собой существенного ухудшения адекватности воспроизведения климата моделью.

Общее ускорение вычислительных процедур модели при разрешении пространственной сетки 2° х 2.5° по горизонтали и 21 уровень по вертикали на 128 процессорах вычислительной системы МВСЮООМ составило 31, а на 36 процессорах SCI-кластера НИВЦ МГУ - 15. Время расчета климата на один месяц модельного времени на вычислительной системе МВСЮООМ уменьшилось с 5 часов 14 минут на одном процессоре до 15 минут 20 секунд на 64 процессорах. Плохо распараллеливается процедура, осуществляющая фильтрацию полей вблизи полюсов.

3. Была разработана библиотека коммуникационных процедур для решения задач математической физики на регулярных сетках, включающая в себя процедуры транспонирования данных и обмена граничными значениями. Коммуникации могут осуществляться в асинхронном режиме, что позволяет проводить их одновременно с вычислениями.

4. Создан набор тестовых программ для измерения производительности многопроцессорных систем с распределенной памятью, в основе которого лежат динамические блоки глобальных атмосферных моделей. Набор включает в себя метод конечных разностей на смещенной С-сетке Аракавы и спектральный метод. Конечно-разностный тест может использоваться для сравнения эффективности явной и полунеявную схемы, а также прямого и итерационных методов решения дискретного уравнения Гельмгольца.

Оба теста используют двумерное распределение данных по процессорам. Метод распараллеливания конечно-разностного теста аналогичен методу, примененному в модели общей циркуляции атмосферы, в то время как спектральный тест использует транспонирование данных в плоскости высота-долгота для вычисления быстрого преобразования Фурье и глобальное суммирование для вычисления обратного преобразования Лежандра.

5. Модель океана ИВМ РАН была реализована на многопроцессорных вычислительных системах с общей памятью с применением ОрепМР. Ее ускорение при разрешении пространственной сетки 2° х 2.5° по горизонтали и 33 уровнях по вертикали на 4 процессорах вычислительной системы Initel Itanium II составило 2.6.

Было показано, что результаты расчетов параллельной версии модели совпадают с результатами расчетов последовательной с высокой степенью точности, а разница объяснима влиянием ошибок округления и переходом к красно-черному разбиению в процедурах решения уравнение для функции тока и переноса диффузии температуры и солености.

Заключение

В качестве основных результатов, выносимых на защиту диссертации "Реализация моделей климата на многопроцессорных вычислительных системах кластерного типа", предлагаются следующие:

Список литературы диссертационного исследования кандидат физико-математических наук Глухов, Валерий Николаевич, 2004 год

1. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления.// СПб.: БХВ-Петербург, 2002.

2. Arakawa A., Lamb V.R. Computational design of the basic dynamical processes of the UCLA general circulation model// Methods in Computational Physycs, J. Chang edit., Academic Press 1977,17, pp 173-265

3. Richardson L.F. Weather prediction by numerical process// Cambridge University Press, 1922.

4. Аргучинцев В.К. Негидростатическая модель мезо- и микроклимата// Оптика атмосферы и океана, том 12, 1999, № 5, стр. 466-469.

5. Chandra R., Kohr D., Menon R., Dagum L., Maydan D. McDonald J. Parallel programming in OpenMP// Morgan Kaufmann, 2000.

6. Snir M., Otto S., Huss-Lederman S., Walker D., Dongarra J.: MPI: The Complete Reference// The MIT Press, Cambridge, MA, 1998

7. Program Plan for the CHAMMP Climate Modeling Program// US Department of Energy, 1990.

8. Foster I.T., Worley P.H. Parallel algorithms for the spectral transform method// Technical Report ORNL/TM-12507, Oak Ridge National Laboratoty, Oak Ridge, TN, April 1994.

9. Acker T.L., Buja L.E., Rosinski J.M., Truesdale J.E. User's guide to NCAR CCM3// NCAR Technical Note TN-421+IA, National Center for Atmospheric Research, Boulder, CO, May 1996.

10. Parallel ocean program (POP) user guide// Los Alamos National Laboratory, LACC 99-18, Feb. 2002.

11. Drake J., Foster I., Michalakes J., Toonen В., Wodley P. Design and performance of a scalable parallel community climate model// Parallel Computing 21, 1995, pp 1571-1591.

12. Алексеев В.А., Володин E.M., Галин В.Я., Дымников В.П., Лыко-сов В.Н. Моделирование современного климата с помощью атмосферной модели ИВМ РАН// Препринт ИВМ № 2086-В98, 1998, 180 с.

13. Galin V.Y. AMIP run by the DNM GCM. Abstracts of the First International AMIP Scientific Conference 1995, Monterey, California, p. 36.

14. Володин E.M., Галин В.Я. Чувствительность летнего индийского му-сона к Эль-Ниньо 1979-1998 гг: по данным модели общей циркуляции атмосферы ИВМ РАН. Метерология и гидрология. №. 10, 2000, стр. 1016.

15. Глазунов А.В., Дианский Н.А., Дымников В.П. Локальный и глобальный отклики атмосферной циркуляции на аномалии поверхностной температуры в средних широтах// Изв. РАН. ФаиО. 2001. Т. 37, 3.

16. Володин Е.М. Совместная численная модель общей циркуляции атмосферы и тропиков Тихого океана// Изв. РАН. ФаиО. 2001, № 6, стр. 1-16.

17. Lykossov V.N. Numerical modelling of interaction between the atmospheric boundary layer and the Antarctic ice shelf// Rus. J. of Num. Anal, and Math. Modelling. 2001. V. 16, p. 315-330.

18. Pan Y. Teaching parallel programming using both high-level and low-level languages// Lecture notes in cmoputer science, V. 2331, pp. 888-897.

19. Loft R.D., Thomas S.J., Dennis J.M. Terascale spectral element dynamical core for atmospheric general circulation models. SC2001, November 2001, Denver (c) 2001 ACM 1-58113-293-X/01/0011.

20. Numerical methods Used in Atmospheric Models. GARP Publication Series, № 17, September, 1979. World Meteorological Organization International Council of Scientific Unions.

21. Stanifotrh A., Cote J. Semi-Lagrangian integration schemes for atmospheric models A review. Mon. Weather Rev. 119, 1991, pp. 2206-2223.

22. Held I.M., Suarez M.J. A proposal for the intercomparison of the dynamical cores of atmospheric general circulation models. Bull. Amer. Met. Soc., 75, pp. 1825-1830.

23. Robert N.A., The integration of a low-order spectral form of the primitive meteorological equations. J. Meteor Soc. Japan, 44, pp. 237-245, 1966.

24. Бейтмен Г., Эрдейи А. Высшие трансцендентные функции в трех томах, СМБ, «Наука»: т.1. Гипергеометрическая функция и ее обобщения. Функции Лежандра.

25. Марчук Г.И., Агошков В.И. Введение в проекционно-сеточные методы. М.:Наука, 1981.

26. Krylov V.I. Approximate calculation of integrals, ACM Monograph Series, The MacMillan Company, New York, NY, 1962.

27. Kunha R., Hopkins T. PIM 2.0 the parallel iterative methods package for systems of linear equations user's guide (Fortran 77 version). Technicalreport 1-96, University of Kent, Computing Laboratory, University of Kent, Canterbury, UK, January, 1996.

28. Алексеев В.В., Залесный В.Б. Численная модель крупномасштабной динамики океана. Вычислительные процессы и системы. Под ред. Г.И. Марчука. Вып. 10 МгНаука, 1984. стр 232-252.

29. Багно А.В. Численное исследование климатической термохалинной циркуляции Северной Атлантики. Канд. диссер. на соиск. уч. степ, ф.-м.н 1993. Москва, ИВМ, 110 с.

30. Дианский Н.А., Багно А.В. Модель крупномасштабной динамики океана РОМ1. Руководство пользователя. Препринт ИВМ РАН, 1999.

31. Janakiraman S., Ratnam J.V., Kaginalkar A. Study of machine roundoff response on weather forecasting simulations using high performance computing systems. HPC Asia, Beijing, 2000.

32. Rusakov A.S., Diansky N.A. Parallel ocean general circulation model for distributed memory computer systems. Parallel CFD 2003. Book of abstracts. May 13-15, Moscow, Russia.

33. Diansky N.A.,Volodin E.M., Reproducing the present-day climate using a coupled atmosphere-ocean general circulation model. Izvestia, Atmospheric and Oceanic Physics, Vol. 38, No. 6, 2002.

34. Дианский H.A., Багно A.B., Залесный В.Б. Сигма-модель глобальной циркуляции океана и ее чувствительность к вариациям напряжения трения ветра // Изв. АН. Физика атмосферы и океана. 2002. Т. 38, № 4. С. 537-556.

35. Ортега Дж. Введение в параллельные и векторные метды решения линейных систем. Пер. с англ. М.: Мир, 1991.