Численное моделирование задач газовой динамики на гибридных вычислительных системах тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Давыдов, Александр Александрович

• Давыдов, Александр Александрович
• кандидат физико-математических наук
• 2012

Оглавление диссертации кандидат физико-математических наук Давыдов, Александр Александрович

Оглавление

Введение

1 NVidia CUDA. Архитектура. Примеры. Стратегия программирования

1.1 Архитектура CUDA

1.2 Физическая модель CUDA GPU

1.2.1 Мультипроцессоры

1.2.2 Память

1.3 Модель программирования

1.4 Примеры использования

1.4.1 Последовательный алгоритм

1.4.2 Алгоритм для CUDA GPU

1.4.3 Производительность GPU

1.5 Стратегия программирования

1.6 Реализации конечно-объемных разностных схем на архитектуре CUDA. Ускорение. Примеры расчетов

1.6.1 Разбиение расчетной сетки. Запуск ядра

1.6.2 Ускорение расчетов на GPU

1.7 Выводы

2 Параллельный программный комплекс «Экспресс-3D»

2.1 Физический, вычислительный

и программный объекты

2.2 Расчетная сетка. Топология расположения блоков

2.3 Обмен данными между блоками

2.3.1 Настройка связей между блоками

2.4 Обмен данными между процессорами. Коммуникационная библиотека ЭИтет-экспресс

2.5 Вычислительные ресурсы

2.5.1 Гибридная вычислительная система «МВС-Экспресс»

2.5.2 Гибридная вычислительная система К-100

2.6 Эффективность параллельной реализации и балансировка загрузки

2.7 Выводы

3 Моделирование течений слабосжимаемого газа

3.1 Система квазигазодинамических уравнений и кинетические схемы

3.2 Явная схема для моделирования течений слабосжимаемого

газа и жидкости

3.2.1 Реализация разностной схемы для КГД уравнений на

архитектуре С1ША

3.3 Выводы

4 Расчет обтекания крылатого тела сверхзвуковым потоком газа под углом атаки

4.1 Постановка задачи

4.2 Расчетная область и сетка

4.3 Результаты расчетов

4.4 Выводы

5 Моделирование истечения жидкости из резервуара

5.1 Верификация вычислительных алгоритмов

5.2 Постановка задачи об истечении жидкости из резервуара

5.3 Результаты расчетов

5.4 Выводы

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

Литература

Введение диссертации (часть автореферата) на тему «Численное моделирование задач газовой динамики на гибридных вычислительных системах»

Введение

Диссертационная работа посвящена актуальной проблеме создания прикладного программного обеспечения для гибридных вычислительных систем с графическими процессорами.

Гибридная вычислительная система - это параллельная вычислительная система, в которой, наряду с универсальными процессорами, используются различные типы ускорителей, или сопроцессоров, обладающих нестандартной архитектурой (векторной, мультитредовой, реконфигурируемой под конкретную задачу и т.п.). Основу гибридного суперкомпьютера составляет многопроцессорная вычислительная система из многоядерных процессорных узлов традиционной архитектуры. Каждый из вычислительных узлов снабжается небольшим (обычно 1-4) числом вычислителей нетрадиционной архитектуры, используемых в качестве сопроцессоров для ускорения наиболее трудоемких фрагментов приложения.

В последние несколько лет в области высокопроизводительных вычислений отмечается быстро растущий интерес к нетрадиционным архитектурам вычислителей. Причина этого явления — совершенно конкретные технические факторы, имеющие долговременный, системный характер.

Развитие традиционных процессоров в сторону усложнения их внутренней структуры привело к феномену доминирования вспомогательных операций во времени исполнения программ вычислительного характера (см. напр. [21]). Простые по внутренней структуре процессоры 20—30-летней давности медленно выполняли арифметические операции над веществен-

ными числами, на их фоне вспомогательные действия по вычислению адресов этих чисел и выборке их из памяти были мало заметны. Усложнение внутренней структуры процессоров с целью ускорения операций над вещественными числами было магистральным путем развития аппаратной базы высокопроизводительных вычислений.

Современные процессоры в результате многолетнего развития по этому пути, выполняют "полезные" операции с плавающими числами так же быстро, как "вспомогательные" операции по вычислению адресов этих чисел, и в десятки раз быстрее, чем эти числа выбираются из памяти. В итоге вспомогательные действия доминируют во времени исполнения программы. Рост скорости выполнения операций над вещественными числами перестает приводить к значительному ускорению счета. Кроме того, тактовые частоты процессоров практически достигли своего предела 5-7 лет назад.

Один из способов решения проблемы состоит в использовании вычислительных устройств, в которых сам характер и набор требуемых вспомогательных действий — иной, чем в традиционном процессоре общего назначения. Такие устройства и называются вычислителями с нетрадиционной архитектурой.

Теоретической альтернативой использования нетрадиционных архитектур является экстенсивный путь наращивания числа традиционных процессоров в многопроцессорных системах. На практике этот путь приводит не только к росту систем далеко за пределы разумной масштабируемости приложений, но и к чисто техническим ограничениям на рост потребления энергии и, соответственно, на объем отводимого тепла.

Использование же нетрадиционных архитектур позволяет в значительной степени преодолеть указанные трудности. При этом, однако, возникает необходимость решения нескольких проблем:

• программы для новых вычислителей могут потребовать применения новых языков, поскольку в программе, написанной на традиционном языке программирования, информация, необходимая транслятору для «экономии на вспомогательных действиях», в основном уже утрачена и трансляция таких программ для вычислителей с новой архитектурой принципиально дает очень неэффективный код;

• далеко не всякие алгоритмы и не всякая форма записи алгоритма пригодны для ускорения на новых архитектурах, новые вычислители всех известных типов способны работать эффективно, только если программист явно учитывает в программе иерархию типов оперативной памяти, которая может быть многоуровневой и довольно сложной;

• суперкомпьютеры на базе вычислителей нетрадиционной архитектуры должны масштабироваться, не создавая при этом запредельных трудностей ни для программиста, ни для разработчика системы.

Работы, посвященные применению графических процессоров для решения прикладных задач, появились спустя несколько месяцев после появления таких устройств на рынке [13], [7], [16], [12]. Несмотря на это, примеры параллельного использования графических процессоров стали появляться сравнительно недавно [32], [17], [26].

Анализ ситуации, сложившейся в сфере высокопроизводительных вычислений, позволяет сделать вывод, что в ближайшие 3-4 года суперкомпьютеры производительностью 1-10 петафлопс будут строиться по схеме гибридного кластера с графическими ускорителями. Кроме того, на рынке появилось много коммерческих вычислительных установок гибридной архитектуры масштаба одной 19 дюймовой стойки с производительностью порядка 10 терафлопс.

Цели и задачи диссертации

Целями данной работы было исследование применимости графических процессоров NVIDIA (GPU) для решения задач газовой динамики. Исследование возможности эффективного использования для расчетов большого числа GPU и обоснование целесообразности создания вычислительных систем на основе графических процессоров. Решение прикладных задач.

Для достижения поставленных целей были успешно решены следующие задачи:

• Реализация численного метода С. К. Годунова для уравнений Эйлера для архитектуры CUDA

• Реализация численного метода для квазигазодинамических (КГД) и модифицированных (гиперболизованных) КГД уравнений для архитектуры CUDA.

• Создание универсального программного комплекса для решения задач газовой динамики в областях сложной формы на многоблочных индексных сетках с применением гибридных вычислительных систем.

• Исследование устойчивости численного метода для модифицированных (гиперболизованных) КГД уравнений.

• Проведение расчетов трехмерных задач:

Обтекание модели летательного аппарата сверхзвуковым потоком газа под углом атаки

Моделирование истечения тяжелой жидкости из резервуара.

Разработанный в рамках диссертации программный комплекс отличается от имеющихся в свободном доступе программных средств следующими преимуществами:

• Может эффективно применяться как на гибридных вычислительных системах с графическими процессорами NVIDIA, так и на классических кластерах

• Объединяет в себе несколько математических моделей

• Имеет модульную структуру и может легко быть расширен путем добавления новых математических моделей

• Позволяет проводить расчет параллельно на универсальных процессорах и графических ускорителях

Научная новизна.

1. Определены методы и подходы ускорения расчета задач газовой динамики при помощи графических процессоров NVIDIA.

2. Показана эффективность параллельного расчета задач газовой динамики на большом числе графических процессоров.

3. Разработан и реализован параллельный комплекс программ для задач газовой динамики на гибридных вычислительных системах с графическими процессорами NVIDIA. В процессе расчетов получено подтверждение высокой работоспособности и параллельной эффективности комплекса.

Практическая значимость. Сформулированные в работе подходы ускорения расчета задач при помощи графических процессоров могут быть использованы для численных алгоритмов в различных областях знаний. Реализованный в работе программный комплекс применим для решения широкого круга прикладных задач аэро-газодинамики. Универсальность комплекса позволяет использовать его как на новейших гибридных вычислительных системах, так и на широко распространенных традиционных

кластерах. При помощи разработанного комплекса решены практические задачи.

Личный вклад автора состоит в разработке и реализации программного комплекса «Экспресс-ЗБ» для гибридных вычислительных систем. В реализации вычислительных алгоритмов для системы уравнений Эйлера, системы квазигазодинамических уравнений, а также гиперболизованной системы квазигазодинамических уравнений под архитектуру CUDA. Автором лично проведено численное исследование устойчивости алгоритма для гиперболизованной системы квазигазодинамических уравнений. Решены прикладные задачи.

Аппробация работы.

Основные результаты, представленные в диссертационной работе, докладывались и обсуждались на российских и международных конференциях:

1. Исследование возможности ускорения расчета задач аэро-газодинамики с помощью векторных сопроцессоров. V Всероссийская конференция молодых специалистов, СпГУ ИТМО, Санкт-Петербург, 04.2008.

2. Acceleration of a CFD solver using commodity graphics hardware. XIV International conference of the methods of aerophysical research. Russia, Novosibirsc, july 2008.

3. Применение графических процессоров для расчета задач аэродинамики. XVII Всероссийская конференция «Теоретические основы и конструирование численных алгоритмов для решения задач математической физики с приложением к многопроцессорным системам», посвященная памяти К.И. Бабенко. Дюрсо, 2008 год.

4. Макет гибридного суперкомпьютера «МВС-Экспресс». XVII Всероссийская конференция «Теоретические основы и конструирование чис-

ленных алгоритмов для решения задач математической физики с приложением к многопроцессорным системам», посвященная памяти К.И. Бабенко. Дюрсо, 2008 год. Соавторы: С. С. Андреев, С. А. Дбар, А. О. Лацис, Е. А. Плоткина

5. Численное моделирование задач аэро-газодинамики на гибридном суперкомпьютере «МВС-Экспресс». Международная научная конференция «Параллельные вычислительные технологии 2009», Нижний Новгород, 30 марта - 1 апреля 2009 года. Сборник тезисов.

6. Программный комплекс для расчета задач газовой динамики на гибридном суперкомпьютере «МВС-Экспресс». XVIII Всероссийская конференция «Теоретические основы и конструирование численных алгоритмов для решения задач математической физики с приложением к многопроцессорным системам», посвященная памяти К. И. Бабенко. Дюрсо, 2010 год.

7. Numerical Simulation of the Continuous Media Mechanics Problems on the Hybrid Supercomputer «MVS-Express». XV International conference of the methods of aerophysical research. Russia, Novosibirsc, November 2010.

8. О моделях и технологиях программирования суперкомпьютеров с нетрадиционной архитектурой. Научный сервис в сети Интернет: суперкомпьютерные центры и задачи: Труды Международной суперкомпьютерной конференции (20-25 сентября 2010 г., г. Новороссийск). - М.: Изд-во МГУ, 2010. - 694 с. Соавторы: С. С. Андреев, С. А. Дбар, А. О. Лацис, Е. А. Плоткина

9. B.N. Chetverushkin, E.V. Shilnikov, A.A. Davydov. Numerical Simulation of the Continuous Media Problems on Hybrid Computer Systems. CD

proceedings of the II International conference on Parallel, Distributed, Grid and Cloud Computing for Engineering (PARENG-2011), Ajaccio, Corsica, France, April 2011, 11 p.

10. А. А. Давыдов. Параллельный программный комплекс "Express-3D'^H решения задач газовой динамики в областях сложной формы на гибридных вычислительных системах с графическими процессорами NVIDIA. Материалы XI всероссийской конференции "Высокопроизводительные параллельные вычисления на кластерных системах". Нижний Новгород, 2 ноября 2011 г., СС 100-101.

Результаты, представленные в диссертационной работе, опубликованы в тезисах вышеуказанных конференций и в четырех рецензируемых журнальных статьях из списка рекомендованных ВАК:

1. А. А. Давыдов, Применение графических сопроцессоров на суперкомпьютере «МВС Экспресс» для расчета задач аэро-газодинамики. Научно-технический вестник СПГУ ИТМО, К2 54, Технологии высокопроизводительных вычислений и компьютерного моделирования, сс. 178-180, 2008 г.

2. А. А. Давыдов. Численное моделирование задач аэро-газодинамики на гибридном суперкомпьютере «МВС-Экспресс». Журнал Математическое моделирование, том 22, № 4, 2010 г., с. 90-98.

3. А. А. Давыдов, А. О. Лацис, А. Е. Луцкий, Ю. П. Смольянов, Б. Н. Четверушкин, Е. В. Шильников. Многопроцессорная вычислительная система гибридной архитектуры «МВС-Экспресс». ДОКЛАДЫ АКАДЕМИИ НАУК, 2010, том 434, № 4, с. 459-463

4. А. А. Давыдов, Б. Н. Четверушкин, Е. В. Шильников. Моделирование течений несжимаемой жидкости и слабосжимаемого газа на мно-

гоядерных гибридных вычислительных системах. Журнал вычислительной математики и математической физики, 2010, том 50, № 12, с. 2275-2284

На защиту выносится:

1. Разработан и реализован на универсальных кластерах и гибридных вычислительных системах комплекс программ «Экспресс-ЗБ» для решения задач газовой динамики на многоблочных индексных сетках. Комплекс позволяет проводить расчеты с высокой эффективностью на таких системах. Модульная структура комплекса позволяет в короткие сроки добавлять к нему новые математические модели и алгоритмы. Показана высокая параллельная эффективность комплекса при расчетах на большом числе графических процессоров.

2. Определены методы и подходы ускорения расчета задач газовой динамики с использованием графических процессоров.

Предложен и реализован эффективный алгоритм распределения нагрузки между CPU и GPU.

3. В рамках разработанного комплекса реализованы алгоритмы для решения уравнений Эйлера, алгоритмы для расчета квазигазодинамических и модифицированных (гиперболизованных) квазигазодинамических уравнений для архитектуры CUDA.

4. При помощи программного комплекса «Экспресс-ЗБ»:

(а) Проведено экспериментальное исследование устойчивости численного алгоритма для модифицированных (гиперболизованных) квазигазодинамических уравнений. Определены зависимости максимально допустимых (при которых сохраняется устойчивость) чисел Куранта от значений релаксационного параметра.

(b) Проведено численное исследование аэродинамических характеристик модели летательного аппарата (крылатого тела) при различных углах атаки и числах Маха набегающего потока. Получены зависимости подъемной силы от угла атаки и числа Маха. Расчеты показали высокую параллельную эффективность программного комплекса.

(c) Построена модель и исследованы параметры истечения тяжелой жидкости из резервуара через отверстие. Определены особенности течения в зависимости от положения отверстия и формы резервуара. Определены зависимости скорости истечения от числа Рей-нольдса и высоты напора, согласующиеся с экспериментальными и теоретическими данными. Расчеты показали высокую параллельную эффективность разработанного комплекса программ.

По главам содержание работы распределено следующим образом.

В первой главе приводится описание физического устройства графического процессора NVIDIA и аппаратно-программных средств CUDA (Compute Unified Device Architecture). Представлена реализация численного метода С. К. Годунова для системы трехмерных уравнений Эйлера для архитектуры CUDA. На основании проведенных в главе 1 исследований сделан вывод, что аппаратно-программные средства CUDA могут быть успешно использованы для решения задач газовой динамики. Так, при расчете трехмерных уравнений Эйлера методом С. К. Годунова были получены ускорения расчета вплоть до 70 раз по сравнению с одним ядром универсального процессора.

Вторая глава посвящена описанию программного комплекса «Экспресс-3D». Программный комплекс «Экспресс-ЗО» представляет собой структуру памяти для хранения многоблочных индексных сеток, набор методов для

обмена данными между узлами вычислительной системы, набор методов для обмена данными между графическими ускорителями и универсальными процессорами. В комплекс «Экспресс-30» также входят утилиты для подготовки начальных данных, оптимального разбиения блоков между вычислительными устройствами.

В третьей главе диссертации описано построение численного метода для системы квазигазодинамических (КГД) уравнений и системы модифицированных (гиперболизованных) квазигазодинамических (ГКГД) уравнений. При решении модифицированной системы используется метод релаксации потоков.

Применение гиперболизованных квазигазодинамических уравнений позволяет проводить расчет сильно дозвуковых течений с числом Куранта порядка единицы по явной схеме. Проведено экспериментальное исследование устойчивости численного алгоритма для модифицированных (гиперболизованных) квазигазодинамических уравнений. Определены зависимости максимально допустимых (при которых сохраняется устойчивость) чисел Куранта от значений релаксационного параметра.

В четвертой главе с помощью разработанного программного комплекса проводится расчет аэродинамических характеристик модели летательного аппарата (крылатого тела) обтекаемого сверхзвуковым потоком газа под различными углами атаки при различных числах Маха набегающего потока. Получены зависимости подъемной силы от угла атаки и числа Маха.

В пятой главе построена модель и исследованы параметры истечения тяжелой жидкости из резервуара через отверстие. Моделирование проводится в рамках модели гиперболизованных квазигазодинамических уравнений.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Давыдов, Александр Александрович

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. Разработан и реализован на универсальных кластерах и гибридных вычислительных системах комплекс программ «Экспресс-ЗБ» для решения задач газовой динамики на многоблочных индексных сетках. Комплекс позволяет проводить расчеты с высокой эффективностью на таких системах. Модульная структура комплекса позволяет в короткие сроки добавлять к нему новые математические модели и алгоритмы. Показана высокая параллельная эффективность комплекса при расчетах на большом числе графических процессоров.

2. Определены методы и подходы ускорения расчета задач газовой динамики с использованием графических процессоров.

Предложен и реализован эффективный алгоритм распределения нагрузки между CPU и GPU.

3. В рамках разработанного комплекса реализованы алгоритмы для решения уравнений Эйлера, алгоритмы для расчета квазигазодинамических и модифицированных (гиперболизованных) квазигазодинамических уравнений для архитектуры CUD А.

4. При помощи программного комплекса «Экспресс-ЗБ»:

(а) Проведено экспериментальное исследование устойчивости численного алгоритма для модифицированных (гиперболизованных) квазигазодинамических уравнений. Определены зависимости макси-

мально допустимых (при которых сохраняется устойчивость) чисел Куранта от значений релаксационного параметра.

(b) Проведено численное исследование аэродинамических характеристик модели летательного аппарата (крылатого тела) при различных углах атаки и числах Маха набегающего потока. Получены зависимости подъемной силы от угла атаки и чисел Маха. Расчеты показали высокую параллельную эффективность программного комплекса.

(c) Построена модель и исследованы параметры истечения тяжелой жидкости из резервуара через отверстие. Определены особенности течения в зависимости от положения отверстия и формы резервуара. Определены зависимости скорости истечения от числа Рей-нольдса и высоты напора, согласующиеся с экспериментальными и теоретическими данными. Расчеты показали высокую параллельную эффективность разработанного комплекса программ.

Список литературы диссертационного исследования кандидат физико-математических наук Давыдов, Александр Александрович, 2012 год

Литература

[1] Алътшуль А. Д., Гидравлические сопротивления, 2 изд., М., 1982;

[2] Алътшуль А. Д., Животовский Л. С, Иванов Л. П., Гидравлика и аэродинамика. М.. 1987.

[3] Андреев С.С., Давыдов A.A., Дбар С.А., Карагичев А.Б., Лацис А.О., Плоткина Е.А. Макет гибридного суперкомпьютера «МВС-Экспресс». XVII Всероссийская конференция "Теоретические основы и конструирование численных алгоритмов для решения задач математической физики с приложением к многопроцессорным системам", посвященная памяти К.И. Бабенко. Дюрсо, 2008 год.

[4] Антонов A.C. Параллельное программирование с использованием технологии MPI: Учебное пособие. - М.: Изд-во МГУ, 2004. - 71 с.

[5] Бахвалов Н. С. Численные методы // Главная редакция физико-математической литературы изд-ва "НаукаМ., 1975 г. - 632 с.

[6] Белов И.А., Исаев С.А., Коробков В.А. Задачи и методы расчета отрывных течений несжимаемой жидкости. JL: Судостроение, 1989, 256 с.

[7] Боярченков A.C., Поташников С.И. Использование графических процессоров и технологии CUDA для задач молекулярной динамики. Вычислительные методы и программирование. 2009. Т. 10. С 9-23.

[8] Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 600 с.

[9] Годунов С.К., Рябенький B.C. Разностные схемы. - М.: Наука, 1973. -400 с.

[10] С. К. Годунов, А. В. Забродин, М. Я. Иванов, А. Н. Крайко, Г. П. Прокопов. Численное ре-шение многомерных задач газовой динамики. "Наука" М., 1976.

[11] Голант В.Е., Жилинский А.П., Сахаров И.Е. Основы физики плазмы. М.: Атомиздат, 1977.

[12] Губайдуллин Д.А., Никифоров А.И., Садовников Р.В. Библиотека шаблонов итерационных методов подпространств Крылова для численного решения задач механики сплошных сред на гибридной вычислительной системе. Вычислительные методы и программирование. 2010. Т. И. С 351-359

[13] Давыдов А. А. Применение графических сопроцессоров на суперкомпьютере «МВС Экспресс» для расчета задач аэро-газодинамики. Научно-технический вестник СПбУ, № 54, 2008 г., Технологии высокопроизводительных вычислений и компьютерного моделирования, сс. 178-180.

[14] Давыдов А. А., Лацис А. О., Луцкий А. Е., Смольянов Ю. П., Четве-рушкин Б. Н., Шильников Е. В. Многопроцессорная вычислительная система гибридной архитектуры «МВС-Экспресс». ДОКЛАДЫ АКАДЕМИИ НАУК, 2010, том 434, № 4, с. 459-463

[15] Дородницын Л.В., Четверушкин Б.Н. Кинетически согласованные схемы для моделирования течений вязкого газа // Ж. вычисл. мат. и матем. физ., 2000, т. 40, сс. 1875 - 1889.

[16] Евстигнеев H. M. Интегрирование уравнения Пуассона с использованием графического процессора технологии CUDA Вычислительные методы и программирование. 2009. Т. 10. С 268-274

[17] Елесин А.В.,Кадырова А. Ш. Решение задачи идентификации коэффициента фильтрации на гетерогенных вычислительных системах. Вычислительные методы и программирование. 2012. Т. 13. С 33-37.

[18] Елизарова Т. Г. Квазигазодинамические уравнения и методы расчета вязких течений. М.: Научный мир, 2007.

[19] Елизарова Т.Г., Шильншов Е.В. Анализ вычислительных свойств квазигазодинамического алгоритма на примере решения уравнений Эйлера // Ж. вычисл. мат. и матем. физ., 2009, т.49, №11, сс. 1953-1969.

[20] Злотник A.A., Четверушкин Б.Н. Параболичность квазигазодинамической системы уравнений, гиперболичность одной ее модификации и устойчивость малых возмущений для них //Ж. вычисл. мат. и матем. физ., 2008, т. 49, №3, сс. 445 - 472.

[21] Корнеев В. В. //Вычислительные методы и программирование. 2009. Т. 10. С. 123-128.

[22] Корнеев В. Д. Параллельное программирование в MPI. — Москва-Ижевск: Институт компьютерных исследований, 2003, 304 стр.

[23] Корж A.A. Масштабирование Data-Intensive приложений с помощью библиотеки DISLIB на суперкомпьютерах Blue Gene/P и "Ломоносов" // Труды конференции "Научный сервис в сети Интернет-20И"

[24] Ландау Л. Д., Лифшиц Е. М. Теоретическая физика: Учебное пособие. В 10 т. T. VI. Гидродинамика. - 3-е изд. перераб. - М: Наука. Гл. ред физ-мат. лит., 1986. - 736 с.

[25] Лацис А.О. Как построить и использовать суперкомпьютер. М.: изд-во Бестселлер, 2003. 274 с.

[26] Монахов О. Г. Оптимизация торговых стратегий с помощью параллельных эволюционных вычислений на графических процессорах. Вычислительные методы и программирование. 2012. Т. 13. С 28-33.

[27] Романовский И. В. Алгоритмы решения экстремальных задач, "Наука", М., 1977, с.248.

[28] Роуч П. Вычислительная гидродинамика. М.: Мир, 1980, 420 с.

[29] Самарский A.A., Николаев Е.С. Методы решения сеточных уравнений. М.:Наука, 1978. 561с.

[30] Сандерс Дж., Кэндрот Э. Технология CUDA в примерах: введение в программирование графических процессоров: Пер. с англ. Слинкина А. А., научный редактор Боресков А. В. - М.: ДМК Пресс, 2011. - 232 е.: ил.

[31] Седов Л. И. Механика сплошных сред, том 2. -М: Наука. Гл. ред физмат. лит., 1970. - 568 с.

[32] Цепаев A.B. Использование гетерогенных вычислительных систем Для решения задач фильтрации жидкости методами декомпозиции области. Вычислительные методы и программирование. 2012. Т. 13. С 38-42.

[33] Четверушкин Б.Н. Кинетические схемы и квазигазодинамическая система уравнений. М.: Макс Пресс, 2004.

[34] Шеретов Ю.В. Математическое моделирование течений жидкости и газа на основе квазигдродинамических и квазигазодинамических уравнений. Тверь, Тверской Гос. Ун-т, 2000.

[35] Якобовский М.В., Суков С.А. Динамическая балансировка загрузки // Материалы конференции "Высокопроизводительные вычисления и их приложения", г. Черноголовка, 2000, С. 34-39.

[36] Chetverushkin B.N. High-Performance Computing: Fundamental Problems in Industrial Applications. In: Parallel, Distributed and Grid Computing for Engineering. B.H.V. Topping and P. Ivanyi (Editors). Saxe-Coburg Publications, Stirlingshire, Scotland, 2009, pp. 369-388.

[37] Andreev, S.S., Davydov, A.A., Dbar, S.A., Karagichev, А.В., Lacis, A.O., Plotkina, E.A. : The experience of building a sample hybrid NUMA cluster. Proceedings of International Conference "Distributed computing and Grid technologies in science and education", Dubna, Russia (2008).

[38] Perthame, В.: The kinetic approach to the system of conservation laws. Recent advances in partial differential equations. Res. Appl. Math. Masson, Paris. 30, 1992

[39] Sued S. The lattice Boltzmann equations for fluid dymanics and beyond. Oxford: Clarendon press, 2001.

[40] Tsutahara M, Takaoka N., Kataoka N. Lattice gas and Lattice Boltzmann methods. - New methods of computational fluid dynamics. Tokyo: Corona Publish., 1999, (in Japaneese).

[41] D. L. Young, Y. H. Liu, Т. I. Eldho, A combined BEM-FEM model for the velocity- vorticity formulation of the Navier-Stokes equations in three dimensions, Engineering Analysis with Boundary Elements 24 (2000) 307316.

[42] Zoran Zunic, Matjaz Hribersek, Leopold Skerget and Jure Ravnik. 3D lid driven cavity flow by mixed boundary And Finite Element Method.

European Conference on Computational Fluid Dynamics, ECCOMAS CFD 2006.

[43] Интернет ресурс: http://www.kiam.ru/MVS/resourses/klOO.html

[44] Ю. А. Климов, А. О. Лацис. Руководство по использованию сети МВС-Экспресс на К-100.

//http://www.kiam.ru/MVS/documents/klOO/mvseuserguide.html

[45] AMD Inc. ATI Web Site, http://ati.amd.com

[46] NVIDIA Corporation. http://nvidia.comhttp://www.nvidia.com

[47] Интернет ресурс: http://www.kiam.ru/MVS/resourses/mvse.html

[48] Суперкомпьютер «Ломносов», МГУ им. М. В. Ломоносова,Москва http: / / parallel, ru / cluster / actual-T500. html

[49] Интернет ресурс: http://www.Shmem.org/

[50] NUMECA International: http://www.numeca.com

[51] Интернет ресурс: http://delphiworld.narod.ru/base/stones_in_boxes.html

[52] Quadrics Shmem Programming Manual, http://www.quadrics.com/

[53] Nvidia CUDA Programming Guide, ver. 2.1. http://developer.nvidia.com/category/zone/cuda-zone

[54] Интернет ресурс: http://www.kiam.ru/MVS/research/