Обработка данных на параллельных вычислительных комплексах тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Карпов, Андрей Николаевич

• Карпов, Андрей Николаевич
• кандидат физико-математических наук
• 2006

Оглавление диссертации кандидат физико-математических наук Карпов, Андрей Николаевич

Введение.

Глава 1. Параллельные алгоритмы обработки данных.

1.1. История развития многопроцессорных комплексов и параллельных вычислений.

1.2. Использование многопроцессорных систем.

1.3. Параллелизм в задачах численного моделирования.

1.3.1. Статистическая и динамическая балансировка.

1.3.2. Параллелизм типа "коллективного решения".

1.3.3. Геометрический параллелизм.

1.3.4. Проблемы распараллеливания при решении сложных задач численного моделирования.

1.3.4.1. Проблема распараллеливания на примере моделирования задачи горения.

1.3.4.2. Распараллеливание счетной модели в задачах горения.

1.3.4.3. Формальная постановка задачи.

1.4. Эффективность параллельной программы.

1.4.1. Понятие эффективной параллельной программы.

1.4.2. Свойства идеальной параллельной программы.

1.4.3. Адаптации программ к архитектуре параллельных компьютеров.

1.5. Проблемы отладки и мониторинга.

1.6. Научная визуализация параллельных вычислений.

1.6.1. Краткая история развития визуализации.

1.6.2. Проблемы визуализации в параллельных вычислениях

1.6.3. Сложности образного представления абстрактных данных.

1.6.4. Спецификации графического вывода.

1.6.5. On-line визуализация параллельных вычислений.

Глава 2. Подходы к реализации параллельных алгоритмов и систем визуализации.

2.1. Моделирование объектов распараллеливания.

2.1.1. Уровни декомпозиции объектов распараллеливания

2.1.2. Возможность распараллеливания объектов в алгоритмах численного моделирования.

2.2. Геометрический параллелизм.

2.3. Распределение нагрузки между процессорами.

2.3.1. Независимые вычисления одинаковой трудности на гомогенных процессорах.

2.3.2. Независимые вычисления одинаковой трудности на гетерогенных процессорах.

2.3.3. Независимые вычисления различной трудности на гомогенных процессорах.

2.3.4. Независимые вычисления различной трудности на гетерогенных процессорах.

2.3.5. Зависимые вычисления одинаковой трудности на гомогенных процессорах.

2.3.6. Зависимые вычисления одинаковой трудности на гетерогенных процессорах.

2.3.7. Зависимые вычисления различной трудности на гомогенных процессорах.

2.3.8. Зависимые вычисления различной трудности на гетерогенных процессорах.

2.4. Выбор механизма визуализации в реальном времени на параллельных вычислительных комплексах.

2.4.1. Визуализация на выделенном узле.

2.4.2. Последовательная визуализация на выделенном узле

2.4.3. Визуализация на счетных узлах.

2.4.4. Визуализация с предварительной обработкой данных на счётных узлах.

2.5. Модульная архитектура визуализатора.

Глава 3. Реализации параллельных алгоритмов математического моделирования и визуализации.

3.1. Сохранение и восстановление состояния расчёта.

3.2. Синхронизация узлов в процессе расчета.

3.3. Механизм динамической балансировки на основе статистики

3.4. Предобработка и выборка данных с вычислительных узлов

3.5. Отображение результатов расчета.

3.5.1. Модульная архитектура визуализатора.

3.5.2. Архитектура модели передачи и преобразования данных.

3.5.3. Поддержка внешних источников данных.

3.6. Средства разработки.

3.6.1. Язык программирования С++.

3.6.2. Библиотека MPI.

3.6.3. Протокол ТСРЛР.

3.6.4. Модель компонентных объектов (СОМ).

Глава 4. Результаты использования предложенных решений.

4.1. Характеристики разработанных программных средств.

4.1.1. Масштабируемость.

4.1.2 Поддержка аппаратных платформ и операционных систем.

4.1.3. Взаимодействие с внешними источниками данных.

4.2. Решение практической задачи численного моделирования.

4.2.1. Цель практического исследования.

4.2.2. Оценка возможности расчета практической задачи.

4.2.3. Исходные данные практической задачи.

4.2.4. Выходные данные практической задачи.

4.2.5. Результаты решения практической задачи и выводы

Введение диссертации (часть автореферата) на тему «Обработка данных на параллельных вычислительных комплексах»

Стремительное развитие наук, как фундаментальных, так и прикладных, использующих сложные (многомерные, многопараметрические) математические модели или требующих сложной, но быстрой обработки информации, а также быстрый технологический прогресс, привели к тому, что значительно возросла потребность в применении мощных вычислительных средств [99]. К таким отраслям относятся:

• квантовая физика: физика элементарных частиц, ядерная физика, квантовая теория поля;

• статистическая физика;

• физика молекул (исследование и предсказание молекулярных свойств материалов);

• физика плазмы (моделирование поведения плазмы на ЭВМ);

• квантовая химия (структура молекул и кристаллов, химические реакции);

• науки о Земле: физика атмосферы, метеорология, климатология (предсказание погоды и изменения климата), геофизика (движение Земной коры и землетрясения), физика океана;

• биология, экология (прогнозирование развития экосистем);

• экономика и эконометрия: вычислительная экономика (новая развивающаяся наука о применении компьютерного моделирования к исследованию сложных, реалистичных моделей экономических процессов), макроэкономика, теория массового обслуживания (например, моделирование развития транспортной системы страны, грузопотоков и пассажиропотоков) и теория оптимального управления, финансовая деятельность (моделирование рынка ценных бумаг, банковской деятельности);

• социальные науки (моделирование демографической ситуации в стране, миграции и занятости населения, социального поведения);

• математическая лингвистика: распознавание речи, анализ текста и автоматический перевод;

• информатика: ведение баз данных, распознавание образов, распределенные вычислительные системы;

• механика сплошных сред: гидродинамика и газодинамика (кораблестроение и самолетостроение, течения, турбостроение), теория сопротивления материалов (устойчивость конструкций и их нагрузочная способность);

• баллистика (наведение баллистических снарядов и управление реактивным движением);

• медицина, фармацевтика (моделирование лекарственных препаратов);

• промышленность, в том числе автомобиле- и авиастроение, нефте- и газодобыча, дизайн и другие.

Во всех вышеперечисленных отраслях часто возникают задачи обработки информации, требующие больших затрат вычислительных ресурсов.

С появлением электронных вычислительных машин (ЭВМ) в науке появился и бурно развивается принципиально новый научный метод -вычислительный эксперимент, значительно расширяющий и усиливающий ее возможности. Отметим, что основой численного эксперимента служит математическая модель (совокупность всех закономерностей, уравнений и других связей), которая с определенной точностью позволяет описать явление, воспроизвести процесс, а также охарактеризовать свойства исследуемого объекта. Хотя своему рождению новый метод проведения исследований обязан именно появлению мощных вычислительных машин, полнокровная его жизнь определяется триадой: Физика - Математика -ЭВМ [15].

Вспомним, что Физика отвечает, в первую очередь, за следующий круг вопросов:

• выбор рационального подхода к изучению проблемы;

• установление различного уровня точности схем явления;

• проверка достоверности и пределов применимости схем и ММ;

• выявление особенностей изучаемой проблемы на основе анализа результатов вычислительного эксперимента.

Математика, прежде всего, выполняет следующие функции:

• дает математическую постановку задачи;

• обеспечивает выбор, модификацию или создание эффективного численного метода ее решения;

• создает алгоритм решения задачи, учитывающий особенности ЭВМ;

• отвечает за теоретические обоснования, связанные с постановкой задачи, сходимостью численного метода и т.д.;

• предлагает математические методы контроля над вычислениями.

ЭВМ объединяет ту часть работ по организации вычислительного эксперимента, которые непосредственно связаны с вычислительной машиной:

• создание программных средств для надежной и экономичной реализации алгоритма;

• разработку и систематическое осуществление методов численного контроля; .

• организацию и проведение вычислительного эксперимента на ЭВМ;

• участие в анализе его результатов, проведение дополнительных расчетов и т.д.

Современная наука, ориентируясь на численный эксперимент, претерпевает качественное изменение в формах и объемах экспериментальной базы. Отсюда вытекают изменения в технологиях поиска решений актуальных задач. Обзор технологических цепочек (от постановки задачи до получения ее решения) позволяет сделать интересное наблюдение. Различные направления научной деятельности предлагают свои подходы к решению различных задач. Аналогичная ситуация и при использовании современного инструментария, каковым является многопроцессорная вычислительная система, или иначе - суперЭВМ, существует множественность подходов к разрешению уже только одной конкретной задачи. Многовариантность подходов, порой, требует от исполнителей приобретения ими определенных навыков работы с суперЭВМ [17].

Программистам, начинающим использовать многопроцессорные ЭВМ, очень трудно сориентироваться во всех тонкостях их использования при разработке программ по прикладным задачам. Как показывает практика, трудности начинаются, когда к разрабатываемому параллельному программному обеспечению предъявляется требование его эффективности и мобильности. Это связано с тем, что универсальные средства, облегчающие труд программиста и обеспечивающие полноценный доступ к отладочной информации, находятся в стадии разработки. Проблема заключается в отсутствии стандартов в области создания и отладки программ для суперЭВМ, по причине молодости компьютерной отрасли. Соответственно на настоящий момент отсутствуют логически завершенные учебные курсы по параллельному программированию для начинающих.

Развитие многопроцессорной вычислительной техники неразрывно связано с разработкой технологий параллельного программирования - как универсальных, так и под конкретную архитектуру суперЭВМ. Под технологией программирования, то есть под организацией работы с памятью, подразумевается использование средств управления конкретной вычислительной техникой.

Необходимо отметить, что при составлении программных средств под суперЭВМ (как средств управления, так и средств для решения прикладных задач) особое внимание следует уделять технике программирования, то есть построению логической архитектуры программы. Здесь подразумевается развитие и дополнение алгоритмов распараллеливания, повышающих эффективность их выполнения на многопроцессорных ЭВМ.

Новые возможности, открывающиеся перед исследователем благодаря вычислительному эксперименту, заставляют шире смотреть на проблему проведения научного исследования, обращаясь и к ее методологическим аспектам.

В свое время вычислительный эксперимент стимулировал развитие дискретных подходов к изучению математических моделей [14]. Дискретные модели не только более удобны для их реализации на ЭВМ, но и богаче по своим возможностям. Однако обработка дискретных моделей в вычислительной практике связана с огромными затратами, которые характеризуются не только большим объемом используемой памяти, но и значительно большим временем обработки огромных числовых массивов математическими и графическими функциями. По этой причине практическое решение многих задач стало возможно только благодаря созданию многопроцессорных вычислительных систем.

Современные вычислительные установки (суперЭВМ), позволяют существенно расширить фронт научных и научно-технических разработок. и

СуперЭВМ - это многопроцессорные вычислительные системы с максимальной производительностью и максимальным объемом оперативной и дисковой памяти в совокупности со специализированным программным обеспечением, с помощью которого этой системой можно эффективно пользоваться.

Многопроцессорные вычислительные системы позволяют разрешить проблемы, возникающие при использовании однопроцессорных компьютеров. Это находит свое отражение, как в расчетном времени, так и в качестве визуализации состояния численной модели в процессе получения промежуточного результата глобального исследования.

СуперЭВМ могут быть использованы для решения задач прогнозирования, проектирования, распознавания и синтеза, поэтому они становятся незаменимыми помощниками при решении задач во многих сферах научной деятельности [23], которые, в свою очередь, диктуются все более усложняющимися запросами практики, а также попытками создания более рациональных общих теоретических моделей для изучения сложных физических и иных явлений. Следует отметить, что при этом накапливается огромный информационный потенциал, поддерживаемый базами данных, управление которыми также может базироваться на применении суперЭВМ.

Исследовательские программные комплексы могут быть предназначены как для изучения математических моделей, так и для получения на их основе конкретных научных решений. Реализация таких программ на суперЭВМ позволяет проводить работу по моделированию условий эксплуатации исследуемого объекта, а также предоставлять в достаточном количестве визуальную информацию о состоянии исследуемой системы. Такие наработки заменяют дорогостоящие натурные эксперименты.

Использование многопроцессорных систем требует новых подходов к процессу программирования исследовательских комплексов. В настоящей работе освещены лишь некоторые направления, ориентированные на разрешение проблем в подходах к разработке параллельного программного обеспечения.

Следует отметить, что существует проблема будущего при использовании суперЭВМ - возможность проведения вычислений на неоднородных системах, то есть параллельное выполнение множества процессов в сети разнородных по аппаратным и программным платформам узлов. В настоящее время разрабатываются средства отладки и мониторинга ПО как для разработчиков, так и для пользователей. Однако для этого требуется проведение дополнительных работ по совершенствованию методов описания быстроменяющихся целевых архитектур.

Если все узлы вычислительного кластера имеют одну и ту же архитектуру и производительность, то мы имеем дело с однородным вычислительным кластером, в противном случае - с неоднородным.

В настоящее время, говоря о кластерах, часто подразумевают однородность. Однако, для того, чтобы сохранить высокий уровень соотношения производительность/стоимость, приходится при наращивании кластера использовать наиболее подходящие в данный момент процессоры, которые могут отличаться не только по производительности, но и по архитектуре. Поэтому постепенно большинство кластеров могут стать неоднородными кластерами.

Неоднородность же вносит серьезную проблему в процесс управления выполняющимися ветвями программы. Различие в производительности процессоров требует соответствующего учета при распределении работы между процессами, выполняющимися на разных процессорах.

В данной работе основное внимание будет сосредоточено на проблемах создания параллельных алгоритмов численного моделирования эксперимента) и системах параллельной визуализации. Визуализация данных в научном исследовании является неотъемлемой частью современного анализа явлений практически в любой отрасли естественных наук. Графические представления в форме цветовых распределений или функциональных зависимостей значительно упрощают восприятие блоков данных человеческим мозгом. Это особенно важно при обработке больших трехмерных массивов, с которыми, в основном, приходится иметь дело при численном моделировании.

1. Параллельные алгоритмы обработки данных

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Карпов, Андрей Николаевич

Заключение

Несмотря на несомненные успехи в применении мультипроцессорных систем, имеют место рассуждения об их низкой эффективности. Рост производительности мультипроцессорной системы в целом обусловлен сбалансированностью вычислительной работы и обменов на ее фоне. Невыполнение этого условия - одна из причин деградации по производительности при распараллеливании с увеличением числа вычислительных модулей программы.

Оценка эффективности программ ведется еще со времен первых мультипроцессорных систем - транспьютеров [33]. Уже тогда предпринимались попытки для успешного разрешения проблемы максимального использования времени под вычисления. При решении конкретной задачи, в первую очередь, необходим поиск вариантов параллелизма на основе разбивки отдельно взятой задачи на несколько подзадач. Во вторую очередь, допускается параллелизм данных (или геометрический параллелизм) - разбиение вычислительной области. Этот вид параллелизма означает, что вычислительная область разбивается на подобласти, каждая из которых сопоставляется с отдельно взятым процессором системы.

При разработке реальных параллельных программ, как правило, достижение высокой эффективности требует многократных изменений программы для поиска наилучшей схемы ее распараллеливания. Успешность такого поиска определяется простотой модификации программы.

В рамках настоящей работы рассмотрены основные технологические этапы в разработке сложных вычислительных программ для систем с массовым параллелизмом: анализ задачи и выявление ее потенциального параллелизма; выбор модели программы и схемы распараллеливания; определение схемы вычислений и программирование задачи, разработка модульных архитектур программных пакетов.

Был предложен следующий набор методов распараллеливания и средств разработки, применительно к созданию пакетов численного моделирования газодинамических процессов:

• геометрический параллелизм;

• механизмом динамической балансировки;

• схема визуализации сверхбольшого объема данных с предобработкой на вычислительных узлах;

• модульный подход к разработке архитектуры программных средств;

• библиотека MPI для построения параллельных алгоритмов;

• протокол TCP/IP для взаимодействия вычислительных узлов и управляющей машины;

• язык С++ для создания переносимого и быстрого кода;

• технология СОМ для взаимодействия с визуализатором и для возможности его расширения посредством подключаемых модулей.

За счет оригинальных менеджеров синхронизации вычислений авторами пакета GasDynamicsTool® разработана эффективная многоплатформенная технология динамического распараллеливания вычислений. Достигнут высокий коэффициент использования процессоров. Получены расчетные значения ускорений, позволяющие оценить масштабируемость алгоритма и его программной реализации. Эти результаты показывают, что алгоритм обладает значительным объемом потенциального параллелизма и хорошей, с точки зрения распараллеливания, структурой, что позволяет надеяться на получение ускорений близких к линейным в зависимости от количества используемых процессоров, как для

SMP-систем, так и для систем с массивным параллелизмом. В частности, на двухпроцессорном персональном компьютере коэффициент использования процессоров достигает 0,96-0,98. Разработан и протестирован высокоэффективный параллельный код для визуализации сверхбольших массивов данных в режиме on-line. За счет модульной архитектуры обеспечена совместимость с наиболее распространенными аппаратными платформами и операционными системами.

Список литературы диссертационного исследования кандидат физико-математических наук Карпов, Андрей Николаевич, 2006 год

1. Работы отечественных авторов

2. АвербухВ.Л. Метафоры визуализации // Программирование. 2001. No 5. С. 3-17.

3. АвербухВ.Л., ЗенковА.И., Исмагилов Т.Р., МанаковД.В., Пыхтеев О.А., Юртаев Д.А. Разработка специализированных систем научной визуализации // Алгоритмы и програм. средства парал. вычислений: Сб. науч. тр. / ИММ УрО РАН.Вып. 4, Екатеринбург, 2000, С.3-23.

4. АвербухВ.Л., ЗенковА.Й., Исмагилов Т.Р., МанаковД.В., Пыхтеев О.А., Юртаев Д.А. Алгоритмы и программные средства параллельных вычислений. Выпуск. 4. Екатеринбург.2000. С. 3-23.

5. АвербухВ.Л., МанаковД.В, Васёв П.А., Комаровский И.А., МухачёвА.А., ШинкевичА.Н. // Супервычисления и Математическое моделирование: Тезисы международного семинара, г. Саров, ВНИИЭФ-РФЯЦ, 2003, С. 14-16.

6. Аниканов А.А., Николаев И.А., Крицкий С.П. Методы визуализации векторных полей // Современные проблемы механики сплошной среды: Тр. V Межд. конф. Ростов н/Д, 12-14 окт. 1999. Т. 2, Ростов н/Д: Изд-во СКНЦВШ. 2000. С. 6-10.

7. Антонов А.С. Параллельное программирование с использованиемтехнологии MPI: Учебное пособие. М.: Изд-во МГУ, 2004. - 71 с.

8. Антонов А.С., Воеводин Вл. В. Эффективная адаптация последовательных программ для современных векторно-конвеерных и массивно- параллельных супер-ЭВМ. // Программирование. 1996, 4, с. 37-51.

9. Афанасьев К.Е. Многопроцессорные вычислительные системы и параллельное программирование: Учебное пособие/ Афанасьев К.Е., Стуколов С.В., Демидов А.В., Малышенко В.В.; Кемеровский госуниверситет. Кемерово: Кузбассвузиздат, 2003. - 182 с.

10. Бабаев Д.Б. Функциональные возможности визуализатора ScientificVR // Супервычисления и математическое моделирование, Саров, Октябрь 6-11,2003, С. 17-19.

11. Бандман O.JI. Клеточно-нейронные модели пространственно-временной динамики. // Программирование. 1999, № 1, с. 4-17.

12. Бахвалов Н.С. Численные методы // Главня редакция физико-математической литературы изд-ва "Наука", М., 1975 г. 632 с.

13. Белоцерковский О.М. Вычислительная механика. Современные проблемы и результаты. М.: Наука, 1991. 183 с.

14. Белоцерковский О.М. ЭВМ в науке, авиации, жизни. М.:

15. Машиностроение, 1993.-288 с.

16. Березин С.Б., ПасконовВ.М. Компонентная система визуализации результатов расчетов на многопроцессорных вычислительных системах // Материалы Всероссийской научной конференции "Высокопроизводительные вычисления и их приложения" ,2000 г., С. 202-203.

17. Бочаров Н.В. Технологии и техника параллельного программирования. Обзор. //«Программирование», 2003, № 1. С. 5-23. УДК 681.3.06

18. БукатовА. А., ДацюкВ. Н., ЖегулоА. И. Программирование многопроцессорных вычислительных систем. Ростов-на-Дону. Издательство ООО «ЦВВР», 2003, 208 с.

19. БукатовА.А. "Параллельное программирование в MPI": Изд-во СО РАН, Новосибирск, 2000, 213 стр.

20. Валиев М.К. Применение временной логики к спецификации программ. //Программирование. 1998,2, с. 3-9.

21. Воеводин В. В., Воеводин Вл. В. Параллельные вычисления. СПб.: БХВ-Петербург, 2002. - 600 с.

22. Воеводин В.В. Математические модели и методы в параллельных процессах. М.: Наука, 1986. - 296 с.

23. Воеводин В.В. Суперкомпьютеры: вчера, сегодня, завтра. // Сборник научно-популярных статей Российская наука на заре нового века. Под редакцией академика В.П. Скулачева. М.: научный мир, 2001. С. 475483

24. Воеводин В.В. Просто ли получить обещанный гигафлоп? // Программирование. 1995, № 4, С. 13-23.

25. Галатенко В.А., Костюхин К.А. Отладка и мониторинг распределенныхразнородных систем. // Программирование, 2002, 1. С. 27-37

26. Гергель В.П., Стронгин Р.Г. Основы параллельных вычислений для многопроцессорных вычислительных систем. Учебное пособие. Нижний Новгород: Изд-во ННГУ им. Н.И. Лобачевского, 2000. 176 с.

27. Годунов С.К., Рябенький B.C. Разностные схемы. -М.: Наука, 1973. -400 с.

28. Гэри М., Джонсон Д. Вычислительные машины и труднорешаемые задачи. -М.: Мир, 1982.-416 с.

29. Демидов А.В., Сидельников К.В. Эмуляция параллельной обработки данных на персональном компьютере // XLI Международная научная студенческая конференция «Студент и научно-технический прогресс». Сб. трудов. Новосибирск, 2003. С. 110-111.

30. Дмитриева О.А. Параллельные алгоритмы численного решения систем обыкновенных дифференциальных уравнений. //Мат. Моделирование №5,2000, С. 81-86.

31. Дуйсекулов А.Е., Елизарова Т.Г. Использование многопроцессорных вычислительных систем для реализации кинетически-согласованных разностных схем газовой динамики. // Математическое моделирование, 1990, т. 2, №7, С. 139-147.

32. Елизарова Т.Г., Четверушкин Б.Н. Применение многопроцессорныхтранспьютерных систем для решения задач математической физики. // Математическое моделирование, 1992, т. 4, №11, С. 75-100.

33. Ершов Н.М. Построение графов вычислительных алгоритмов методом автотрассировки. //Программирование. 2000, № 6, с. 58-64.

34. Заворин А.Н. Параллельное решение линейных систем при моделировании электрических цепей. // Математическое моделирование, 1991, т. 3, № 3, С. 91-96.

35. Захарьева H.JL, Хозиев В.Б., Ширков П.Д. Моделирование и образование.// Математическое моделирование, 1999, т. 11, № 5, с. 101116.

36. Зенков А.И. Разработка унифицированного модуля для специализированных систем научной визуализации. // Алгоритмы и программные средства параллельных вычислений. Выпуск. 5. Екатеринбург.2001. С. 3-23.

37. Зибаров А.В. Особенности моделирование нелинейных процессов газовой динамики // Известия Тульского Государственного Университета. Серия «Экология и безопасность жизнедеятельности». Выпуск 5. Тула ,1999, С. 317-320.

38. Зибаров А.В., Бабаев Д.Б., Миронов А.А., Комаров И.Ю., Константинов П.В. Функциональные возможности визуализатора ScientificVR 1.0 // Международная конференция ГРАФИКОН-2002. Нижний Новгород, Россия, 16-21 сентября 2002 г, С. 173-178.

39. Зибаров А.В., И.Ю Комаров,

40. Знаменская И. А., Гвоздева JI. Г., Знаменский Н. В. Методы визуализации в механике газа. Учебное пособие. / Московскийгосударственный авиационный институт (Технический университет), 2001, УДК 533.6.011, С. 4-7

41. Иванников В.П., Ковалевский Н.С., Метельский В.М. О минимальном времени реализации распределенных конкурирующих процессов в синхронных режимах. // Программирование. 2000, № 5, с. 44-52.

42. Ильин В.П. О стратегиях распараллеливания в математическом моделировании. //Программирование. 1999, № 1, с. 41-46.

43. Карпов А.Н. Визуализация данных на параллельных вычислительных комплексах // 15-я Международная конференция ГРАФИКОН-2005. Новосибирск, Россия, 20-24 июня 2005 г.

44. Комаров И.Ю., Константинов П.В., Миронов А.А. Многофункциональный визуализатор Mirage. // Современные проблемы математики, механики, информатики: Тезисы докладов Всероссийской научной конференции. Тула: ТулГУ, 2001, С. 212.

45. Коновалов Н. А., Крюков В. Д., Погребцов А. Д., Сазанов Ю. Л. С-DVM язык разработки мобильных параллельных программ. // Программирование. - 1999. №1. С. 20-28.

46. Коновалов Н., Крюков В. Параллельные программы для вычислительных кластеров и сетей // Открытые системы. 2002. N 3. С.12-18.

47. Коновалов Н.А., Крюков В.А., Михайлов С.Н., Погребцов J1.A. Fortran-DVM язык разработки мобильных параллельных программ. // Программирование. 1995, № 1. С. 49-54.

48. Корнеев В.В. Параллельные вычислительные системы. М:"Нолидж", 1999. 320 с.

49. Костенко В. А. К вопросу об оценке оптимальной степени параллелизма. // Программирование. 1995,4, с. 24-28.

50. Крюков В.А., Удовиченко Р.В. "Отладка DVM программ" Программирование. 2001. N. 3.- С. 19-29.

51. Лацис А.О. Как построить и использовать суперкомпьютер. М.: изд-во Бестселлер, 2003. 274 с.

52. Марков Н.Г. Мирошниченко Е.А., Сарайкин А.В. Моделирование параллельного программного обеспечения с использованием PS-сетей. // Программирование. 1995, № 5, с. 24-32

53. Миронов А.А. Архитектура CFD-кода для гибридных вычислительныхсистем // Супервычисления и математическое моделирование, Саров, Октябрь 6-11,2003, С. 75 -76.

54. Миронов А.А. Динамическая визуализация больших объёмов данных в распределённых вычислительных средах // Современные проблемы математики, механики, информатики (тезисы докладов), Тула, 18-21 ноября, 2003, С. 316-320.

55. Миронов А.А. Сохранение и восстановление состояния расчёта в распределённых вычислительных системах // Современные проблемы математики, механики, информатики (тезисы докладов), Тула, 18-21 ноября, 2003, С. 320-322.

56. Миронов А.А. Характеристики и приложения параллельной версии пакета GasDynamicsTool 5.5 // Parallel CFD 2003, May 13-15, 2003, Moscow, Russia, C. 305 307.

57. Морозов B.A., Важенин А.П. Матричная арифметика многократной точности для параллельных систем с передачей сообщений. // Программирование. 1999, №1, С. 66-77.

58. Москвин Д.Б., Павлов В.А. Опыт использования MPI технологии для решения системы интегральных уравнений Фредгольма второго порядка. //Математическое моделирование, 2000, № 8, С. 3-8.

59. Немнюгин С.А., Стесик O.JT. Параллельное программирование для многопроцессорных вычислительных систем. СПб.: БХВ-Петербург, 2002. - 400с.

60. Неупокоев Е.В., Тарнавский Г.А., Вшивков В.А. Распараллеливание алгоритмов прогонки: целевые вычислительные эксперименты. // Автометрия, № 4, том 38,2002, стр. 74-87.

61. Попова С.В., Шарф С.В. Организация сохранения промежуточныхданных на МВС // Тез. докл. Всероссийской конференции "Актуальные проблемы прикладной математики и механики" (Екатеринбург, 3-7 февраля 2003 г.), с. 62.

62. Прангишвили И.В., Виленкин С .Я., Медведев И.Л. Параллельные вычислительные системы с общим управлением. -М.: Энергоатомиздат, 1983. 312 с.

63. Самарский А.А., Николаев Е.С. Методы решения сеточных уравнений. М.:Наука,1978. 561с.

64. Самофалов В.В., Коновалов А.В. Технология отладки программ для машин с массовым параллелизмом // "Вопросы атомной науки и техники". Сер. Математическое моделирование физических процессов. 1996. Вып. 4. С. 52-56.

65. Самофалов В.В., Коновалов А.В., Шарф С.В. Динамизм или статичность: поиск компромисса // Труды Всероссийской научной конференции "Высокопроизводительные вычисления и их приложения". М., 2000. С. 165-167.

66. Соколинский Л.Б. Параллельные машины баз данных. // Сборник научно-популярных статей «Российская наука на заре нового века». Под редакцией академика В.П. Скулачева. -М.: научный мир, 2001. С. 484-494.

67. Таненбаум Э. Распределенные системы. Принципы и парадигмы.1. СПб.: Питер, 2003.-877 с.

68. Тарнавский Г.А., Шпак С.И. Декомпозиция методов и распараллеливание алгоритмов решения задач аэродинамики и физической газовой динамики: вычислительная система «Поток-3». // Программирование. 2000, № 6, С. 45-57.

69. Шалыто А. А. Автоматное проектирование программ. Алгоритмизация и программирование задач логического управления. Журнал "Известия академии наук. Теория и системы управления" Номер 6. Ноябрь-Декабрь 2000. С.63-81.

70. Шпаковский Г.И. Архитектура параллельных ЭВМ. Минск, 1989. -136 с.

71. Якобовский М.В., Суков С.А. Динамическая балансировка загрузки // Материалы конференции "Высокопроизводительные вычисления и их приложения", г. Черноголовка, 2000, С. 34-39.

72. Работы иностранных авторов

73. Microsoft Corporation. Основы Microsoft Visual Studio .NET 2003 /Пер. с англ. М.: Издательско-торговый дом «Русская Редакция», 2003. — 464 стр.: ил.

74. Бокс Д. Сущность технологии СОМ. Библиотека программиста. — СПб.: Питер, 2001. — 400 е.: ил.

75. Девид Питтс и др. Red Hat Linux. Энциклопедия пользователя: Пер. с англ./ К.: Издательство "ДиаСофт", 1999. - 446 с.

76. Джеймс Кобелус. Превращение локальных вычислительных сетей в виртуальные супер-ЭВМ//Сети.-N3.- 1991.-С. 13-15

77. Ки-Чанг Ким. Мелкозернистое распараллеливание неполных гнезд циклов. // Программирование. 1997, № 2, С. 52-66.

78. Рихтер Дж. Windows для профессионалов: создание эффективных Win32 приложений с учетом специфики 64-разрядной версии Windows/Пер, англ 4-е изд. - СПб; Питер; М.: Издательско-торговый дом "Русская Редакция", 2001. - 752 е.; ил.

79. Салливан Э. Время — деньги. Создание команды разработчиков программного обеспечения/Пер, с англ. М.: Издательско-торговый дом «Русская Редакция», 2002. - 368 стр.: ил.

80. Том Армстронг. ActiveX: создание Web-приложений. К.: Издательская группа BHV, 1998. - 592 с.

81. Работы на иностранных языках

82. Aeschlimann М. et al., «Preliminary Report on the Design of a Framework for Distributed Visualization,» Proc. Int'l Conf. Parallel and Distributed Processing Techniques and Applications (PDPTA 99), CSREA Press, Athens, Ga„ 1999, pp. 1833-1839.

83. Geist G.A., Kohl J. A. Papadopoulos P.M. CUMULVS: Providing Fault-Tolerance, Visualization and Steering of Parallel Applications // International Journal of High Performance Computing Applications, Volume 11, Number 3, August 1997, pp. 224-236.

84. Roman G.-C., Сох K.C., Wilcox C.D., Plun J.Y. Pavane: a System for

85. Declarative Visualization of Concurrent Computations // Journal of Visual Languages and Computing. (1992), 3, pp. 161-193.

86. Zibarov A.V., Babayev D.B., Mironov A.A., Komarov I.J., Konstantinov P.V., Medvedev A.V. and Karpov A.N. Visualization of Shock Wave Diffraction on 3D Edge // Journal of Visualization, Vol. 6, No. 2 (2003) 94

87. Zibarov A.V., Babayev D.B., Mironov A.A., Komarov. I.J., Konstantinov P.V., Medvedev A.V. and Karpov A.N. Twin Barrel Artillery System Function // Journal of Visualization, Vol. 6, No. 2 (2003) 941. Интернет сайты

88. A1 Geist, Adam Beguelin, Jack Dongarra, Weicheng Jiang, Robert Manchek, Vaidy Sunderam. PVM: Parallel Virtual Machine. A Users' Guide and Tutorial for Networked Parallel Computing. http://www.netlib.org/pvm3/book/pvm-book.html

89. MPI: A Message-Passing Interface Standard (Version 1.1) (http://parallel.ru/docs/Parallel/mpi 1.1/mpi-report.html)

90. Комолкин А.В., Немнюгин С.А. Электронное пособие "Программирование для высокопроизводительных ЭВМ" http://www.hpc.nw.ru/COURSES/HPC/index.html

91. Крюков В.А. Операционные системы распределенных вычислительных систем, (учебный курс) // http://parallel.ru

92. Протоколы TCP/IP Том 1. Принципы, протоколы и архитектура Д. Комер "Межсетевой обмен с помощью TCP/IP" http://www.citforum.ru/nets/comer/contents.shtml

93. Электронный ресурс http://www.unix.org.ua/ip/glava2.htm