Параллельная распределенная объектно-ориентированная вычислительная среда для конечно-элементного анализа тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Рычков, Владимир Николаевич

• Рычков, Владимир Николаевич
• кандидат физико-математических наук
• 2004

Оглавление диссертации кандидат физико-математических наук Рычков, Владимир Николаевич

ВВЕДЕНИЕ.

1. ОБЪЕКТНО-ОРИЕНТИРОВАННАЯ РАЗРАБОТКА КОМПЛЕКСОВ ПРОГРАММ ДЛЯ ПАРАЛЛЕЛЬНЫХ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ.

1.1. Разработка вычислительной среды для конечно-элементного анализа.

1.2. Технологии разработки программного обеспечения.

1.2.1. Эволюция технологий разработки программного обеспечения.

1.2.2. Сравнение языков программирования С, С++, CORBA IDL

1.2.3. Инструментальные среды разработки программного обеспечения.

1.3. Промежуточное программное обеспечение параллельных распределенных вычислений.

1.3.1. Модель обмена сообщениями.

1.3.2. Удаленный вызов процедур.

1.3.3. Сравнение технологий MPI и CORBA.

2. ОБЪЕКТНО-ОРИЕНТИРОВАННЫЕ МОДЕЛИ МЕТОДА КОНЕЧНЫХ ЭЛЕМЕНТОВ И МЕТОДА ДЕКОМПОЗИЦИИ ОБЛАСТИ.

2.1. Основные шаги и уровни абстракции данных в методе конечных элементов.

2.2. Сравнение программных моделей метода конечных элементов.

2.3. Трехуровневая объектно-ориентированная модель метода конечных элементов.

2.4. Метод декомпозиции области, основанный на конечно-элементной аппроксимации.

2.5. Построение моделей метода декомпозиции области.

2.6. Объектно-ориентированная модель метода декомпозиции области на основе модели МКЭ.

3. ПАРАЛЛЕЛЬНЫЕ РАСПРЕДЕЛЕННЫЕ КОМПОНЕНТЫ НА

ОСНОВЕ CORBA В МЕТОДЕ ДЕКОМПОЗИЦИИ ОБЛАСТИ.

3.1. Описание распределенной объектно-ориентированной модели на языке IDL.

3.2. Связывание классов исходной объектно-ориентированной модели и классов инфраструктуры CORBA.

3.3. Реализация параллельных моделей на основе асинхронного вызова методов CORBA.

3.4. Компонентная модель.

3.5. Совместное использование систем MPI и CORBA.

4. ИСПОЛЬЗОВАНИЕ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ ДЛЯ

ЧИСЛЕННЫХ ИССЛЕДОВАНИЙ ПАРАЛЛЕЛЬНЫМ МЕТОДОМ

ПОДСТРУКТУР.

4.1. Решение трехмерных задач линейной теории упругости.

4.2. Метод подструктур.

4.3. Разработка параллельных распределенных компонентов метода подструктур.

4.4. Численные эксперименты на многопроцессорной вычислительной системе.

Введение диссертации (часть автореферата) на тему «Параллельная распределенная объектно-ориентированная вычислительная среда для конечно-элементного анализа»

Актуальность. Для решения сложных междисциплинарных задач с большими объемами данных и вычислений постоянно привлекаются новые аппаратные и программные средства. Сегодня в математическом моделировании активно используются высокопроизводительные ЭВМ (суперкомпьютеры, кластеры, сети), специализированное системное (операционные системы, коммуникационные библиотеки, системы визуализации) и прикладное программное обеспечение (генераторы сеток, библиотеки решения систем линейных алгебраических уравнений, системы автоматизированного проектирования). При этом возникают три основные проблемы, связанные с прикладным программным обеспечением: возможность быстрой и надежной реализации сложных математических моделей {гибкость), максимальное использование вычислительных ресурсов {производительность), обеспечение взаимодействия между существующими и новыми элементами аппаратного и программного обеспечения {платформонезависимость). Для каждой из перечисленных проблем можно определить место в триаде A.A. Самарского модель-алгоритм-программа [1]: первая проблема связана с необходимостью комплексного исследования научных и технических проблем с применением современных технологий математического и компьютерного моделирования, вторая заключается в адаптации эффективных математических алгоритмов к широким классам вычислительных систем, а третья — в реализации универсальных высокопроизводительных платформонезависимых прикладных программ.

Методологией разработки комплексов программ для математического моделирования занимаются О.Б. Арушанян (НИВЦ МГУ), Н.Г. Буньков (ЦАГИ), В.А. Семенов (ИСП РАН) и др. Предлагаются различные способы построения программных систем от библиотек подпрограмм [2], направленных на решение определенного класса задач, до интегрированных комплексов, предназначенных для междисциплинарных расчетов [3, 4]. Показываются возможности использования в математическом моделировании современных парадигм, языков и инструментальных средств программирования [5, 6]. Однако проблема разработки гибкого и одновременно с этим высокопроизводительного программного обеспечения остается не решенной. Несмотря на то, что объектно-ориентированный анализ уже применяется при создании программного обеспечения для метода конечных элементов, следует отметить чрезвычайную редкость его применения в параллельном программировании. При разработке объектно-ориентированных и компонентных моделей часто применяется язык графических описаний UML (Unified Modeling Language - универсальный язык моделирования) [7, 8], наиболее распространенным средством реализации программных моделей является язык программирования С++ [9].

В настоящее время в нашей стране и за рубежом ведутся работы над созданием высокопроизводительных многопроцессорных вычислительных систем, обеспечивающих решение новых актуальных научно-технических задач с большим объемом вычислений и обработки данных [10, 11]. Прикладные программные системы для вычислительной физики и математики с применением многопроцессорных ЭВМ разрабатываются в ИАП РАН (О.М. Белоцерковский и др.), ИММ РАН (Б.Н. Четверушкин и др.), ИПМ им. М.В. Келдыша (А.В. Забродин и др.), НГУ, ИТПМ СО РАН, PIMM УрО РАН, ВЦ РАН и др. Важным направлением является создание специализированных высокопроизводительных расчетных пакетов, таких как LAPACK [12], PETSc (Argonne National Laboratory) [13], PMPL (ВНИИЭФ и Mississippi State University) и др. Данные проекты направлены на разработку параллельных алгоритмов и их адаптацию к многопроцессорным вычислительным системам. Наибольшую практическую ценность имеют системы, которые могут быть использованы в составе интегрированных программных комплексов. Актуальным является создание универсальных пакетов программ для метода декомпозиции области, одного из немногих, используемых в параллельных вычислениях.

Математическими основами параллельного программирования, а также отображением проблем вычислительной математики на архитектуру вычислительных систем занимаются в ИВМ РАН (В.В. Воеводин и др.) [14]. Языки, технологии и промежуточное программное обеспечение для параллельных распределенных вычислений разрабатываются в НИВЦ МГУ (Вл. В. Воеводин и др.), ИСП РАН (В.П. Иванников, С.С. Гайсарян, А.Л. Ластовец-кий, А.И. Аветисян и др.) [15, 16], ИПМ им. М.В. Келдыша (В.А. Крюков, H.A. Коновалов, А.Н. Андрианов, К.Н. Ефимкин и др.) [17, 18]. Большое практическое значение при отображении параллельных алгоритмов на многопроцессорные архитектуры имеет промежуточное программное обеспечение, которое позволяет использовать код прикладных программ на разных архитектурах [19]. Сегодня наиболее распространенным видами промежуточного программного обеспечения являются MPI (LAM, MPICH, MPICH-G и др.) и CORBA (Orbix, VisiBroker, omniORB, MICO, TAO и др.). Развитием стандарта MPI (Message Passing Interface - интерфейс обмена сообщениями) занимается ряд зарубежных исследовательских организаций [20]: Mississippi State University (A. Skjellum и др.), Argonne National Laboratory (W. Gropp, E. Lusk и др.), University of Tennessee (J.J. Dongarra и др.), University of Illinois (L.V. Kale и др.). Над стандартом CORBA (Common Object Request Broker Architecture - общая архитектура брокера объектных запросов) работает международный консорциум OMG [21], основы программирования описаны в работах S. Vinoski (IONA), задачу повышения производительности решает в D.C. Schmidt (Washington University) [22]. Одним из перспективных направлений является совместное использование технологий CORBA и MPI; отдельные результаты достигнуты в IRISA/INRIA (T. Priol и др.) [23].

Разработка открытого высокопроизводительного комплекса программ для конечно-элементного анализа имеет существенное значение как комплексное исследование научно-технических проблем, направленное на программную реализацию эффективных математических алгоритмов, метода конечных элементов и метода декомпозиции области, и их адаптацию к широким классам вычислительных систем.

Цель работы. Разработка комплекса программ для численного моделирования методом конечных элементов, обеспечивающего гибкие средства разработки, высокую производительность вычислений и независимость от аппаратно-программных платформ.

Объект исследования. Комплекс программ, реализующий подзадачи метода конечных элементов и метода декомпозиции области, поддерживающий объектно-ориентированные средства разработки и обеспечивающий возможность параллельного распределенного выполнения посредством промежуточного программного обеспечения CORBA, MPI.

Предмет исследования. Разработка интегрированных комплексов программ для междисциплинарных расчетов, использование парадигм объектно-ориентированного и компонентного программирования в математическом моделировании, в частности для программной реализации метода конечных элементов и метода декомпозиции области, сравнение и использование технологий параллельных распределенных вычислений MPI и CORBA, параллельная распределенная реализация объектно-ориентированных моделей.

Задачи работы. Анализ парадигм структурного, объектно-ориентированного и компонентного программирования, языков программирования С, С++, CORBA IDL (Interface Definition Language — язык описания интерфейса) и инструментальных средств разработки программного обеспечения. Сравнение гибкости языков программирования С, С++, CORBA IDL на примере решения задач математического моделирования.

Разработка объектно-ориентированной модели метода конечных элементов и метода декомпозиции области, обеспечение возможностей модификации и расширения.

Анализ технологий параллельных распределенных вычислений MPI и CORBA. Сравнение производительности различных видов промежуточного программного обеспечения MPI и CORBA, определение уровня независимости от аппаратно-программных платформ. Исследование методов разработки параллельных распределенных объектно-ориентированных программ на промежуточном программном обеспечении MPI и CORBA.

Создание технологии построения параллельных распределенных объектно-ориентированных моделей на основе обычных объектно-ориентированных моделей и промежуточного программного обеспечения. Разработка параллельной распределенной объектно-ориентированной вычислительной среды для конечно-элементного анализа.

Исследование возможностей совместного использования промежуточного программного обеспечения CORBA и MPI. Интеграция MPI пакетов линейной алгебры в вычислительную среду для конечно-элементного анализа.

Проведение численных исследований напряженно-деформированного состояния трехмерных тел методом подструктур на многопроцессорных вычислительных системах.

Научная новизна работы. Предложенная методика построения программных комплексов для численного моделирования, основанная на объектно-ориентированном анализе и технологиях CORBA и MPI, позволяет разрабатывать гибкое, независимое от аппаратно-программных платформ, высоко производительное прикладное программное обеспечение.

Проведен анализ парадигм структурного, объектно-ориентированного и компонентного программирования. Сравнение языков программирования С, С++, CORBA IDL на примере решения задач математического моделирования показало лучшие возможности объектно-ориентированных языков. Новым является применение компонентного программирования при разработке прикладных программ для вычислительной математики и механики.

Разработанная трехуровневая объектно-ориентированная модель метода конечных элементов, включающая классы расчетных данных, численные классы и классы решения, использована при проектировании модели метода декомпозиции, в которой подобласть представлена как область расчетной модели и как элемент модели решения.

Проведенный анализ технологий параллельных распределенных вычислений MPI и CORBA показал, что MPI имеет незначительное преимущество в плане производительности, но значительно уступает CORBA в поддержке объектно-ориентированного программирования.

Создана технология, которая обеспечивает возможность распределения и распараллеливания объектно-ориентированных моделей с использованием промежуточного программного обеспечения CORBA. В технологии реализована модель удаленного и перемещаемого объектов, усовершенствован механизм асинхронного вызова методов, создана компонентная модель и предложена новая методика интеграции CORBA и MPI. Технология позволяет создавать исполняемые модули из объектов, взаимодействующих между разными процессами и узлами вычислительной системы посредством CORBA, обеспечивает высокую производительность и гибкость в распараллеливании последовательного кода, дает возможность повторно использовать пакеты прикладных программ, реализованные с помощью MPI, в рамках интегрированных программных комплексов.

Разработана вычислительная среда для конечно-элементного анализа, которая обеспечивает разработку, реализацию и запуск прикладных расчетных программ. В основе комплекса лежит параллельная распределенная объектно-ориентированная модель метода конечных элементов и метода декомпозиции области, созданная с помощью технологии параллельных распределенных компонентов. Распределенная модель метода декомпозиции построена в соответствии с разделением области на подобласти: удаленными объектами заданы подобласть и узел, перемещаемыми — элементы, узлы, граничные условия, матрицы, векторы. В параллельной модели реализованы классы, обеспечивающие асинхронный вызов методов удаленных объектов класса подобласть, и модифицирована модель решения, связанная с разделенной областью. Созданы компоненты метода декомпозиции, описывающие процессы вычислений в подобластях и в области. В вычислительную среду подключен MPI пакет линейной алгебры. Комплекс программ ориентирован на проведение междисциплинарных расчетов.

С помощью вычислительной среды разработана параллельная распределенная модель метода подструктур, включающая прямые и итерационные схемы решения системы с дополнением Шура. Проведенные численные исследования показали высокую эффективность распараллеливания и масштабируемость программного обеспечения.

Достоверность и обоснованность. Достоверность результатов работы обеспечивается применением объектно-ориентированного анализа к задачам математического моделирования, использованием языка программирования С++ и технологий CORBA, MPI. Обоснованность обеспечивается сравнением существующих технологий разработки программного обеспечения и технологий параллельных распределенных вычислений, анализом существующих объектно-ориентированных моделей метода конечных элементов и метода декомпозиции области, тестированием программ.

На защиту выносится. Новый подход к построению комплекса программ для конечно-элементного анализа с использованием объектно-ориентированного программирования и промежуточного программного обеспечения CORBA и MPI.

Технология разработки параллельных распределенных объектно-ориентированных моделей на основе обычных объектно-ориентированных моделей и промежуточного программного обеспечения CORBA. Объектно-ориентированная модель системы параллельных распределенных компонентов, реализующая данную методику.

Технология включения MPI кода в параллельные распределенные объекты CORBA. Объектно-ориентированная модель интеграции пакетов прикладных программ, основанных на MPI.

Параллельная распределенная объектно-ориентированная модель метода декомпозиции области, построенная в соответствии с предложенными подходами с использованием разработанного базового программного обеспечения.

Результаты численных исследований напряженно-деформированного состояния трехмерных тел методом подструктур на многопроцессорной вычислительной системе.

Практическая ценность. Методика построения параллельных распределенных объектно-ориентированных моделей на основе обычных объектно-ориентированных моделей и промежуточного программного обеспечения CORBA может применяться для реализации комплексов программ, связанных со сложными физико-математическими моделями и требующих больших вычислительных ресурсов. Методика позволяет поэтапно выполнить переход от обычной объектно-ориентированной модели к распределенной, а затем к параллельной модели с минимальной модификацией исходного кода, что значительно увеличивает скорость разработки программного обеспечения.

Предлагаемый механизм интеграции MPI приложений в виде параллельных распределенных объектов CORBA обеспечивает возможность повторного использования прикладных MPI пакетов в составе сложных многокомпонентных программных комплексов для гетерогенных аппаратно-программных платформ.

Разработанная вычислительная среда для конечно-элементного анализа является открытой программной системой и обеспечивает процесс быстрой разработки высокопроизводительных платформонезависимых прикладных программ. Данный комплекс программ позволяет решать задачи с различными видами конечных элементов, содержит аппарат для решения систем линейных уравнений, дает возможность включить новые параллельные алгоритмы решения. Вычислительная среда может быть использована в научно-исследовательских и конструкторских организациях.

Апробация работы. Основные положения диссертационной работы обсуждались на следующих научных конференциях:

1) XI Международная конференция по вычислительной механике и современным прикладным программным системам, 2-6 июля 2001, Истра.

2) III Всероссийская молодежная школа «Суперкомпьютерные вычислительно-информационные технологии в физических и химических исследованиях», 31 октября-1 ноября 2001, Черноголовка.

3) Workshop "Grid Generation: Theory and Applications", June 24-28, 2002, Dorodnicyn Computing Center RAS, Moscow.

4) Международная конференция "СуперЭВМ и многопроцессорные вычислительные системы", 26-30 июня 2002, Таганрог.

5) V International Congress on Mathematical Modeling, September 30-0ctober 6, 2002, Dubna.

6) Всероссийская конференция "Актуальные проблемы прикладной математики и механики", 3-7 февраля 2003, Екатеринбург.

7) Parallel Computational Fluid Dynamics, May 13-15, 2003, Moscow.

8) 15th International Conference on Domain Decomposition Methods, July 2125, 2003, Berlin.

9) Всероссийская конференция "Прикладная геометрия, построение расчетных сеток и высокопроизводительные вычисления", 28 июня-1 июля 2004, Вычислительный центр им. A.A. Дородницына РАН, Москва. Публикации. По теме диссертации опубликовано 17 печатных работ. Благодарности. Диссертационная работа выполнена при финансовой поддержке РФФИ (гранты №02-07-90265, №03-07-90002, MAC №03-0706120) и УрО РАН (грант для научных проектов молодых ученых и аспирантов, трэвел-грант для участия молодых ученых в зарубежных конференциях).

Структура и объем диссертационной работы. Диссертация состоит из введения, четырех глав, заключения, общим объемом 122 страниц, содержит 39 рисунков и 16 таблиц, включает список литературы из 82 наименований и 2 приложений на 13 страницах.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Рычков, Владимир Николаевич

Основные результаты работы

1. Предложена новая методика построения комплекса программ для численного моделирования методом конечных элементов, основанная на обът ектно-ориентированном анализе и технологиях CORBA, MPI. Использование объектно-ориентированного программирования обеспечивает моделирование в естественных терминах и повторное использование кода, применение промежуточного программного обеспечения гарантирует независимость от аппаратно-программных платформ и высокую производительность.

2. Разработана трехуровневая объектно-ориентированная модель метода конечных элементов, включающая классы расчетных данных, численные классы и классы решения. Классы метода конечных элементов использованы при проектировании модели метода декомпозиции, в которой подобласть представлена как область расчетной модели и как элемент модели решения.

3. Проведен анализ технологий параллельных распределенных вычислений MPI и CORBA. Тестирование промежуточного программного обеспечения на разных коммуникациях показало приблизительно равную производительность. Исследование методов объектно-ориентированного программирования с помощью этих технологий показало, что для реализации параллельных распределенных объектов в MPI необходимо разработать достаточно большую систему поддержки объектных запросов, которая уже присутствует в CORBA. Кроме того, промежуточное программное обеспечение CORBA обеспечивает взаимодействие разнородных программ в гетерогенных вычислительных системах, что необходимо для построения интегрированных комплексов программ.

4. Созданная технология с помощью параллельных распределенных компонентов на основе промежуточного программного обеспечения CORBA дает возможность расширения прикладных объектно-ориентированных моделей для их использования в высокопроизводительных вычислениях. Технология использована для разработки параллельной распределенной объектно-ориентированной модели метода декомпозиции области.

5. Модель удаленного и перемещаемого объектов, реализованная в технологии, позволяет разрабатывать классы объектов, взаимодействующих между разными процессами и узлами вычислительной системы посредством ССЖВА. Распределенная модель метода декомпозиции построена в соответствии с разделением области на подобласти: удаленными объектами заданы подобласть и узел, перемещаемыми - элементы, узлы, граничные условия, матрицы, векторы.

6. Усовершенствован механизм обратного вызова в асинхронном вызове методов: предложена и реализована модель локального опроса обработчика обратного вызова. Предложенный подход обеспечил производительность, равную производительности механизма обратного вызова, и гибкость в распараллеливании последовательного кода метода декомпозиции области. Реализованы классы, обеспечивающие асинхронный вызов методов удаленных объектов класса подобласть, и модифицирована модель решения, связанная с разделенной областью.

7. Предложена компонентная модель, которая позволяет создавать исполняемые модули, включающие параллельные распределенные объекты. Компонентная модель является основой для новых инструментов разработки, развертывания и тестирования. Созданы компоненты метода декомпозиции, описывающие процессы вычислений в подобластях и в области. Объектно-ориентированная и компонентная модели метода конечных элементов и метода декомпозиции области являются основой комплекса программ — вычислительной среды для конечно-элементного анализа, - который обеспечивает механизмы разработки, реализации и запуска прикладных расчетных программ. Комплекс программ ориентирован на проведение междисциплинарных расчетов.

8. Исследованы механизмы использования CORBA и MPI в одном приложении. Предложена новая методика интеграции, которая позволяет повторно использовать пакеты прикладных программ, реализованные с помощью MPI, в рамках интегрированных программных комплексов. Метод применен для подключения MPI пакета PETSc в вычислительную среду.

9. С помощью вычислительной среды разработана параллельная распределенная модель метода подструктур, включающая прямые и итерационные схемы решения системы с дополнением Шура. Проведены численные исследования для реальных и модельных задач, выполнена оценка эффективности распараллеливания и масштабируемости программного обеспечения.

ЗАКЛЮЧЕНИЕ

Предложенный в работе подход к построению вычислительной среды для конечно-элементного анализа подразумевает проектирование комплекса программ в терминах объектов различных уровней абстракции, при этом каждая следующая программная модель в иерархии использует все предыдущие (рис. 39). ограниченность в применении

Физическая модель

1 ) 1 1

Математическая модель

Дифференциальное уравнение в частных производных

Метод конечных элементов

Система линейных алгебраических уравнений

1) II

Модель вычислений

Алгоритм 11 Параллельные распределенные вычисления

Архитектура вычислительной системы

1 гибкость и эффективность

Рис. 39. Уровни абстракции в вычислительной среде для конечно-элементного анализа

Способ проектирования "сверху вниз" - от физико-математической модели к модели вычислений - сложнее, но позволяет создать более гибкое, независимое от платформ программное обеспечение, эффективность которого связана с потенциальными возможностями распараллеливания методов, основанных на конечно-элементной аппроксимации.

Список литературы диссертационного исследования кандидат физико-математических наук Рычков, Владимир Николаевич, 2004 год

1. Самарский A.A., Михайлов А.П. Математическое моделирование: Идеи. Методы. Примеры. - М.: Наука, 1997. - 320 с.

2. Арушанян О.Б. Автоматизация конструирования библиотек программ. -М.: Издательство МГУ, 1988. 248 с.

3. Буньков Н.Г. Распределенные интерактивные вычисления в реализации многодисциплинарных проблем расчета летательного аппарата. В кн. "Новое в численном моделировании: алгоритмы, вычислительные эксперименты, результаты." - М.: Наука, 2000. - С.228-246.

4. OMG Specifications. Unified Modeling Language (UML), Version 1.5. -http://www.omg.org/cgi-bin/doc7formal/03-03-01.

5. Ларман К. Применение UML и шаблонов проектирования. М.: Издательский дом "Вильяме", 2001. - 496 с.

6. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++. 2-е изд. М.: "Бином", СПб: "Невский диалект", 1999.-560 с.

7. Четверушкин Б.Н. Высокопроизводительные многопроцессорные вычислительные системы // Вестник Российской академии наук. 2002. — Т.72. - № 9. - С.786-794.

8. Anderson Е. et al. LAPACK Users' Guide. Third Edition. 1999. -http://www.netlib.org/lapack/lug/lapack lug.html.

9. Balay S. et al. PETSc Users Manual. 2004. - http://www-unix.mcs.anl.gov/petsc/petsc-2/documentation/index.html.

10. Воеводин B.B. Математические модели и методы в параллельных процессах. — М.: Наука, 1986. — 296 с.

11. Lastovetsky A. mpC Tutorial. 2002. - http://www.ispras.ru/~mpc/. - 41 с.

12. Аветисян А.И., Арапов И.В., Гайсарян С.С., Падарян В.А. Параллельное программирование с распределением по данным в системе ParJava // Вычислительные методы и программирование. 2001. - Т.2. - №2. - С.88-108.

13. Крюков В.А. Разработка параллельных программ для вычислительных кластеров и сетей // Информационные технологии и вычислительные системы (в печати).

14. Андрианов А.Н., Ефимкин К.Н., Задыхайло И.Б. Непроцедурный язык Норма и методы его реализации. В сб.: Языки и параллельные ЭВМ. Серия: Алгоритмы и алгоритмические языки. - М.: Наука, 1990. - с.3-37.

15. MPI Forum. MPI: A Message-Passing Interface Standard. http://www.mpi-forum.org.

16. OMG Specifications. CORBA/IIOP Specifications. http://www.omg.org/cgi-bin/doc?formal/04-03-01.

17. Schmidt D.C. and Vinoski S. Programming Asynchronous Method Invocations with CORBA Messaging // С++ Report, SIGS. 1999. - V. 11. - N2.

18. Denis A. et al. Parallel CORBA objects for programming computational grids // IEEE Distributed Systems Online. 2003. - Vol.4. - N2.

19. Вирт H. Алгоритмы=структуры данных+программы M.: Мир, 1989. -406 с.

20. Гайсарян С.С. Объектно-ориентированные технологии проектирования прикладных программных систем. -http://www.citforum.ru/programming/oop rsis/index.shtml.

21. Роджерсон Д. Основы СОМ. 2-е изд., испр. и доп. М.: Издательско-торговый дом «Русская редакция», 2000. — 400 с.

22. Цимбал А. Технология CORBA для профессионалов. СПб: Питер, 2001. -624 с.

23. Орлов С.А. Технологии разработки программного обеспечения. СПб.: Питер, 2002.-464 с.

24. Слама Д., Гарбис Д., Рассел П. Корпоративные системы на основе CORBA.: Пер. с англ.: Уч. пос. М.: Издательский дом "Вильяме", 2000. -368 с.

25. Mello U., Khabibrakhmanov I. On the Reusability and Numeric Efficiency of С++ Packages in Scientific Computing // IBM T.J. Watson Research Center, Yorktown, NY, USA. 27 p.

26. Трофимов C.A. CASE-технологии: практическая работа в Rational Rose. -M.: Бином-Пресс, 2002. 288 с.

27. Воеводин B.B., Воеводин Вл.В. Параллельные вычисления. — СПб.: БХВ-Петербург, 2002. 609 с.

28. Рычков В.Н., Красноперов И.В., Копысов С.П. Параллельные распределенные вычисления и реализующие их технологии. Ижевск, 2001. — 43 с. (Препринт ИПМ УрО РАН, Изд. ИПМ УрО РАН).

29. Рычков В.Н., Красноперов И.В., Копысов С.П. Промежуточное программное обеспечение для высокопроизводительных вычислений // Вычислительные методы и программирование. 2001. — Т. 2. - № 2. - С. 117132.

30. Foster I., Kesselman С., Tuecke S. The Anatomy of the Grid // International J. Supercomputer Applications. 2001. - Vol. 15. - N3.

31. Lopez I., Follen G. J., Gutierrez R., Foster I., Ginsburg В., Larsson O., Martin S., Tuecke S. NPSS on NASA's IPG: Using CORBA and Globus to Coordinate

32. Multidisciplinary Aeroscience Applications I I NASA HPCC/CAS Workshop, February 15, 2000 February 17, 2000, NASA Ames Research Center.

33. Gropp W., Lusk E., Doss N., Skjellum A. A high-performance, portable implementation of the (MPI) message passing interface standard // Parallel Computing. 1996. - Vol. 22. - N6. - P.789-828.

34. TAO Documentation. http://www.cs.wustl.edu/~schmidt/ACEwrappers/ TAO/docs/index.html.

35. Philippsen M. A Survey of Concurrent Object-Oriented Languages // Concurrency: Practice and Experience. 2000. - V.12. - N. 10. - P.917-980.

36. Damm C.H., Thomsen M. A Comparison of MPI and CORBA. -http://www.daimi.au.dk/~pmn/scf00/pro3/index.html.

37. Fenves G. L., Object-Oriented Programming For Engineering Software Development // Engineering With Computers. 1990. - V.6. -N.l. - P. 1-15.

38. Бакулин В.Н. и др. Объектно-ориентированная реализация метода конечных элементов // Математическое моделирование. 2003. - Т. 15. - № 2. -С.77-82.

39. Зенкевич О., Морган К. Конечные элементы и аппроксимация: Пер. с англ. М.: Мир, 1986.-318 с.

40. Галлагер Р. Метод конечных элементов. Основы: Пер. с англ. — М.: Мир, 1984.-428 с.

41. Forde B.W.R., Foschi R.O., Steimer S.F. Object-Oriented Finite Element Analysis // Computers and Structures. 1990. - Vol. 34. -N3. - P.355-374.

42. Zeglinski G. W., Han R. P. S., Aitchison P. Object-Oriented Matrix Classes For Use In A Finite Element Code Using С++ // International Journal For Numerical Methods In Engineering. 1994. - V. 37. - N. 22. - P.3921-3937.

43. Cardona A., Klapka I., Geradin M. Design of a New Finite Element Programming Environment // Engineering Computations. 1994. - V. 11. - N. 4. - P. 921-934.

44. Archer G. Object-Oriented Finite Element Analysis. PhD thesis. University of California, Berkeley, 1996.

45. Zimmermann Т., Dubois-Pelerin Y., Bomme P. Object-Oriented Finite Element Programming: I. Governing Principles // Computer Methods in Applied Mechanics and Engineering. 1992. - V. 98 - N.2. - P.291-303.

46. Dubois-Pelerin Y., Zimmerman T. Object-Oriented Finite Element Programming: III. An Efficient Implementation in С++ // Computer Methods in Applied Mechanics and Engineering. V. 108. - N. 1 -2 - P. 165-183.

47. Dongarra J.J., Pozo R., Walker D. Lapack++ vl.O: High Performance Linear Algebra Users' Guide, Report No. CS-95-290. University of Tennessee, Knoxville, TN, 1995.

48. Scholz S.P. Elements of an Object-Oriented FEM++ Program in С++ // Computers and Structures. 1992. - V. 43. - N. 3. - P. 517-529.

49. Норри Д., де Фриз Ж. Введение в метод конечных элементов: Пер. с англ. М.: Мир, 1981.-304 с.

50. Padaparti R.M.V., Hudl A.V. Dynamic Analysis of Structures using Object-Oriented Techniques // Computers and Structures. V. 49. - N. 1. - P. 149156.

51. Rucki M.D. An Algorithmic Framework for Flexible Finite Element Modelling: PhD thesis. University of Washington, May 1996.

52. Rucki M.D., Miller G.R. An Algorithmic Framework for Flexible Finite Element Element-Based Structural Modeling // Computer Methods in Applied Mechanics and Engineering. V. 136. - N. 3-4. - P. 363-384.

53. Рычков B.H., Красноперов И.В., Копысов С.П. Применение объектно-ориентированного подхода для параллельных распределенных вычислений в МКЭ // Сборник научных трудов "Проблемы механики и материаловедения". Ижевск: Изд. ИПМ УрО РАН, 2001. - С. 147-155.

54. Рычков В.Н., Красноперов И.В., Копысов С.П. Объектно-ориентированная распределенная параллельная система для конечно-элементного анализа // Математическое моделирование. 2002. - Т. 14. -№ 9. - С.81-86.

55. Kopyssov S.P., Rychkov V.N., Ponomaryov А.В. The integration of CADsystems and unstructured mesh generators // Proceedings of the workshop

56. Grid generation: theory and applications", June 24-28, 2002, Dorodnicyn Computing Centre RAS, Moscow. P.218-229.

57. Копысов С.П., Рынков B.H., Пономарев А.Б. Интеграция генераторов сеток и CAD-систем // Тезисы докладов Всероссийской конференции "Актуальные проблемы прикладной математики и механики", 3-7 февраля 2003, Екатеринбург. С.44-45.

58. Копысов С.П. Методы декомпозиции и параллельные схемы метода конечных элементов. Ижевск, 1999. - 49 с. (Препринт ИПМ УрО РАН, Изд. ИПМ УрО РАН).

59. Пржеминицкий А.Н. Матричный метод исследования конструкций на основе подструктур // Ракетная техника и космонавтика. 1963. — №1. -С.165-174.

60. Соболев C.J1. Алгоритм Шварца в теории упругости // ДАН СССР. -1936. Т.4. - №6. - С.235-238.

61. Самарский А.А., Вабищевич П.Н. Аддитивные схемы для задач математической физики. -М.: Наука, 1999. -319 с.

62. McKenna F. T. Object-Oriented Finite Element Programming: Frameworks for Analysis, Algorithms and Parallel Computing. PhD thesis. — University of California, Berkeley, 1997. 285 p.

63. Sause R., Song J. Object-Oriented Structural Analysis with Substructures // Computing in Civil Engineering: Proceedings of the First Conference held in Conjunction with A/E/C Systems 1994, Washington, D.C., June 20-22, 1994. -P. 153-160.

64. Rychkov V.N., Krasnopyorov I.V., Kopyssov S.P. Parallel Distributed CORBA-based Components in Mathematical Simulations // V International

65. Congress of Mathematical Modeling, September 30-0ctober 6, 2002, Dubna. -P.78.

66. Kopyssov S.P., Krasnopyorov I.V., Novikov A.K., Rychkov V.N. Parallel Distributed Object-oriented Model of Domain Decomposition // Book of Abstracts 15th International Conference on Domain Decomposition Methods, July 21-25, 2003, Berlin.-P.63-64.

67. Копысов С.П., Красноперов И.В., Рынков B.H. Объектно-ориентированный метод декомпозиции области // Вычислительные методы и программирование. 2003. - Т. 4. - № 1. - С. 176-193.

68. Karypis, G., Kumar, V. Metis: Ustructured Graph Partitioning and Sparse Matrix Ordering Library: Technical Report. Department of Computer Science, University of Minnesota, 1995.

69. Копысов С.П., Красноперов И.В., Рычков В.Н. Реализация объектно-ориентированной модели метода декомпозиции на основе параллельных распределенных компонентов CORBA // Вычислительные методы и программирование. 2003. - Т. 4. - № 1. - С. 194-206.

70. Сегерлинд JI. Применение метода конечных элементов: Пер. с англ. — М.: Мир, 1979.-392 с.