Методы декомпозиции и параллельные распределенные технологии для адаптивных версий метода конечных элементов тема диссертации и автореферата по ВАК РФ 05.13.18, доктор физико-математических наук Копысов, Сергей Петрович

• Копысов, Сергей Петрович
• доктор физико-математических наук
• 2006

Оглавление диссертации доктор физико-математических наук Копысов, Сергей Петрович

Введение

Список обозначений

I. Методы декомпозиции и параллельные вычисления

1.1. Метод разрывания

1.2. Методы декомпозиции области для аппроксимированных задач

1.2.1. Методы Шварца.

1.2.2. Метод декомпозиции, основанный на механическом взаимодействии подструктур.

1.2.3. Многофронтальный метод.

1.3. Методы подструктур

1.3.1. Вычислительные схемы.

1.3.2. Двухуровневая декомпозиция в методах подструктур

1.3.3. Иерархия подструктур.

1.4. Параллельные проекционные методы на подпространствах Крылова.

1.4.1. Метод сопряженных градиентов.

1.4.2. Сокращение числа обменов.

1.4.3. Блочная декомпозиция.

1.4.4. Поэлементная декомпозиция

1.4.5. Реберная декомпозиция.

1.4.6. Совмещение вычислений и обменов

1.5. Проектирование параллельных алгоритмов и программ

1.5.1. Декомпозиция.

1.5.2. Выбор промежуточного программного обеспечения

1.5.3. Разделение/распределение/увеличение вычислительной нагрузки процессоров.

И. Объектно-ориентированная декомпозиция в методе конечных элементов и методе декомпозиции области

2.1. Объектно-ориентированное программирование.

2.1.1. Объектно-ориентированное проектирование.

2.1.2. Объектно-ориентированная реализация.

2.2. Объектно-ориентированный подход к геометрии и расчетным сеткам

2.2.1. Модель CAE-системы.

2.2.2. Модель геометрического представления.

2.2.3. Модель конечно-элементной сетки.

2.2.4. Модель расчетных данных

2.2.5. Модель разделенной сетки

2.2.6. Модель распределенной сетки.

2.3. Объектная модель метода конечных элементов.

2.3.1. Основные шаги и уровни абстракции данных в методе конечных элементов

2.3.2. Сравнение программных моделей метода конечных элементов.

2.3.3. Трехуровневая объектно-ориентированная модель метода конечных элементов

2.3.4. Объектная модель адаптивного метода конечных элементов

2.4. Объектная модель метода декомпозиции области.

2.4.1, Метод декомпозиции области, основанный на конечно-элементной аппроксимации.

2.4.2. Построение моделей метода декомпозиции области

III. Модель параллельной распределенной системы метода декомпозиции области

3.1. Промежуточное программное обеспечение высокопроизводительных вычислений

3.1.1. Параллельные вычисления.

3.1.2. Распределенные вычисления.

3.1.3. Сравнение технологий MPI и CORBA.

3.2. Вычислительная модель метода декомпозиции области

3.2.1. Распределенные данные.

3.2.2. Параллельные процессы.

3.2.3. Балансировка нагрузки.

3.3. MPI-реализация метода декомпозиции.

3.3.1. Реализация объектов в MPI.

3.3.2. Распределенные данные.

3.3.3. Параллельные процессы.

3.3.4. Использование прикладных MPI-бйблиотек.

3.4. CORBA-реализация метода декомпозиции.

3.4.1. Реализация объектов в CORBA.

3.4.2. Распределенные данные.

3.4.3. Параллельные процессы.

3.5. Технология параллельных распределенных компонентов

3.5.1. Компонентная система

3.5.2. Распределенная компонентная система

3.5.3. Параллельная компонентная система.

3.5.4. Интеграция MPI и CORBA.

3.5.5. Реализация метода декомпозиции области на основе технологии параллельных распределенных компонентов

IV. Балансировка вычислительной нагрузки и разделение конечно-элементной сетки

4.1. Технологии балансировки нагрузки

4.1.1. Балансировка на уровне сети.

4.1.2. Балансировка на уровне операционной системы

4.1.3. Балансировка на уровне промежуточного программного обеспечения.

4.2. Балансировка на уровне пользовательского приложения

4.2.1. Постановка задачи.

4.2.2. Методы балансировки для сеточных задач.

4.2.3. Алгоритмы разделения графов.

4.2.4. Динамическая балансировка нагрузки и перераспределение

4.3. Сравнение методов балансировки нагрузки.

4.3.1. Балансировка нагрузки на уровне операционной системы и промежуточного программного обеспечения

4.3.2. Балансировка нагрузки на основе моделируемого отжига. Моделирование роста зерен.

4.3.3. Балансировка нагрузки в случае адаптивных сеток 209 4.4. Разделение расчетных сеток для неоднородных многопроцессорных вычислительных систем.

Численные примеры решения задач на основе методов декомпозиции

5.1. Параллельное построение неструктурированных сеток

5.1.1. Методы параллельного построения.

5.1.2. Метод сжатия текущей границы.

5.1.3. Триангуляция Делоне с ограничениями на плоскости

5.1.4. Построение трехмерной сетки многогранников Вороного

5.1.5. Разбиение на шестигранные элементы произвольной области.

5.2. Поэлементная декомпозиция задач на адаптивных сетках

5.2.1. h-версия метода конечных элементов

5.2.2. Оценка погрешности и критерий адаптации

5.2.3. Адаптивное перестроение сетки.

5.2.4. Декомпозиция алгоритма и разделение сетки

5.2.5. Численные примеры решения двумерных задач

5.2.6. Структура вычислительных затрат адаптивного алгоритма

5.3. Метод декомпозиции р-версии метода конечных элементов

5.3.1. Иерархические аппроксимации для шестигранных элементов

5.3.2. Адаптивное р-перестроение и оценка погрешности для элементов высокого порядка.

5.3.3. Методы декомпозиции для вложенных систем

5.3.4. Критерии разделения с адаптивным порядком аппроксимации

5.3.5. Примеры решения задач деформирования р-версией метода конечных элементов.

5.4. Конечно-элементное моделирование нелинейного деформирования зарядов РДТТ.

5.4.1. Выбор определяющих соотношений.

5.4.2. Адаптация сетки для задач с историей деформирования. r-версия метода конечных элементов.

5.4.3. Параллельное решение нелинейных систем.

5.4.4. Моделирование процессов деформирования зарядов при немонотонном нагружении.

5.5. Методы декомпозиции молекулярно-динамических моделей деформирования полимеров.

5.5.1. Описание модельной системы.

5.5.2. Схема интегрирования уравнений движения

5.5.3. Вычисление напряжений для ансамбля частиц

5.5.4. Методы декомпозиции молекулярно-динам ических моделей

5.5.5. Молекулярно-динамическое моделирование циклического нагружения.

5.5.6. Молекулярно-динамическое моделирование объемного модуля упругости

5.6. Многомасштабная декомпозиция систем уравнений метода конечных элементов.

5.6.1. Многомасштабный анализ.

5.6.2. Алгоритмические особенности вейвлет-преобразованияЗбб

5.6.3. Определение эффективных модулей упругости

Введение диссертации (часть автореферата) на тему «Методы декомпозиции и параллельные распределенные технологии для адаптивных версий метода конечных элементов»

Диссертация посвящена разработке современных вычислительных технологий на основе методов декомпозиции и параллельного распределенного промежуточного и прикладного программного обеспечения для адаптивных версий метода конечных элементов.

Под методами декомпозиции далее понимается совокупность методов и алгоритмов для эффективного параллельного решения задач вычислительной механики, включающих в себя: функциональную декомпозицию методов решения; декомпозицию матричногвекторных вычислений; разделение и распределение вычислительной области/сетки/нагрузки; декомпозицию программного кода.

Под параллельными распределенными технологиями здесь понимается последовательность вычислительных алгоритмов, структур распределенных данных и программных реализаций для решения вычислительных задач адаптивным методом конечных элементов на многопроцессорных системах.

Актуальность темы. В настоящее время параллельные вычисления реализуются не только на суперкомпьютерах, но и на многопроцессорных рабочих станциях, двухпроцессорных или многоядерных однопроцессорных персональных компьютерах и вычислительных сетях.

Параллельные вычислительные алгоритмы и их программная реализация должны обладать рядом новых свойств, связанных с обеспечением изменяемого поведения математической модели, адаптивного обеспечения точности вычислений, динамической балансировкой нагрузки процессоров, непрерывной настройкой на доступные вычислительные ресурсы и т.д.

Для минимизации объема вычислительной работы при решении различных дискретных задач, возникающих в рамках МКЭ, в последнее время широко применяются адаптивные итерационные процессы. Сейчас уже общепризнано, что эффективное решение современных прикладных задач практически неосуществимо без использования того или иного адаптивного процесса.

Главные подходы управления адаптивным процессом, предназначенным для уменьшения погрешности МКЭ, следующие: движение узлов сетки без изменения связности (г-версии); локальное сгущение (перестроение) начальной сетки (h-eepcuu); повышение степени кусочно-полиномиальных базисных функций МКЭ (р-версии) и их комбинации.

Использование адаптивных методов конечных элементов неразрывно связано с декомпозицией расчетной области. Основные достоинства адаптивных версии МКЭ реализуется только при наличии быстрых алгоритмов решения соответствующих систем алгебраических уравнений. Среди экономичных алгоритмов наиболее приспособленным к системам МКЭ является метод декомпозиции области (МДО).

Эффективное распараллеливание адаптивных версий МКЭ предполагает параллельное выполнение каждого из этапов решения задачи: построение начальной сетки и ее разделение; параллельное формирование и решение системы уравнений, оценка погрешности, перестроение сетки над данными, распределенными по процессорам параллельной МВС. Локальное уточнение сеточной модели приводит к разбалансировке вычислительной нагрузки, для устранения которой требуется динамически перераспределять сеточные данные. В связи с этим условия и обеспечение сбалансированности загрузки процессоров является наиболее важным моментом в параллельных методах декомпозиции для задач с адаптивным уточнением.

Весьма важным в рамках данной проблемы является и вопрос создания программного обеспечения для реализации адаптивного применения МКЭ при решении больших реальных задач. Однако, увеличение производительности за счет параллельных вычислений существенно усложняет программирование, увеличивает время разработки программного обеспечения и требует специальных знаний. Добиться масштабируемости — увеличения производительности с ростом числа процессоров — становится таким же важным параметром программного обеспечения, как и переносимость.

Разработка программных комплексов для проведения крупномасштабных вычислительных экспериментов на параллельных вычислительных системах представляет собой сложную в теоретическом и практическом плане задачу. Очевидно, что разработка параллельных программных систем практического уровня сложности представляет собой многоступенчатый технологический процесс. Под технологией программирования, подразумеваются все этапы разработки параллельной программы, начиная с анализа и декомпозиции задачи на параллельные процессы и заканчивая вопросами анализа производительности и организации вычислительного эксперимента.

На сегодня не вызывает сомнений, что важным обстоятельством при осуществлении декомпозиции алгоритма и программы является необходимость ее проведения путем совместного анализа всех аспектов междисциплинарного построения параллельных алгоритмов, а именно: собственно прикладной задачи; математических моделей и методов; теоретического анализа по построению новых вычислительных алгоритмов, адаптации существующих алгоритмов; объектно-ориентированной технологии проектирования и программирования; архитектуры вычислительной системы.

Значительное влияние на выработку единой формулировки методов декомпозиции для адаптивных версий МКЭ, применяемой в диссертации, оказали своими трудами следующие ученые О. С. Zienkiewicz, I. Babuska, А.Д. Ляшко, Г.И. Марчук, J. Т. Oden (теория и конструирование конечно-элементных аппроксимаций); С.Г. Михлин, JI.A. Оганесян, С.И. Репин, Е. Stein (априорные и апостериорные оценки погрешности); С. А. Иваненко, В. Д. Лисейкин, В.И. Мажукин, А. Ф. Сидоров, В. Ф. Тишкин, А. В. Фонарев (адаптивные сетки); П.Н. Вабишевич, В.Г. Корнеев, Ю.А. Кузнецов, В.И. Лебедев, Б.Н. Четверушкин, С. Farhat, О. Widlund (методы декомпозиции области); В.В. Воеводин, А.А. Самарский, С. Т. Kelley, Н. van der Vorst (методы решения систем линейных и нелинейных алгебраических уравнений); О.М. Белоцерковский, А.В. Забродин, Б.Н. Четверушкин (прикладные программные системы для вычислительной физики и математики с применением многопроцессорных ЭВМ); М.Ю. Альес, Ю.П. Зезин, В.П. Матвеенко, В.В. Мошев, П. В. Трусов, R.J. Farris (модели и методы решения прикладных задач деформирования вязкоупругих материалов) и др.

Цель и задачи работы состоят в разработке современных вычислительных технологий на основе методов декомпозиции области (МДО) и параллельного распределенного промежуточного и прикладного программного обеспечения для адаптивных версий метода конечных элементов. Данный работа направлена на усовершенствование ряда известных алгоритмов МДО и разработку новых высокоэффективных, ускорение скорости его сходимости и сокращение объема вычислительной работы в целом, значительное повышение степени распараллеливаемое™ вычислений всех шагов процесса адаптивного решения задач.

Научная новизна. Построены новые алгоритмы адаптивного МКЭ, которые включают параллельные алгоритмы: формирования и решения систем нелинейных и линейных уравнений, апостериорной оценки погрешности, локального перестроения сетки/повышения порядка аппроксимации элементов и динамической балансировки вычислительной нагрузки.

Предложены и обоснованы алгоритмы параллельной генерации больших треугольных и трехмерных неструктурированных расчетных сеток на основе разделения геометрии и грубой сетки. Построены новые параллельные алгоритмы перестроения сетки на основе деления элементов по наибольшей стороне и "новейшему узлу".

Построены и исследованы новые алгоритмы декомпозиции с выделением крупноблочного параллелизма (итерационные методы подструктур с числом подобластей большим, чем процессоров), неявные методы декомпозиции, для которых распараллеливание отражает среднезернистость вычислений (блочные матрицы, хранящиеся без нулевых элементов) и мелкозернистость вычислений (уровень отдельных ячеек сетки, элементная схема метода сопряженных и бисопряженных градиентов с сокращением числа обменов на каждой итерации и совмещением обменов и вычислений).

Предложены и исследованы методы разделения расчетной сетки, динамической балансировки вычислительной нагрузки и перераспределения сеточных объектов для адаптивных схем МКЭ на основе геометрических и графовых моделей расчетной сетки и неоднородной вычислительной системы.

Разработаны вычислительные технологии, которые обеспечивают разработку, реализацию и запуск прикладных расчетных задач метода конечных элементов и метода декомпозиции области. В основе программного комплекса лежат параллельные распределенные объектно-ориентированные модели расчетной сетки, метода конечных элементов и метода декомпозиции области, созданные с помощью технологии параллельных распределенных компонентов. В параллельной модели реализованы классы, обеспечивающие асинхронный вызов методов удаленных объектов класса "подобласть", и модифицирована модель решения, связанная с разделенной областью.

Проведены численные исследования методов декомпозиции и адаптивных версий МКЭ для модельных и прикладных задач: упругого деформирования композиционных материалов и определения осредненных характеристик, циклического нагружения конструкций из нелинейного вяз-коупругого материала, нормального роста зерен поликристаллического материала, молекулярно-динамического моделирования полимеров.

Обоснованность и достоверность результатов следует из аппрок-симационных свойств конечно-элементных пространств, теории итерационных алгоритмов, матричного анализа, корректности постановок задач, выбора адекватных математических моделей для рассматриваемых классов задач и подтверждается всесторонним тестированием численных алгоритмов и хорошим совпадением полученных результатов с теоретическими оценками, расчетными и экспериментальными результатами других авторов.

Теоретическая и практическая ценность работы состоят в том, что разработанные вычислительные технологии позволяют реально автоматизировать процесс построения расчетных моделей и параллельного их выполнения на многопроцессорных системах.

Апробация работы. Основные результаты диссертации докладываг лись: на Всесоюзных и Всероссийских конференциях но динамике и прочности ракетных комплексов (Челябинск, 1987), по реологии и оптимизации процессов переработки полимеров (Ижевск, 1989), по численным методам механики сплошной среды (Абрау-Дюрсо, 1992 ), зимних школах по механике сплошной среды (Пермь, 1995, 1997), по численным методам решения задач теории упругости и пластичности (Волгоград, 1995), по математическому моделированию для решения задач в науке и технике, (Ижевск, 1996, 1998), по теории сеточных методов для нелинейных краевых задач (Казань, 1996, 1999, 2001, 2003, 2005), по современным проблемам математического моделирования (Абрау-Дюрсо 1997, 1999), по проблемам построения сеток для решения задач математической физики и теоретическим основам и конструирования численных алгоритмов для решения задач математической физики (Пущино, 2000), по высокопроизводительным вычислениям и их приложениям (Черноголовка, 2000), съезде по теоретической и прикладной механике (Пермь,

2001), по построению расчетных сеток (Москва, 2002, 2004), по методам и средствам обработки информации (Москва, 2003), по параллельным вычислениям (Томск, 2005), на международных конференциях по горению 1СОС(93) (Москва, 1993), по конечно-элементным аппроксимациям OFEA-1995, 2001: Optimization Of Finite Element Approximations, (С.-Петербург, 1995, 2001), по математическому моделированию (Дубна,

2002), по итерационным методам и матричным вычислениям (Ростов-на-Дону, 2002), по суперЭВМ и многопроцессорным вычислительным системам (Таганрог, 2002), по методам декомпозиции области: Domain Decomposition Method (Berlin, 2003), параллельной вычислительной гидродинамике: ParCFD (Москва, 2003), по вычислительной механике и современным программным системам (Москва, 2001, Алушта, 2005).

Публикации результатов и личный вклад автора. По теме диссертации опубликовано 52 работы. В совместных работах постановки задач, аналитические выкладки, разработка и реализация вычислительных алгоритмов, интерпретация полученных результатов, включенные в диссертацию, принадлежат автору.

Структура и объем работы. Работа состоит из введения, пяти глав, заключения, списка литературы и содержит 32 таблицы, 203 рисунка. Объем диссертации 404 страницы. Библиографический список включает 274 наименования.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Копысов, Сергей Петрович

Результаты исследования зависимости решения (а именно, поля перемещений в плоском случае по координатам х и у) от степени усечения h даны в табл. 5.10. В ней представлена относительная погрешность реь зультатов для сеток 32 х 32, 64 х 64 и сеток, получающихся после одного шага осреднения. Использовались следующие схемы усечения: отбрасывались элементы, лежащие вне главной диагонали на расстоянии большем, чем h (h равна 1/3, 1/2 или 2/3 ширины ленты) и меньшие по модулю чем атах/1000, где атах — максимальный элемент соответствующей матрицы. Из приведенных результатов видно, что чем меньше шаг

Заключение

Основным научным результатом диссертации являются новые эффективные вычислительные технологии параллельного решения краевых задач с использованием методов декомпозиции и адаптивных схем метода конечных элементов.

Построены новые алгоритмы адаптивного МКЭ с перестроением сетки и повышением порядка аппроксимациии, которые включает параллельные алгоритмы: формирования и решения систем нелинейных и линейных уравнений, апостериорной оценки погрешности, локального перестроения сетки/повышения порядка аппроксимации элементов и динамической балансировки вычислительной нагрузки. Исследована их эффективность и структура вычислительных затрат.

Предложены и обоснованы алгоритмы параллельной генерации больших треугольных и трехмерных неструктурированных расчетных сеток на основе разделения геометрии и грубой сетки сокращающие затраты на передачу данных между последовательным построением сетки и параллельным приложением со статической балансировкой нагрузки процессоров. Рассматриваемый подход минимизирует ввод/вывод и накладные расходы пересылок данных, устраняя избыточные операции. Результаты показывают, что такой подход в несколько раз работает быстрее, чем традиционный подход построения, разделения и распределения неструктурированных сеток. Построены новые параллельные алгоритмы перестроения сетки, на основе деления элементов по наибольшей стороне и "новейшему узлу". Исследовано влияние алгоритма перестроения на изменения шага сетки и внутренних углов в треугольных ячейках сетки.

Предложены и исследованы методы разделения расчетной сетки, динамической балансировки вычислительной нагрузки и перераспределения сеточных объектов для адаптивных схем МКЭ на основе геометрических и графовых моделей расчетной сетки и неоднородной вычислительной системы. Проведены сравнение алгоритмов балансировки на различных уровнях взаимодействия с приложением.

Построены и исследованы новые алгоритмы декомпозиции с выделением крупноблочного параллелизма (итерационные методы подструктур с числом подобластей большим, чем процессоров), неявные методы декомпозиции, для которых распараллеливание отражает среднезернистость вычислений (блочные матрицы хранящиеся без нулевых элементов) и мелкозернистость вычислений (уровень отдельных ячеек сетки, элементная схема метода сопряженных и бисопряженных градиентов с сокращением числа обменов на каждой итерации и совмещением обменов и вычислений).

Разработаны вычислительные технологии которые обеспечивает разработку, реализацию и запуск прикладных расчетных программ. В основе программного комплекса лежат параллельные распределенные объектно-ориентированные модели расчетной сетки, метода конечных элементов и метода декомпозиции области, созданные с помощью технологии параллельных распределенных компонентов. В параллельной модели реализованы классы, обеспечивающие асинхронный вызов методов удаленных объектов класса подобласть, и модифицирована модель решения, связанная с разделенной областью.

Проведены численные исследования методов декомпозиции и адаптивных версий МКЭ для прикладных и модельных задач: упругого деформирования композиционных материалов и определения осредненных характеристик, циклического нагружения конструкций из нелинейного вяз-коупругого материала, нормального роста зерен поликристаллического материала, молекулярно-динамического моделирования полимеров. Выполнена оценка эффективности распараллеливания и масштабируемости программного обеспечения.

Список литературы диссертационного исследования доктор физико-математических наук Копысов, Сергей Петрович, 2006 год

1. Крон, Г. Исследование сложных систем по частям - диакоптика / Г. Крон. - М.: Наука, 1972. - 544 с.

2. Агошков, В. И. Операторы Пуанкаре-Стеклова и методы разделения области в вариационных задачах / В. И. Агошков, В. И. Лебедев // Вычислительные процессы и системы / Под ред. Г. И. Марчука. — Вып. 2. М.: Наука, 1985. - С. 173-227.

3. Агошков, В. И. Методы разбиения области в задачах математической физики / В. И. Агошков If Вычислительные процессы и системы / Под ред. Г. И. Марчука.— Вып. 8.— М.: Наука, 1991.— С. 4-50.

4. Кузнецов, Ю. А. Итерационные методы в подпространствах / Ю. А. Кузнецов. М.: Наука, 1984. - 134 с.

5. Видлунд, О. Б. Итерационные методы разбиения на подструктуры. Общий эллиптический случай. / О. Б. Видлунд // Вычислительные процессы и системы / Под ред. Г. И. Марчука. — Вып. 6. — М.: Наука, 1988.-С. 94-121.

6. Самарский, А. А. Аддитивные схемы для задач математической физики / А. А. Самарский, П. Н. Вабищевич. — М.: Наука, 1999. — 319 с.

7. Пржеминицкий, А. Н. Матричный метод исследования конструкций на основе подструктр / А. Н. Пржеминицкий // Ракет, техника и космонавтика. — 1963. — № 1. — С. 165-174.

8. Мейснер, К. Алгоритм многосвязного объединения для метода жест-костей структурного анализа / К. Мейснер j j Ракет, техника и космонавтика. 1968. — № 11. - С. 176-177.

9. Метод суиерэлементов в расчетах инженерных сооружений / В. А. Постнов, С. А. Дмитриев, Б. К. Елтышев, Л. А. Родионов. — Л.: Судостроение, 1979. — 287 с.

10. Вороненок, Е. -Я. Метод редуцированных элементов для расчета конструкций / Е. Я. Вороненок, О. М. Палий, С. В. Сочинский. — Л.: Судостроение, 1990. — 224 с.

11. Соболев, С. Л. Алгоритм Шварца в теории упругости / С. Л. Соболев // ДАН СССР. 1936. - Т. 4, № 6. - С. 235-238.

12. Хокни, Р. Численное моделирование методом частиц / Р. Хокни, Д. Иствуд. М.: Мир, 1987. - 400 с.

13. Канторович, Л. В. Приближенные методы высшего анализа / Л. В. Канторович, В. И. Крылов, — Л.: Физматгиз, 1962.— 708 с.

14. Калик, К. К вопросу о сходимости алгоритмов типа Шварца / К. Калик // Изв. Вузов. Математика. — 1959.— Т. 8, № 1.

15. Никольский, Е. Н. Алгоритм Шварца в задаче теории упругости в напряжениях / E. Н. Никольский // ДАН СССР. 1960. - Т. 135, X» 3. — С. 549-552.

16. Цвик, Л. Б. Обобщение алгоритма Шварца на случай областей, сопряженных без налегания / Л. Б. Цвик // ДАН СССР. — 1975. — Т. 224, № 2. С. 309-312.

17. Методы декомпозиции для решения задач деформирования с динамическим перестроением сеточных моделей / С. П. Копысов, М. Ю. Альес, А. К. Новиков, С. Л. Устюжанин // Труды Всероссийской научной конференции «Высокопроизводительные вычисления и