Высокопроизводительные методы расчёта дискретных моделей связанных систем тел тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Гетманский, Виктор Викторович

• Гетманский, Виктор Викторович
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Гетманский, Виктор Викторович

Содержание

Введение

1. Современные технологии сопряжённого моделирования динамики систем тел и физических процессов в отдельных телах

1.1. Моделирование системы абсолютно твёрдых тел

1.2. Сопряжение физически разнородных моделей с моделью системы абсолютно твёрдых тел

1.3. Модели упругих тел

1.4. Распараллеливания расчёта сопряжённых моделей

1.5. Метод подсистем

1.6. Методы декомпозиции расчётной области

1.7. Особенности реализации программных комплексов муль-тифизического моделирования

1.8. Выводы по главе 1

2. Методы сопряжённого моделирования с использованием параллельных вычислений

2.1. Распараллеливание расчёта динамики системы тел

2.2. Модель динамического напряжённо-деформированного состояния тела

2.3. Модель нестационарного распределения тепла в теле

2.4. Алгоритм декомпозиции расчётной области

2.5. Уровни распараллеливания расчёта сопряжённых моделей

2.6. Алгоритм статической балансировки нагрузки

2.7. Алгоритм синхронизации параллельного расчёта

2.8. Выводы по главе 2

3. Программный комплекс для параллельного расчёта мульти-физических моделей, основанных на динамике систем тел

3.1. Архитектура программного комплекса

3.2. Архитектура ядра программного комплекса

3.3. Объектное представление предметной области

3.4. Реализация метода параллельного моделирования

3.5. Выводы по главе 3

4. Использование разработанных методов для решения практических задач

4.1. Область применения разработанных мультифизических моделей

4.2. Верификация вспомогательных моделей

4.3. Модель многокатковой гусеничной платформы

4.4. Модель автомобиля с независимыми подвесками

4.5. Модель автомобиля повышенной проходимости

4.6. Высокопроизводительные расчёты отдельных деталей в составе модели автомобиля

4.7. Методика параллельных расчётов

4.8. Исследование эффективности и ускорения параллельного метода моделирования

4.9. Выводы по главе 4

Заключение

Список использованных источников

ПРИЛОЖЕНИЕ А. Замеры ускорения и эффективности параллельных вычислений

Список условных сокращений

В работе используются следующие сокращения:

АТТ — абсолютно твёрдое тело

ГПР — гидропневматическая рессора

МКЭ — метод конечных элементов

МСТ — модель системы тел со связями

НДС — напряжённо-деформированное состояние

СК — система координат

СО — система отсчёта

СЛАУ — система линейных алгебраических уравнений

ООП — объектно-ориентированный подход

ОС — операционная система

ТС — транспортное средство

ЭВМ — электронно-вычислительная машина

CAD — Computer-Aided Design - автоматизированное проектирование CAE — Computer-Aided Engineering - инженерный анализ FEM — Finite Element Method - метод конечных элементов DEM — Discrete Element Method - метод дискретных элементов MBS — Multi-body system - система тел со связями MPI — Message Passing Interface - интерфейс обмена сообщениями NUMA — Non-Uniform Memory Access - неоднородный доступ к памяти UML — Unified Modeling Language - унифицированный язык моделирования

Введение диссертации (часть автореферата) на тему «Высокопроизводительные методы расчёта дискретных моделей связанных систем тел»

Введение

Актуальность работы. В практике современных научных и инженерных расчётов динамики конструкций широко используются математические модели динамики связанных систем тел, учитывающие различные физические процессы в отдельных телах, например, тепловое или напряжённо-деформированное состояние. Исследование динамики машин с помощью таких математических моделей проведено в работах К. В. Фролова, А. С. Горобцова, В. Г. Бойкова, Д. Ю. Погорелова, М. Д. Перминова, A.B. Синева, А. П. Гусенкова, М. Blundell, D. Harty, Т. Gillespie, D. Negrut, Д. Ю. Погорелова, Г. В. Михеева, A.A. Юдакова, R. Craig, М. Bampton, A. Shabana, J. Ambrosio, О. Bachau, C.K. Карцо-ва, Д. А. Ямпольского и др. В случае расчётных областей произвольной формы используется, в частности, метод конечных элементов, в котором динамические модели записываются в виде системы обыкновенных дифференциальных уравнений, редуцируемой для численного решения собственными функциями (метод Крэйга-Бэмптона). Метод реализован в промышленных программных пакетах инженерного анализа (например, ADAMS, DADS, UM). Его недостатками являются трудности определения граничных условий, а также невысокая эффективность распараллеливания вычислений при программной реализации метода.

Таким образом, разработка альтернативных методов представления математических моделей континуальных сред и их решения, позволяющих обойти трудности при задании граничных условий и ориентированных на использование параллельных вычислений, является актуальной. Одним из таких методов является использование дискретноэлементных моделей, рассмотренное в работах A. Tassora, D. Negrut, К. Anderson, P. Fisette, W. Prescott, M. Arnold, O.H. Дмитроченко, Д.Ю. Погорелова, A.M. Кривцова. Результаты максимального ускорения параллельно-

го расчёта в 2-7 раз, полученные в ряде работ на моделях реальных технических объектов, и практически отсутствие публикаций на эту тему в отечественной литературе свидетельствуют об актуальности создания масштабируемых на большое число процессов методов параллельного расчёта описанных моделей. Разработка технологий и программного обеспечения распределённых и высокопроизводительных вычислительных систем соответствует одному их пунктов перечня критических технологий РФ, что также подтверждает актуальность описанной проблемы.

Целью диссертационной работы является развитие метода математического моделирования динамики связанных систем тел с использованием дискретных элементов, позволяющего эффективно применять распараллеливание для ускорения вычислений. Для достижения поставленной цели решены следующие задачи:

1. Формализация математической модели, связывающей по малому числу параметров основную модель динамики системы тел и вспомогательные дискретноэлементные модели физических процессов в отдельных телах.

2. Разработка параллельных алгоритмов численных методов, обеспечивающих передачу зависимых параметров между расчётными модулями.

3. Создание эффективного метода синхронного параллельного расчёта комплексных моделей.

4. Построение архитектуры и реализация вычислительного ядра программного комплекса для междисциплинарного моделирования.

5. Расчёт различных моделей с использованием программного комплекса и высокопроизводительных ЭВМ для верификации и апробации разработанной технологии.

Методы исследования. Использованы методы математического мо-

делирования динамики систем тел, численные методы решения систем дифференциальных уравнений, дискретизации и декомпозиции расчётных областей, методы объектно-ориентированного проектирования и теории параллельных вычислений.

Научная новизна:

1. Развит подход математического моделирования с использованием дискретных элементов для построения моделей напряжённо-деформированного и теплового состояния тела, отличающийся учётом геометрических и физических нелинейностей и произвольных граничных условий, что позволило реализовать эффективные алгоритмы моделирования с использованием распараллеливания вычислений.

2. Разработан параллельный алгоритм, отличающийся использованием метода декомпозиции расчётной области на перекрывающиеся подобласти, что позволило сбалансировать вычислительную нагрузку для заданного числа процессов и обеспечить точное соответствие вычислений последовательному алгоритму.

3. Создан метод численного анализа моделей динамики систем тел с учётом физических процессов в отдельных телах на вычислительных системах с общей памятью и кластере, отличающийся динамической синхронизацией параллельных вычислений, что позволило повысить эффективность реализации параллельных алгоритмов.

4. Построен комплекс проблемно-ориентированных программ для проведения вычислительного эксперимента в рассматриваемой предметной области, отличающийся описанием связей между моделью динамики систем тел и моделями физических процессов в отдельных телах, что позволило впервые реализовать предложенный метод параллельного расчёта мультифизических моделей.

Практическая значимость. Предложенная технология синхронного параллельного расчёта мультифизических моделей применима при ре-

шении ряда задач проектирования и анализа машиностроительных конструкций. Разработанный программный комплекс позволяет проводить моделирование нелинейной динамики систем связанных тел совместно с расчётами физических процессов динамического напряжённо-деформированного и теплового состояния отдельных тел с существенным ускорением расчёта при использовании вычислительного кластера или многоядерных процессоров.

Проведена верификация метода сравнением результатов с полученными в промышленных пакетах моделирования. Для модели нестационарной теплопроводности в амортизаторе проведено сравнение с экспериментом. На основе анализа показателей ускорения и эффективности, полученных в результате многократных параллельных расчётов на вычислительном кластере и системах с общей памятью, сформулированы рекомендации по использованию программного комплекса на высокопроизводительных ЭВМ.

Реализация результатов. В рамках НИР по ФЦП "Развитие научного потенциала высшей школы" (2009-2011 гг., проект № 2.1.1/1423) реализовано вычислительное ядро программного комплекса, основанное на расчётном модуле пакета моделирования динамики систем тел ФРУНД, позволяющее моделировать физические процессы в отдельных телах. Проведён ряд вычислительных экспериментов по анализу динамического состояния элементов подвески машин повышенной проходимости по 4 договорам с промышленными предприятиями (2009-2012 гг.). Получено свидетельство о регистрации программы для ЭВМ, имеется акт внедрения.

На защиту выносятся следующие основные результаты и положения:

1. Разработанная математическая модель обеспечивает связывание расчётных областей и параллельное решение задач определения ди-

намического напряжённо-деформированного и теплового состояния изотропных тел совместно с задачей моделирования динамики систем тел при использованием явных методов численного интегрирования и дискретных элементов для аппроксимации расчётных областей.

2. Модификация алгоритма численного интегрирования обеспечивает синхронизацию параллельного расчёта и связывание модели динамики системы тел, вспомогательных дискретноэлементных моделей отдельных тел, а также подмоделей, полученных при декомпозиции расчётных областей вспомогательных моделей при наличии одной точки синхронизации.

3. Предложенный способ декомпозиции на подобласти с перекрытиями позволяет получить для дискретноэлементной модели точное соответствие процедуры совместного расчёта подобластей процедуре расчёта исходной области только за счёт коррекции данных в узлах перекрывающихся границ.

4. Предложенный алгоритм равномерной статической балансировки вычислительной нагрузки для вычислительных систем с однородными узлами обеспечивает ускорение вычислений при выполнении условия прекращения декомпозиции.

5. Разработанное ядро программного комплекса позволяет подключать различные реализации вспомогательных расчётных модулей для расчёта физических процессов теплопроводности и деформации в отдельных телах и проводить параллельный расчёт на кластере или многопроцессорной ЭВМ.

6. При расчёте моделей получен предел ускорения расчёта в 10-12 раз. Метод определения динамических напряжений даёт соответствие результатам расчёта методом конечных элементов. Модель теплового состояния позволяет получить совпадение расчёта динамики нагревания и распределения температуры с экспериментальными данными.

Апробация работы. Результаты диссертационной работы представлены на международных конференциях: PARENG 2009 [72], IEEE ICMA 2009 [74], "Информационные технологии в образовании, технике и медицине" (Волгоград, сентябрь 2009) [14], IMSD 2010 [59], СКТ 2010 [10], ПаВТ 2011 [34], Parallel and High-Performance Computing and Simulation 2012 (Амстердам, апрель 2012) [60], MMTT25 (Волгоград, май 2012) [9].

Публикации. По теме диссертации опубликовано 25 печатных работ, из них 6 статей в журналах, рекомендованных ВАК РФ [8, 13, 35, 38, 41, 61], 1 свидетельство о регистрации программы [40], 8 статей и тезисов докладов в сборниках трудов международных научных конференций [9, 10, 14, 34, 59, 60, 72, 74], 10 статей и тезисов докладов в сборниках трудов прочих научных конференций и семинаров.

Личный вклад автора. Все результаты диссертации получены автором лично, в том числе математическое и алгоритмическое описание разработанного метода, методика оценки эффективности параллельного расчёта, построение объектно-ориентированного представления предметной области и архитектуры программного комплекса, разработка вычислительного ядра для синхронного параллельного расчёта мультифизи-ческих моделей. Автором проведены все вычислительные эксперименты и построены фрагменты расчётных схем, включающие вспомогательные дискретноэлементные модели для расчёта физических процессов в телах, исследована эффективность метода на различных вычислительных системах.

Краткое содержание работы.

В первой главе даётся литературный обзор методов моделирования динамики систем твёрдых и упругих тел. Приведена использованная в данной работе система дифференциально-алгебраических уравнений в постановке Лагранжа первого рода с использованием абсолютных

декартовых координат. Приведён обзор методов сопряжения физически разнородных моделей с моделью системы абсолютно твёрдых тел и их реализации в программных комплексах. Рассмотрены подходы к использованию высокопроизводительных вычислений при мультифизическом моделировании. Определены основные направления исследований.

Вторая глава посвящена разработке математических моделей и методам их расчёта с использованием параллельных вычислений. Рассмотрен принцип распараллеливания численного решения системы обыкновенных дифференциальных уравнений. Описаны уравнения для вспомогательных моделей теплового и напряжённо-деформированного состояния тел и зависимости по параметрам Приведён алгоритм параллельного расчёта с использованием численного интегрирования явными методами. Описан метод двухуровневого распараллеливания с использованием декомпозиции расчётной области.

В третьей главе описаны детали реализации программного комплекса. Спроектирована архитектура ядра программного комплекса, включающая объектно-ориентированное представления предметной области и интерфейсов взаимодействия с расчётными модулями и внешними библиотеками. Описаны особенности реализации метода двухуровневого параллельного расчёта. Разработаны эффективные методы организации данных в памяти, ориентированные на синхронизацию параллельного расчёта.

В четвёртой главе рассматриваются примеры использования разработанного программного комплекса. Рассмотрены 3 модели транспортных средств со вспомогательными моделями напряжённо-деформированного состояния нижнего и верхнего рычага каждой подвески и нестационарной теплопроводности штока и цилиндра гидропневматической рессоры. Проведена верификация методов и исследована эффективность работы программного комплекса на вычислительном кластере и ЭВМ с

неоднородным доступом к памяти.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав, заключения и библиографии. Общий объем диссертации 155 страниц текста, включающего 55 рисунков и 13 таблиц. Библиография включает 127 наименований.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Гетманский, Виктор Викторович

4.9. Выводы по главе 4

С применением разработанного метода было проведено моделирование трёх видов перспективных машин с гидропневматическими подвесками. Сопряжённый расчёт динамики пространственной модели машины и вспомогательных моделей нестационарной теплопроводности и НДС в элементах подвески на многоядерной ЭВМ и на вычислительном кластере позволил провести моделирование всех подвесок в параллельном режиме. С использованием декомпозиции расчётных областей проведены расчёты отдельных деталей в параллельном режиме при разбиении на различное число частей.

Результаты расчёта нестационарной теплопроводности были верифицированы сравнением с экспериментом. Проведено сравнение результатов, полученных с использованием обоих вспомогательных моделей в установившемся режиме со статическими расчётами в СКЭ пакете. Результаты сравнения можно считать приемлемыми для предварительной оценки НДС и теплового состояния тел подвески в динамике.

Проведено сравнение различных подходов к распараллеливанию вычислений. Результаты свидетельствуют о высокой эффективности предложенного метода параллельного расчёта сопряжённых моделей при количестве процессов не больше 8. На вычислительном кластере при использовании большего количества параллельных процессов ускорение продолжает расти, но из-за сетевой деградации наблюдается снижении эффективности метода параллельного расчёта. На ЭВМ с NUMA-архи-тектурой деградация параллельных вычислений была исследована с помощью теста оценки производительности Unpack. Она достаточно высокая, из-за чего ускорение при количестве ядер больше 16 начинает падать, поэтому использовать большее количество ядер не имеет смысла. Полученный предел ускорения в 9-12 раз имеет место для многоядерных систем с NUMA-архитектурой и вычислительных кластеров. Он обусловлен коэффициентом сетевой деградации вычислений и теоретически преодолим при использовании вычислительных архитектур с массивным параллелизмом, например GPGPU и MIC. В качестве рекомендаций по использованию и дальнейшей реализации предложенного подхода можно выделить следующие:

1. Использовать для оценочного расчёта вычислительный кластер и сетки вспомогательных моделей средней размерности (до 1 млн. узлов). При вычислениях использовать распараллеливание по ядрам и не использовать гибридный параллелизм с ОрепМР внутри решателей из-за высоких накладных расходов.

2. Использовать для детального расчёта декомпозицию расчётной области для сеток большой размерности. При этом желательно использовать многоядерные ЭВМ с однородным доступом к памяти и низким коэффициентом сетевой деградации вычислений.

3. При использовании ЭВМ с NUMA архитектурой для решения рассмотренных задач не использовать ОрепМР из-за высоких накладных расходов. При высоком значении коэффициента деградации производительности не использовать большое количество ядер.

4. За счёт ортогональности сетки и использования одинаковых дискретных элементов потенциально возможным способом повышения ускорения вычислений является разработка расчётных модулей с для массивно-параллельных сопроцессоров (GPGPU и MIC). статочно хорошие показатели эффективности и ускорения параллельного расчёта и сформулированы рекомендации по дальнейшему развитию предложенного метода.

Многократные вычислительные эксперименты показали ограничение в достигаемом эффекте ускорения от распараллеливания вычислений для моделей рассматриваемого типа. В качестве рекомендаций по дальнейшему развитию методов и преодолению этих ограничений предложена разработка параллельных вычислительных алгоритмов для массивно-параллельных вычислительных архитектур, таких как современные GPGPU и MIC. Создание расчётных модулей такого типа позволит использовать гибридный параллелизм кластерной и массивно-параллельных архитектур, что выдвигает требования по дополнительной разработки алгоритмов балансировки нагрузки и планирования потоков вычислений. Разработанная архитектура программного комплекса позволяет создавать расчётные модули для физических процессов с использованием различных вычислительных методов и различных реализаций алгоритмов, поэтому с использованием разработанной технологии мультифи-зического моделирования возможны исследования отдельных расчётных модулей и вычислительных алгоритмов.

Список литературы диссертационного исследования кандидат технических наук Гетманский, Виктор Викторович, 2013 год

Список использованных источников

1. Бабаков И. М. Теория колебаний. — Дрофа, 2004. — С. 591.

2. Баженов В. Г., Пирогов С. А., Чекмарев Д. Т. Явная схема со стабилизирующим оператором для решения нестационарных задач динамики // Известия РАН. Сер. Механика твердого тела.— 2002.— № 5,- С. 120-130.

3. Банах Л. Я., Горобцов А. С., Чесноков О. К. Условия разбиения системы дифференциально-алгебраических уравнений на слабосвязанные подсистемы // Ж. вычисл. матем. и матем. физ. — 2006,— Т. 46, № 12,- С. 2124-2128.

4. Бойков В. Г., Юдаков А. А. Моделирование твердых и упругих тел в программном комплексе Еи1ег // Информационные технологии и вычислительные системы. — 2011. — Т. 1. — С. 42-52.

5. Вабищев П. Н. Разностные схемы декомпозиции расчетной области при решении нестационарных задач // Журнал выч. мат. и мат. физики. - 1989. - Т. 29, № 12. - С. 1822-1829.

6. Виттенбург Й. Динамика систем твердых тел / Под ред. В. В. Румянцев. - М. : Мир, 1980. - С. 294.

7. Волков К. Н. Балансировка нагрузки процессоров при решении краевых задач механики жидкости и газа сеточными методами // Вычислительные методы и программирование. — 2012. — Т. 13. — С. 107-129.

8. Гетманский В. В., Горобцов А. С. Решение задач большой размерности в системах моделирования многотельной динамики с использованием параллельных вычислений // Известия Волгоградского государственного технического университета. — 2007. — Т. 9, № 3. — С. 10-12.

9. Гетманский В. В., Горобцов А. С. Расчет динамики систем тел и физических процессов в отдельных телах на кластере // Математиче-

ские методы в технике и технологиях, ММТТ-25: сб. тр. XXV между-нар. науч. конф. — Т. 3.— ВолгГТУ : Саратов, 2012.— С. 171-174.

10. Гетманский В. В., Сергеев Е. С., Горобцов А. С. Способы ускорения процедуры расчета при междисциплинарном моделировании // Матер, междунар. конф. СКТ-20Ю. — Т. 1.— Таганрог : Изд-во ТТИ ЮФУ, 2010,- С. 199-222.

11. Гольденблат И. И., Копнов В. А. Критерии прочности и пластичности конструкционных материалов. — М. : Машиностроение, 1968. — С. 192.

12. Горобцов А. С. Анализ динамических систем с избыточными связями различной степени статической неопределимости // Известия высших учебных заведений. Поволжский регион. Технические науки. — 2009,- по. 3(11).- Р. 130-141.

13. Горобцов А. С., Гетманский В. В., Резников М. В. Параллельное решение систем дифференциально-алгебраических уравнений большой размерности // Информационные технологии. — 2008.— № 11.— С. 55-59.

14. Горобцов А. С., Гетманский В. В., Сергеев Е. С. Обработка сверхбольших моделей систем многих тел на параллельных вычислительных комплексах // Информационные технологии в образовании, технике и медицине : матер, междунар. конф., 21-24 сент. 2009 / ВолгГТУ [и др.]. - Волгоград, 2009. - С. 79.

15. Горобцов А. С., Карцов С. К., Кувшид Р. П. Комплекс ФРУНД - инструмент исследования динамики автомобиля // Автомобильная промышленность. — 2005. — № 4. — С. 27-28.

16. Горобцов А. С., Солоденков С. В. Алгоритмы численного интегрирования уравнений движения систем тел с множителями Лагран-жа // Машиностроение и инженерное образование, — 2005.— № 3.— С. 20-27.

17. Дмитроченко О. Н., Михайлов Н. Н., Погорелов Д. Ю. Динамика и прочность транспортных машин // Динамика и прочность транспортных машин / Под ред. В. И. Сакало. — Брянск : БГТУ, 1997. — С. 1-8.

18. Ильин В. П., Кныш Д. В. Параллельные методы декомпозиции в пространствах следов // Вычислительные методы и программирование. - 2011. - Т. 12. - С. 110-119.

19. Исследование прочности материалов при динамических нагрузках: / Б.Л. Глушак, В.Ф. Куропатенко, С.А. Новиков, В.М. Фомин. — Новосибирск : Наука. Сиб. отд-ние, 1992. — С. 295.

20. Ишлинский А. Ю. Классическая механика и силы инерции. — Наука, 1987,- С. 321.

21. Карцов С. К., Перминов М. Д. Колебания сложных упругих систем // Колебания сложных упругих систем / Под ред. Ф. М. Димент-берг,- М. : Наука, 1981.- С. 19-25.

22. Компьютерные методы построения и исследования математических моделей динамики конструкций автомобилей / А. С. Горобцов, С. К. Карцов, А. Е. Плетнев, Ю. А. Поляков. — М. : Машиностроение, 2011.- С. 463.

23. Копысов С. П., Краснопёров И. В., Рычков В. Н. Объектно-ориентированный метод декомпозиции области // Вычислительные методы и программирование. — 2003. — Т. 4. — С. 1-18.

24. Крон Г. Исследование сложных систем по частям (диакоптика) / Под ред. А. В. Баранов. — М. : Наука, 1972. — С. 544.

25. Лаевский Ю. М., Мацокин А. М. Методы декомпозиции решения эллиптических и параболических краевых задач // Сибирский журнал выч. мат. - 1999. — Т. 2, № 4. - С. 361-372.

26. Леутин А. П. Моделирование движения связанных тел // Изв. РАН. МТТ. - 2012. - № 1. - С. 27-44.

27. Мацокин A. M., Непомнящих С. В. Метод альтернирования Шварца в подпространстве // Изв. вузов. Матем. — 1985.— Т. 10, № 10.- С. 61-66.

28. Новиков Е. А. Явные методы для жестких систем. — Новосибирск : Наука, 1997. - С. 195.

29. Писаренко Г. С., Лебедев А. А. Деформирование и прочность материалов при сложном напряжённом состоянии. — К. : Наукова думка, 1976,- С. 415.

30. Писсанецки С. Технология разреженных матриц / Под ред. X. Д. Икрамов. - М. : Мир, 1988. - С. 411.

31. Погорелов Д. Ю. Введение в моделирование динамики систем тел / Под ред. В. И. Сакало. — Брянск : БГТУ, 1997. — С. 156.

32. Погорелов Д. Ю. Компьютерное моделирование динамики технических систем с использованием программного комплекса "Универсальный механизм" // Вестник компьютер, и информ. технологий. — 2005. - № 4. - С. 27-34.

33. Погорелов Д. Ю. Современные алгоритмы компьютерного синтеза уравнений движения систем тел // Изв. РАН. Теория и системы управления. — 2005. — № 4. — С. 5-15.

34. Подход к решению междисциплинарных задач на основе системы многотельной динамики / Е.С. Сергеев, В. В. Гетманский, О. В. Шаповалов, А. С. Горобцов // Параллельные вычислительные технологии (ПаВТ'2011) : тр. междунар. науч. конф. (Москва, 28 марта - 1 апр. 2011 г.) / РАН, МГУ, Суперкомпьютерный консорциум ун-тов России, ЮУрГУ. — Челябинск, Издательский центр ЮУрГУ, 2011.— С. 709.

35. Применение файловых операций в MPI программах для распараллеливания вычислительных задач, зависимых по данным / А. Е. Андреев, В. В. Гетманский, Д. Н. Жариков, Е. С. Сергеев // Известия Вол-

гоградского государственного технического университета. — 2009. — Т. 6, № 6. - С. 45-47.

36. Применение НРС-технологий для решения пространственных задач мультифизики / В. А. Васильев, М. В. Крапошин, А. Ю. Ницкий, А. В. Юскин // Вычислительные методы и программирование: новые вычислительные технологии. — 2011. — Т. 12. — С. 160-169.

37. Прогнозирование усталостного ресурса конструктивных элементов автомобиля при случайном нагружении / А. Н. Савкин, А. С. Го-робцов, А. В. Андронник, А. А. Седов // Современное машиностроение. Наука и образование. - 2012. - № 2. - С. 651-660.

38. Решение систем дифференциально-алгебраических уравнений последовательным исключением множителей Лагранжа / О. В. Шаповалов, В. В. Гетманский, А. Е. Андреев, А. С. Горобцов // Известия Волгоградского государственного технического университета. — 2011. — Т. 3, № 10.- С. 31-33.

39. Свешников В. М. Прямой метод декомпозиции без наложения подобластей при решении краевых задач // Вычислительные технологии. - 2008. - Т. 13, № 2. - С. 106-118.

40. Свид. о гос. регистрации программы для ЭВМ №2012611473 от 08.02.2012 г. РФ, МПК(нет). Программная платформа для междисциплинарных расчетов на базе многотельной динамики/ А. С. Горобцов, Е. С. Сергеев, В. В. Гетманский, М. В. Резников, О. В. Шаповалов; ВолгГТУ. - 2012.

41. Сергеев Е. С., Гетманский В. В., Горобцов А. С. Перенос системы моделирования многотельной динамики на вычислительный кластер // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. — 2010. — № 3(101). — С. 93-99.

42. Эндрюс Г. Р. Основы многопоточного, параллельного и распределенного программирования, — М. : Вильяме, 2003.— С. 512.

43. Юдаков А. А. Принципы построения общих уравнений динамики упругих тел на основе модели Крейга-Бэмптона и их практически значимых приближений // Вестник удмуртского университета. — 2012. — № 3. - С. 126-140.

44. Юдинцев В. В. Динамика систем твердых тел. — Самара : СГАУ, 2008.- С. 115.

45. Языков В.Н., Погорелов Д.Ю., Лысиков Н.Н. Компьютерное моделирование динамики поезда в режиме реального времени // Вестник Восточноукраинского национального университета им. Даля. — 2012. — № 5(176).- С. 35-40.

46. Adamiec-Wojcik I., Wojciech S. Application of a rigid finite element method in dynamic analysis of plane manipulators // Mechanism and Machine Theory. - 1993. - Vol. 28, no. 3. - P. 327 - 334.

47. Anantharaman M. Flexible multibody dynamics — An object-oriented approach // Nonlinear Dynamics. - 1996. - Vol. 9. - P. 205-221.

48. Anderson K. S., Duan S. Highly parallelizable low-order dynamics simulation algorithm for multi-rigid-body systems // AIAA Journal on Guidance, Control, and Dynamics. - 2000. - Vol. 23, no. 2. - P. 355-364.

49. Arnold M. Numerical methods for simulation in applied dynamics // Simulation Techniques for Applied Dynamics / Ed. by M. Arnold, W. Schiehlen. - Springer Vienna, 2008. - Vol. 507 of CISM International Centre for Mechanical Sciences. — P. 191-246.

50. Attia H. A. Dynamic simulation of constrained mechanical systems using recursive projection algorithm // Journal of the Brazilian Society of Mechanical Sciences and Engineering. — 2006.— 03.— Vol. 28.— P. 37 - 44.

51. Bauchau O. A. Flexible Multibody Dynamics. Solid Mechanics and Its Applications. - Springer, 2010. - ISBN: 9789400703346.

52. Bauchau O. A. Parallel computation approaches for flexible multi-body dynamics simulations // Journal of the Franklin Institute. — 2010. — Vol. 347, no. 1,- P. 53 - 68.

53. Bayo E., Jalon J. G., Serna M. A. A modified Lagrangian formulation for the dynamic analysis of constrained mechanical systems // Corn-put. Methods Appl. Mech. Eng. - 1988. - Vol. 71, no. 2. - P. 183-195.

54. Berger M.J., Bokhari S.H. A Partitioning Strategy for Nonuniform Problems on Multiprocessors // IEEE Transactions on Computers. — 1987. - Vol. 36, no. 5. - P. 570-580.

55. Bhalerao K. D., Critchley J., Anderson K. An efficient parallel dynamics algorithm for simulation of large articulated robotic systems // Mechanism and Machine Theory. - 2012. - Vol. 53, no. 0. - P. 86 - 98.

56. Blundell M., Harty D. The Multibody Systems Approach to Vehicle Dynamics. — Elsevier, 2004.

57. Chorley M. J., Walker D. W. Performance analysis of a hybrid MPI/OpenMP application on multi-core clusters // Journal of Computational Science. - 2010. - Vol. 1, no. 3. - P. 168 - 174.

58. Clauberg J., Ulbrich H. An Adaptive Internal Parallelization Method for Multibody Simulations // Proceedings of the 12th Pan-American Congress of Applied Mechanics - PACAM XII. — 2012.

59. Concurrent simulation of large-scale multibody systems using MPI / A. S. Gorobtsov, V. V. Getmanski, E. S. Sergeev, A. E. An-dreev // Multibody System Dynamics : the First Joint International Conference (IMSD10, Lappeenranta, Finland, May 25-27, 2010) : book of ad-stracts / Lappeenranta University of Technology. — Lappeenranta, 2010. — P. 358-359.

60. Concurrent simulation of multibody system coupled with stress-strain and heat transfer solvers / V. V. Getmanskiy, E. S. Sergeev, A. S. Gorobtsov et al. // Book of Abstracts of Young Scientists Conference

on Parallel and High-Performance Computing and Simulation, Amsterdam, Netherlands 2-6 April, 2012 (YSC 2012).- 2012.- P. 43-44.- URL: http://promo.escience.ifmo.ru/content/files/abs.pdf.

61. Concurrent simulation of multibody systems coupled with stress-strain and heat transfer solvers / V. V. Getmanski, A. S. Gorobtsov, Sergeev E. S. et al. // Journal of Computational Science. — 2012. — Vol. 3, no. 6. - P. 492-497.

62. Craig R. R., Bampton M. C. Coupling of substructures for dynamic analysis // AIAA Journal. - 1968. - Vol. 6, no. 7. - P. 1313-1319.

63. Cuthill E., McKee J. Reducing the bandwidth of sparse symmetric matrices // Proceedings of the 1969 24th national conference.— ACM '69. - New York, NY, USA : ACM, 1969. - P. 157-172.

64. Daberkow A., Kreuzer E.J. An Integrated Approach for Computer Aided Design in Multibody System Dynamics // Engineering with Computers. - 1999. - Vol. 15. - P. 155-170.

65. Development and validation of a coupled Multibody - Finite elements model for the analysis of the brain motion during impact / §. Tabacu, N. Stanescu, S. Ilie, A. Hada // IMSD 2010, Book of Abstracts. - 2010.

66. Dmitrochenko O. N., Pogorelov D. Yu. Generalization of Plate Finite Elements for Absolute Nodal Coordinate Formulation // Multibody System Dynamics. - 2003. - Vol. 10. - P. 17-43.

67. Eichberger A., Flihrer C., Schwertassek R. The benefits of parallel multibody simulation // International Journal for Numerical Methods in Engineering. - 1994. - Vol. 37, no. 9. - P. 1557-1572.

68. A Fast and Simple Semi-Recursive Formulation for Multi-Rigid-Body Systems / J. G. Jalon, E. Alvarez, F.A. Ribera et al. // Advances in Computational Multibody Systems / Ed. by J. Ambrosio. — Springer Netherlands, 2005. — Vol. 2 of Computational Methods in Applied Sciences. — P. 1-23.

69. Fleissner F., Gaugele T., Eberhard P. Applications of the discrete element method in mechanical engineering // Multibody System Dynamics. - 2007. - Vol. 18. - P. 81-94.

70. Freight car models and their computer-aided dynamic analysis / R. Kovalev, N. Lysikov, G. Mikheev, D. Pogorelov // Multibody System Dynamics. - 2009. - Vol. 22. - P. 399-423.

71. Geradin M., Cardona A. Kinematics and dynamics of rigid and flexible mechanisms using finite elements and quaternion algebra // Computational Mechanics. - 1988. - Vol. 4. - P. 115-135.

72. Getmanski V. V., Gorobtsov A. S., Andreev A. E. Solution of Multi-body System Dynamics Problems on Client-Server Architectures with Pipe Data Interchange // Proceedings of the First International Conference on Parallel, Distributed and Grid Computing for Engineering (PARENG2009), Pecs, Hungary, 6-8 April 2009 / Ed. by B.H.V. Topping, P. Ivanyi. - Stirlingshire, UK : Civil-Comp Press, 2009.

73. Gongalves J. C., Ambrosio J. C. Optimization of Vehicle Suspension Systems for Improved Comfort of Road Vehicles Using Flexible Multibody Dynamics // Nonlinear Dynamics. - 2003. - Vol. 34. - P. 113-131.

74. Gorobtsov A. S., Klimov S. Y., Getmanskiy V. V. Parallel inverse dynamics method for synthesis of control movement of multidimensional walking robot // Mechatronics and Automation, 2009. (ICMA 2009). International Conference. - 200'9. — P. 3168 -3172.

75. Han H. S., Seo J. H. Design of a multi-body dynamics analysis program using the object-oriented concept // Advances in Engineering Software. - 2004. - Vol. 35, no. 2. - P. 95 - 103.

76. Hegazy G., Rahnejat H., Hussain K. Multi-body dynamics in full-vehicle handling analysis // Proceedings of the Institution of Mechanical Engineers, Part K: Journal of Multi-body Dynamics. — 1999. — Vol. 213, no. 1,- P. 19-31.

77. High-performance multibody models of road vehicles: fully symbolic implementation and parallel computation / T. Postiau, L. Sass, P. Fisette, J.C. Samin // Vehicle System Dynamics.— 2001.— no. 35(Suppl.).— P. 57-83.

78. Hocke M., Ruhle R., Otter M. A Software Environment for Analysis and Design of Multibody Systems // Advanced Multibody System Dynamics - Simulation and Software Tools. — Kluwer Academic Publishers, 1993.

79. Jalón J. G., Bayo E. Kinematic and Dynamic Simulation of Multibody Systems: The Real-Time challenge / Ed. by J. G. Jalón. — Springer-Verlag, 1994,- P. 440.

80. Jalón J. G., Unda J., Avello A. Natural coordinates for the computer analysis of multibody systems // Computer Methods in Applied Mechanics and Engineering. - 1986. - Vol. 56, no. 3. - P. 309 - 327.

81. Jalón J. G., Vidal J., Funes F. J. MechXML: An XML-based language for the description of rigid and flexible multibody systems.- [2012].- URL: http://mat21.etsii.upm.es/mbs/MechXML/ papers/MechXML-Articulo.pdf.

82. Jang Bong-Choon, Choi Gyoojae. Co-simulation and simulation integration for a full vehicle dynamic system // Mathematical and Computer Modelling of Dynamical Systems. - 2007. - Vol. 13, no. 3. - P. 237-250.

83. Kübler R., Schiehlen W. Modular Simulation in Multibody System Dynamics // Multibody System Dynamics.— 2000,— Vol. 4.— P. 107-127.

84. Kübler R., Schiehlen W. Two Methods of Simulator Coupling // Mathematical and Computer Modelling of Dynamical Systems. — 2000. — Vol. 6, no. 2.- P. 93-113.

85. Karypis G., Kumar V. Multilevel Algorithms for Multi-Con-

straint Graph Partitioning // IEEE/ACM Conference on Supercomputing, 1998.SC98. — 1998.-P. 28.

86. Kernighan B. W., Lin S. An Efficient Heuristic Procedure for Partitioning Graphs // The Bell system technical journal. — 1970.— Vol. 49, no. 1.- P. 291-307.

87. Khan W. A., Tang C. P., Krovi V. N. Modular and distributed forward dynamic simulation of constrained mechanical systems // Mechanism and Machine Theory. - 2007. - Vol. 42, no. 5. - P. 558 - 579.

88. Kim Sung-Soo, Jeong Wanhee. Subsystem synthesis method with approximate function approach for a real-time multibody vehicle model // Multibody System Dynamics. - 2007. - Vol. 17. - P. 141-156.

89. Kortum W., Schiehlen W., Hoffmann M. Progress in integrated system analysis and design software for controlled vehicles // Vehicle System Dynamics. - 1994. - Vol. 23, no. supp. - P. 274-296.

90. Larson J. W. Ten organising principles for coupling in multi-physics and multiscale models // Proceedings of the 13th Biennial Computational Techniques and Applications Conference, CTAC-2006 / Ed. by Wayne Read, Jay W. Larson, A. J. Roberts. - Vol. 48 of ANZIAM J. -2009,- P. 1090-1111.

91. Lee K. An accelerated iterative method for the dynamics of constrained multibody systems // Computational Mechanics. — 1993. — Vol. 12.- P. 27-38.

92. Lethbridge P. Multiphysics analysis // The Industrial Physicist. — 2004. - December. - Vol. 1. - P. 26-29.

93. Leveraging parallel computing in multibody dynamics / D. Negrut, A. Tasora, H. Mazhar et al. // Multibody System Dynamics. — 2012. — Vol. 27.- P. 95-117.

94. Lion A., Loose S. A Thermomechanically Coupled Model for Automotive Shock Absorbers: Theory, Experiments and Vehicle Simulations

on Test Tracks 11 Vehicle System Dynamics. — 2002. — Vol. 37, no. 4. — P. 241-261.

95. Mahjoubi N., Gravouil A., Combescure A. Coupling subdomains with heterogeneous time integrators and incompatible time steps // Computational Mechanics. - 2009. - Vol. 44. - P. 825-843.

96. Malczyk P., Fraczek J. Cluster computing of mechanisms dynamics using recursive formulation // Multibody System Dynamics. — 2008. — Vol. 20. - P. 177-196.

97. Malczyk P., Fraczek J. Evaluation of parallel efficiency in modeling of mechanisms using commercial multibody solvers // The Archive of Mechanical Engineering. - 2009. - Vol. LVI, no. 3. - P. 237-249.

98. Modeling, analysis and fatigue life prediction of lower suspension arm / M. M. Rahman, M. Noor, K. Kadirgama et al. // Advanced Materials Research. - 2011,- Vol. 264.- P. 1557-1562.

99. Mraz L., Valasek M. Solution of three key problems for massive parallelization of multibody dynamics // Multibody System Dynamics. — 2013.-Vol. 29.-P. 21-39.

100. Mukherjee R. M., Anderson K. S. Orthogonal Complement Based Divide-and-Conquer Algorithm for constrained multibody systems // Nonlinear Dynamics. - 2007. - Vol. 48. - P. 199-215.

101. Multiphysics modelling of multibody systems: application to car semi-active suspensions / N. Docquier, A. Poncelet, M. Delannoy, P. Fisette // Vehicle System Dynamics. - 2010,- Vol. 48, no. 12.-P. 1439-1460.

102. Nagata T. A Parallel O(N) Formulation for General Multibody Dynamics // JSME International Journal. - 2003. - Vol. 46, no. 2. -P. 459-466.

103. Nikravesh P. E. An Overview of Several Formulations for

Multibody Dynamics // Product Engineering / Ed. by Doru Talaba, Thomas Roche. - Springer Netherlands, 2005. - P. 189-226.

104. Non-intrusive parallelization of multibody system dynamic simulations / F. Gonzalez, A. Luaces, U. Lugrís, M. González // Computational Mechanics. - 2009. - Vol. 44. - P. 493-504.

105. Numerical Methods for High-Speed Vehicle Dynamic Simulation / E. J. Haug, D. Negrut, R. Serban, D. Solis // Mechanics of Structures and Machines. - 1999. - Vol. 27, no. 4. - P. 507-533.

106. Pascal M., Gagarina T. A Pseudo-Rigid Model for the Dynamical Simulation of Flexible Mechanisms // Multibody System Dynamics. — 1999.- Vol. 3.- P. 303-331.

107. Prescott W. Simulation of Multibody Systems in a Parallel Processing Environment // IMSD 2010, Book of Abstracts. - 2010. - P. 16-17.

108. Recursive formulations for multibody systems with frictional joints based on the interaction between bodies / Z. Qi, Y. Xu, X. Luo, S. Yao // Multibody System Dynamics. - 2010. - Vol. 24. - P. 133-166.

109. Reungwetwattana A., Toyama S. An Efficient Dynamic Formulation for Multibody Systems // Multibody System Dynamics. — 2001.— Vol. 6. - P. 267-289.

110. Review of hardware-in-the-loop simulation and its prospects in the automotive area / H. K. Fathy, Z. S. Filipi, J. Hagena, J. L. Stein // Society of Photo-Optical Instrumentation Engineers (SPIE) Conference Series. — Vol. 6228 of Society of Photo-Optical Instrumentation Engineers (SPIE) Conference Series. — 2006.

111. Ryu J., Kim H., Yim H. An efficient and accurate dynamic stress computation by flexible multibody dynamic system simulation and reanal-ysis // KSME International Journal. - 1997. - Vol. 11. - P. 386-396.

112. Saad Y. Iterative Methods for Sparse Linear Systems. — 2nd edition.— Philadelphia, PA, USA : Society for Industrial and Applied Mathematics, 2003. - ISBN: 0898715342.

113. Saha S. K., Schiehlen W. O. Recursive kinematics and dynamics for parallel structured closed-loop multibody systems // Mechanics of Structures and Machines. - 2001. - Vol. 29, no. 2. - P. 143-175.

114. Schiehlen W. Multibody System Dynamics: Roots and Perspectives // Multibody System Dynamics. - 1997.- Vol. 1,- P. 149-188.

115. Selvakkumaran N., Karypis G. Multiobjective hypergraph-parti-tioning algorithms for cut and maximum subdomain-degree minimization // IEEE Trans, on CAD of Integrated Circuits and Systems. — 2006. — Vol. 25, no. 3,- P. 504-517.

116. Shabana A.A. Computer Implementation of the Absolute Nodal Coordinate Formulation for Flexible Multibody Dynamics // Nonlinear Dynamics. - 1998. - Vol. 16, no. 3. - P. 293-306.

117. Shabana A. A. Computational Dynamics, 3rd Edition. — John Wiley & Sons, 2010. - ISBN: 9780470686867.

118. Siemers A, Fritzson D. A Meta-Modeling Environment for Mechanical System Co-Simulations // Proceedings of SIMS 2007. — 2007. — P. 109-116.

119. Simulation techniques for multidisciplinary problems in vehicle system dynamics / M. Arnold, A. Carrarini, A. Heckmann, G. Hippmann // Vehicle System Dynamics. - 2003. - Vol. 40(suppl.). - P. 17-36.

120. Teresco J. D., Faik J., Flaherty J. E. Resource-Aware Scientific Computation on a Heterogeneous Cluster // Computing in Science and Engg. - 2009. - Vol. 7, no. 2. - P. 40-50.

121. A Topology-Based Approach for Exploiting Sparsity in Multibody Dynamics in Cartesian Formulation / R. Serban, D. Negrut, E. J. Haug,

F. A. Potra // Mechanics of Structures and Machines. — 1997. — Vol. 25, no. 3,- P. 379-396.

122. Valasek M., Sika Z., Vaculin O. Multibody formalism for real-time application using natural coordinates and modified state space // Multibody System Dynamics. - 2007. - Vol. 17. - P. 209-227.

123. Vlasenko D. Method for distributed forward dynamic simulation of constrained mechanical systems // Proceedings of the Eurosim Conference. - 2004. - P. 21-24.

124. Vlasenko D. Comparison of simulation of constrained multibody dynamics using relative and absolute coordinates // Proceedings of International Conference on Mechanics "Fourth Polyakhov's Reading". — 2006. — P. 75-83.

125. Vlasenko D., Kasper R. Algorithm for Component Based Simulation of Multibody Dynamics // Technische Mechanik. — 2006. — Vol. 2, no. 26. - P. 92-105.

126. Wojciech S., Adamiec-Wojcik I. Experimental and computational analysis of large amplitude vibrations of spatial viscoelastic beams // Acta Mechanica. - 1994. - Vol. 106. - P. 127-136.

127. Zahariev E., Mcphee J. Stabilization of Multiple Constraints in Multibody Dynamics Using Optimization and a Pseudo-inverse Matrix // Mathematical and Computer Modelling of Dynamical Systems. — 2003. — Vol. 9, no. 4.- P. 417-435.