Методы моделирования гармонических электромагнитных полей тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Бутюгин, Дмитрий Сергеевич

• Бутюгин, Дмитрий Сергеевич
• кандидат физико-математических наук
• 2013

Оглавление диссертации кандидат физико-математических наук Бутюгин, Дмитрий Сергеевич

Содержание

Введение

Глава 1. Непрерывные и дискретные модели трехмерного электромагнетизма

1.1. Система уравнений Максвелла для задач электромагнетизма

1.2. Вариационные постановки краевых задач для гармонических электромагнитных полей

1.3. Регуляризованные и смешанные формулировки задач

1.4. Дискретные постановки задач для Нг0г'- ко 11формиых конечных элементов Недслска

Глава 2. Параллельные методы итерационного решения СЛАУ электромагнетизма

2.1. Предобусловленные итерационнвю методы в подпространствах Крылова для комплексных симметричных СЛАУ

2.2. Параллельные нредобуславливатели с неполным LU разложением матрицы СЛАУ

2.3. Алгебраические мультиссточныс методы на Hrot - ко 11 форм 11 ых иерархических базисах

2.4. Методы декомпозиции области для вычислительных систем с распределенной памятью

2.5. Алгоритмы Шварца и грубосеточной коррекции

Глава 3. Вычислительные и программные технологии моделирования трехмерных электромагнитных полей

3.1. Общая архитектура программного комплекса Helmholtz3D

3.2. Автоматизация построения конечно-элементных аппроксима-пионных алгоритмов

3.3. Технологии параллельного программирования и оптимизации кода для МВС с раепределенной и общей памятью

3.4. Технологии постобработки и визуализации трехмерных электромагнитных полей в ППП Helmholtz3D

Глава 4. Примеры решения задач электромагнетизма

4.1. Исследование сходимости конечно-элементных решений и сравнительной эффективности итерационных методов

4.2. Решение задач геоэлектроразведки итерационными методами

для МВС с общей и распределенной памятью

4.3. Использование адаптивных сгущающихся сеток в задачах моделирования волновых устройств

Заключение

Литература

Приложение А. Свидетельства о регистрации разработки

Введение диссертации (часть автореферата) на тему «Методы моделирования гармонических электромагнитных полей»

Введение

В настоящее время актуальной является проблема моделирования электромагнитных волн с гармонической зависимостью от времени, распространяющихся в трехмерных областях со сложной конфигурацией и различными материальными свойствами среды. Задачи такого типа часто встречаются в геоэлектроразведке, а также при моделировании высокочастотных устройств. При этом требуется моделирование электромагнитного излучения в широком спектре частот — от десятков гигагерц для устройств сверхвысокой частоты (СВЧ) [89], десятков мегагерц для задач индукционного каротажа [100], и до нескольких герц и долей герца в задачах магнитотеллурического зондирования [101]. В таком случае использование высокочастотных приближений для полей вдали от источников, а также низкочастотных индукционных аппроксимаций без учета токов смещения оказывается недопустимым и требуется использование моделей, эквивалентных исходным уравнениям Максвелла. При этом естественным оказывается желание построить единообразный подход к решению всех указанных выше задач, учитывая в то же время их специфику.

Проблема моделирования трехмерных гармонических электромагнитных полей в устройствах СВЧ возникает, например, при разработке и оптимизации параметров мобильных телефонов, микроволновых печей, а также различных антенных устройств. При этом часто требуется исследование взаимодействия излучений от различных высокочастотных элементов монтажных плат таких устройств. Высокие требования к точности полученного решения вызваны необходимостью обработки сложной геометрии расчетной области с разномасштабными объектами и наличием сред с высококонтрастными физическими параметрами.

К задачам расчета гармонических электромагнитных полей в гсоэлск-троразведке относятся задачи индукционного каротажа и магнитотеллуриче-

ского зондирования. В первом случае исследование геологических структур проводится при помощи измерительного прибора, опущенного в скважину, который генерирует высокочастотное поле (до десятков мегагерц) и измеряет отклик среды на него. Во втором случае источником гармонических электромагнитных полей являются токи ионизованных частиц в ионосфере Земли. Частота таких полей варьируется от десятков и сотен герц до долей герца. В таких задачах также часто возникает необходимость учета разномасштабной геометрии, поскольку размеры расчетной области для магнитотеллурическо-го зондирования могут достигать сотен километров, при этом требуется учет геологических объектов размером в несколько десятков метров. Дополнительную сложность при решении таких задач добавляет высококонтрастная проводимость сред, которая, как правило, меняется в очень широких пределах.

Проблема моделирования трехмерных электромагнитных полей в частотной области является комплексной, поскольку для ее эффективного решения требуется как генерация отвечающей особенностям расчетной области адаптивной сетки с построением подходящей дискретной аппроксимации, так и решение полученной большой плохо обусловленной системы линейных алгебраических уравнений (СЛАУ). Здесь можно отметить большую важность по—»

строения "бездивергентной" аппроксимации ((Ну И = 0 в случае отсутствия пространственных зарядов), так как в противном случае возможно появление ложных решений, не соответствующих физическому явлению (см. например [39], [68], [91]).

Задача генерации сеток является очень важной, так как сама сетка оказывает большое влияние на точность полученного решения. Данной проблеме посвящено большое количество работ отечественных и зарубежных авторов, однако эта проблема выходит за рамки данной работы. В дальнейшем мы для простоты ограничимся неструктурированными сетками из тетраэдров.

Электромагнитные волны в частотной области могут быть описаны ком-

плсксным уравнением Гсльмгольца вида

V х V х Ё - яЁ = I. (1)

Для его аппроксимации широко используется метод векторных конечных элементов ([56], [57]), в котором в простейшем случае используются векторные базисные функции первого порядка, а само поле Е в каждом элементе сетки строится как линейная комбинация таких функций. Для каждого ребра сетки существует ровно одна базисная функция, проекция которой на данное ребро не равна нулю, и наоборот, в связи с чем такие функции часто называют реберными базисными функциями. К особенностям данных функций можно отнести то, что при переходе из одного тетраэдра в другой непрерывными остаются только касательные составляющие базисных функций, а их нормальные компоненты терпят разрыв. Это позволяет векторным базисным функциям естественным образом аппроксимировать скачки нормальных компонент электрического и магнитного полей на границе раздела двух сред с разными характеристиками. Кроме того, векторные реберные элементы не порождают численных неустойчивостсй, характерных для скалярных конечных элементов [23].

Стоит отметить, что при достаточно высокой частоте излучения и безди-вергентности источника сторонних токов (divJ = 0) условие бездивергентно-сти электрического поля оказывается автоматически выполненным. Тем не менее, в ряде случаев этого оказывается недостаточно, поскольку, например, аппроксимация источника токов может не удовлетворять этому условию. В таких случаях полезной оказывается смешанная постановка задачи в форме с множителем Лагранжа [35]. Такая формулировка позволяет решить указанную проблему, однако требует специальных методов для решения получаемых СЛАУ седлового типа.

Помимо метода векторных конечных элементов, в настоящее время ис-

пользуются и другие подходы, например конечно-объемная аппроксимация [36], [43]. Достоинством данного метода по сравнению с векторным МКЭ является лучшая спектральная характеристика получаемой системы уравнений а также большая разреженность матрицы. Однако этот метод плохо подходит для сложных областей в связи с необходимостью специальной обработки границ разделов сред и входящих углов расчетной области.

Следующей проблемой при решении задач электромагнетизма является выбор эффективного алгоритма решения получающейся СЛАУ. Конкретный способ решения полученной системы уравнений во многом зависит от метода аппроксимации, тем не менее можно выделить 2 широких класса алгоритмов, применяющихся на практике.

В первый класс включаются разнообразные прямые методы решения. В настоящее время такие подходы с успехом используются при решении задач трехмерного электромагнетизма на средних сетках (с числом степеней свободы порядка 105). Однако дальнейшее сгущение сетки приводит у алгоритмов данного вида к проблемам с памятью. В [93] приведены следующие оценки для метода Гаусса при решении трехмерного уравнения Лапласа на кубической решётке с числом узлов А3: время работы есть 0(А7), используемая память — 0(7V5), где N — число шагов сетки по каждому из измерений.

Ко второму классу относятся итерационные алгоритмы. К достоинствам методов данного типа можно отнести низкое потребление памяти: при решении трёхмерных дифференциальных уравнений используемая память в большинстве случаев оказывается равной 0(N3). Кроме того, на определённых классах задач они показывают более высокое быстродействие, чем прямые методы. Для уже упомянутого трёхмерного уравнения Лапласа время работы методов пространства Крылова с предобуславливателем оказывается равным 0(N2 log А). Однако для задач электромагнетизма, особенно в сочетании с аппроксимацией векторными конечными элементами, итерационные методы

показывают довольно плохую сходимость. Это связано с тем, что оператор rot rot имеет ядро большой размерности [42] (rot Ё определён с точностью до градиента произвольной скалярной функции). Это приводит к тому, что при Re(>r) > 0 в спектре матрицы результирующей системы появляется много собственных чисел с отрицательной действительной частью, что делает матрицу знаконеопределённой [17]. Однако большинство эффективных итерационных алгоритмов построено для положительно определённых матриц. Поэтому такие алгоритмы в данном случае либо вообще не работают, либо показывают очень плохую сходимость. В связи с этим актуальна проблема разработки методик улучшения работы итерационных методов с данным типом уравнений. В настоящее время предложен ряд методов по некоторому улучшению работы итерационных алгоритмов, например, несколько специализированных методов предобуславливания системы ([33], [3-5]).

Одной из многообещающих методик на сегодняшний день является использование мультисеточных методов, которые также можно использовать в качестве предобуславливателей. Однако применение мультисеточных методов геометрического типа может быть сопряжено со сложностью построения последовательности огрубленных сеток для сложной расчетной области. В этом случае полезными оказываются алгебраические мультиссточные методы, которые не требуют построения последовательности сеток, а основаны на алгебраическом исключении части неизвестных системы и построении соответствующих операторов сужения и продолжения [40]. Отдельный интерес представляют алгебраические методы, основанные на использовании иерархических базисов. В таком случае матрицы пониженных порядков, а также операторы сужения и продолжения имеют тривиальный вид [44], что позволяет реализовать эффективные и экономичные алгоритмы.

Следующей проблемой при построении алгоритмов является отображение вычислительных алгоритмов на компьютерные архитектуры. В насто-

ящсс время широко доступны многопроцессорные вычислительные системы (МВС) с распределенной памятью, состоящие из большого числа автономных вычислительных узлов, связанных между собой через высокоскоростную систему связи. При этом имеются МВС как с узлами, состоящими из одного или нескольких вычислительных процессоров общего назначения с симметричным доступом к памяти, так и гетерогенные узлы, имеющие специализированные вычислительные модули, например, графические ускорители. В настоящее время предпринимаются усилия по построению общей методологии отображения алгоритмов на архитектуры МВС [95], однако полного решения данной проблемы еще не существует, в связи с чем необходим анализ конкретных вычислительных алгоритмов с целью оптимальной реализации для конкретного класса вычислительной системы.

При построении программных реализаций вычислительных алгоритмов важно учитывать, что для решения конкретных задач потребителя такие пакеты прикладных программ (ППП) должны обладать возможностью адаптации и быть легко встраиваемыми в уже имеющиеся программные среды. Дополнительную ценность представляют ППП с открытым исходным кодом, предоставляющие возможность расширения сторонними разработчиками и построенные на основе популярных индустриальных стандартов. Последний аспект особенно важен, поскольку на рынке имеется много коммерческих пакетов, ориентированных на решение широкого спектра задач, включая задачи электромагнетизма, например, ANSYS HFSS [11] и CST Microwave Studio [26]. Однако такие пакеты в большинстве случаев имеют весьма ограниченные возможности по расширению, в связи с чем их возможности по адаптации для решения новых инженерных и научных задач невысоки. Поэтому разработка новых систем моделирования, открытых для расширения, имеет большую практическую ценность.

Важным этапом построения и апробации вычислительных моделей явля-

стоя проведение численного эксперимента. Однако на сегодняшний день компьютерный эксперимент является не просто средством верификации моделей. Можно сказать, что мы имеем третий путь познания, помимо теоретических и экспериментальных исследований, и роль математического моделирования в таком качестве с течением времени будет только расти. Соответственно, повышение доступности вычислительных инструментариев для инженеров и исследователей является приоритетной задачей разработчиков прикладного программного обеспечения.

Стоит отметить, что обработка результатов численных экспериментов является довольно нетривиальной задачей. Необходимость постобработки решения, представленного в виде коэффициентов разложения по базисным функциям, а также вычисления различных целевых функционалов может приводить к отдельным сложным вычислительным проблемам. В связи с этим большую роль приобретает автоматизация процесса построения конечно-элементных аппроксимаций. Не менее важным является наглядное представление решения в графическом виде. Здесь можно отметить проблему визуализации и построения различных срезов сложных разномасштабных электромагнитных полей, нестационарных по своей природе. Данная проблема является алгоритмически сложной и может потребовать использования существенных вычислительных мощностей, включая применение графических ускорителей.

В целом, рассмотренные выше проблемы связаны с общей задачей построения эффективных алгоритмов моделирования трехмерных электромагнитных полей с гармонической зависимостью от времени. Данная диссертационная работа посвящена разностороннему исследованию данных аспектов с целью построения экономичных, надежных и эффективных вычислительных методов и программных технологий моделирования таких полей.

Цель диссертационной работы состоит в комплексном исследовании методов моделирования электромагнитных полей с гармонической зависимо-

стью от времени, включающих оригинальные формулировки задач, построение и исследование конечно-элементных аппроксимаций с высоким разрешением, разработку итерационных методов решения СЛАУ и постобработки полученных решений.

Для достижения поставленных целей были решены следующие задачи:

• Построение обобщенных формулировок классических, смешанных и ре-гуляризованных задач для полей с гармонической зависимостью от времени, исследование вопросов их разрешимости, а также конструирование оптимальных по порядку предобуславливающих операторов.

• Построение и теоретическое и численное обоснование сходимости схем для аппроксимации рассматриваемых постановок задач конечными элементами Неделека высоких порядков, в том числе при наличии сингу-лярностей в решениях.

• Разработка эффективных параллельных предобусловленных итерационных методов для МВС с общей и распределенной памятью, ориентированных на решение больших СЛАУ, возникающих в результате аппроксимации вариационных формулировок иерархическими векторными базисными функциями.

• Разработка концепции и реализация параллельного пакета прикладных программ Не1тЬо^гЗО, решение методических и практических задач геоэлекроразведки и моделирования СВЧ устройств.

Научная новизна

1. Построены обобщения смешанных и регуляризованных постановок задач электромагнетизма для случая комплексной диэлектрической проницаемости при ненулевой проводимости среды, предложены эффективные спектрально эквивалентные прсдобуславливающие операторы.

2. Проведено исследование сходимости конечно-элементных решений при использовании элементов Недслека 1-го и 2-го рода высоких порядков и апостериорного анализа ошибки с локальным сгущением неструктурированных тетраэдральных сеток в окрестности сингулярностей. Предложены подходы к автоматизации построения алгоритмов для МКЭ аппроксимаций с применением символьных вычислений и технологий оптимизаций выражений.

3. Предложены эффективные многоуровневые параллельные итерационные методы в подпространствах Крылова для решения больших распределенных СЛАУ, возникающих при дискретизации краевых задач электромагнетизма, ориентированные на вычислительные системы с общей и распределенной памятью Построенные предобуславливатели включают в себя параллельные алгебраические мультиссточныс методы и грубосеточную коррекцию с использованием блочной структуры СЛАУ при аппроксимации вариационных постановок иерархическими базисными функциями высоких порядков.

4. Разработана концепция и программная реализация расширяемого пакета Не1тЬоЬгЗБ, проанализированы и выбраны наиболее подходящие для построения такого пакета вычислительные технологии и предложен подход к отображению вычислительных алгоритмов на МВС с распределенной и общей памятью.

Практическая значимость. В рамках работы реализован пакет параллельных прикладных программ Нс1тЬоЬгЗО, предназначенный для расчетов гармонических электромагнитных полей в устройствах СВЧ, а также для решения прямых задач геоэлектроразведки.

Исследования были поддержаны грантами РФФИ №11-01-205 и Президиума РАН №2 5, а также ГОУ ВПО "Санкт-Петербургский государственный

университет информационных технологий, механики и оптики" в рамках контракта JYni.G34.31.0019.

На защиту выносятся следующие основные результаты:

1. Непрерывные и дискретные математические модели электромагнетизма в классической, смешанной и регуляризованной вариационных постановках для решения смешанных краевых задач электромагнетизма с гармонической зависимостью полей от времени, включая построенные оптимальные по порядку предобуславливающие операторы.

2. Методы автоматизированного построения аппроксимаций векторными конечными элементами Неделека первого и второго рода высоких порядков на адаптивных неструктурированных тетраэдральных сетках, учитывающих особенности решений.

3. Алгоритмы декомпозиции области и решения разреженных конечно-элементных СЛАУ электромагнетизма, возникающих как результат аппроксимации вариационных формулировок задач, на МВС с общей и распределенной памятью.

4. Открытый расширяемый пакет прикладных программ Не1тЬоИ^ЗБ для решения прямых задач геоэлектроразведки и моделирования различных СВЧ устройств, таких как антенны мобильных телефонов, микроволновые печи и др.

Апробация работы. Основные результаты диссертации докладывались на следующих семинарах и конференциях:

• Объединенном семинаре ИВМиМГ СО РАН и кафедры вычислительной математики НГУ, декабрь 2012;

• Семинаре кафедры прикладной математики НГТУ, январь 2013;

Семинаре по геоэлектрике ИНГГ СО РАН, январь 2013;

Международной конференции "Дифференциальные уравнения. Функциональные пространства. Теория приближений" (Новосибирск, 2008);

Международной научной студенческой конференции "Студент и научно-технический прогресс" (Новосибирск, 2009, 2010, 2012);

International conference "Progress in Electromagnetics Research Symposium" (PIERS-2009, Москва, 2009);

Конференции молодых ученых ИВМиМГ СО РАН (Новосибирск, 2009, 2010, 2012);

Сибирской конференции по параллельным и высокопроизводительным вычислениям (Томск, 2009, 2011);

Всероссийской конференции "Теоретические основы и конструирование численных алгоритмов решения задач математической физики" (Абрау-Дюрсо, 2010, 2012);

Международной школе-конференции "Математика. Компьютер. Образование" (Пущино, 2011);

Международной научной конференции "Параллельные вычислительные технологии" (Москва, 2011; Новосибирск, 2012);

Международной конференции "Современные проблемы прикладной математики и механики: теория, эксперимент и практика" (Новосибирск, 2011);

Всероссийской конференции по вычислительной математике КВМ-2011 (Новосибирск, 2011);

• International Young Scientists Conference "High Performance Computing and Simulation" (Амстердам, 2012);

• Всероссийской научно-технической конференции "Микроэлектроника СВЧ" (Санкт-Петербург, 2012);

• Всероссийской конференции "Актуальные проблемы вычислительной математики и математического моделирования" (Новосибирск, 2012);

• Всероссийской конференции "Актуальные проблемы прикладной математики и механики" (Абрау-Дюрсо, 2012).

Публикации. Материалы диссертации опубликованы в 20 печатных работах, из них 4 статьи в рецензируемых журналах [21, 79, 81, 87], 7 статей в сборниках трудов конференций и 9 тезисов докладов.

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы.

В совместных публикациях автору принадлежат следующие результаты. В работах [22, 84, 85, 88] автору принадлежит разработка подходов к решению комплексного уравнения Гельмгольца векторными методами конечных элементов, а также итерационных решателей для СЛАУ электромагнетизма и проведение численных экспериментов с использованием МКЭ. В работах [86, 87] автором исследованы вопросы проектирования модульных алгоритмов и отображения их на существующие аппаратные платформы. В [87] автору дополнительно принадлежит разработка алгоритмов экономичной декомпозиции, получение оценок эффективности разработанных алгоритмов, а также проведение численных экспериментов для СЛАУ электромагнетизма.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав, заключения, библиографии и приложения. Общий объем диссертации

173 страницы, включая 19 рисунков и 14 таблиц.

Библиография включает 101 наименование на 12 страницах.

Краткое содержание работы:

В первой главе содержится обсуждение математических моделей трехмерного электромагнетизма. Приводится система дифференциальных уравнений Максвелла, комплексное векторное уравнение Гельмгольца и вариационные постановки задач в соболевских пространствах. Построены обобщения вариационных формулировок для регуляризованной и смешанной задачи с множителем Лагранжа в случае комплексной диэлектрической проницаемости вещества при наличии проводимости. Для данных формулировок предложены спектрально-эквивалентные предобуславливающие операторы. Описано построение дискретных аналогов вариационных формулировок задач и приведено обоснование сходимости данных методов.

Во второй главе обсуждаются предобусловленные итерационные алгоритмы, предлагаемые для решения больших систем линейных уравнений, возникающих в результате аппроксимации вариационных краевых задач. Приводится описание ряда итерационных методов в подпространствах Крылова, подходящих для решения комплексных симметричных неэрмитовых СЛАУ со знаконеопределенным спектром. Предложено два метода экономичной декомпозиции области для решения задач на МВС с распределенной памятью, приведены оценки их трудоемкости. Построены алгебраические мультисеточ-ные предобуславливатсли на иерархических базисах и многоуровневые итерационные методы в подпространствах Крылова для решения задач в подобластях. Также построен алгебраический метод грубосеточной коррекции для ускорения внешних итераций по подобластям, рассмотрено его введение в качестве предобуславливателя. Предложены и проанализированы методы распараллеливания итерационных методов в подобластях для вычислительных узлов с общей памятью.

Третья глава содержит описание разработанных и используемых вычислительных и программных технологий, а также обсуждение и анализ архитектуры расширяемого пакета прикладных программ Helmholtz3D. Предложена методология автоматизации построения конечно-элементных аппроксимаций высоких порядков и обсуждаются ее технологические аспекты. В главе проанализированы различные алгоритмические оптимизации и оптимизации кода итерационных методов для повышения их быстродействия на современных МВС с общей и распределенной памятью. Исследуются технологические аспекты постобработки и визуализации геометрических объектов расчетной области и электромагнитных полей и приводится описание методов визуализации пакета Helmholtz3D.

В четвертой главе обсуждаются результаты проведенных численных экспериментов по моделированию электромагнитных полей с гармонической зависимостью от времени в модельных и практических задачах геоэлектроразведки и проектирования высокочастотных устройств. Представлены результаты исследования сходимости конечно-элементных решений на последовательности сгущающихся сеток, в том числе в случаях, когда решение содержит сингулярности. Предложенный способ оценки локальной ошибки в тетраэдрах и методика адаптивного сгущения сетки позволяет улучшить глобальную интегральную ошибку и обеспечить высокий порядок сходимости в случае решений с сингулярностями. В главе также приводится сравнительных анализ эффективности предложенных численных алгоритмов на представительном наборе задач. Реализованные в работе алгоритмы решения СЛАУ показывают высокую абсолютную эффективность и масштабируемость, позволяя решать СЛАУ из 200 миллионов неизвестных за 15 минут на 512 MPI процессах, и обгоняют прямые методы на примере кластерного пакета MUMPS более чем на порядок как по времени решения задач, так и по максимальному размеру решаемых СЛАУ.

В заключении подводятся итоги и обсуждаются результаты диссертационной работы, а также рассматриваются перспективные пути дальнейших исследований. В приложении содержатся копии свидетельств о регистрации программного кода алгебраических итерационных методов.

Благодарности. Автор выражает глубокую признательность коллективу лаборатории вычислительной физики ИВМиМГ СО РАН и лично научному руководителю Ильину В.П. за оказанную поддержку во время работы над материалами диссертации и высказанные ценные замечания; Соловейчику Ю.Г. за предоставленные задачи геоэлектроразведки; У реву М.В. за продуктивные научные дискуссии.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Бутюгин, Дмитрий Сергеевич

Заключение

Основные выносимые на защиту теоретические и экспериментальные результаты работы заключаются в следующем.

• Исследованы вариационные постановки классических, смешанных и ре-гулязриованных задач для полей с гармонической зависимостью от времени. Построены и обоснованы обобщения смешанных и регулязриован-ных формулировок на случай комплексной диэлектрической проницаемости вещества с ненулевой проводимостью среды и найдены достаточные условия их разрешимости. На непрерывном и дискретном уровне построены оптимальные по порядку предобуславливающие операторы.

• Обоснована сходимость решений дискретных постановок вариационных задач при использовании Н1- и Яго1;-конформных конечных элементов для аппроксимации скалярных и векторных функций соответственно. Показана зависимость скорости сходимости от регулярности решений в соболевских пространствах и предложены подходы к адаптивному сгущению сеток к их особенностям для обеспечения высоких порядков сходимости. Разработана технология автоматизации построения конечно-элементных аппроксимаций задач гармонического электромагнетизма. в Разработаны эффективные параллельные предобусловленные итерационные методы решения разреженных комплексных неэрмитовых СЛАУ высоких порядков для МВС с общей и распределенной памятью. Предлагаемые алгоритмы включают в себя спектрально-эквивалентные пре-добуславливатели для смешанной и регуляризованной постановок задач, алгебраические мультисеточные предобуславливатели, построенные с использованием особенностей аппроксимации задач иерархическими векторными базисными функциями высоких порядков, а также методы алгебраической грубоссточной коррекции.

• Представлены концепция и технологии разработки ППП Не^ЬоНгЗБ для моделирования трехмерных электромагнитных полей с гармонической зависимостью от времени, распространяющихся в областях со сложной геометрией и различными контрастными средами. Разработанные вычислительные и программные технологии позволили создать открытый расширяемый пакет, с помощью которого решен ряд модельных и практических задач гсоэлектроразведки и расчета устройств СВЧ, демонстрирующих высокую эффективность и производительность предложенных методов, а также их параллельных реализаций.

Задача моделирования гармонических электромагнитных полей имеет много нерешенных проблем, в связи с чем существует множество путей дальнейших исследований. Можно отметить несколько основных направлений, являющихся логическим продолжением представленной работы.

• Построение и оптимизация геометрических мультисеточных методов для СЛАУ электромагнетизма со знаконеопределенным спектром, полученных при аппроксимации задач векторными конечными элементами Неделека первого порядка.

• Исследование параллельных итерационных алгоритмов обращения пре-добуславливателей для смешанных и регуляризованных задач, включая методы, основанные на декомпозиции конечномерных векторных пространств Уи на (Я1)3-конформные подпространства.

• Построение иерархических алгебраических методов грубосеточной коррекции, агрегации и дефляции, для уменьшения числа итераций и повышения масштабируемости при решении СЛАУ высоких порядков на МВС с большим числом вычислительных узлов.

Список литературы диссертационного исследования кандидат физико-математических наук Бутюгин, Дмитрий Сергеевич, 2013 год

Литература

1. Ainsworth M., Coyle J. Hierarchic finite element bases on unstructured tetra-hedral meshes // International Journal for Numerical Methods in Engineering. 2003. Vol. 58, no. 14. P. 2103-2130.

2. Albanese R., Rubinacci G. Integral formulation for 3D eddy-current computation using edge elements // IEE Proc. A. 1988. Vol. 135, no. 7. P. 457-462.

3. Alonso A., Rafetto M. Unique solvability for electromagnetic boundary value problems in the presence of partly lossy inhomogeneous anisotropic media and mixed boundary conditions // Math. Models Methods Appl. Sci. 2003. Vol. 13, no. 4. P. 597-611.

4. Alonso A., Valli A. Some remarks on the characterization of the space of tangential traces of H (rot; and the construction of an extension operator // Manuscripta Mathematica. 1996. Vol. 89, no. 1. P. 159-178.

5. Alonso A., Valli A. An optimal domain decomposition preconditioner for low-frequency time-harmonic Maxwell equations // Math. Comput. 1999. Vol. 68. P. 607-631.

6. Amdahl G. M. Validity of the single processor approach to achieving large scale computing capabilities // Proceedings of the April 18-20, 1967, spring joint computer conference. AFIPS '67 (Spring). New York, NY, USA: ACM, 1967. P. 483-485.

7. Amestoy P. R., Duff I. S., L'Excellent J.-Y., Koster J. A Fully Asynchronous Multifrontal Solver Using Distributed Dynamic Scheduling // SI AM J. Matrix Anal. Appl. 2001. Vol. 23, no. 1. P. 15-41.

8. Amrouchc C., Bernardi C., Dauge M., Girault V. Vector potentials in three-dimensional nonsmooth domains // Math. Meth. Appl. Sei. 1998. Vol. 21. P. 823-864.

9. Andersen L. S., Volakis J. L. Condition numbers of various FEM matrices // Journal of Electromagnetic Waves and Applications. 1999. Vol. 13. P. 1663-1679.

10. Anderson E. Discontinuous Plane Rotations and the Symmetric Eigenvalue Problem. 2000.

11. ANSYS HFSS. URL: http://www.ansoft.com/products/hf/hfss/.

12. Automated Solution of Differential Equations by the Finite Element Method / Ed. by A. Logg, K.-A. Mardal, G. Wells. Springer Berlin Heidelberg, 2012. Vol. 84 of Lecture Notes in Computational Science and Engineering.

13. Benzi M., Liu J. Block preconditioning for saddle point systems with indefinite (1, 1) block // Int. J. Comput. Math. 2007.— August. Vol. 84, no. 8. P. 1117-1129.

14. Benzi M., Wathen A. Some Preconditioning Techniques for Saddle Point Problems // Model Order Reduction: Theory, Research Aspects and Applications / Ed. by W. Schilders, H. Vorst, J. Rommes. Springer Berlin Heidelberg, 2008. Vol. 13 of Mathematics in Industry. P. 195-211.

15. Birman M., Solomyak M. L2 theory of the Maxwell operator in arbitrary domains // Russ. Math. Surv. 1987. Vol. 42. P. 75-96.

16. Bofh D., Fernandes P., Gastaldi L., Perugia I. Compuatatinoal models of

electromagnetic resonators: analysis of edge element approximation // SIAM J. Numer. Anal. 1999. Vol. 36, no. 4. P. 1264-1290.

17. Bossavit A. Computational Electromagnetism. Variational Formulations, Complementarity, Edge Elements. Boston: Academic Press, 1998.

18. Bramble J., Pasciak J., Schatz A. The construction of preconditioners for elliptic problems by substructuring. I. // Math. Comput. 1986. Vol. 47, no. 175. P. 103-134.

19. Brezzi F., Fortin M. Mixed and hybrid finite element methods // Springer Series in Computational Mathematics. N.-Y.: Springer-Vcrlag, 1991. Vol. 15.

20. Buffa A., Costabel M., Sheen D. On the traces of H(curl,Q) in Lipschitz domains. Preprint.

21. Butyugin D. S. Efficient iterative solvers for time-harmonic Maxwell equations using domain decomposition and algebraic multigrid // Journal of Computational Science. 2012. — November. Vol. 3, no. 6. P. 480-485.

22. Butyugin D. S., Il'in V. P., Petukhov A. V. Comparative analysis of approaches for high frequency electromagnetic simulation // PIERS 2009 Moscow Proceedings. The Electromagnetics Academy, 2009. P. 1483-1487.

23. Cendes Z. J. Vector Finite Elements for Electromagnetic Field Computation // IEEE Transactions on Magnetics. 1991. — September. Vol. 27. P. 3958-3966.

24. Chandra R., Menon R., Dagum L. ct al. Parallel Programming in OpenMP. Morgan Kaufmann, 2000.

25. Ciarlet P. G. The Finite Element Mchtod for Elliptic Problems. New York: North-Holland, 1978. Vol. 4 of Studies in Mathematics and Its Applications.

26. CST MICROWAVE STUDIO - 3D EM simulation software. URL: http: //www.est.com/Content/Products/MWS/Overview.aspx.

27. Dyezij-Edlinger R., Peng G.; Lee J.-F. A Fast Vector-Potential Method Using Tangentially Continuous Vector Finite Elements // IEEE Transactions on Microwave Theory and Techniques. 1998. Vol. 46, no. 6. P. 863-867.

28. Edclsbrunner H. Geometry and Topology for Mesh Generation. Cambridge: Cambridge University Press, 2001.

29. Freund R. W. Conjugate Gradient-Type Methods For Linear Systems With Complex Symmetric Coefficient Matrices // SIAM J. SCI. STAT. COMPUT. 1992.-January. Vol. 13, no. 1. P. 425-448.

30. Frey P. J., George P. L. Mesh Generation: Application to Finite Elements. Oxford: Hermes Science, 2000.

31. Fuchs H., Kcdem Z. M., Naylor B. F. On visible surface generation by a priori tree structures // ACM Comp. Graph. 1980. Vol. 14, no. 3. P. 124-133.

32. Giraut V., Raviart P. A. Finite Element Methods for Navier-Stokcs Equations. Berlin: Springer - Verlag, 1986.

33. Golub G. H., Greif C., Varah J. M. An algebraic analysis of a block diagonal preconditioner for saddle point systems // SIAM J. Matrix Anal. Appl. 2006. Vol. 27, no. 3. P. 779-792.

34. Greenbaum A. Iterative Methods For Solving Linear Systems. SIAM, 1997.

35. Greif C., Schotzau D. Preconditioners for the discretized time-harmonic Maxwell equations in mixed form // Numer. Linear Algebra Appl. 2007. Vol. 14. P. 281-297.

36. Haber E., Ascher U. M. Fast finite volume simulation of 3D electromagnetic problems with highly discontinuous coefficients // SIAM J. Sci. Comput. 2001. Vol. 22, no. 6. P. 1943-1961.

37. Hennessy J. L., Patterson D. A. Computer Architecture: A Quantitative Approach. Morgan Kaufmann, 2007.

38. Hernandez V., Roman J. E., Vidal V. SLEPc: A Scalable and Flexible Toolkit for the Solution of Eigenvalue Problems // ACM Transactions on Mathematical Software. 2005. Vol. 31, no. 3. P. 351-362.

39. Hiptmair R. Finite elements in computational electromagnetism // Acta Numerica. 2002. P. 237-339.

40. Hu J., Tuminaro R., Bochev P. et al. Toward an /¿-independent algebraic multigrid method for Maxwell's equations // SIAM Journ. Sci. Comp. 2005. Vol. 27, no. 5. P. 1669-1688.

41. Hwang J.-J., Chow Y.-C., Anger F. D., Lee C.-Y. Scheduling preccdence graphs in systems with intcrproccssor communication times // SIAM J. Comput. 1989. Vol. 18, no. 2. P. 244-257.

42. Igarashi H. On the Property of the Curl-Curl Matrix in Finite Element Analysis With Edge Elements // IEEE Trans. Magn. 2001. Vol. 37, no. 5.

43. Il'in V. P., Petukhov A. V. On numerical solution of the complex Helmholtz equation // Rus. J. Num. Anal, and Math. Modell. 2007. Vol. 22, no. 1. P. 19-37.

44. Ingelstrom P. A new set of H(curl)-conforming hierarchical basis functions for tctrahcdral meshes // IEEE Transactions on Microwave Theory and Techniques. 2006. Vol. 54, no. 1. P. 106-114.

45. Intcl(R)MKL. URL: http://software.intel.com/en-us/intel-mkl/.

46. Karypis G., Kumar V. A Parallel Algorithm for Multilevel Graph Partitioning and Sparse Matrix Ordering // Journal of Parallel and Distributed Computing. 1998. Vol. 48. P. 71-85.

47. Karypis G., Kumar V. A Fast and Highly Quality Multilevel Scheme for Partitioning Irregular Graphs // SIAM Journal on Scientific Computing. 1999. Vol. 20, no. 1. P. 359-392.

48. Kolev T. V., Vassilevski P. S. Parallel auxiliary space AMG for H(curl) problems // Journ. of Comp. Math. 2009. Vol. 27, no. 5. P. 604-623.

49. Kremer I., Urev M. Solution of a regularized problem for a stationary magnetic field in a nonhomogeneous conducting medium by a finite element method // Numerical Analysis and Applications. 2010. Vol. 3. P. 25-38.

50. Kumar V., Grama A., Gupta A., Karypis G. Introduction to Parallel Computing. The Benjamin/Cummings Publishing Company, Inc., 1994.

51. Kriz M., Neittaanmaki P. Finite element approximation for a div-rot system with mixed boundary conditions in non-smooth plane domains // Aplikace matematiky. 1984. Vol. 29, no. 4. P. 272-285.

52. Li D., Greif C., Schotzau D. Parallel numerical solution of the time-harmonic Maxwell equations in mixed form // Numerical Linear Algebra with Applications. 2012. Vol. 19, no. 3. P. 525-539.

53. Main Page - Eigen. URL: http://eigen.tuxfamily.org/.

54. Monk P. Finite Element Methods for Maxwell's Equations. Oxford University Press, 2003.

55. Nabben R., Vuik C. A comparison of deflation and coarse grid correction applied to porous media flow // SAIM J. Numer. Anal. 2004. Vol. 42, no. 4. P. 1631-1647.

56. Nedelec J. C. Mixed finite elements in M3 // Numer. Math. 1980. Vol. 35, no. 3. P. 315-341.

57. Nedelec J. C. A new family of mixed finite elements in R3 // Numer. Math. 1986. Vol. 50, no. 1. P. 57-81.

58. Nicaise S. Edge elements on anisotropic meshes and approximation of the Maxwell equations // SIAM J. Numer. Anal. 2001. Vol. 39, no. 3. P. 784-816.

59. Notay Y., Vassilevski P. S. Recursive Krylov-based multigrid cycles // Numer. Lin. Alg. Appl. 2008. Vol. 15. P. 473-487.

60. OpenGL - The Industry Standard for High Performance Graphics. URL: http://www.opengl.org/.

61. Optimizing Software Applications for NUMA. URL: http: //software. intel. com/en-us/articles/ optimizing-software-applications-for-numa/.

62. Saad Y. Iterative Methods for Sparse Linear Systems, second edition. Philadelphia: SIAM, 2003.

63. Schoberl J. NETGEN — An advancing front 2D/3D-mesh generator based on abstract rules // Comput. Vis. Sci. 1997. Vol. 1, no. 1. P. 41-52.

64. Schoberl J., Zaglmayr S. High order Nedelec elements with local complete sequence properties // COMPEL: The International Journal for Computation and Mathematics in Electrical and Electronic Engineering. 2005. Vol. 24, no. 2. P. 374-384.

65. Siqucira D. D., Dcvloo P. R. В., Gomes S. M. Hierarchical High Order Finite Element Approximation Spaces for H(div) and H(curl) // Numerical Mathematics and Advanced Applications 2009. July P 269-276.

66 Snir M., Otto S., Huss-Lcdcrman S. et al. MPI: The Complete Reference. Cambridge, MA, USA: MIT Press, 1995.

67. Sogabe Т., Zhang S.-L. A COCR method for solving complex symmetric linear systems // Journal of Computational and Applied Mathematics. 2007. Vol. 199, no 2 P 297-303

68. Tsukcrman I. Spurios Numerical Solutions in Electromagnetic Resonance Problems // IEEE Transactions on Magnetics 2003 — May Vol 39, no. 3

69. Van der Vorst H. A., Mellsscn J. В. M. A Petrov-Galcrkin Type Method For Solving Ax = b, Where A is Symmetric Complex // IEEE Transactions on Magnetics. 1990 -March Vol. 26, no. 2. P 706-708.

70. Webb J. P. Hierarchical Vector Basis Functions of Arbitrary Order for Triangular and Tctrahedral Finite Elements // IEEE Transactions on Antennas and Propogation. 1999. Vol. 47, no. 8 P. 1244-1253

71. Бутюгин Д. С. Численное решение комплексного уравнения Гельмголь-ца в смешанной форме для задач электромагнетизма // Дифференциальные уравнения. Функциональные пространства. Теория приближений. Международная конференция, посвященная 100-летию со дня рождения С Jl Соболева (Новосибирск, 5-12 октября 2008 г) Тез. докладов / Ин-т математики СО РАН. Новосибирск: 2008. С. 454.

72. Бутюгин Д. С. Консчноэлсментные решения задач моделирования трехмерных электромагнитных полей // Материалы XLVII Международной

научной студенческой конференции "Студент и научно-технический прогресс": Математика / Новосиб. гос. ун-т. Новосибирск: 2009. С. 250-251.

73. Бутюгин Д. С. О решении комплексного уравнения Гельмгольца в смешанной поставноке для задач электромагнетизма // Труды конференции молодых ученых. Новосибирск: ИВМиМГ СО РАН, 2009. С. 22-33.

74. Бутюгин Д. С. Базисные функции высоких порядков при решении смешанных задач электромагнетизма // Материалы ХЬУШ Международной научной студенческой конференции "Студент и научно-технический прогресс": Математика / Новосиб. гос. ун-т. Новосибирск: 2010. С. 206.

75. Бутюгин Д. С. Предобуславливание систем линейных уравнений в задачах электромагнетизма в постановке с множителями Лагранжа // Труды конференции молодых ученых. Новосибирск: ИВМиМГ СО РАН, 2010. С. 32-44.

76. Бутюгин Д. С. О параллельном решении СЛАУ задач моделирования трехмерных гармонических электромагнитных полей в частотной области // Шестая Сибирская конференция по параллельным и высокопроизводительным вычислениям / Под ред. п. А. Старченко. Томск: Изд-во Том. ун-та, 2011. С. 49-55.

77. Бутюгин Д. С. О прсдобуславливании итерационных алгоритмов при решении задач электромагнетизма в частотной области // Международная конференция "Современные проблемы прикладной математики и механики: теория, эксперимент и практика". Тезисы докладов. Новосибирск, Академгородок: 2011. С. 84.

78. Бутюгин Д. С. Об автоматизации построения алгоритмов моделирования трехмерных электромагнитных полей в частотной области // Мате-

матика. Компьютер. Образование. Сборник научных тезисов. Пущино: 2011. С. 163.

79. Бутюгин Д. С. Параллельный предобуславливатель ББОК для решения задач электромагнетизма в частотной области // Вычислительные методы и программирование. 2011. Т. 12, № 1. С. 110-117.

80. Бутюгин Д. С. Алгоритмы моделирования трехмерных электромагнитных полей на кластерах // Материалы Юбилейной XV Международной научной студенческой конференции "Студент и научно-технический прогресс": Математика / Новосиб. гос. ун-т. Новосибирск: 2012. С. 248.

81. Бутюгин Д. С. Алгоритмы решения СЛАУ на системах с распределенной памятью в применении к задачам электромагнетизма // Вестник ЮУрГУ. Серия "Вычислительная математика и информатика". 2012. Т. 46, № 305. С. 5-18.

82. Бутюгин Д. С. О генерации нерегулярных адаптивных сеток и их декомпозиции для задач трехмерного электромагнетизма // Тезисы докладов VI Всероссийской конференции "Актуальные проблемы прикладной математики и механики". Екатеринбург: УрО РАН, 2012. С. 18-19.

83. Бутюгин Д. С. Эффективные итерационные кластерные решатели для СЛАУ электромагнетизма // Тезисы докладов XIX Всероссийской конференции "Теоретические основы и конструирование численных алгоритмов решения задач математической физики". М: Институт прикладной математики им. М.В.Келдыша, 2012. С. 18-19.

84. Бутюгин Д. С., Ильин В. П. Конечно-элементные решения различных порядков точности трехмерных задач электромагнетизма // Тезисы докладов XVIII Всероссийской конференции "Теоретические основы и кон-

струированис численных алгоритмов решения задач математической физики". М: Институт прикладной математики им. М.В.Келдыша. 2010. С. 16.

85. Бутюгин Д. С., Ильин В. П. Параллельные методы и технологии моделирования электромагнитных полей // Микроэлектроника СВЧ, сборник трудов конференции. СПБГЭУ "ЛЭТИ", 2012. С. 223-227.

86. Бутюгин Д. С., Ильин В. П.. Ицкович Е. А. и др. Кгу1оу: библиотека алгоритмов и программ для решения СЛАУ // Современные проблемы математического моделирования. Математическое моделирование, численные методы и комплексы программ. Сборник трудов Всероссийских научных молодежных школ. Ростов-на-Дону: Изд-во Южного федерального университета, 2009. С. 110-128.

87. Бутюгин Д. С., Ильин В. П., Перевозкин Д. В. Методы параллельного решения СЛАУ на системах с распределенной памятью в библиотеке Кгу1оу // Вестник ЮУрГУ. Серия "Вычислительная математика и информатика". 2012. Т. 47, № 306. С. 5-19.

88. Бутюгин Д. С., Петухов А. В. Экспериментальный сравнительный анализ МКЭ и МКО для моделирования трехмерных электромагнитных полей // Пятая Сибирская конференция по параллельным и высокопроизводительным вычислениям / Под ред. п. А. Старченко. Томск: Изд-во Том. ун-та, 2010. С. 56-60.

89. Григорьев А. Д. Электродинамика и микроволновая техника. 2-е изд. СПб.: Издательство "Лань", 2007. 704 с.

90. Джексон Д. Классическая электродинамика. Москва: Мир. 1965. 703 с.

91. Ильин В. П. Численные методы решения задач электрофизики. М.: Наука, 1985. 336 с.

92. Ильин В. П. Методы неполной факторизации для решения алгебраических систем. М.: Наука, 1995. 284 с.

93. Ильин В. П. Методы конечных разностей и конечных объемов для эллиптических уравнений. Новосибирск: Изд-во ИМ СО РАН, 2001. 318 с.

94. Ильин В. П. Методы и технологии конечных элементов. Новосибирск: Изд-во ИВМиМГ СО РАН, 2007. 370 с.

95. Ильин В. П. Параллельные процессы на этапах петафлопеного моделирования // Вычислительные методы и программирование. 2011. Т. 12, № 1. С. 93-99.

96. Иосида К. Функциональный анализ. Издательство "Мир", 1967. 624 с.

97. Копачевский Н. Д., Крейн С. Г., Нго 3. К. Операторные методы в линейной гидродинамике: Эволюционные и спектральные задачи. М.: Наука, 1989. 416 с.

98. Кормен Т., Лейзерсон Ч., Ривест Р. Алгоритмы: построение и анализ: Пер. с англ. 2-е изд. М: МЦНМО: БИНОМ. Лаборатория знаний, 2004.

99. Соловейчик Ю. Г., Рояк М. Э., Персова М. Г. Метод конечных элементов для решения скалярных и векторных задач. Новосибирск: Изд-во НГТУ, 2007. 896 с.

100. Электроразведка: Справочник геофизика. В двух книгах / Под ред. В. К. Хмелевский, В. М. Бондаренко. 2-е изд. М.: Недра. 1989. Т. 2.

101. Электроразведка: Справочник геофизика. В двух книгах / Под ред. В. К. Хмелевский, В. М. Бондаренко. 2-е изд. М.: Недра. 1989. Т. 1.

Приложение А Свидетельства о регистрации разработки

1Ъ

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№2010610080

Программа для решения системы линейных алгебоаических уравнений предобусловленным методом сопряженных градиентов

Правообладатель(лн): Учреждение Российской академии наук Институт вычислительной математики и математической геофизики Сибирского отделения РАН (И11)

Автор(ы): Ильин Валерий Павлович,

Бутюгин Дмитрий Сергеевич, Петухов Артем Владимирович (1III)

Заявка № 2009615839

Дата поступления 19 октября 2009 г. Зарегистрировано в Реестре программ для ЭВМ 11 января 2010 г.

Руководитель Федеральной службы по интеллектуальной собственности, патентам и товарным знакам

1 . . / /У Г> Н- Симонов

^ЖЖтЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЕЖЖЖЖЖЖЖЖЖЖ^й

ш

ж

ттшшшт

I СВИДЕТЕЛЬСТВО

Й о государственной регистрации программы для ЭВМ

№2011610014

т ш ш

т

ш ж и

Программа PCR для решения системы линейных алгебраических уравнений предобусловленным методом сопряженных невязок

Правообладатель(ли): Учреждение Российской академии паук Институт вычислительной математики и математической геофизики Сибирского отделения РАН (RU)

Автор(ы): Ильин Валерий Павлович, Бутюгин Дмитрий Сергеевич, Петухов Артем Владимирович (К11)

Заявка № 2010616214

Дата поступления 12 октября 2010 Г.

Зарегистрировано в Реестре программ для ЭВМ 11 января 2011 г.

Руководитель Федеральной службы по интеллектуальной собственности, патентам и товарным знакам

БЛ. Симонов

Й

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№2011610015

Программа РвДШев для решения системы линейных алгебраических уравнений предобусловленным методом обобщенных минимальных невязок

Правообладатель^»): Учреждение Российской академии наук Институт вычислительной математики и математической геофизики Сибирского отделения РАН (Ш1)

Автор(ы): Ильин Валерий Павлович, Бутюгин Дмитрий Сергеевич, Петухов Артем Владимирович (Яи)

Заявка № 2010616221

Дата поступления 12 октября 2010 Г.

Зарегистрировано в Реестре программ для ЭВМ 11 января 2011 г.

Руководитель Федеральной службы по интеллектуальной собственности, патентам и товарным знакам

П. П. Симонов

Ж

а ж т ш ш ш а а ш а а ш ш

ш

ш а а

а

а

ш а ш а