Применение мелкозернистого локально-параллельного программирования при решении задач математической физики методом сеток тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Заручевская, Галина Васильевна

• Заручевская, Галина Васильевна
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Заручевская, Галина Васильевна

Введение.

Глава 1. Основные положения стиля мелкозернистого локально-параллельного программирования и разработка соответствующей эффективной параллельной архитектуры MIMD-машины.

1.1. Многопроцессорные ЭВМ типа MIMD.

1.2. Коэффициенты, характеризующие эффективность параллельных алгоритмов. Типы MIMD-машин.

1.3. Мелкозернистое локально-параллельное программирование.

1.3.1. Архитектура однородной вычислительной системы

1.3.2. Концепция стиля мелкозернистого локально-параллельного программирования.

1.3.3. Эвклидовы структуры.

1.3.4. Задача вложения матриц в КАИС-структуры. Преимущества использование тороидальной структуры для разработки МЛП-алгоритмов.

Глава 2. Параллельные алгоритмы задач математической физики для многопроцессорных систем: обзор и анализ на соответствие МЛПстилю программирования.

2.1. Эллиптические уравнения.

2.1.1. Постановка задачи.

2.1.2. Явный чебышевский метод.

2.1.3. Метод верхней релаксации.

2.1.3.1. Точечный метод верхней релаксации при естественном упорядочении неизвестных.

2.1.3.2. Точечный метод верхней релаксации при красно—черном упорядочении неизвестных.

2.1.4. Многосеточный метод.

2.2. Параболические уравнения.

2.2.1. Постановка задач.

2.2.2. Явная схема.

2.2.3. Факторизованная схема.

2.2.3.1. Вычислительный алгоритм.

2.2.3.2. Параллельные вычисления с распараллеливанием прогонки

2.2.3.3. Параллельные вычисления с переформировкой массивов

2.2.4. Параллельные неявные методы переменных направлений.

2.2.4.1. Распараллеливание метода Писмена-Рэкфорда для двумерных задач.

2.2.4.2. Неявные алгоритмы переменных направлений для трехмерных задач.

2.2.4.3. Эффективность распараллеливания и коммуникационные проблемы.

Глава 3. Мелкозернистые локально- параллельные алгоритмы для задач математической физики, решаемых с помощью неявных разностных схем.

3.1. Реализация явного чебышевского метода решения задачи Дирихле для самосопряженных уравнений второго и третьего порядков в мелкозернистом локально-параллельном стиле программирования.

3.2. Метод верхней релаксации.

3.2.1. Точечный метод верхней релаксации при естественном упорядочении неизвестных.

3.3. Мелкозернистый локально- параллельный алгоритм для четырехточечной неявной разностной схемы одномерного уравнения теплопроводности.

3.4. Мелкозернистый локально - параллельный алгоритм для разностной схемы расщепления двумерного уравнения теплопроводности.

3.4.1. Алгоритм 1.

3.4.2. Алгоритм 2.

3.4.3. Алгоритм 3.

3.5. Реализация решения разностной схемы расщепления трехмерного уравнения теплопроводности в мелкозернистом локально-параллельном стиле программирования.

Глава 4. Программная реализация некоторых задач математической физики в методе сеток с вычислением оценок параллелизма для МЛП -алгоритмов.

4.1. Реализация явного чебышевского метода решения задачи Дирихле для уравнения Пуассона.

4.1.1. Порядок создания приложения.

4.2. Реализация решения разностной схемы расщепления двумерного уравнения теплопроводности.

4.3. Реализация решения разностной схемы расщепления трехмерного уравнения теплопроводности.

Введение диссертации (часть автореферата) на тему «Применение мелкозернистого локально-параллельного программирования при решении задач математической физики методом сеток»

Актуальность работы. ЭВМ первого и второго поколений вследствие низкого быстродействия не позволяли за приемлемое время решать многие важные научно-технические задачи. Так как имеющаяся к тому времени элементная база не позволяла существенно увеличить их быстродействие, один из возможных путей решения возникшей проблемы состоял в том, чтобы разбить задачу на отдельные независимые крупные блоки подзадач (фрагменты), каждую из которых можно было бы решать независимо от других. Это привело к необходимости разработки специальных численных методов, допускающих возможность такого разделения, развитие которых остается актуальным и в настоящее время [1, 2].

Достижения микроэлектроники дают возможность уже в настоящее время создавать достаточно сложные сверхминиатюрные вычислительные устройства, расположенные на одном кристалле. Однако повышение плотности расположения элементов на кристалле, увеличение скорости их переключения приводят не только к повышению быстродействия компьютеров и уменьшению их размеров, но и порождают многочисленные новые проблемы.

Одной из таких проблем является проблема создания коммуникационных сетей, обеспечивающих быстрые необходимые связи между отдельными функциональными устройствами. Пока скорости срабатывания устройств были сравнительно небольшими, основными факторами, препятствующими созданию нужных коммуникационных сетей, являлись число линий связи и сложность коммутаторов. Однако с ростом скорости срабатывания устройств наряду с этими факторами стали иметь большое значение также и длины линий связи.

С теоретической точки зрения самой простой и эффективной является коммуникационная сеть, в которой все устройства соединены непосредственно друг с другом и длины всех линий связи, а потому и времена задержек при передаче по ним информации минимальные. Появление первых работ, связанных с разработкой специализированных вычислительных систем, имеющих такую предельно простую коммуникационную сеть, получивших название систолических массивов (однородных вычислительных систем - ОВС, клеточных машин), относится к 70 -м годам прошлого столетия. Благодаря такой архитектуре ОВС являются исключительно эффективными по быстродействию, но каждая из них ориентирована на решение весьма узкого класса задач [3].

Практическая реализация данного подхода связана с появлением в 80-е годы сверхбольших интегральных схем (СБИС), схемотехнические ограничения которых определили требования, предъявляемые к алгоритмам для реализации на их базе:

- регулярность внутренней структуры алгоритма, т.е. однотипность выполняемых операций и связей между ними, диктуемая требованием однородности СБИС, в которых фактор повторяемости элементов должен быть очень высоким;

- параллельно-поточная организация выполнения алгоритма, обеспечивающая высокое быстродействие и эффективность СБИС, а также локализацию связей элементов по принципу близкодействия;

- двумерность структуры алгоритма, отвечающая присущему на сегодняшний день требованию планарности физической реализация устройств на СБИС;

- асинхронность исполнения и взаимодействия различных частей алгоритма, предельно упрощающая задачи управления и синхронизации СБИС и делающая возможным построение устройств на СБИС, содержащих произвольно большое число элементов [4].

Все разработанные алгоритмы для ОВС были подчинены этим требованиям, в частности, требованиям планарности [5, 6, 7].

Однако в настоящий момент уже существуют разработки, позволяющие отойти от планарной технологии СБИС к объемной. Так, в декабре 2007 года появилась информация о том, что японская научно-исследовательская компания Unisantis Electronics в ближайшее время разработает "трехмерные" транзисторы, которые могут работать на частоте до 50 гигагерц, что почти в десять раз больше частоты, на которой могут работать современные микропроцессоры. "Трехмерный" транзистор, или, как его называют изобретатели, SGT (Surrounding Gate Transistor), отличается от обычного тем, что представляет собой кремниевый стержень, вокруг которого располагаются ячейки памяти, электрические контакты и другие компоненты. SGT позволяет сократить расстояние, которое проходят электроны, создает меньше тепла, а его производство дешевле современных "плоских" микросхем. По оценкам авторов технологии, ее потенциала хватит на развитие в течение трех десятков лет [7].

Параллельная интерпретация существующих методов решения задач требует выявления и использование пространственно-временных особенностей реализации алгоритмов. Время исполнения параллельных алгоритмов зависит не только от числа арифметических операций, но и от способа и количества пересылок данных как между процессорами системы, так и между процессором и памятью, а также от задержек, связанных с синхронизацией [4]. Так, в настоящее время многочисленные вычислительные ядра суперкомпьютеров обмениваются информацией по медным проводам. Исследователи из IBM надеются заменить их световыми импульсами, которые будут передавать ту же информацию. Беспроводная система будет требовать гораздо меньше места и потреблять в десятки раз меньше энергии, в то время как информация будет передаваться в сто раз быстрее. С использованием новой технологии удастся также существенно снизить энергопотребление современных суперкомпьютеров и уменьшить их габаритные размеры [7].

Развитию процессоров по пути увеличения частоты препятствует тепловой барьер. Выделение тепла даже при малом увеличении частоты уже превосходит разумные пределы, которые требуют мощной системы охлаждения и уже не просто куллеров, а подходов, основанных на жидком азоте. Поэтому разработчики процессоров перешли на новый принцип, многоядерность, который в настоящее время активно развивается [9]. Таким образом, параллелизм супер-ЭВМ становится магистральным путем развития вычислительной техники.

Господствующим способом распараллеливания задач до сих пор является крупноблочное параллельное программирование. При этом задача разбивается на большие подзадачи (блоки), предназначенные для параллельного решения на небольшом числе процессоров. Соответственно ориентированы и параллельные алгоритмы численного решения задач.

Очевидно, что с ростом числа процессоров блоки измельчаются, и вычисления в подавляющем большинстве случаев из-за коммуникационных проблем будут идти медленнее: параллелизм вырождается. Избежать вырождения можно только при условии, что обмены происходят и одновременно, и локально, т.е. физическое расстояние между взаимодействующими процессорами мало и не зависит от размера задачи, а значит, время обмена равно нулю либо сравнимо со временем выполнения одной арифметической операции.

При этом задача должна быть разбита на ряд небольших однотипных подзадач, которые будут исполняться параллельно на отдельных вычислительных машинах (ВМ). Данные максимально распределены по системе, а программы в каждой ВМ используют минимально возможные наборы данных. При мелкозернистом программировании решающее значение имеет организация обменов данными между ВМ. В общем случае число обменов имеет тот же порядок, что и число вычислительных операций. Таким образом, мелкозернистость, или массовое распараллеливание означает, что в каждом вычислительном процессе в каждый момент времени содержится минимальное число команд (тело внутреннего цикла) и данных (элементы массивов, необходимые для вычисления одного витка цикла). Такой подход к распараллеливанию алгоритмов носит название мелкозернистого локально-параллельного программирования (МЛПП).

В работах В.А. Воробьева рассмотрены три обязательных условия, при которых не происходит снижения производительности МЛПП:

1. Локальность взаимодействий, когда обмен данными происходит только в пределах ограниченного физического и структурного радиуса, независимо от размеров задачи и системы.

2. Параллелизм взаимодействий, когда все возможные в данный момент обмены совершаются параллельно и одновременно с процессом счета.

3. Количество глобальных операций не должно влиять на оценку временной сложности задачи.

В работах Воеводина В.В.[1], Галба Е.Ф.[11], Ильина В. П.[12, 19], Марчука Г.Щ13, 14], Молчанова И.Н.[15,16], Ортега Дж.[17], Родрига Г.[18], Фета Я. И.[19] и др. рассматриваются исключительно крупноблочные алгоритмы решения задач математической физики, предназначенные для вычислительной техники со стандартной системой коммутаций типа линейка, решетка, кольцо, кольцо с хордами и т.п. Основная идея распараллеливания состоит в следующем: расчетная область (сетка) разбивается на несколько подобластей (по числу вычислительных модулей) так, чтобы каждая подобласть содержала примерно равное число узлов. Данные, необходимые для расчета в подобласти, загружаются в соответствующий вычислительный модуль. Каждый вычислительный модуль согласно алгоритму производит вычисления в расчетных ячейках подобласти сетки, а затем обменивается необходимыми расчетными данными с другими, связанными системой коммутации, вычислительными модулями. Этот процесс продолжается до получения необходимого результата. Таким образом, вычислительный модуль на каждом этапе обрабатывает крупный блок данных (подобласть сетки), а обмен данными происходит в потоке: вычислительный модуль отправляет и принимает большой объем данных.

В более поздних работах (Воеводин В.В.[1], Гергель В.Щ20], Кор-неев В.В.[21]) рассматривается структура под названием «решетка-тор». Эта структура появляется в технологии параллельного программирования MPI. Так, Корнеев В.В. приводит пример перемножения двух матриц больших размерностей в торе. В этом алгоритме элементы матрицы циклически распределены в узлах тора, число обменов минимизировано, обмен данными производится блоками. Такая реализация параллельного перемножения матриц относится к блочному типу. Если авторы упоминали об использовании решетки-тора для блочных алгоритмов решения сеточных задач математической физики (Гергель В.ГЦ20]), то на самом деле в алгоритме были задействованы только узлы и связи решетки, а связи противоположных сторон решетки не использовались. В своей работе [12] В.П. Ильин упоминает о «мелкозернистом распараллеливании» для решетки с числом процессоров, равным числу узлов сеточной области, но связи рассмотренного им алгоритма не являются локальными. Для повышения эффективности блочного алгоритма этот автор предлагает использовать новую структуру- двумерную бициклическую сеть. Заметим, что при распараллеливании сеточных задач математической физики (задача Дирихле для уравнения Пуассона) крупноблочными методами циклическое распределение узлов сеточной области менее удобно, чем разбиение области на подобласти, т.к. в этом случае значительно увеличивается объем передаваемых данных. При этом ни один из авторов МЛП-алгоритмы не рассматривает, ориентируясь на возможности реально существующей вычислительной техники.

Таким образом, разработка и исследование МЛП-алгоритмов для задач математической физики - одно из перспективных направлений современного параллельного программирования. Актуальность выполненной работы состоит в создании и анализе ряда МЛП-алгоритмов для задач математической физики. В [8] для этих целей применяются модели клеточных автоматов.

Цель диссертации - разработка мелкозернистых локально-параллельных алгоритмов решения задач математической физики.

Для достижения поставленной цели поставлены и решены следующие задачи:

• Задать особенности параллельной архитектуры MIMD (МКМД)-машины, для которой будет эффективен МЛП-стиль программирования.

• Определить основные положения стиля МЛП- программирования.

• Рассмотреть специальные структуры межпроцессорных связей, используемые для разработки эффективных МЛП-алгоритмов.

• Предложить варианты исполнения МЛП-алгоритмов некоторых сеточных задач математической физики в КАИС-структурах с иллюстрацией размещения в ней обрабатываемых данных.

• Разработать программу, в которой показаны результаты вычислений некоторых алгоритмов задач математической физики и оценки эффективности мелкозернистых локально-параллельных алгоритмов.

На защиту выносятся

1. Разработанная трехмерная структура межпроцессорных связей-тороидальный куб (конструкция вложенных торов).

2. Созданы специфические мелкозернистые локально-параллельные алгоритмы для задач математической физики.

3. Программа для решения задач математической физики в методе сеток с вычислением оценок параллелизма для МЛП -алгоритмов.

Методы исследования. Для разработки новых МЛП-алгоритмов использовались основные положения теории однородных вычислительных структур, теории разностных схем, теории алгоритмов и параллельных вычислений.

Практическая ценность работы. Практическая ценность проведенного исследования заключается в том, что полученные в ней результаты могут быть использованы для повышения эффективности численных процедур решения задач математической физики, которые применимы к изучению многих физических процессов и явлений. Специальные вычислительные системы, предназначенных для решения этого круга задач, отличающихся большой размерностью, применяются во многих отраслях промышленности, народного хозяйства и военно-технического комплекса. В частности, к таким параллельным вычислительным архитектурам относятся двумерные и трехмерные тороидальные структуры ОВС. Перспективность применения этих систем для разработки МЛП-алгоритмов решения задач математической физики в методе сеток доказана в настоящем диссертационном исследовании. В настоящее время результаты диссертационного исследования включены в дисциплину «Архитектура компьютера», которая читается студентам 5 курса специальности 050201.65 «Математика» с дополнительной специальностью «Информатика» (квалификация учитель математики) математического факультета ГОУ ВПО «Поморского государственного университета имени М.В. Ломоносова». Применение подтверждают приложенные лекционные слайды и акт о внедрении в образовательный процесс.

Научная новизна работы. Разработана новая трехмерная структура межпроцессорных связей- тороидальный куб для решения трехмерных задач математической физики в методе сеток.

Разработаны новые специфические мелкозернистые локально-параллельные алгоритмы для задач математической физики с иллюстрацией межпроцессорных обменов и вложения данных в двумерную и трехмерную тороидальную структуры — для явного чебышевского метода решения двумерных и трехмерных задач Дирихле для уравнения Пуассона, для точечного метода верхней релаксации при естественном упорядочении неизвестных, для четырехточечной неявной разностной схемы одномерного уравнения теплопроводности, для разностной схемы расщепления двумерного и трехмерного уравнений теплопроводности. Показано, что все методы (за исключением точечного метода верхней релаксации при естественном упорядочении неизвестных), обладают максимальной степенью параллелизма.

Разработана программа «Решение задач математической физики в методе сеток с вычислением оценок параллелизма для МЛП — алгоритмов».

Апробация работы. Основные результаты диссертации докладывались и обсуждались на: Втором Международном научно-практическом семинаре и Всероссийской молодежной школе «Высокопроизводительные параллельные вычисления на кластерных системах». (Нижний Новгород, 2002); Четвертом Международном научно-практическом семинаре и Всероссийской молодежной школе «Высокопроизводительные параллельные вычисления на кластерных системах». (Самара, 2004); IIXX Ломоносовских чтениях, (Архангельск, 2006); Шестом Международном научно-практическом Семинаре и Молодежной Школе «Высокопроизводительные параллельные вычисления на кластерных системах». (Санкт-Петербург, 2006); IXX Ломоносовских чтениях, (Архангельск, 2007); Седьмом Международный научно-практический Семинар и Молодежная Школа «Высокопроизводительные параллельные вычисления на кластерных системах». (Нижний Новгород, 2007).

Публикации. Основные результаты опубликованы в 12 работах, в том числе 3 статьи в журналах, входящих в список изданий, рекомендованных ВАК.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, трех приложений и списка литературы. Объем диссертации составляет 198 машинописных страниц, текст содержит 41 рисунок. Список литературы включает 60 наименований.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Заручевская, Галина Васильевна

Заключение

Высокопроизводительные вычислительные системы (ВС) традиционно разрабатывались для решения сложных научно-исследовательских и технических задач, для организации систем автоматизированного проекти-v рования и сложных систем управления в реальном времени, для моделирования и прогноза погоды, а также для организации производственных процессов. Развитие элементной базы, ограниченное принципиальными физическими возможностями, не успевает за ростом требований к производительности вычислительных систем. Распараллеливание вычислений, определившее построение многопроцессорных систем, стало основным средством достижения высокой производительности.

В настоящее время методы распараллеливания используются на всех этапах разработки и применения вычислительных средств - от выбора принципов функционирования и планирования работы отдельных устройств до разработки архитектур многопроцессорных вычислительных систем (МПВС). Это требует исследования различных методов организации вычислительных процессов.

Данная работа посвящена применению мелкозернистого локально-параллельного программирования (МЛПП) к некоторым задачам математической физики.

В диссертации получены следующие основные теоретические и практические результаты.

В первой главе приводится классификация ЭВМ, предложенная в 1966 г. М. Флинном. Впервые определены требования к типу MIMD— машины с распределенной памятью, наиболее подходящему для МЛП-алгоритмов. Рассматриваются коэффициенты, характеризующие эффективность параллельных алгоритмов. Даны основные понятия теории локальных однородных структур. Там же особое внимание уделено такой редко используемой вычислительной однородной структуре, в дальнейшем используемой при построении параллельных алгоритмов, как тор и рассмотрена новая структура - тороидально связанный куб. В этой же главе описан мелкозернистый локально-параллельный стиль программирования и предложена архитектура MIMD-машины с распределенной памятью, разработанная специально для применения такого стиля.

Определены специальные свойства для MIMD-машин (пп.1.2), для которых стиль мелкозернистого локально-параллельного программирования будет наиболее эффективным:

1. Попарное соединение процессоров осуществляется за очень короткий промежуток времени и поэтому оно не учитывается.

2. Все возможные в данный момент обмены машинными словами совершаются параллельно и одновременно с процессом счёта за время, сравнимое с выполнением арифметической операции (из-за близости связанных процессоров в физическом пространстве).

3. Имеется возможность программировать структуру межпроцессорных связей.

Показаны преимущества применения для решения задач математической физики в методе сеток такой редко используемой структуры, как тор.

Разработана специальная трехмерная структура межпроцессорных связей- тороидально связанный куб.

Во второй главе приведены существующие параллельные алгоритмы некоторых задач математической физики для MIMD-машин с распределенной памятью, предложенные различными авторами, и проведен их анализ на соответствие стилю МЛПП. Рассматриваются пространственно-временные особенности реализации сеточных методов решения задач математической физики на MIMD-машинах с различными типами межпро I цессорных связей, а также выполнена оценка степени их параллелизма. Показано, что каждый из этих алгоритмов относится к блочному типу, а значит ни один из них не соответствует МЛП- стилю программирования. В третьей главе представлены основные результаты диссертации - разработанные специфические мелкозернистые локально-параллельные алгоритмы для задач математической физики с иллюстрацией межпроцессорных обменов и вложения данных в двумерную и трехмерную тороидальную структуры. Рассматриваются новые МЛП-алгоритмы для явного чебышевского метода решения задачи Дирихле для уравнения Пуассона, для точечного метода верхней релаксации при естественном упорядочении неизвестных, для четырехточечной неявной разностной схемы одномерного уравнения теплопроводности, для разностной схемы расщепления трехмерного уравнения теплопроводности. Предложено три варианта выполнения МЛП-алгоритма для разностной схемы расщепления двумерного уравнения теплопроводности.

В четвертой главе рассматривается математическое обоснование вычислений и порядок разработки каждого расчетного модуля программы «Решение задач математической физики в методе сеток с вычислением оценок параллелизма для МЛП-алгоритмов». В этой программе реализуются алгоритмы для явного чебышевского метода решения задачи Дирихле для уравнения Пуассона, решений сеточных задач для двумерной и трехмерной разностной схемы расщепления уравнения теплопроводности, а также вычислены оценки параллелизма для соответствующих МЛП -алгоритмов в тороидальных структурах.

Показано, что МЛП-алгоритмы задач математической физики для ОВС с распределенной памятью более эффективны по сравнению с аналогичными крупноблочными алгоритмами.

Список литературы диссертационного исследования кандидат технических наук Заручевская, Галина Васильевна, 2008 год

1. Воеводин В.В., Воеводин Вл. В. Параллельные вычисления. -Спб.: БХВ-Петербург, 2002. 608 с.

2. Воеводич В.В. Параллельные вычисления и математическое образование // Математика в высшем образовании. 2005. - №3. С.9 - 27.

3. Kung Н.Т. Why systolic architecture? // Computer. 1982. - 15. №1. - P.37 - 46.

4. Седухин С.Г. Систематический подход к проектированию вычислительных структур на базе сверхбольших интегральных схем.-Новосибирск, 1985. 46 с.

5. Молдован Д.И. О разработке алгоритмов для систолических матриц СБИС. ТИИЗР, 1983 т. 71, № I, с. 140 - 149.

6. Miranker W.L., Winkler A. Spacetime Kepresntatioas of Computational Structures. Computings 1984 №32,p. 93 - 114.7. http://lenta.ru/news/2007/12/10/fifty/

7. Бандман О.JI. Мелкозернистый параллелизм в математической физике // Программирование. 2001. - №4. С. 12 - 25.9. http://teamat.livejournal.com/

8. Воеводин В.В. Математические модели и методы в параллельных процессах. М.: Наука, 1986. - 296 с.

9. Молчанов И.Н., Галба Е.Ф. Параллельные вычисления в методах сеток решения задач математической физики на MIMD- машинах. -Киев, 1990.-41 с.

10. Ильин В.П. Параллельные неявные методы переменных направлений //Журн. выч. математики и мат. физ. 1997.-t.37, №8. - С.899-907.

11. Марчук Г.И. Методы вычислительной математики. М.: Наука, 1980.-535 с.

12. Марчук Г.И., Ильин В.П. Параллельные вычисления в сеточных методах решения задач математической физики. Новосибирск, АН СССР Сибирское отделение, Вычислительный центр, 1979. - 21 с.

13. Молчанов И.Н. Машинные методы решения прикладных задач. Дифференциальные уравнения. Киев: Наук, думка, 1988. - 344 с.

14. Молчанов И.Н. Введение в алгоритмы параллельных вычислений. Киев: Наук, думка, 1990. - 128 с.

15. Ортега Дж. Введение в параллельные и векторные методы решения линейных систем.-М.:Мир,1991.- 367 с.

16. Параллельные вычисления / под ред. Г.Родрига.- М.: Наука, Гл. ред. физ.-мат. лит., 1986. -376 с.

17. Ильин В.П., Фет Я. И. Семейство параллельных процессоров для задач математической физики // Вычислительные процессы. 1986, вып. 1 с. 81-99.

18. Теория и практика параллельных вычислений: учебное пособие / В.П. Гергель -М.: Интернет-Университет Информационных технологий, БИНОМ: Лаборатория знаний, 2007. 423 с.

19. Корнеев В.Д. Параллельное программирование в MPI. -Новосибирск: Изд-во ИВМиМГ СО РАН, 2002. 215 с.

20. Воробьев В.А. Теория однородных вычислительных систем: однородные структуры. Архангельск, Поморский государственный университет имени М.В.Ломоносова, 2000. - 91 с.

21. Корнеев В.В. Архитектура вычислительных систем с программируемой структурой. Новосибирск: Наука, Сибирское отделение, 1985.

22. Воробьев В.А. Теоретические основы построения однородных вычислительных систем на неразрезных процессорных матрицах. Дис. . д-ра техн наук. Томск, 1999.

23. Мишин А.И., Седухин С.Г. Однородные вычислительные системы и параллельные вычисления // Автоматика и вычислительная техника, №1.- 1981.-С. 20-24.

24. Воробьёв В.А. О содержании теории однородных вычислительных систем // XXIV областная научно-техническая конференция, посвященная Дню радио: Тезисы докладов. -Новосибирск, 1981. С. 70-71.

25. Воробьёв В.А. Модель коллектива вычислителей, основанная на принципе близкодействия // Вычислительные системы с программируемой структурой: Вычислительные системы, 94. -Новосибирск: Институт математики СОАН СССР, 1982 . С. 103-119.

26. Воробьёв В.А., Лаходынова Н.В. Теория модели коллектива вычислителей, основанная на принципе близкодействия // Тезисы докладов XXV областной научно-технической конференции, посвященной 60-й годовщине образования СССР и Дню радио. -Новосибирск, 1982 .

27. Валиев М.К., Мишин А.И. Организация параллельных вычислений на системах с локальными взаимодействиями элементов // Автометрия, № 6. -1983. С. 88-96.

28. Завьялов Ю.С., Мишин А.И. Временная сложность алгоритмов задач гидро-аэродинамики и производительность параллельных вычислительных систем // Институт математики СО АН СССР, Препринт № 20. -Новосибирск, 1985.

29. Транспьютеры: архитектура и программное обеспечение. М.: Радио и связь, 1993.

30. Прангишвили И.В.Параллельные вычислительные системы с общим управлением / И.В. Прангишвили, С.Я. Виленкин, И.Л. Медведев-М. :Энергоиздат, 1983.

31. Корнеев В.В. Параллельные вычислительные системы. М.: Нолидж, 1999. 320 с.

32. Tanenbaum Andrew S. Structured Computer Organization. NJ: Prentice-Hall International, 1999. - 669 p.

33. Воробьев B.A. Об эффективности параллельных вычислений. // Автометрия. 2000. - № 1. С. 50-58.

34. Лаходынова Н.В., Воробьев В.А., Еремина Н.Л. Отказоустойчивость однородных процессорных матриц. Томск: Изд-во Томского архитектурно-строительного университета, 2002.-154 с.

35. Корячко В.П., Скворцов С.В., Телков И.А. Архитектуры многопроцессорных систем и параллельные вычисления: Учеб. пособие. -М.:Высш.шк., 1999.-235 с.

36. Немнюгин С.А., Стесик О.Л. Параллельное программирование для многопроцессорных вычислительных систем. СПб.:БХВ-Петербург, 2002. - 400 с.

37. Коровкин П.П. Математический анализ. Часть И.- М.: Просвещение, 1974.-463 с.

38. Самарский А.А., Николаев Е.С. Методы решения сеточных уравнений М.: Наука, 1978. - 592 с.

39. Математическая энциклопедия: Гл. ред. И.М. Виноградов, т. 5 Слу-Я-М., «Советская Энциклопедия», 1984. -1248 стб., ил. С. 848-849.

40. Федоренко Р.П. Релаксационный метод решения разностных уравнений// Журн. выч. математики и мат. физ. 1961.-I, №5. - С. 922-927.

41. Лангер У. О выборе итерационных параметров в релаксационном методе на последовательности сеток // Вычислительные методы линейной алгебры. :ОВМ АН СССР, 1983. С. 238-246.

42. Фаддеева В.Н., Фаддеев Д.К. Параллельные вычисления в линейной алгебре. Кибернетика, 1977, №6, с. 28-40.

43. Федоренко Р.П. Релаксационный метод решения разностных уравнений // Журн. выч. математики и мат. физ.- 1961. -I, №5. -С.922-927.

44. Ильин В.П. Численные методы решения задач электрофизики. М.: Наука, 1985.

45. Яненко Н.Н., Коновалов А.Н., Бугров А.Н., Шустов Г.В. Об организации параллельных вычислений и «распараллеливании» прогон-ки.-Численные методы механики сплошной среды, 1979, т. 10, №6, стр. 139145.

46. Волков Е.А. Численные методы: Учеб. Пособие для вузов. -М.: Наука, 1987. -248 с.

47. А. Ахо, Дж. Хопкрофт, Дж. Ульман. Построение и анализ вычислительных алгоритмов. М.: Мир, 1979.-535 с.

48. Воробьев В.А., Заручевская (Лозинская) Г.В., Севостьянова О.В. Мелкозернистый локально-параллельный алгоритм для четырехточечной неявной разностной схемы уравнения теплопроводности.- Сборник трудов молодых ученых школы семинара РаСТ-2003, с.200-203

49. Воробьев В.А., Заручевская Г.В. Мелкозернистый локально-параллельный алгоритм для четырехточечной неявной разностной схемыуравнения теплопроводности. // Вестник Поморского Университета, серия «Естественные и точные науки» №2(4), 2003, с. 94-102.

50. С.К. Годунов, B.C. Рябенький. Разностные схемы (введение в теорию): Учебное пособие-М.: Наука, 1977. 439 с.

51. Заручевская Г.В. Реализация решения разностной схемы расщепления трехмерного уравнения теплопроводности в мелкозернистом локально-параллельном стиле программирования. //-Системы управления и информационные технологии, 2007, №4(30), 104с., С. 91-94.

52. Бобровский С.И. Delphi 7. Учебный курс-СПб.: Питер, 2005.

53. Баженова И.Ю. Delphi 7. Самоучитель программиста. -М.: КУДИЦОБРA3. 2003. 448 с.

54. Бобровский С.И. Технологии Delphi 2006. Новые возможности. СПб.: Питер, 2006. -288 с.736 с.