Эффективная организация параллельных распределенных вычислений на основе кластерной технологии тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Антонов, Александр Викторович

• Антонов, Александр Викторович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Антонов, Александр Викторович

Введение.

Глава 1. Анализ моделей вычислений, вычислительных систем и способов повышения их эффективности.

1.1. Классификация вычислительных систем.

1.1.1. Классификация Флинна.

1.1.2. Классификация Хокни.

1.1.3. Классификация 8МР/МРР.

1.2. Кластеры рабочих станций.

1.2.1. Технология построения кластерных вычислительных систем.

1.2.2. Организация параллельных вычислений.

1.3. Распараллеливание программ.

1.4. Модели параллельных вычислительных процессов.

1.4.1. Использование модели на основе теории сетей Петри.

1.4.2. Использование логической модели параллельных программ.

1.4.3. Использование модели конечных недетерминированных цифровых автоматов.

1.4.4. Использование модели марковских процессов.

1.5. Эффективность параллельных вычислений.

1.6. Выводы по главе.

Глава 2. Модели параллельного вычислительного процесса.

2.1. Основные понятия.

2.2. Алгоритм параллельной программы.

2.3. Автоматная модель параллельной программы.

2.4. Марковская модель параллельного алгоритма на основе цифрового автомата.

2.4.1. Применимость марковской модели для описания параллельного алгоритма.

2.4.2. Переход от модели недетерминированного цифрового автомата к модели марковских процессов.

2.5. Марковская модель работы параллельного алгоритма.

2.5.1. Анализ непараллельной (основной) части программы.

2.5.2. Анализ параллельных ветвей.

2.5.3. Анализ трудоемкости.

2.6. Выводы по главе.

Глава 3. Повышение эффективности параллельных вычислений и параллельное программирование.

3.1. Эффективность параллельных вычислений.

3.1.1. Методики построения моделей параллельного алгоритма.

3.1.2. Эффективность параллельного алгоритма.

3.1.3. Эффективная организация вычислительной системы.

3.1.4. Повышение эффективности параллельных вычислений.

3.2. Построение высокопроизводительной вычислительной системы на основе кластерной технологии.

3.2.1. Программный комплекс «Распределенная вычислительная система «MathNet».

3.2.2. Организация доступа к кластеру.

3.3. Технология параллельного программирования.

3.3.1. Технология написания параллельной программы для ПК «РВС «MathNet».

3.3.2. Алгоритм параллельной программы для ПК «РВС «MathNet».

3.4. Выводы по главе.

Глава 4. Анализ параллельных алгоритмов.

4.1. Аналитический анализ алгоритмов.

4.1.1. Анализ алгоритма программы вычисления интеграла методом Симпсона для MPI.

4.1.2. Анализ алгоритма программы вычисления интеграла методом Симпсона для ПК «РВС «MathNet».

4.1.3. Анализ алгоритм программы умножения матриц для MPI.

4.1.4. Анализ алгоритма программы умножения матриц для ПК «РВС

MathNet».

4.2. Анализ полученных результатов.

4.2.1. Результаты тестирования программы вычисления интеграла методом Симпсона.

4.2.2. Результаты тестирования программы умножение матриц.

4.3. Выводы по главе.

Введение диссертации (часть автореферата) на тему «Эффективная организация параллельных распределенных вычислений на основе кластерной технологии»

Параллельное программирование возникло в 1962г. с изобретением каналов - независимых аппаратных контроллеров, позволяющих центральному процессору выполнять новую прикладную программу одновременно с операциями ввода-вывода других (приостановленных) программ. Слово «параллельное» в данном случае означает «происходящее одновременно». В конце 60-х годов были созданы многопроцессорные машины, что поставило новые задачи и дало новые возможности программистам.

Первой важной задачей параллельного программирования стало решение проблемы, связанной с так называемой «критической секцией». Для решения этой и сопутствующих ей задач («обедающих философов», «читателей и писателей» и т.д.) были разработаны такие элементы синхронизации, как семафоры и мониторы.

К середине 70-х годов стало ясно, что для преодоления сложности, присущей параллельным программам, необходимо использовать формальные методы их анализа и оценки по различным параметрам [15]. На рубеже 70-х и 80-х годов появились компьютерные сети. Для глобальных сетей стандартом стала сеть Arpanet, а для локальных - Ethernet. Сети привели к росту распределенного программирования, которое стало основным направлением работ в 80-х и, особенно, в 90-х годах. Суть распределенного программирования состоит в организации взаимодействия процессов путем передачи сообщений, а не записи и чтения разделяемых переменных.

Разрабатываемые подходы использования компьютеров основаны на тезисе: компьютер — это инструмент познания, с помощью которого добывают новую информацию об исследуемом объекте или явлении [16]. Следовательно, квалифицированный пользователь должен владеть современной методологией познания - моделированием. Моделирование - это не только конструирование объекта познания, но и метод познания. Моделирование есть методология работы, эффективность которой раскрывается лишь при высокой квалификации специалистов и при их свободном владении современными средствами формализации - логикой и математикой.

При разработке современного программного обеспечения необходимо не только учитывать нелинейные (с обратным влиянием) связи между всеми звеньями вычислительной цепочки, но и реализовывать возможность сегментации программы на высоком, среднем и низшем уровнях параллелизации вычислительного процесса. Сегментация необходима для более эффективного использования многопроцессорных систем. Кроме этого, при разработке численного алгоритма следует увязывать между собой вопросы точности и надежности конечного программного обеспечения, а также вопросы его эффективности и переносимости под конкретную архитектуру вычислительной системы. Таким образом, параллельное программирование существенно отличается от традиционного — последовательного.

Принимая во внимание, что разработка параллельного программного обеспечения на сегодняшний день представляется достаточно сложной, проблема создания теоретических основ его проектирования стоит еще более остро. Моделирование может позволить описать все особенности взаимодействия параллельных процессов на уровне имитационной модели, а также провести анализ структуры и свойств разрабатываемых программ на всех этапах проектирования. Благодаря этому на раннем этапе проектирования программного обеспечения можно выбрать наиболее эффективные и простые в реализации алгоритмические решения.

В настоящее время во всем мире идет активная работа по совершенствованию теоретических и практических основ параллельного программирования. Это отражено в работах В. Воеводина, Вл. Воеводина, В. Гергеля, Р. Стронгина (в России), Г. Эндрюса, И. Фостера, Д. Астона (за пределами нашей страны). Разработано множество моделей вычислений, но наиболее развиты модели для последовательных алгоритмов и не все из них можно применить к параллельным напрямую. Существующие параллельные модели и методики не позволяют провести комплексный анализ параллельных алгоритмов. Особенно с учетом архитектурных особенностей вычислительных систем. В частности, нет методик анализа вычислительного процесса на гетерогенных (неоднородных) вычислительных системах и способов получения наиболее эффективных его реализаций.

В работе В. Гергеля и Р. Стронгина (Нижегородский государственный университет им. Лобачевского) предлагается использовать модель программы в виде сетей Петри; в работе С. Востокина (Самарский государственный аэрокосмический университет) предлагается логическая модель, позволяющая описывать функционирование параллельных процессов. Данные модели не обладают такими широкими возможностями, как, например, модель марковских процессов. А марковские цепи не допускают наличия совместных состояний. Один из возможных вариантов — использование модели недетерминированных цифровых автоматов, которая подробно рассмотрена в работах Н.П. Вашкевича (Пензенский государственный университет). Применение их более перспективно совместно с другими моделями, например с моделью марковских процессов.

Целью данной диссертационной работы являются оценка и повышение эффективности параллельных распределенных вычислений за счет реорганизации параллельных алгоритмов и эффективной организации неоднородной вычислительной системы.

Поставленная цель достигается решением следующих задач:

1. Анализ вариантов классификации распределенных вычислительных систем и вариантов распараллеливания алгоритмов.

2. Исследование существующих моделей алгоритмов, выбор математических моделей и их применение для анализа параллельных алгоритмов.

3. Анализ вариантов организации распределенных вычислительных систем и существующих технологий параллельного программирования с выявлением присущих им преимуществ и недостатков.

4. Разработка способа оценки трудоемкости параллельных алгоритмов и параллельного вычислительного процесса на гетерогенных вычислительных системах.

5. Повышение эффективности параллельных вычислений за счет эффективной организации вычислительного процесса на гетерогенной вычислительной системе.

6. Разработка параллельной гетерогенной вычислительной системы для эффективной реализации параллельных алгоритмов.

Объектом исследования диссертационной работы является параллельная распределенная вычислительная система и организация на ее базе вычислительного процесса.

Предметом исследования являются эффективная организация параллельных распределенных вычислений, оценка и повышение их эффективности.

Методологическая основа работы включает в себя методы теории марковских процессов и теории цифровых автоматов, а также элементы теории графов.

Научная новизна состоит в развитии научных основ и теоретическом анализе способов и методов организации и функционирования распределенных вычислительных систем и параллельных алгоритмов.

В результате проведенных исследований было предложено следующее:

1. Методики построения моделей параллельных вычислительных процессов гетерогенных кластерных систем на основе теории цифровых автоматов и теории марковских цепей, позволяющие производить анализ и оценку трудоемкости.

2. Методика анализа трудоемкости параллельных алгоритмов, позволяющая выбирать наиболее эффективную реализацию программы.

3. Способ повышения эффективности параллельного вычислительного процесса, позволяющий сократить время вычислений за счет изменения трудоемкости подзадач в соответствии с производительностью вычислительных узлов.

4. Способ организации эффективной вычислительной системы, позволяющий осуществлять динамическую балансировку вычислений на узлах вычислительной системы за счет разделения программы на заведомо большое число ветвей и асинхронного запуска параллельных процессов.

Практическая ценность заключается в разработке организации параллельной гетерогенной вычислительной системы, позволяющей повысить эффективность параллельных вычислений. Достоверность полученных результатов подтверждается экспериментальными исследованиями и математическими расчетами.

Реализация и внедрение результатов работы. Диссертация является теоретическим обобщением научно-исследовательских работ, выполненных автором в Пензенском государственном университете. Данная диссертационная работа проводилась по гранту для поддержки научно-исследовательской работы аспирантов высших учебных заведений Минобразования России по теме «Высокопроизводительная вычислительная система повышенной надежности с динамическим распределением ресурсов» (шифр АОЗ-3.16-361). Результаты диссертации использовались также для проведения работ по гранту Минобразования России на тему «Теория и методы организации управления распределенными вычислительными процессами в многопроцессорных вычислительных системах и метакомпьютерных сетях» (шифр Т02-03.3-2476). Результаты работы были использованы в рамках создания «Регионального центра суперкомпьютерных вычислений и телекоммуникационных баз данных коллективного пользования». Результаты диссертационной работы применялись при организации учебного процесса на кафедре «Вычислительная техника» Пензенского государственного университета.

Апробация работы. Основные результаты работы докладывались и обсуждались на международных и всероссийских научно-технических конференциях и семинарах, в том числе:

- XII и XIII международная школы-семинары «Синтез и сложность управляющих систем» (Пенза, октябрь 2001 и 2000гг);

- XIII научно-технической конференция студентов и профессорско-преподавательского состава Пензенского государственного университета. (Пенза, 2002г.);

- V и VI международные научно-технические конференции «Новые информационные технологии и системы» (Пенза, 2002 и 2004 гг.);

- Международный юбилейный симпозиум «Актуальные проблемы науки и образования» (Пенза, 2003 г.);

- V и VI всероссийские научно-практические молодежные конференции «Антикризисное управление в России в современных условиях» (Москва, МГТУ им. Н.Э. Баумана, 2003 и 2004гг).

Публикации. По теме диссертации опубликовано 14 печатных работ, в том числе 5 статей и 9 тезисов докладов.

Структура и объем работы. Данная диссертационная работа состоит из четырех глав, заключения, списка использованной литературы, включающего 71 наименование, и шести приложений.

В первой главе проводится обзор существующих классификаций вычислительных систем, в частности распределенных вычислительных систем. Анализируются варианты построения высокопроизводительных систем с параллельной обработкой данных. Анализируются существующие модели вычислительных процессов и возможности, предоставляемые ими для анализа. Также проводится анализ существующих методик оценки и повышения эффективности параллельных распределенных вычислений. На основании проведенного анализа формулируются задачи дальнейшего исследования.

Во второй главе предлагаются модели для описания параллельного вычислительного процесса. Данные модели основаны на теории цифровых автоматов и марковских процессов. Полученные во второе главе результаты дают возможность оценивать параллельные алгоритмы по трудоемкости.

Третья глава посвящена организации эффективных параллельных вычислений за счет выбора наиболее эффективного алгоритма путем оценки трудоемкости различных реализаций его программ, реорганизации вычислительного алгоритма с учетом конкретной вычислительной системы и организации вычислительной системы наиболее эффективным способом с учетом алгоритма, который необходимо реализовать. В данной главе описывается разработанная распределенная высокопроизводительная вычислительная система и технология программирования для нее.

Четвертая глава посвящена разработке программных средств для проверки полученных теоретических результатов. В ней приводится разработка, оценка и усовершенствование алгоритма вычисления интеграла методом Симпсона и умножения матриц. Даны результаты замеров временных характеристик работы данных алгоритмов и их графическое отображение.

В заключении перечислены основные результаты работы.

В приложениях приведены примеры анализов алгоритмов по трудоемкости и тексты разработанных по ним программ.

Основные положения, выносимые на защиту:

1. Методика построения модели параллельных алгоритмов на основе теории недетерминированных цифровых автоматов, позволяющая проводить функциональный анализ алгоритмов, и с использованием детерминизации перейти к модели на основе марковских процессов.

2. Методика построения модели параллельных алгоритмов на основе теории марковских процессов, позволяющая проводить оценки алгоритмов по трудоемкости.

3. Методика оценки эффективности параллельного вычислительного процесса, позволяющая оценить его эффективность с учетом особенностей вычислительной системы и выбрать наиболее эффективную его реализацию.

4. Способ повышения эффективности параллельного алгоритма и способ организации эффективных параллельных вычислений, позволяющий сократить время вычислений за счет равномерной загрузки вычислительных узлов гетерогенной вычислительной системы.

5. Методика построения эффективной гетерогенной параллельной вычислительной системы, позволяющая наиболее оптимальным образом организовать параллельные вычисления за счет динамической балансировки загрузки вычислительных узлов.

Заключение диссертации по теме «Вычислительные машины и системы», Антонов, Александр Викторович

4.3. Выводы по главе

В результате проведенной работы, описанной в данной главе, были разработаны несколько параллельных реализаций алгоритмов для вычисления интеграла методом Симпсона и умножения матриц с использованием методики повышения их эффективности. Была проведена оценка и сравнение различных реализация указанных алгоритмов.

Основные полученные результаты:

1. Разработаны алгоритмы параллельных программ для вычисления интеграла методом Симпсона и умножения матриц, предложены пути повышения эффективности данных алгоритмов и разработаны их новые реализации с учетом гетерогенной структуры кластерной системы.

2. По полученным алгоритмам были созданы программы с использованием систем MPI и MathNet.

3. Произведена оценка и сравнение полученных алгоритмов программ, а также выбор наиболее эффективной их реализации с учетом конкретной кластерной вычислительной системы.

4. Произведены тестовые запуски разработанных программ в различных условиях и с различными настройками, которые подтвердили полученные расчетные результаты.

ЗАКЛЮЧЕНИЕ

В диссертационной работе был проведен теоретический анализ способов и методов организации и функционирования распределенных ВС и параллельных алгоритмов, с целью повышения эффективности параллельных вычислений.

Получены следующие основные результаты:

1. Предложена методика построения модели параллельных вычислительных процессов на основе теории недетерминированных цифровых автоматов, позволяющая однозначно отображать ход вычислительного процесса и при использовании детерминизации получить марковскую модель.

2. Предложена методика построения модели параллельных вычислительных процессов на основе теории марковских процессов, позволяющая получать вероятностные модели параллельных алгоритмов и проводить их анализ по трудоемкости.

3. Предложена методика оценки эффективности параллельных вычислительных процессов, позволяющая производить сравнение различных реализаций алгоритмов для решения некоторой вычислительной задачи (как параллельных, так и последовательных) и осуществлять выбор наиболее эффективного алгоритма с учетом особенностей вычислительной системы.

4. Предложен способ повышения эффективности параллельных распределенных вычислений за счет реорганизации параллельного вычислительного процесса и адаптации его к неоднородной вычислительной системе, а также за счет эффективной организации вычислительной системы.

5. Разработана вычислительная система кластерного типа - MathNet - для эффективной организации параллельных распределенных вычислений на гетерогенном кластере с доступным пользовательским интерфейсом и простой, по сравнению с другими системами, технологией программирования.

6. Разработано программное обеспечение для проектирования и верификации алгоритмов цифровых устройств обработки информации -«Система описания, моделирования, преобразования алгоритмов» (СОМПА).

7. Проведена проверка полученных теоретических результатов с использованием параллельных программ на основе алгоритмов вычисления интеграла методом Симпсона и умножения матриц, для чего были разработаны соответствующие программы и осуществлен их запуск на кластере кафедры «Вычислительная техника».

Список литературы диссертационного исследования кандидат технических наук Антонов, Александр Викторович, 2005 год

1. Антонов А. В. Параллельное программирование в системе распределенных вычислений «MathNet» // Антикризисное управление в России в современных условиях: Материалы V Всерос. науч.-практ. молодежной конф. М.: Изд-во МГТУ им. Н. Э. Баумана, 2003. - С. 25-26.

2. Ю.Антонов А. В. Модель параллельной программы / А. В. Антонов, Б. Д. Шашков // Известия высших учебных заведений. Поволжский регион. Технические науки. 2004. - № 2. - С. 87-95

3. Антонов А. В. Оценка эффективности параллельных алгоритмов // Антикризисное управление в России в современных условиях: Материалы VI Всерос. науч.-практ. молодежной конф. М.: Изд-во МГТУ им. Н. Э. Баумана, 2004.-С. 21-22.

4. Антонов А. В. Программный комплекс «Система распределенныхвычислений "MathNet"». Параллельное программирование // Вычислительные системы и технологии обработки информации: Сб. науч. тр Пенза: Изд-во Пенз. гос. ун-та, 2005. - Вып. 3. - С. 101-110

5. ЭндрюсГ. Р. Основы многопоточного, параллельного и распределенного программирования.: Пер. с англ. -М.: Издательский дом «Вильяме», 2003. -512 с.

6. Бочаров Н. В. Технологии и техника параллельного программирования Казань: Институт механики и машиностроения Казанского научного центра Российской Академии наук, 2003. - 340 с.

7. Воеводин В. В., Параллельные вычисления / В.В.Воеводин, Вл. В. Воеводин СПб.: БХВ-Петербург, 2002. - 608 с.

8. Flynn М. Very high-speed computing system // Proc. IEEE. 1966. -N 54. P.1901-1909.

9. FlynnM. Some Computer Organisations and Their Effectiveness // IEEE Transactions on Computers. 1972. - V.21. -N 9. P.948-960

10. HockneyR. Parallel Computers: Architecture and Performance // Proc. of Int. Conf. Parallel Computing'85. 1986. -P.33-69.

11. HockneyR. Classification and Evaluation of Parallel Computer Systems // Lecture Notes in Computer Science. 1987. -N 295. - P. 13-25.

12. Бикташев P. А. Многопроцессорные системы. Архитектура, топология, анализ производительности: Учебное пособие. / Р. А. Бикташев, В. С. Князьков Пенза: Изд-во Пенз. гос. ун-та, 2003. — 126 с.

13. Князьков В. С. Архитектура параллельных вычислительных систем / В. С. Князьков, Р. А. Бикташев Пенза: Изд-во Пенз. политехи, ин-та, 1993. -166 с.

14. Комолкин А. В., Программирование для высокопроизводительных ЭВМ / А. В. Комолкин, С. А. Немнюгин Электронный ресурс.: http://www.hpc.nw.ru/KOI/COURSES/HPC/index.html Загл. с экрана

15. Ремизов К. А. Исследование и анализ эффективности работы кластерных систем типа клиент-сервер с неразделяемыми серверамиприложений Электронный ресурс.:http://www.uran.donetsk.ua/~masters/2003/iVti/remizov/diss/index.htm Загл. с экрана 2003. .

16. Владимиров Д. Кластерная система Condor // Открытые системы — 2000. -№7-8.

17. Волков Д. Дума о миграции // Открытые системы 1999. - №4.

18. Описание решения Cluster 1600 Электронный ресурс.: http://www.ibm.com/ru/eserver/pseries/cluster/1600desc.html Загл. с экрана

19. Radajewski J., Eadline D. Beowulf HO WTO

20. Ashton D. User's Guide for MPICH, a Portable Implementation of MPI / D. Ashton, W. Gropp, E. Lusk.

21. Коржов В. Объединяй и властвуй // Сети. 2003. - №04-05

22. Черняк Л. Общая шина предприятия // Открытые системы.- 2003.04.

23. Foster I. Globus: A Metacomputing Infrastructure Toolkit / I. Foster., C. Kesselman // Intl J. Supercomputer Applications, 11, 1997.

24. Software Infrastructure for the I-WAY High Performance Distributed Computing Experiment / Foster I., Geisler J., Nickless W., Smith W., Tuecke S.// Proc. 5th IEEE Symposium on High Performance Distributed Computing 1997.-Pp. 562-571

25. Воеводин В. Суперкомпьютер на выходные / В.Воеводин, М. Филамофитский // Открытые системы.- 2003. № 5.

26. Соколенко П. Т. Заметки о технологии Hyper-Threading. Электронный ресурс.: http://www.macro.aaanet.ru/apnd9.html Загл. с экрана

27. Шоу А. Логическое проектирование операционных систем. М.:1. Мир, 1981.-360 с.

28. Гергель В. П. Основы параллельных вычислений для многопроцессорных вычислительных систем. Учебное пособие / В. П. Гергель, Р. Г. Стронгин Нижний Новгород: Изд-во ННГУ им. Н.И. Лобачевского, 2003.-184 с.

29. Малышкин В. Э. Основы параллельных вычислений: Учеб. пособие. Часть 1. Новосибирск: Изд-во НГТУ, 1998. - 104 с.

30. Вашкевич Н. П. Недетерминированные автоматы и их использование для синтеза систем управления / Н. П. Вашкевич, С. Н. Вашкевич Пенза: Изд. Пенз. гос. техн. ун-та, 1996. - 88 с.

31. Вашкевич Н. П. Синтез и отладка алгоритмов функционирования цифровых устройств управления: Учеб. пособие. / Н. П. Вашкевич, Е. И. Калиниченко — Пенза: Изд-во Пенз. гос. ун-та, 2001. 44 с.

32. Вашкевич Н. П. Синтез микропрограммных управляющих автоматов: Учебное пособие Пенза: Изд-во Пенз. политехи, ин-та, 1990. - 56 с.

33. ГлушковВ. М. Введение в кибернетику Киев: Изд. Академии наук Украинской ССР, 1964. - 324 с.

34. Гладкий B.C. Вероятностные вычислительные модели. М.: Наука, 1973.-300 с.

35. Немченко А. В. Параллельные цифровые автоматы подготовка к синтезу Электронный ресурс.: http://www.softcraft.ru/auto/etc/avn/avn2.shtml — Загл. с экрана

36. Вашкевич Н. П. Недетерминированные автоматы в проектировании систем параллельной обработки. Учеб. пособие Пенза: Изд-во Пенз. гос. унта, 2004. - 280 с.

37. Вентцель Е. С. Исследование операций М.: Советское радио, 1972. —552 с.

38. Головкин Б. А. Расчет характеристик и планирование параллельных вычислительных процессов. М.: Радио и связь, 1983. - 272 с.

39. Марков Н. Г. Моделирование параллельного программного обеспечения с использованием PS-сетей. / Н. Г. Марков, Е. А. Мирошниченко,

40. A. В. Сарайкин // Программирование. 1995 № 5. - С. 24-32.

41. Основы теории вычислительных систем./ Под ред. Майорова С. А. — М.: Высшая школа, 1978.-408 с.

42. Ларионов А. М. Вычислительные комплексы, системы и сети: учебник для вузов / А. М. Ларионов, С. А. Майоров, Г. И. Новиков — Л.: Энергоатомиздат. Ленингр. отд., 1987.-288 с.

43. Бикташев Р. А. Оценка трудоемкости параллельных алгоритмов // Новые информационные технологии и системы: Труды VI Междунар. науч.-техн. конф. — Пенза: Изд-во Пенз. гос. ун-та, 2004. С. 50-54

44. Карцев В. А. Вычислительные системы и синхронная арифметика /

45. B. А. Карцев, В. А. Брик -М.: Радио и связь, 1981. 360 с.

46. Высокоскоростные вычисления. Архитектура, производительность, прикладные алгоритмы и программы суперЭВМ: Пер. с англ. / Под. ред. Я. Ковалика. М.: Радио и связь, 1988. - 432 с.

47. Богданов A.B. Параллельное программирование и использование прикладного ПО на параллельных суперкомпьютерах // Курсы лекций и методические материалы. СПб.: Изд-во СПб. гос. тех. ун-та, 2001. - 165 с.

48. Amdahl G. Validity of the single-processor approach to achieving large-scale computing capabilities // Proc. 1967 AFIPS Conf., AFIPS Press. 1967.

49. Букатов А. А. Программирование многопроцессорных вычислительных систем / А. А. Букатов, В. Н. Дацюк, А. И. Жегуло. Ростов-на-Дону: Изд-во ООО «ЦВВР», 2003. - 244 с.

50. Антонов A.C. Под законом Амдала// Компьютера. 2002г. №5 62.3убинский А. Кластеры - о главном // Компьютерное обозрение.2002г.-№18-19,

51. Антонов А. С. Введение в параллельные вычисления: Метод, пособие. М.: Изд-во МГУ, 2002. - 46 с.

52. Foster I. Designing and Building Parallel Programs 1995.

53. Lowenthal D., James M. Run-Time Selection of Block Size in Pipelined Parallel Programs. The University of Georgia 2000.

54. Большой Энциклопедический словарь Электронный ресурс.: http://dic.academic.ru/library.nsf/enc3p/

55. Толковый словарь Ушакова Электронный ресурс.: http://dic.academic.ru/library.nsfushakov/

56. Князьков В. С. Об одном подходе к оценке эффективности организации параллельных вычислений // Новые информационные технологии и системы: Тр. VI Междунар. науч.-техн. конф. Пенза: Изд-во Пенз. гос. унта, 2004.-С. 101-115.

57. Усачев Ю. Е. ВМ, сети и системы телекоммуникаций Электронный ресурс.: http://salink.bashnet.ru/Inet/newbook/ekonominform/vmsl/vms.htm Загл. с экрана

58. Шпаковский Г. И. Программирование для многопроцессорных систем в стандарте MPI: Пособие / Г. И Шпаковский, Н. В Серикова. Мн.: Изд-во БГУ, 2002. — 96 с.

59. Удаленный коллективный доступ к многопроцессорной системе / А. Б. Вавренюк, Л.Д.Забродин, В.В.Макаров, А.Н.Никитин, Е. В.Чепин -М.: Изд-во Моск. гос. инж.-физ. инст-та, 2000. 68 с.

60. Воеводин В. В., Матрицы и вычисления / В.В.Воеводин, Ю. А. Кузнецов -М.: Наука, 1984г. 312 с.