Исследование эффективности параллельных вычислений на кластере Московского энергетического института: технического университета тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Лю Лян

• Лю Лян
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Лю Лян

Аннотация работы.

Введение.

Глава 1. Обзор языков и сред параллельного программирования.

Введение.

1.1. Примитивы параллельного программирования.

1.2. Распараллеливание последовательных программ.

1.3. Модели и средства описания параллелизма на процессном уровне.

1.3.1. Сети Петри.

1.3.2. MPI, PVM и Нити.

1.3.2.1. MPI.

1.3.2.2. PVM и его сравнение с MPI.

1.3.2.3. Нити.

1.3.3. Другие проблемно-ориентированные языки и средства параллельного программирования.

1.3.3.1. DVM.

1.3.3.2. НРС++.:.

1.3.3.3. HPF.

1.3.3.4. Linda.

1.3.3.5. МС#.

1.3.3.6. Mentat.

1.3.3.7. Mosix.

1.3.3.8. mpC.

1.4. Функциональное параллельное программирование.

1.5. Сравнение языков и сред параллельного программирования.

Введение диссертации (часть автореферата) на тему «Исследование эффективности параллельных вычислений на кластере Московского энергетического института: технического университета»

J>

2.1. Язык граф-схемного потокового параллельного программирования . 48

2.1.1. Структура и интерпретация программы на ЯГС111Ш.48

2.1.2. Операционная семантика.52

2.1.3. Примеры построения программ на ЯГСППП.56

2.2. Формальная операционная семантика ЯГСППП.64

2.3. Сравнительный анализ выразительных возможностей MPI и !

ЯГСППП.67

Заключение.69

Глава 3. Методы, технологии и инструментальные среды параллельного программирования.71

Введение.71

3.1. Методы и технологии разработки параллельных программ.72

3.2. Технологии и инструментальные среды параллельного программирования.78

Заключение.90 1

Глава 4. Исследование эффективности выполнения параллельных программ на кластере МЭИ (ТУ).91

Ведение.91

4.1. Кластерные ВС и их технические характеристики.91

4.2. О кластере МЭИ (ТУ) и его характеристиках.93

4.3. Критерии и основные параметры эффективности выполнения параллельных программ на кластерах.94

4.4. Стандартные смеси для проверки эффективности работы ВС.97

4.4.1. Известные тесты для кластеров.98

4.4.2. Исследование эффективности кластера МЭИ (ТУ) на тесте HPL 100

4.4.2.1. Влияние на эффективность сложности задачи.101

4.4.2.2. Влияние на эффективность обмена страницами с дисковой памятью.103

4.5. Исследование эффективности параллельной работы кластера

МЭИ (ТУ) на различных задачах.105

4.5.1. Перемножение матриц.106'

4.5.2. Решение систем линейных'алгебраических уравнений.109

4.5.2.1. Метод Гаусса.110

4.5.2.2. Метод Якоби.114

Заключение.125

Заключение.128

Список литературы.132

Приложение 1. Примеры граф-схемных потоковых параллельных программ.143

1.1. Программ управлением процессом сборки автомобилей.143

1.2. Перемножение матриц на ЯГСППП.149

Приложение 2. Программы для исследования эффективности выполнения параллельных программ на кластере МЭИ (ТУ).155

2.1. Параллельная программа перемножения матриц на MPI.155

2.2. Программа генерации коэффициентов матриц СЛАУ на языке С.160

2.3. Последовательная программа решения СЛАУ методом Гаусса на языке С.162

2.4. Параллельная программа решения СЛАУ методом Гаусса на MPI.164

2.5. Последовательная программа решения СЛАУ методом Якоби на языке С.171

2.6. Программа решения СЛАУ методом Якоби с использованием механизма нитей на языке С.173

2.7. Параллельная программа решения СЛАУ методом Якоби на MPI.177

Приложение 3. Тест HPL (High Performance UNPACK).184

Аннотация работы

Работа посвящена сравнительному анализу методов и средств параллельного программирования (языков, технологий и инструментальных сред), разработке критериев и методов экспериментального исследования эффективности кластерных систем и их применению для исследования кластера МЭИ (ТУ).

В практической части работы излагаются результаты исследования эффективности решения известных вычислительных задач на кластере МЭИ (ТУ).

Работа состоит из введения, четырех глав, заключения, списка литературы, трех приложений, включающего в себя основной код реализации предложенных задач на кластере МЭИ (ТУ).

Введение

Актуальность проблемы.

В настоящее время существует большое количество задач, требующих применения мощных вычислительных систем (ВС), среди которых задачи моделирования работы систем массового обслуживания и управления, распределённых систем, сложные вычислительные задачи и др. Для решения таких задач всё шире используются кластеры, которые становятся общедоступными и дешёвыми аппаратными платформами для высокопроизводительных вычислений. Кластер представляет собой множество компьютеров (узлов), соединенных между собой высокоскоростными каналами связи, а специальное программное обеспечение позволяет организовать параллельную работу узлов. Современные мощные кластеры уже содержат несколько сотен тысяч процессорных элементов (кластер BlueGene/L Ливерморской национальной лаборатории содержит 131072 процессора).

Однако эффективность применения кластерных систем в настоящее время наталкивается на целый ряд нерешённых проблем, касающихся как их программного обеспечения (языков, технологий и инструментальных сред параллельного программирования), так и собственно организации параллельных вычислений и эффективности их выполнения. Для сравнения эффективности работы кластеров сегодня разработаны различные стандартные тесты, однако они, как правило, основаны на известных задачах вычислительной математики, часто оптимизированы на соответствующие архитектуры и плохо приспособлены для того, чтобы исследовать работу кластеров в реальных критических ситуациях решения сложных задач (когда не хватает оперативной памяти и возникает постраничный обмен, когда велика интенсивность межузловых обменов и др.).

Поэтому проблема комплексного анализа эффективности организации параллельных вычислений на кластерах, определения их предельных возможностей и их узких мест на реальных сложных задачах является актуальной.

Цель диссертационной работы.

Целью диссертационной работы является сравнительный анализ языков, технологий и инструментальных сред параллельного программирования, разработка критериев и методов экспериментального исследования эффективности кластерных систем и их применение для исследования кластера МЭИ (ТУ).

В качестве критериев эффективности обычно рассматривают время выполнения параллельной программы, использование ресурсов ВС и др. На эти критерии существенное влияние оказывают различные факторы, среди которых наиболее значимыми являются:

- архитектура ВС (многопроцессорная, многомашинная, смешанная) и её ресурсы;

- качество параллельной программы, которое существенно зависит от языка программирования, метода решения и распараллеливания задачи, степени распараллеливания (зернистости);

- средства управления ВС при параллельной работе.

Научная новизна.

Научная новизна полученных в диссертации результатов состоит в том, что

1. сделана попытка сравнительного анализа языков и сред параллельного программирования на основе системы объективных критериев, определяющих спектр их основных возможностей с точки зрения практического использования,

2. введено расширение сетей Петри, которое может оказаться полезным для описания процессных языков и систем со свойством динамического порождения процессов,

3. введена система критериев, позволяющая комплексно оценивать эффективность параллельной работы кластеров и на её основе получены достаточно общего характера выводы, базирующиеся на исследованиях эффективности кластера МЭИ (ТУ).

Основные задачи диссертации.

В диссертации ставятся и решаются следующие задачи:

1. Анализ методов, языков и сред параллельного программирования;

2. Формализация операционной параллельной семантики языка граф-схемного потокового параллельного программирования и сравнительный анализ на её основе выразительных возможностей в представлении параллелизма этого языка и MPI;

3. Разработка критериев и методов экспериментального исследования эффективности параллельного решения различных задач на кластерах и её применение для исследования эффективности кластера МЭИ (ТУ).

Методы исследования.

Поставленные задачи решаются на основе определения критериев для сравнительного анализа ВС и их программного обеспечения, использования формальных моделей и экспериментирования на реальных задачах.

Практическая значимость.

Практическая значимость диссертации состоит в том, что в ней предложена технология экспериментального исследования кластеров, успешно примененная при исследовании кластера МЭИ (ТУ). Эта технология используется в НИО «Центр суперкомпьютерных технологий МЭИ (ТУ)» при решении практических задач на кластере.

Достоверность результатов работы.

Достоверность результатов работы подтверждена экспериментальным исследованием параллельного решения различных задач на кластере МЭИ (ТУ).

Реализация результатов работы.

Результаты работы используются при решении сложных задач на кластере МЭИ (ТУ), они внедрены в учебный процесс на кафедре Прикладной математики МЭИ (ТУ) при проведении лабораторных работ по курсу «Параллельные системы и параллельные вычисления».

Работа выполнялась в рамках проекта РФФИ № 06-01-00817 по теме «Разработка и исследование методов и алгоритмов принятия решений и управления параллельными процессами в больших компьютерных системах» (научный руководитель: д.т.н., проф. Кутепов В.П.).

Апробация работы.

Основные результаты диссертационной работы были представлены:

1. на Всероссийской научной конференции «Научный сервис в сети Интернет: технологии параллельного программирования», Новороссийск, сентябрь 2006 г.;

2. на Международной научной конференции «2006 International Symposium on Distributed Computing and Applications to Business, Engineering and Science» (2006 Международный симпозиум по распределённым вычислениям и приложениям для бизнеса, инженерии и науки), Ханчжоу, Китай, октябрь 2006 г.;

3. на шестом Международном научно-практическом семинаре «Высокопроизводительные параллельные вычисления на кластерных системах», Санкт-Петербург, декабрь 2006 г.;

4. на Международной научной конференции «2007 International Symposium on Distributed Computing and Applications to Business, Engineering and Science» (2007 Международный симпозиум по распределённым вычислениям и приложениям для бизнеса, инженерии и науки), Ичан, Китай, август 2007 г.;

5. на Всероссийской научной конференции «Научный сервис в сети Интернет: многоядерный компьютерный мир. 15 лет РФФИ», Новороссийск, сентябрь 2007 г.;

6. в теоретическом и научно-практическом журнале «Вестник МЭИ)», 2007, № 5;

7. на научных семинарах, проводимых на кафедре Прикладной математики МЭИ (ТУ).

Публикации.

Основные результаты, полученные при выполнении диссертационной работы, опубликованы в 6 печатных работах.

Структура работы.

Диссертация состоит из введения, четырёх глав, заключения, списка использованной литературы из 113-х наименований и 3-х приложений. Диссертация содержит 186 страницы машинописного текста, включая 56 рисунков и 15 таблиц.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Лю Лян

Заключение

Перечислим основные результаты, полученные в работе:

1. Выполнен анализ языков, технологий и инструментальных сред, используемых для разработки параллельных программ (главы 1-3). Этот анализ показывает следующее:

1.1.Доминирующие средства параллельного программирования MPI, PVM для кластеров и Multithreading для многопроцессорных (многоядерных) ВС с общей памятью основаны на процессных моделях, причем в MPI и PVM использованы весьма простые и ограничивающие возможности распараллеливания реальных задач средствами описания взаимодействия процессов. 1.2.0тсутствие у этих средств возможности структурирования и визуализации программ существенно усложняет процесс разработки программы, отражения в нём декомпозиционных стратегий программирования. 1.3.Инструментальные среды для MPI и PVM, за исключением включенных в них библиотек, ограничены. Гораздо шире инструментарий для проектирования нитевых параллельного программирования, включающий стандарт «ручного» распараллеливания ОрепМР, средства анализа нитевых программ (Trace Analyzer) и настройки на конкретную ВС (Tuner). Однако, «чисто» процессная модель, лежащая в основе нитевого программирования, требует от программиста больших усилий по обеспечению корректности нитевых программ, разделяющих общие переменные, выбору оптимального количества нитей, их синхронизации и др.

2. Представлен сравнительный анализ граф-схемного подхода и созданной на его основе технологии граф-схемного потокового программирования со средствами параллельного программирования

MPI (глава 2).

Показаны преимущества первого подхода по сравнению со вторым в части структурного визуального проектирования параллельных программ, простого отражения в программе различных форм параллелизма, возникающих при программировании реальных задач. Кроме того, среда граф-схемного параллельного программирования содержит развитые средства планирования параллельных процессов и управления загруженностью узлов ВС при выполнении параллельных программ, чего нет в MPI и Multithreading. Это существенно упрощает задачу программиста по организации эффективного выполнения параллельной программы на конкретной ВС.

3. Разработана модель-расширение сетей Петри (глава 2) с целью формального описания и исследования параллельных процессов, индуцируемых при выполнении граф-схемных потоковых программ.

4. Выполнено исследование эффективности реализации параллельных вычислений на кластере МЭИ.

4.1 .Определены основные критерии эффективности (время выполнения, коэффициент ускорения и эффективность) и параметры, от которых они зависят: количество узлов и процессоров, объём оперативной памяти, пропускная способность каналов, а также метод распараллеливания задачи, её сложность и качество параллельной программы.

4.2.Для различных типичных математических задач построены параллельные MPI программы и выполнено экспериментальное исследование эффективности их выполнения на кластере МЭИ, из которого можно сделать следующие выводы. 4.2.1. С увеличением сложности задачи эффективность (по всем перечисленным критериям) есть неубывающая функция, ограниченная определенным порогом для заданного количества узлов кластера. Этот порог сложности определяется объёмом оперативной памяти, которая необходима параллельной программе, чтобы не возникало обменов страницами с дисковой памятью. При переходе через этот порог начинается свопинг, и эффективность работы кластера резко снижается.

4.2.2. Кластер МЭИ имеет современные коммуникации Infiniband с предельной пропускной способностью 10 Гбит/сек и латентностью порядка 2-3 мксек. Реальная скорость обмена, однако, порядка 1 Гбит/сек, что связно с латентностью и временем, затрачиваемым на организацию функций обмена. Однако, даже для рассмотренных задач с небольшой относительно интенсивностью обменов между процессами с увеличением их количества с целью большего распараллеливания задачи увеличивается время, затрачиваемое на обмены, и коэффициент ускорения начинает уменьшаться. Дополнительные исследования эффективности на кластере, организованном из персональных компьютеров с пропускной способностью сети 100 Мбит/сек, подтверждают, что с уменьшением пропускной способности сети это влияние более значительно.

4.2.3. Метод решения задачи может оказывать принципиальное влияние на возможность ускорения решения сложной задачи, иногда изменяя его на порядок и более. Это подтверждают эксперименты параллельного решения СЛАУ методом Гаусса и итерационным методом Якоби. Однако, если метод Гаусса не вызывает сомнений с позиций его точности, то метод Якоби требует большой предварительной работы по выяснению «определенности» СЛАУ, выбору начальных приближений неизвестных и точности.

4.2.4. Для заданной сложности задачи существует оптимальное количество процессоров (узлов) кластера, при котором обеспечивается минимальное время её выполнения и эффективное использование ресурсов.

4.2.5. Многоядерность и общая память узлов кластера дают пользователю удобную возможность уменьшения негативного влияния межузловых обменов на эффективность выполнения параллельных программ. В целом, кластер МЭИ является достаточно современной высокопроизводительной многоядерной вычислительной системой, на нём можно эффективно решать в параллельной форме задачи с мелкозернистым параллелизмом, используя для этого отдельный узел. Для сложных задач нужно применять крупнозернистое распараллеливание на уровне узлов и выполнять мелкозернистое распараллеливание фрагментов задачи, распределяемых на узлы.

Список литературы диссертационного исследования кандидат технических наук Лю Лян, 2007 год

1. Антонов А.С. Введение в параллельные вычисления (методическое пособие). М.: Издательство МГУ, 2002. - 69 с.

2. Антонов А.С. Параллельное Программирование с использование технологии MPI. М.: Издательство МГУ, 2004. - 71 с.

3. Арефьев А.А. и др. Язык граф-схем параллельных алгоритмов и его расширения. -М.: Издательство РАН, Программирование, 1981, № 4.

4. Афанасьев К.Е., Стуколов С.В., Демидов А.В., Малышенко В.В. Многопроцессорные вычислительные системы и параллельное программирование. М.: Кемеровский государственный университет, 2004. - 182 с (http://oldunesco.kemsu.ru/mps/).

5. Бажанов С.Е., Воронцов М.М., Кутепов В.П., Шестаков Д.А. Структурный анализ и планирование процессов параллельного выполнения функциональных программ. // Известия РАН, Теория и системы управления, 2005, № 6. С. 131-146.

6. Бажанов С.Е., Кутепов В.П., Шестаков Д.А. Язык функционального параллельного программирования и его реализация на кластерных системах. М.: Издательство РАН, Программирование, 2005, № 5. - С. 18-51.

7. Балашов К.В. Проектирование структур программ в системах искусственного интеллекта. // Кибернетика, 1994, № 2.

8. Борздова Т.В. Разработка структурно-функциональных методов в параллельном программировании. // Кандидатская диссертация, МЭИ, 1984.

9. Букатов А.А., Дацюк B.H., Жегуло А.И. Программирование многопроцессорных вычислительных систем. М.: Ростовский государственный университет, 2003. - 208 с.

10. Буч Г., Рамбо Дж., Джекобсон А. Язык UML. // Руководство пользователя. М.: ДМК, 2000. - 432 с.

11. Буч. Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++. // Rational Санта-Клара, Калифорния, 1999. М.: Бином, - СПб: Невский диалект, 1999. - 560 с.

12. Бэкон Д., Харрис Т. Операционные системы. // Пер. с англ. СПБ.: Питер; Киев: Издательская группа BHV, 2004. - 800 с.

13. Вендров A.M. Современные технологии создания программного обеспечения (Обзор) (http://www.jetinfo.rU/2004/4/2004.4.pdf Интернет-ресурс по Jet Info Online).

14. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. СПб: БХВ-Петербург, 2004. - 599 с.

15. Гарви М. Дейтел. Введение в операционные системы. // Пер. с англ. В 2-х т. М.: Мир, 1987. Т.1. - 359 е., Т.2. - 398 с.

16. Грызунов В.Б. Разработка и реализация системы функционального программирования. // Кандидатская диссертация, М.: МЭИ, 1990.

17. Гузев В.Б., Сердюк Ю.П. Технический отчет «Механизмы взаимодействия объектов в параллельном объектно-ориентированном языке программирования МС#». // Декабрь, 2003 (http://u.pereslavl.ru/~vadim/MCShaф/index.ru.html).

18. Демидович Б.П., Марон И.А. Основы вычислительной математики. -М.: Наука, 1970.-664 с.

19. Джоунз Г. Программирование на языке Оккам. // Пер. с англ. М.: Мир, 1989.-208 с.

20. Димитриев Ю.К., Хорошевский В.Г. Вычислительные системы из мини-ЭВМ. М.: Радио и связь, 1982. - 304 с.

21. Дмитриев Ю.К., Хорошевский В.Г. Вычислительные системы из мини

22. ЭВМ. М.: Радио и связь, 1982. - 304 с.

23. Душкин Р.В. Функциональное программирование на языке Haskell. М.: ДМК Пресс, 2006. - С. 608.

24. Жангисина Г.Д. Исследование и разработка специализированной базы математических знаний для систем функционального программирования. // Автореферат кандидатской диссертации. М.: Национальная академия наук Республики Казахстан, Алмата, 1995.

25. Калашян А.Н., Калянов Г.Н. Структурные модели бизнеса: DFD-технологии. М.: Финансы и статистика, 2003. - 256 с.

26. Камерон Хыоз. Трейси Хыоз. Параллельное и распределенное программирование с использованием С++. // Пер. с англ. М.: Вильяме, 2004.-667 с.

27. Кватрани Т. Визуальное моделирование с помощью Rational Rose 2002 и UML. -М.: Вильяме, 2003. 192 с.

28. Клини С.К. Введение в метаматематику. М.: ИЛ, 1957. - 524 с.

29. Кораблин Ю.П. Проблема корректности граф-схем параллельных алгоритмов. М.: Издательство РАН, Программирование, 1978, № 5.

30. Кораблин Ю.П. Языки параллельных алгоритмов и принципы их реализации. //Автореферат кандидатской диссертации. -М.: МЭИ, 1977.

31. Корнеев В.В. Вычислительные системы. Москва. М.: Гелиос АРВ, 2004. -512 с.

32. Котляров Д.В., Кутепов В.П., Осипов М.А. Граф-схемное потоковое параллельное программирование и его реализация на кластерных системах. // Известия РАН, Теория и системы управления, 2005, № 1. С. 75-96.

33. Котов В.Е. Сети Петри. М.: Наука, 1984. -160 с.

34. Крюков В.А. Разработка параллельных программ для вычислительных кластеров и сетей. М.: Информационные технологии и вычислительные системы, 2003, № 1-2. - С. 42-61.

35. Кутепов В.П. Интеллектуальное управление процессами ввычислительных системах. // Известия РАН, Теория и системы управления, 2007, № 5.

36. Кутепов В.П. Информатика на пути к интеграции. // Вестник МЭИ, 1995, №4.

37. Кутепов В.П. Исчисление функциональных схем и параллельные алгоритмы. М.: Издательство РАН, Программирование, 1976, № 6.

38. Кутепов В.П. Об интеллектуальных компьютерах и больших компьютерных системах нового поколения. // Известия РАН, Теория и системы управления, 1996, № 5. С. 97-114.

39. Кутепов В.П. Организация параллельных вычислений на системах. М.: МЭИ, 1988.-64 с.

40. Кутепов В.П. Фальк В.Н. Направленные отношения: теория и приложения. М.: Издательство РАН. Техническая кибернетика, 1994, № 4, №5.

41. Кутепов В.П. Языки параллельных алгоритмов. М.: МЭИ, 1978. - 91 с.

42. Кутепов В.П., Жангисина Г.Д. Организация специализированной базы знаний для решения задач линейной алгебры. // Тез. Докл. Межд. конференции «Высокопроизводительные вычислительные системы в управлении и научных исследованиях». М.: ИПУ, 1991.

43. Кутепов В.П., Котляров Д.В., Маланин В.Н, Панков Н.А. Средства управления выполнением объектно-ориентированных граф-схемных потоковых параллельных программ на кластерах. // Материалы шестого Международного научно-практического семинара

44. Высокопроизводительные параллельные вычисления на кластерных системах», Санкт-Петербург, 12-17 декабря 2006 г. СПб: Санкт-Петербургский госуниверситет, 2007, Том 1. - С. 271-276.

45. Кутепов В.П., Фальк В.Н. Функциональные системы: теоретический и практический аспекты. // Кибернетика, 1979, № 1. С. 46-58.

46. Лазуткин В.А. Исследование методов и разработка технологии и инструментальной среды для проектирования граф-схемных параллельных потоковых программ. М.: Магистерская диссертация, 2005.- 102 с.

47. Лазуткин В.А., Лю Лян. Технологические аспекты построения граф-схемных параллельных потоковых программ. // Труды

48. Всероссийской научной конференции «Научный сервис в сети Интернет: многоядерный компьютерный мир. 15 лет РФФИ», г. Новороссийск, 24-29 сентября 2007 г. -М.: Издательство Московского университета, 2007. С. 174-177.

49. Лобанов В.П. Разработка алгоритмов и программных средств обеспечения надежности параллельных вычислений на вычислительных комплексах. // Автореферат кандидатской диссертации. -М.: МЭИ, 1985.

50. Лю Лян. Исследование эффективности реализации параллельных вычислений на кластере МЭИ. // Вестник МЭИ, 2007, № 5. С. 90-96.

51. Масликов Сергей. Пути потоков неисповедимы (http://mycomp.com.ua/text/7740).

52. Немнюгин Сергей, Стесик Ольга. Параллельное программирование для многопроцессорных вычислительных систем. СПб: БХВ-Петербург, 2002.-400 с.

53. Питерсон Дж. Теория сетей Петри и моделирование систем. // Пер. с англ. -М.: Мир, 1984.-264 с.

54. Розенберг Д., Скотт К. Применение объектного моделирования с использованием UML и анализ прецедентов. -М.: ДМК Пресс, 2002. -160 с.

55. Саати Т.Л. Элементы теории массового обслуживания и её приложения». М.: Советское Радио, 1971. - 520 с.

56. Самарский А. А. Введение в численные методы. // 3-изд. СПБ.: Лань, 2005.-288 с.

57. Сидякин И.М. Многозадачность Windows. М: Московский Государственный Технический Университет им. Н.Э. Баумана, 1998. -28 с.

58. Смирнов А.В., Шерементов Л.Б. Организация взаимодействия агентов в многокомпонентных САПР, Автоматизация проектирования, № 02, 1999.-36 с.

59. Строева Т.М. Асинхронные вычислительные сети и их применение всистемах параллельного программирования. // Автореферат кандидатской диссертации. -М.: МЭИ, 1981.

60. Строева Т.М., Фальк В.Н. Асинхронные вычислительные сети (ABC): ABC-модель и ABC система программирования. -М.: Кибернетика, 1981, № 3. С. 90-96.

61. Таненбаум Э. Архитектура компьютера. // 4-изд. СПБ.: Питер, 2006. -699 с.

62. Таненбаум Э. Современные операционные системы. // 2-изд. СПБ.: Питер, 2005. -1038 с.

63. Филд А., Харрисон П. Функциональное программирование. М.: Мир, 1993.-637 с.

64. Финн В.К. Правдоподобные выводы и правдоподобные рассуждения. // Итоги науки и техники. Сер. Теория вероятностей, математическая статистика, теоретическая кибернетика. М.: ВИНИТИ, Т.28, 1988. - С. 3-84.

65. Хоар Ч. Взаимодействующие последовательные процессы. // Пер. с англ.- М.: Мир, 1989.-264 с.

66. Хорев П.Б. Технологии объектно-ориентированного программирования.- М.: Издательский центр «Академия», 2004. 448 с.

67. Черемных С.В., Семенов И.О., Ручкин B.C. Структурный анализ систем: IDEF- технологии. М.: Финансы и статистика, 2001. - 208 с.

68. Эндрюс Г.Р. Основы многопоточного, параллельного и распределенного программирования. // Пер. с англ. М.: Вильяме, 2003. - 512 с.

69. Alexey Lastovetsky. шрС a Multi-Paradigm Programming Language for Massively Parallel Computers. // ACM SIGPLAN Notices, 31 (2): 13-20, February 1996.-P. 13-20.

70. Amnon Barak et. A Scalable cluster computing with Mosix for Linux: Institute of Computer Science. // The Hebrew University of Jerusalem, 1999.

71. Amon Barak and Oren Laadan. The MOSIX Multicomputer Operating System for High Performance Cluster Computinghttp://www.cs.huji.ac.il/rnosix).

72. Bazhanov S.E., Vorontsov M.M., Kutepov V.P., Shestakov D.A. Structural Analysis and Planning of Processes of Parallel Execution of Functional programs. // Journal of Computer and Systems Sciences International, Vol. 44, No. 6,2005.-P. 942-957.

73. Cheung D. W., Ng V. Т., Fu A. W., Fu Y. Efficient Mining of Association Rules in Distributed Databases. IEEE Transactions on Knowledge and Data Engineering, 8(6): P. 911-912,1996.

74. Dennis J.B. First version of data flow language. // In Proc. Colloque sur la Programmation, vol.19 (Lecture notes in computer science), 1974. P. 241-271.

75. Dubois D., Lang J., Parde H. Towards possibilistic logic programming. // Proceedings of the 8-th International Conference on Logic Programming 91. -Paris: The Mit Press, 1991. P. 581-595.

76. Foster Ian. Designing and Building Parallel Programs. 1995 (http://www.hensa.ac.uk/parallel/books/addison-wesley/dbpp) (http://rsusul.rnd.runnet.ru/ncube/design/dbpp/book-info.html).

77. Kotlyarov D.V., Kutepov V.P., and Osipov M.A. Flowgraph Stream Parallel Programming and Its Implementation on Cluster Systems. // Journal of Computer and Systems Sciences International, Vol. 44, No. 1,2005. P. 70-89.

78. Kutepov V., Falk V. Integrated tools for functional logical and data flow parallel programming and controlling parallel computations on computer systems. // Proceedings of International conference on parallel computing technologies, Novosibirsk, 1991.

79. Kutepov V., Falk V. Intellectual environment for computeraided programming. // Proceedings of Japan CIS symposium on knowledge based software engineering, Pereslavl-Zaleskiy, 1994.

80. Kutepov V.P., Lazutkin V.A., Liu Liang. The Extension of Petri Nets for the Description of Operational Semantics of Flowgraph Stream Parallel

81. Loidl H-W., et al. Comparing Parallel Function Languages: Programming Performance. // Kluwer Academic Publishers, 2003. 59 p.

82. Mary W. Hall, et al. Detecting Coarse-Grain Parallelism Using an Interprocedural Parallelizing Compiler (http://suif.stanford.edu/papers/mhall95a/paper.html).

83. Milner R. A Calculus of Communicating Systems. // LNCS vol.92, Springer Verlag,- 171 p.