Программный комплекс моделирования и анализа алгоритмов параллельных вычислений тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Жидченко, Виктор Викторович

• Жидченко, Виктор Викторович
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Жидченко, Виктор Викторович

СПИСОК УСЛОВНЫХ СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1 ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ НА ЭВМ.

1.1 Классификация параллельных вычислительных систем.

1.2 Явный параллелизм и автоматическое распараллеливание.

1.3 Графические модели параллельных процессов.

1.4 Взаимодействие параллельных процессов.

1.4.1 Механизмы синхронизации параллельных процессов.

1.4.2 Проблема тупиков в параллельных алгоритмах.

Выводы и основные результаты.

2 ГРАФИЧЕСКАЯ МОДЕЛЬ АЛГОРИТМОВ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ.

2.1 Концептуальное описание граф-модели.

2.2 Синхронизация между параллельными ветвями граф-модели.

2.3 Создание граф-моделей параллельных вычислений.

2.4 Реализация вычислений, описанных граф-моделью.

Выводы и основные результаты.

3 СИНХРОНИЗАЦИЯ В МОДЕЛИ ПАРАЛЛЕЛЬНОГО АЛГОРИТМА.

3.1 Простейший метод поиска критических данных в модели параллельного алгоритма.

3.2 Метод поиска критических данных на основе алгебры над способами использования данных.

3.3 Пример применения формулы над способами использования данных для поиска критических данных.

3.4 Алгоритм построения и вычисления формул над способами использования данных.

3.5 Проверка корректности синхронизации граф-модели.

3.5.1 Метод проверки корректности синхронизации граф-модели.

3.5.2 Метод поиска тупиков.

3.6 Пример использования методов поиска критических данных и проверки корректности синхронизации.

3.6.1 Параллельная модель RS-триггера.

3.6.2 Модель RS-триггера без синхронизации.

Выводы и основные результаты.

4 ПРОГРАММНЫЙ КОМПЛЕКС МОДЕЛИРОВАНИЯ И АНАЛИЗА АЛГОРИТМОВ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ.

4.1 Архитектура программного комплекса моделирования и анализа алгоритмов параллельных вычислений.

4.2 Программный комплекс моделирования и анализа алгоритмов параллельных вычислений PGRAPH 1.0.

4.2.1 Создание моделей параллельных алгоритмов в программном комплексе PGRAPH 1.0.

4.2.2 Генерация исходных текстов параллельных программ на языке С++.

4.2.3 Межмодульный информационный интерфейс.

4.2.4 Обмен данными между параллельными процессами.

4.2.5 Модуль передачи сообщений.

Выводы и основные результаты.

5 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ПРАКТИЧЕСКОЙ ЗНАЧИМОСТИ МОДЕЛИ.

5.1 Решение уравнения Лапласа.

5.1.1 Постановка задачи и последовательный алгоритм решения уравнения Лапласа.

5.1.2 Параллельный алгоритм решения уравнения Лапласа.

5.1.3 Экспериментальная проверка эффективности параллельного алгоритма.

5.2 Распараллеливание алгоритма решения системы дифференциальных уравнений Навье-Стокса.

5.3 Распараллеливание многосеточных методов.

Выводы и основные результаты.

Введение диссертации (часть автореферата) на тему «Программный комплекс моделирования и анализа алгоритмов параллельных вычислений»

Развитие моделей описания параллельных вычислений происходит с середины XX века одновременно со становлением теории последовательных вычислений.

Основными проблемами параллельных вычислений являются согласованное использование данных (синхронизация) и связанная с ней проблема тупиковых ситуаций. Для синхронизации вычислений разработано множество механизмов, таких как семафоры, критические секции, событийное управление, мониторы. Однако универсального решения, приемлемого для любых задач, до сих пор не найдено. Одни методы синхронизации не разрешают проблему возникновения тупиковых ситуаций, другие сложны для практического применения.

Параллельный вычислительный процесс приобретает особую сложность при распараллеливании на уровне подзадач и подпрограмм. В этом случае параллельные процессы могут иметь сложную внутреннюю структуру, длительность их выполнения не фиксирована; процессы взаимодействуют, обмениваются данными и обращаются к общим ресурсам. Корректная синхронизация таких процессов особенно важна для обеспечения правильности работы параллельной программы. Сложность взаимодействия параллельных процессов на уровне подзадач и подпрограмм практически исключает безошибочную работу с ними без применения средств автоматизации и делает актуальным применение методов математического моделирования для изучения взаимодействия параллельных процессов, оценки их характеристик и проверки корректности синхронизации с целью создания надежных параллельных программ.

Одной из проблем как последовательных, так и параллельных вычислений, является наглядное представление вычислительного процесса с целью создания такой нотации (желательно графической), которая позволила бы разрабатывать модели описания параллельных вычислительных процессов конечным пользователям - специалистам в различных предметных областях.

В области теории и практики моделирования параллельных вычислений существенный вклад внесли такие ученые как Г. Буч, В.В. Воеводин, Вл.В. Воеводин, В.П. Гергель, Э. Дейкстра, В.Е. Котов, К. Петри, Р.Г. Стронгин, Ч. Хоар, И.Якобсон и др.

Вопросам разработки графических моделей вычислительных процессов посвящены работы И.В. Вельбицкого, А.Н. Коварцева, Д.Харела и др.

Использование графических моделей позволяет ускорить разработку параллельных вычислительных процессов и повысить их надежность, поскольку допускает более компактное, чем текст, интуитивно понятное и легко формализуемое представление вычислительного процесса, исключающее множество ошибок при проектировании и удобное для разработки методов автоматического анализа модели.

Существует множество графических моделей описания параллельных процессов, а также систем, позволяющих генерировать программы на основе этих моделей. Каждая модель имеет специфическую область применения, в которой она обладает максимальным удобством использования и наглядностью. В области описания вычислительных процессов наиболее удобной представляется форма, близкая к традиционным блок-схемам. Проектирование вычислительных процессов в модели, близкой к блок-схемам, реализовано в технологии графо-символического программирования (ГСП-технологии), разработанной на кафедре информационных систем и технологий Самарского государственного аэрокосмического университета. Модель ГСП-технологии ориентирована на последовательные вычисления, но заложенные в нее принципы позволяют перейти к описанию параллелизма. Настоящая диссертационная работа посвящена разработке графической модели параллельных вычислительных процессов, базирующейся на модели ГСП-технологии, а также методов и средств автоматического анализа предложенной модели, способствующих повышению надежности параллельных вычислительных процессов. В результате работы создан программный комплекс, реализующий указанные методы и средства, предназначенный для построения моделей параллельных вычислительных процессов и автоматической генерации параллельных программ на их основе.

Результаты работы представляют большую практическую значимость, поскольку позволяют упростить и ускорить разработку параллельных вычислительных процессов специалистами в различных предметных областях, предоставляя интуитивно понятную модель описания вычислений, средства автоматического анализа модели и возможность повторного использования обширного фонда алгоритмов и программ, созданных в технологии ГСП, при переходе к параллелизму вычислений.

Целью диссертационной работы является сокращение сроков разработки параллельных алгоритмов и повышение их качества за счет создания программного комплекса, предназначенного для моделирования и анализа алгоритмов параллельных вычислений с использованием наглядной графической модели и средств автоматического поиска ошибок совместного использования данных и синхронизации. В соответствии с поставленной целью, в диссертационной работе решаются следующие задачи исследования:

1) Анализ существующих подходов к моделированию параллельных алгоритмов и организации параллельных вычислений на ЭВМ;

2) Разработка графической модели алгоритмов параллельных вычислений, ориентированной на использование конечными пользователями в различных предметных областях;

3) Разработка методов автоматического поиска критических данных и анализа корректности синхронизации в алгоритмах параллельных вычислений, описываемых предлагаемой моделью;

4) Создание программного комплекса, предназначенного для построения моделей алгоритмов параллельных вычислений и их реализации на ЭВМ с параллельной архитектурой;

5) Апробация модели при решении практических вычислительных задач, а также экспериментальная проверка эффективности параллельных программ, созданных с использованием модели.

Методы исследования. В диссертационной работе используются методы математического анализа, теория графов, теория формальных грамматик, логика предикатов, численные методы.

Научная новизна. В результате проведенных исследований был получен ряд новых научных результатов:

1) Разработана новая модель описания алгоритмов параллельных вычислений, ориентированная на их наглядное графическое представление;

2) Разработаны и реализованы метод и алгоритм автоматического поиска критических данных в предложенной модели;

3) Предложен метод анализа корректности синхронизации в модели параллельного алгоритма;

4) Разработаны и реализованы метод и алгоритм поиска тупиков в алгоритмах параллельных вычислений, описываемых предложенной моделью;

5) Создан программный комплекс, содержащий визуальную среду для построения графических моделей алгоритмов параллельных вычислений, средства автоматизированного поиска критических данных и проверки корректности синхронизации параллельных вычислений, а также средства автоматического синтеза параллельных программ на основе созданных моделей.

На защиту выносятся:

- графическая модель алгоритмов параллельных вычислений;

- метод и алгоритм автоматического поиска критических данных в предложенной модели;

- метод анализа корректности синхронизации в параллельном алгоритме;

- метод и алгоритм поиска тупиков в алгоритмах параллельных вычислений, описываемых предложенной моделью.

Практическая ценность работы заключается в разработке программного комплекса моделирования алгоритмов параллельных вычислений и их реализации на ЭВМ с параллельной архитектурой. Использование программного комплекса не требует от пользователя глубоких познаний в теории параллельного программирования, что позволяет применять его для создания эффективных параллельных программ конечными пользователями, специалистами в различных предметных областях. Программный комплекс обеспечивает возможность автоматического синтеза параллельных программ на основе построенных моделей.

Результаты диссертационной работы нашли применение при выполнении работ по тематическому плану научно-исследовательских работ в Самарском государственном аэрокосмическом университете, финансируемых из федерального бюджета по единому заказ-наряду в 1998 г., утвержденному министерством общего и профессионального образования РФ. Результаты диссертационной работы внедрены в учебный процесс специальности 230102 -Автоматизированные системы обработки информации и управления Самарского государственного аэрокосмического университета, что подтверждено актом внедрения.

Апробация работы. Основные положения диссертационной работы, научные и практические результаты докладывались на двух всероссийских и трех международных конференциях: IV Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» (Таганрог, 1998); Второй Всероссийской научной конференции «Методы и средства обработки информации» МСО-2005 (Москва, 2005); Международном симпозиуме «Надежность и качество» (Пенза, 2002); Международном научно-практическом семинаре «Высокопроизводительные параллельные вычисления на кластерных системах» (Нижний Новгород, 2002); Первой международной конференции «Системный анализ и информационные технологии» САИТ-2005 (Переславль-Залесский, 2005).

Публикации. Всего по теме диссертации опубликовано И печатных работ. Список опубликованных работ приведен в заключении.

Структура и краткое содержание диссертации:

Диссертация состоит из основной части и приложения. Основная часть содержит введение, пять глав, заключение, список использованных источников. Приложение содержит тексты программ и примеры моделей.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Жидченко, Виктор Викторович

Основные результаты диссертационной работы состоят в следующем:

1) Проведен анализ существующих подходов к моделированию параллельных алгоритмов и организации параллельных вычислений на ЭВМ. По результатам анализа сделан вывод об актуальности разработок в области создания графических моделей параллельных алгоритмов, использующих явный параллелизм при описании вычислений и ориентированных на разработку программ для широко распространенных вычислительных систем с массовым параллелизмом, таких как SMP-системы на базе многопроцессорных персональных ЭВМ и кластеры.

2) Разработана модель алгоритмов параллельных вычислений, ориентированная на их наглядное графическое представление. Модель допускает автоматическую генерацию эффективных программ для широко распространенных вычислительных систем с параллельной архитектурой. Это значительно облегчает работу с моделью специалистам в различных предметных областях.

3) Разработаны методы и алгоритмы автоматического поиска критических данных, анализа корректности синхронизации и поиска тупиков в параллельном алгоритме, описываемом предлагаемой моделью.

4) Создан программный комплекс, содержащий визуальную среду для построения графических моделей алгоритмов параллельных вычислений, средства автоматизированного поиска критических данных и проверки корректности синхронизации параллельных вычислений, а также средства автоматического синтеза параллельных программ на основе созданных моделей.

5) Проведено исследование предложенной модели и разработанного программного комплекса при их использовании для моделирования и анализа вычислительных алгоритмов, допускающих распараллеливание. Показано, что предложенная модель описания алгоритмов параллельных вычислений позволяет наглядно изображать структуру алгоритма, а созданный программный комплекс сокращает сроки разработки и способствует повышению качества параллельных алгоритмов за счет средств автоматизированной проверки корректности синхронизации и поиска тупиковых ситуаций, позволяет автоматически синтезировать эффективные параллельные программы на основе графических моделей алгоритмов.

Содержание диссертации отражено в следующих публикациях:

1. Жидченко В.В. Метод нахождения границ области определения алгоритмических функций в стохастическом тестировании программных продуктов. // Обозрение прикладной и промышленной математики. - 2001. - Т. 8, Выпуск 2. - С. 590.

2. Жидченко В.В. Метод нахождения границ области определения алгоритмически заданной функции // IV Всероссийская научная конференция студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» / Тез. докл. - Таганрог, 1998. С.99-100.

3. Жидченко В.В. Разработка средств интеллектуальной поддержки технологии графосимволического программирования // XXV самарская областная студенческая научная конференция / Тез. докл. - Самара, 1999. С.113-114.

4. Жидченко В.В., Коварцев А.Н. Метод ограничения разрядной сетки ЭВМ для автоматизированного тестирования комплексов программ // Вестник СГАУ, серия «Актуальные проблемы радиоэлектроники» / Самарский государственный аэрокосмический университет - 2000. - Вып. 4. - С. 85 - 91.

5. Жидченко В.В. Подсистема автоматизированного тестирования функциональных модулей технологии графо-символического программирования // 50я студенческая научно-техническая конференция / Тез. докл. - Самара, 2000. С.53.

6. Жидченко В.В. Современные средства межпрограммного взаимодействия в сложных программных комплексах // Перспективные информационные технологии в научных исследованиях, проектировании и обучении. Сб. науч. тр. / Самарский государственный аэрокосмический университет - 2001. - С. 45 ~ 52.

7. Жидченко В.В. Повышение качества разработки параллельных программ // НАДЕЖНОСТЬ И КАЧЕСТВО. Труды международного симпозиума / Под ред. Н.К. Юркова. - Пенза: Изд-во Пенз. гос. ун-та. - 2002. -С. 134-135.

8. Жидченко В.В. Автоматизация разработки параллельных программ в технологии графо-символического программирования // Материалы второго Международного научно-практического семинара / Под ред. проф. Р.Г. Стронгина. Нижний Новгород: Изд-во Нижегородского госуниверситета, 2002. -С. 341-347.

9. Жидченко В.В., Коварцев А.Н. Моделирование синхронных параллельных вычислений при построении математических моделей сложных систем // Первая международная конференция «Системный анализ и информационные технологии» САИТ-2005: Труды конференции. В 2т. Т.2. -М.: КомКнига, 2005. - С. 154-160.

10. Жидченко В.В, Комплекс программ моделирования параллельных синхронных вычислительных процессов // Методы и средства обработки информации, Труды второй Всероссийской научной конференции / Под ред. JI.H, Королева. - М.: Издательский отдел факультета вычислительной математики и кибернетики МГУ им. М.В. Ломоносова. - 2005. - С. 465-471.

11. Коварцев А.Н., Жидченко В.В. Программный комплекс моделирования параллельных вычислительных процессов PGRAPH 1.0 // Инновации в науке и образовании. - 2006. - № 6. - С. 7.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат технических наук Жидченко, Виктор Викторович, 2007 год

1. Абрамов С.М., Кузнецов А.А., Роганов В.А. Кроссплатформенная версия Т-системы с открытой архитектурой // Вычислительные методы и программирование. 2007. - Том 8, Раздел 2. - С. 18-23.

2. Аткинсон Л. MySQL. Библиотека профессионала. М.:Вильямс, 2002. - 624 с.

3. Б. Страуструп Язык программирования С++. Специальное издание. М.: Бином, 2001. - 1099 с.

4. Барский А.Б. Планирование параллельных вычислительных процессов М:Машиностроение, 1980. - 192 с.

5. Бахур А.Б. Системные идеи в современной инженерной практике. -М.: Пров-пресс, 2000.

6. Белоцерковский О.М. Численное моделирование в механике сплошных сред. М.: Физматлит, 1994. - 442 с.

7. Бенькович Е.С., Колесов Ю.Б., Сениченков Ю.Б. Практическое моделирование динамических систем СПб.: БХВ-Петербург, 2002. -464 с.

8. Богачев К.Ю. Основы параллельного программирования. М.: БИНОМ. Лаборатория знаний, 2003. 342 с.

9. Бусленко Н.П. Моделирование сложных систем М.: Наука, 1968.-356 с.

10. Буянов Б. Б., Легович Ю. С., Лубков Н. В., Поляк Г.Л. Построение систем подготовки управляющих решений с использованием имитационного моделирования. // Приборы и системы управления. 1996. - №12. - С. 36 - 40.

11. Вальковский В.А. Распараллеливание алгоритмов и программ. Структурный подход М.:Наука, 1989. - 176 с.

12. Вальковский В.А., Котов В.Е., Марчик А.Г., Миренков Н.Н. Элементы параллельного программирования. М.: Радио и связь, 1983.-240 с.

13. Вельбицкий И.В. Технология программирования. Киев: Техника, 1984.-279 с.

14. Виттих В.А. Эволюционное управление сложными системами. // Известия Самарского научного центра РАН. 2000. - №1. - С. 53-65.

15. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления СПб.: БХВ-Петербург, 2002. - 608 с.

16. Востокин С.В. Графическая объектная модель параллельных процессов и ее применение в задачах численного моделирования -Самара: Изд-во Самарского научного центра РАН, 2007. 286 с.

17. Гергель В.П., Стронгин Р.Г. Основы параллельных вычислений для многопроцессорных вычислительных систем. Учебное пособие -Нижний Новгород: Изд-во ННГУ им. Н.И.Лобачевского, 2000. -176 с.

18. Головашкин Д.Л. Методы параллельных вычислений (Часть I): Учебное пособие. СГАУ, Самара, 2002. - 92 с.

19. Головашкин Д.Л., Головашкина С.П. Методы параллельных вычислений (Часть II): Учебное пособие. СГАУ, Самара, 2003. -103 с.

20. Головашкин Д.Л., Сойфер В.А., Шустов В.А. Реализация параллельных вычислений при разностном решении уравнений математической физики. // Известия Самарского научного центра РАН. 2000. - №1. - С. 108

21. ГомаХ. UML. Проектирование систем реального времени, параллельных и распределенных приложений М.:ДМК Пресс, 2002. - 704 с.

22. Горелик A.M., Ушкова B.JI. Фортран сегодня и завтра. М.: Наука, 1990.

23. Грегори Р. Эндрюс Основы многопоточного, параллельного и распределенного программирования- Вильяме, 2002. 512 с.

24. Дейкстра Э. Взаимодействующие последовательные процессы. В сб. "Языки программирования" под ред. Ф. Женюи. М.: Мир, 1972. -С. 9-86.

25. Дж. Макконнелл Анализ алгоритмов. Вводный курс.-М.Техносфера, 2002. 304 с.

26. ЖидченкоВ.В. Метод нахождения границ области определения алгоритмических функций в стохастическом тестировании программных продуктов // Обозрение прикладной и промышленной математики. 2001. - Т. 8, Выпуск 2. -С. 590.

27. ЖидченкоВ.В. Подсистема автоматизированного тестирования функциональных модулей технологии графо-символического программирования // 50я студенческая научно-техническая конференция / Тез. докл. Самара, 2000. С.53.

28. Замулин А.В. Системы программирования баз данных и знаний -Новосибирск: Наука, 1990. 352 с.

29. Змитрович А.И. Интеллектуальные информационные системы. -Мн.: НТООО "ТетраСистемс", 1997. 368 с.

30. Ильин В.П. Линейная алгебра: от Гаусса до суперкомпьютеров будущего. // Природа. 1999. - №6. - С. 11-18.

31. Кахро М.И., Калья А.П., Тыугу Э.Х. Инструментальная система программирования ЕС ЭВМ (ПРИЗ). М.: Финансы и статистика, 1981. - 158 с.

32. Коварцев А.Н. Автоматизация разработки и тестирования программных средств. Самарский государственный аэрокосмический университет, Самара, 1999. - 150 с.

33. Корнеев В.В. Параллельные вычислительные системы -М.:Нолидж, 1999. 320 с.

34. Коробейников В. П. Математическое моделирование катастрофических явлений. М.: Знание, 1986.

35. Котов В.Е. Сети Петри. М.: Наука, 1984. - 160 с.

36. Кудрявцев Е.М. GPSS World. Основы имитационного моделирования различных систем. М.: ДМК Пресс, 2004. -320 с.

37. Кузнецов О.П., Адельсон-Вельский Г.М. Дискретная математика для инженера М.: Энергоатомиздат, 1988. - 480 с.

38. Левин И.И., Омаров О.М. "Расширение сетей Петри для моделирования распределенных вычислений" // Информационные технологии моделирования и управления. 2005. №4(22). С. 555-562.

39. Легалов А., Кузьмин Д., Казаков Ф., Привалихин Д. На пути к переносимым параллельным программам. И Открытые системы. -2003.- №5.

40. Лищук В.А. Математические модели сердечно-сосудистой системы. Итоги науки и техники. Бионика, биокибернетика, биоинженерия (т.7)-М.: ВИНИТИ, 1990.

41. ЛюбченкоВ.С. Искусство программирования. RS-триггера?http://www.so ftcraft,m/auto/ka/rsm/rsm01 .shtml

42. Ляпунов А.А. О кибернетических вопросах биологии. // Проблемы кибернетики. 1972. - Вып. 25. - С. 5-40.

43. Мак-Кракен Д., Дорн У. Численные методы и программирование на ФОРТРАНЕ. М.: Мир, 1977. - 584 с.

44. Мартыненко С.И. Распараллеливание универсальной многосеточной технологии // Вычислительные методы и программирование. 2003. - Т.4, №1. - С. 49-55.

45. Мартыненко С.И. Универсальная многосеточная технология для численного решения дифференциальных уравнений в частныхпроизводных на структурированных сетках // Вычислительные методы и программирование. 2000. - Т.1, №1. - С. 83-102.

46. Немнюгин С., Стесик О. Параллельное программирование для многопроцессорных вычислительных систем СПб:БХВ-Петербург, 2002. - 400 с.

47. Одинцов И.О. Профессиональное программирование. Системный подход СПб: БХВ-Петербург, 2002. -512 с.

48. Пархоменко В. П., Стенчиков Г. JI. Математическое моделирование климата. М.: Знание, 1986.

49. Перельман И.И. Оперативная идентификация объектов управления. -М.: Энергоиздат, 1982.

50. Петров А. А. Экономика. Модели. Вычислительный эксперимент. -М.: Наука, 1996.-251 с.

51. Полетаев И.А. О математическом моделировании // Проблемы кибернетики. 1973. - Вып. 27. - С.143-151.

52. Пухальский Г.И., Новосельцева Т.Я. Цифровые устройства: Учебное пособие для втузов. СПб.: Политехника, 1996. - 885 с.

53. Романовский Ю.М., Степанова Н.В., Чернавский Д.С. Математическое моделирование в биофизике. М.: Наука, 1975.

54. Самарский А.А., Михайлов А.П. Математическое моделирование. Идеи, методы, примеры М.:Физматлит, 2001. - 320 с.

55. Стивен Янг (Stephen J. Young) "Алгоритмические языки реального времени. Конструирование и разработка (Real Time Languages: Design and Development)". М.:Мир, 1985. - 400 с.

56. Трахтенброт Б.А., Барздинь Я.М. Конечные автоматы (поведение и синтез). М.: Наука, 1970. - 400 с.

57. Тыугу Э.Х. Концептуальное программирование. М.: Наука, 1984. -256 с.

58. Фаулер М., Скотт К. UML в кратком изложении. Применение стандартного языка моделирования. М.: Мир, 1999. - 191 с.

59. Хендерсон П. Функциональное программирование. Пер. с англ. -М.: Мир, 1983.

60. Хоар Ч. Взаимодействующие последовательные процессы: Пер. с англ. М.:Мир, 1989. - 264 с.

61. ХьюзК., Хьюз Г. Параллельное и распределенное программирование с использованием С ++. М.: Вильяме, 2004.

62. Червяков Н.И., Сахнюк П.А., Шапошников А.В., Ряднов С.А.Модулярные параллельные вычислительные структуры нейропроцессорных систем М.:Физматлит, 2003. - 288 с.

63. Черняев А.П. Системы программирования для высокопроизводительных ЭВМ. Итоги науки и техники. Вычислительные науки, т.З. М.: ВИНИТИ, 1990.

64. Шалыто А.А. SWITCH-технология. Алгоритмизация и программирование задач логического управления. СПб.: Наука, 1998.-628 с.

65. Шалыто А.А. Автоматное проектирование программ. Алгоритмизация и программирование задач логического управления. // Известия Академии наук. Теория и системы управления. 2000. -№6.-С. 63-81.

66. Шеннон Р. Имитационное моделирование искусство и наука. -М.: Мир, 1978.-418 с.

67. Шумаков В.И., Новосельцев В.Н., Сахаров М.П., Штенгольд Е.Ш. Моделирование физиологических систем организма. -М.: Медицина, 1971.

68. Юдицкий С.А., Магергут В.З. Логическое управление дискретными процессами. М.: Машиностроение, 1987. - 175 с.

69. IA-32 Intel Architecture Software Developer's Manual. Intel Corp., 2003.

70. Высокопроизводительные параллельные вычисления на кластерных системах. Материалы второго Международного научно-практического семинара / По ред. проф. Р.Г. Стронгина. Нижний Новгород: Изд-во Нижегородского госуниверситета, 2002. -351 с.

71. Вычислительная система "ПОТОК-3": опыт параллелизации программного комплекса. Часть 1. Идеология распараллеливания /Г.А. Тарнавский, В.Д. Корнеев, Д.А. Вайнер и др. // Вычислительные методы и программирование. 2003. - Т.4, №1. - С. 37-48.

72. Введение в программирование для параллельных ЭВМ и кластеров: Учебное пособие. / Авторы-составители: Кравчук В.В., Попов С.Б., Привалов А.Ю., Фурсов В.А., Шустов В.А.; под ред. В.А.Фурсова. // Самара: Самарский научный центр РАН, СГАУ, 2000. -87 с.

73. Т-система с открытой архитектурой /Абрамов С.М., Адамович А.И., Инюхин А.В. и др. // Труды Международной научной конференции "Суперкомпьютерные системы и их применение. SSA'2004", 26-28 октября 2004 г. Минск, ОИПИ НАН Беларуси, С. 18-22.

74. A. Beguelin, J. J. Dongarra, G. A. Geist, R. Manchek, and V. S. Sunderam. Graphical development tools for network-based concurrent supercomputing. // Proceedings of Supercomputing 91, pages 435-444, Albuquerque, 1991.

75. Andrews G. Concurrent Programming: Principles and Practice.- Menlo Park, CA: Benjamin/Cummings, 1991.

76. Ashton D., Gropp W., Lusk E. Installation and User's Guide to MPICH, a Portable Implementation of MPI. Version 1.2.5 University of Chicago, Argonne National Laboratory, 51 p.

77. BabaogluO. Paralex: An Environment for Parallel Programming in Distributed Systems. Proc. ACM Int. Conf. On Supercomputing, July, 1992.

78. Backus J. Can Programming Be Liberated from von Neuman Style? A Functional Stile and Its Algebra of Programs.- Communications of ACM. 1978, v. 21, No. 8.

79. Bacon J. Concurrent Systems: Operating Systems, Database and Distributed Systems: An Integrated Approach. 2nd ed. Reading, MA: Addison-Wesley, 1998.

80. Booch G. Object-Oriented Design. Redwood City, Calif.: Benjamin/Cammings, 1991.

81. Booch G., Jacobson I., Rumbaugh J. The Unified Modeling Language for Object-Oriented Development: Documentation Set Version 1.1. September 1997.

82. Brinch Hansen P. Operating System Principles. Englewood Cliffs, N.J.: Prentice Hall, 1973.

83. Browne J.C., Azam M., and Sobek S. CODE: A Unified Approach to Parallel Programming. IEEE Software, July, 1989, p. 11.

84. Dongarra J.J., Bunch J.R., Moler C.B., and Stewart G.W. LINPACK: Users Guide. Soc. Indust. Appl. Math., Philadelphia, 368 p.

85. Fet Ya., Pospelov D. Parallel Computing in Russia Lect. Notes in Сотр. Sci., Vol. 964, Springer-Verlag, Berlin, 1995. pp. 464-476

86. Foster I. Designing and Building Parallel Programs. Reading, MA: Addison-Wesley, 1995.

87. Foster I., Kesselman C., eds. The Grid: Blueprint for a New Computing Infrastructure. San Francisco, С A: Morgan Kaufmann, 1999.

88. G. Hutton Programming in Haskell. Cambridge University Press, 2007. -184 c.

89. Harel D. Statecharts: A Visual Formalism for Complex Systems. // Science of Computer Programming. 1987. №8. C.231-274.

90. Harel D. On Visual Formalisms. CACM 31, no. 5 (May 1988): 514-530.

91. HempelR. The Argonne/GMD Macros in FORTRAN for Portable Parallel Programming using the Message Passing Programming Model. -Feb. 1991.

92. Hennessy J., Patterson D. Computer Architecture: A Quantitative Approach. 2nd ed. San Francisco: Morgan Kaufmann, 1996.

93. Jacobsonl. Object-Oriented Software Engineering. Reading, Mass.: Addison-Wesley, 1992.

94. Jordan H. A special purpose architecture for finite element analysis. -Proc. 1978 Int. Conf. on Parallel Processing, pp. 263-266.

95. Kumar V., Grama A., Gupta A., Karypis G. Introduction to Parallel Computing: Design and Analysis of Algorithms. Menlo Park, CA: Benjamin/Cummings, 1994.

96. Lamport L. Proving the correctness of multiprocess programs. IEEE Trans. On Software Engr. - 1977. - SE-3, 2 (March): 125-143.

97. Peterson G. Myths about the mutual exclusion problem. // Information Processing Letters. -1981. -12, 3 (June): pp. 115-116.

98. Raynal M. Algorithms for Mutual Exclusion. Cambridge. MA: MIT Press, 1986.

99. Rumbaugh J., J.M. Blaha, W. Premerlani, F. Eddy, and W. Lorenson Object-Oriented Modeling and Design.- Englewood Cliffs, N.J.: Prentice Hall, 1991.

100. Schneider F. On Concurrent Programming. New York: Springer, 1997.

101. Simon Peyton JonesHaskell 98 language and libraries: the Revised Report. Cambridge University Press, 2003. - 272 c.

102. Tyugu, E., Valt, R. Visual programming in NUT. // Journal of visual languages and programming. -1997. v. 8. - C. 523 - 544.

103. W. Gropp and E. Lusk and N. Doss and A. Skjellum A high-performance, portable implementation of the MPI message passing interface standard Parallel Computing, volume 22, number 6, 09.1996, c. 789-828

104. Wilson G. Practical Parallel Programming. MA: MIT Press, 1995.