Методы и программно-аппаратные средства параллельных структурно-процедурных вычислений тема диссертации и автореферата по ВАК РФ 05.13.11, доктор технических наук Левин, Илья Израилевич

• Левин, Илья Израилевич
• доктор технических наук
• 2004

Оглавление диссертации доктор технических наук Левин, Илья Израилевич

ВВЕДЕНИЕ.

1. СТРУКТУРНО-ПРОЦЕДУРНАЯ ОРГАНИЗАЦИЯ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ.

1.1. Методы организации параллельных вычислений.

1.2. Модели параллельных вычислений.

1.3. Формальное определение структурно-процедурных вычислений.

1.4. Основные принципы преобразования задачи в структурно-процедурную форму.

1.5. Выводы.

2. МЕТОДЫ ПРЕОБРАЗОВАНИЯ ЗАДАЧИ К ЭФФЕКТИВНОЙ СТРУКТУРНО-ПРОЦЕДУРНОЙ ФОРМЕ.

2.1. Преобразование функционально-регулярных графов.

2.2. Преобразование в структурно-процедурную форму информационных графов нерегулярной структуры.

2.3. Структурно-процедурная реализация нерегулярных информационных графов.

2.4. Эффективность структурно-процедурных вычислений.

2.5. Выводы.

3. СРЕДСТВА ОПИСАНИЯ СТРУКТУРНО-ПРОЦЕДУРНЫХ ВЫЧИСЛЕНИЙ.

3.1. Описание языка параллельного программирования высокого уровня для структурно-процедурной организации вычислений.

3.2. Некоторые особенности и алгоритмы трансляции.

3.3. Выводы.

4. ТЕХНОЛОГИЯ ИНДУКТИВНЫХ СТРУКТУРНО-ПРОЦЕДУРНЫХ ПРОГРАММ.

4.1. Принципы построения технологии индуктивных структурно-процедурных программ.

4.2. Планировщик индуктивных заданий.

4.3. Система посттрансляции индуктивных заданий.

4.4. Программные средства поддержки технологии индуктивных программ.

4.5. Выводы.

5. ЭЛЕМЕНТНАЯ БАЗА МНОГОПРОЦЕССОРНЫХ СИСТЕМ С ПРОГРАММИРУЕМОЙ АРХИТЕКТУРОЙ И СТРУКТУРНО-ПРОЦЕДУРНОЙ ОРГАНИЗАЦИЕЙ ВЫЧИСЛЕНИЙ И СРЕДСТВА ЕЕ

ПРОГРАММИРОВАНИЯ.

5.1. Макропроцессор.

5.1.1. Структура макропроцессора.

5.1.2. Программирование макроопераций.

5.2. Макрокоммутатор.

5.2.1. Структура макрокоммутатора.

5.2.2. Описание коммутационных структур.

5.3. Контроллер распределенной памяти.

5.3.1. Структура КРП.

5.3.2. Программирование РП.

5.4. Выводы.

6. АРХИТЕКТУРА МНОГОПРОЦЕССОРНОЙ СИСТЕМЫ ДЛЯ

СТРУКТУРНО-ПРОЦЕДУРНОГО РЕШЕНИЯ ЗАДАЧ РАЗЛИЧНЫХ .ПРОБЛЕМНЫХ ОБЛАСТЕЙ.

6.1. Синтез структуры многопроцессорной вычислительной системы для решения задач структурно-процедурным методом распараллеливания.

6.2. Анализ вариантов построения коммутационных структур МВС со структурно-процедурной организацией вычислений.

6.2.1. МВС с фиксированной топологией информационных связей.

6.2.2. Иерархическая коммутационная система.

6.2.3. Ортогональная система коммутации.

6.2.4. МВС с коммутационной системой косвенного бинарного п-куба.

6.2.5. Многоуровневая коммутационная структура.

6.3. Модульная организация МВС.

6.3.1. Структура базового модуля МВС с иерархической коммутационной системой.

6.3.2. Структурная схема базового модуля с ортогональной системой коммутации.

6.3.3. Конструкция базового модуля.

6.4. Выводы.

Введение диссертации (часть автореферата) на тему «Методы и программно-аппаратные средства параллельных структурно-процедурных вычислений»

Суперкомпьютеры предназначены для решения сложнейших проблем современности, требующих обработки гигантских объемов информации в короткие промежутки времени. Создание и использование суперкомпьютеров относится к факторам стратегического развития науки и техники и входит в первую десятку приоритетных технологий развитых стран [1]. Без суперкомпьютеров невозможно моделировать экономические и социальные системы, прогнозировать экологические процессы и природные геофизические явления, разрабатывать важнейшие техногенные объекты, решать проблемы космонавтики, астрофизики, медицины. Развитие микроэлектроники и создание семейств высокопроизводительных микропроцессоров привело к тому, что доминирующим направлением построения суперкомпьютеров в настоящее время являются многопроцессорные вычислительные системы (МВС) с массовым параллелизмом, содержащие тысячи параллельно функционирующих микропроцессоров, связанных между собой с помощью коммутационной системы.

О темпах развития вычислительной техники говорит тот факт, что два десятилетия назад наиболее мощные суперкомпьютеры имели производительность в несколько Гфлопс; в настоящее время эксплуатируются суперкомпьютеры с производительностью более триллиона операций в секунду, наиболее мощные суперкомпьютеры имеют производительность, превышающую 50 Тфлопс, и разрабатываются системы с производительностью от 100 до 1000 Тфлопс [2]. В то же время для ряда сложных расчетоемких задач реальная производительность современных суперкомпьютеров существенно ниже пиковой производительности [3].

Как правило, при создании параллельных программ для существующих МВС используются эвристические методы поиска локально-оптимальных вариантов распараллеливания, а эффективные параллельные программы удается создать лишь для определенного варианта распараллеливания. В связи с этим программирование на МВС с массовым параллелизмом до сих пор является сложным и трудоемким процессом, намного превосходящим по сложности процесс программирования на однопроцессорных машинах. Это обуславливает чрезвычайно высокую стоимость прикладного и системного программного обеспечения МВС и ограничивает их применение.

От эффективности математических методов и программно-аппаратных средств организации параллельных вычислений в значительной степени зависит эффективность применения многопроцессорных систем для решения научно-технических задач.

Большинство существующих МВС использует мультипроцедурную организацию вычислений, когда распараллеливание осуществляется по элементам структуры данных, и в каждом процессоре обработка ведется по независимой последовательной программе. Для обмена данными между процессорами в системе организуются специальные процедуры. Параллельные алгоритмы и параллельные программы решения сложных научно-технических задач, решаемых на МВС с массовым параллелизмом, обеспечивают достаточно низкую реальную производительность, зачастую не превышающую 10-15 % от пиковой производительности системы, вследствие того, что организация параллельных вычислений и процедуры межпроцессорных обменов требуют больше времени, чем непосредственно вычисления.

Поэтому актуальной является решаемая в диссертации научная проблема организации эффективных параллельных вычислений в многопроцессорных вычислительных системах с массовым параллелизмом, обеспечивающих их реальную производительность, близкую к пиковой на широком классе задач. Решение этой проблемы обеспечит увеличение рентабельности высокопроизводительных вычислительных комплексов за счет более рационального использования оборудования многопроцессорных систем и сокращения времени, необходимого для организации параллельных вычислений, что, в свою очередь, позволит существенно сократить сроки и стоимость проведения фундаментальных исследований, а также решения важнейших прикладных задач народно-хозяйственного значения и повышения обороноспособности страны.

Решением данной проблемы занимались такие видные ученые как Э. Дейкстра, Ч. Хоар, Р. Хокни, В. Хейдлер, Д. Чамберлен, а также российские ученые: B.C. Бурцев, В.Е. Котов, В.К. Левин, Д.А. Поспелов, В.Г. Хорошевский, Р.Ю. Ясинявичус, В.В. Воеводин, В.А. Вальковский и многие другие.

Практически все существующие методы организации параллельных вычислений в МВС с массовым параллелизмом ориентированы на распараллеливание последовательных алгоритмов и программ. При этом исследуются только информационные взаимодействия смежных частей алгоритма (циклов, процедур и т.п.) и не уделяется должного внимания общей информационной структуре задачи. Существующие к настоящему времени методы организации параллельных вычислений ориентированы на решение сложных проблем адаптации структуры вычислительного алгоритма к архитектуре МВС. До сих пор эти проблемы не решены, и это не позволяет создать масштабируемые параллельные программы для МВС с массовым параллелизмом, которые могли бы быть выполнены с одинаковой эффективностью на произвольной конфигурации вычислительной системы.

Альтернативой существующим МВС с массовым параллелизмом являются многопроцессорные вычислительные системы с программируемой архитектурой (МВС ПА). Концепция таких систем была разработана в Научно-исследовательском институте многопроцессорных систем ТРТУ под руководством академика РАН|А.В.КаляёшГ1 [4, 5, 6, 7, 8,9,10,11,12].

Идея МВС с программируемой архитектурой заключается в том, чтобы обеспечить пользователю возможность с помощью программно-аппаратных средств программировать и формировать в универсальной системе виртуальные специализированные вычислители, адекватные структуре решаемой задачи. Это позволяет не только подбирать структуру алгоритма к архитектуре системы, но и, наоборот, адаптировать структуру многопроцессорной системы к параллельному алгоритму, что выводит на передний план "внутренний" параллелизм задачи, а не организацию вычислительных средств [13].

Для многопроцессорной системы с программируемой архитектурой используется структурно-процедурная (кадровая) форма задачи. Кадр представляет собой структурно (аппаратно) реализованный подграф задачи, через который следует поток данных. Подобная организация вычислений обеспечивает максимальную скорость обработки данных, сопоставимую со скоростью специализированных вычислителей. Вычисления в теле кадра выполняются по принципу управления потоком данных и не требуют синхронизации. Настройка на кадры производится по единой управляющей программе, что обеспечивает фон-неймановский детерминизм вычислительной процедуры [14, 15,16].

Однако реализация этих принципов требует разработки новых математических методов организации вычислительных процессов и создания аппаратно-программных средств для их поддержки.

Целью работы является разработка и создание формальных математических методов синтеза структурно-процедурных параллельных программ, эффективно реализуемых на различных конфигурациях многопроцессорных систем с программируемой архитектурой, и программно-аппаратных средств, обеспечивающих реальную производительность МВС ПА при решении задач различных классов, близкую к пиковой, а также линейный рост производительности при увеличении ресурсов системы.

В соответствии с поставленной целью определены задачи диссертации:

1) Провести анализ методов и моделей параллельных вычислений и на их основе разработать основные принципы эффективных структурно-процедурных вычислений.

2) Разработать формальные математические методы преобразования алгоритмов задач различных классов в структурно-процедурную форму, обеспечивающие решение задач с реальной производительностью, близкой к пиковой производительности системы, для различных степеней распараллеливания.

3) Разработать средства описания структурно-процедурных вычислений на основе неявного представления параллелизма, обеспечивающие естественное и однозначное отображение параллельного алгоритма на архитектуру многопроцессорной вычислительной системы, а также эффективную реализацию масштабируемых параллельных программ.

4) Разработать технологию создания масштабируемых структурно-процедурных программ, обеспечивающую эффективную реализацию параллельных программ на различных конфигурациях МВС ПА, и рост производительности, близкий к линейному, при увеличении ресурса системы, выделенного для решения задачи.

5) Разработать аппаратно-программные средства, обеспечивающие реализацию структурно-процедурных вычислений на уровне элементной базы.

6) Разработать аппаратные средства для эффективной реализации структурно-процедурных вычислений на основе модульно-наращиваемых многопроцессорных систем.

Методы исследований. При проведении исследований были использованы: теория вычислительных систем, элементы теории- графов, теория множеств, а также реляционное исчисление. Теоретические: исследования подтверждены вычислительными экспериментами на имитационной модели МВС со структурно-процедурной организацией вычислений, а также реализацией программных средств на созданных модульно-наращиваемых МВС ПА в интересах ряда предприятий и организаций.

Использование результатов работы. Теоретические и практические результаты диссертационной работы использованы при выполнении госбюджетных и хоздоговорных НИР в НИИ МВС ТРТУ, непосредственным участником которой являлся автор диссертации.

Наиболее важными из них являются:

- "Исследование возможности путей создания вычислителя с программируемой архитектурой", руководитель НИР - член-корреспондент РАН И.А. Каляев, заказчик в/ч 26165;

- "Инструментальная программно-математическая система суперкомпьютеров с массовым параллелизмом для решения различных военно-прикладных задач", руководитель НИР - академик РАН A.B. Каляев, № ГР ИН-858;

- "Разработка универсальных мультимикропроцессорных систем с массовым параллелизмом и средствами аппаратно-программной поддержки синтеза виртуальных архитектур и модульной реконфигурации", руководитель - академик РАН A.B. Каляев; № ГР 01200100688;

- "Исследование и разработка математических и программных средств для эффективного распараллеливания прикладных задач на высокопроизводительных вычислительных комплексах", руководитель - член-корреспондент РАН И.А. Каляев, по договору с в/ч 11135;

- "Разработка модульно-наращиваемой многопроцессорной системы со структурно-процедурной организацией вычислений и программируемой архитектурой на основе ПЛИС-технологии", главный конструктор, кандидат техн. наук И.И. Левин, по договору с ОАО НИЦЭВТ и в рамках Программы Союзного государства «Разработка и освоение в серийном производстве семейства высокопроизводительных вычислительных систем с параллельной архитектурой (суперкомпьютеров) и создание прикладных программно-аппаратных комплексов на их основе» (шифр «СКИФ»), утвержденная Постановлением Исполнительного Комитета Союза Беларуси и России от 22 ноября 1999 г. №43;

- "Многопроцессорные ЭВМ с параллельной структурой в бортовых системах принятия решений и управления автономных объектов", руководитель - к.т.н. С.Г. Капустян, № ГР 01.9.90002062;

- "Дальнейшее развитие теории многопроцессорных вычислительных систем с массовым параллелизмом, программируемой под структуру задачи архитектурой и структурно-процедурной реализацией вычислительного процесса", руководитель - академик РАН A.B. Каляев, № ГР 01.2.00102845;

- "Разработка и создание методов и программно-аппаратных средств для структурно-процедурной организации вычислений в суперЭВМ с программируемой архитектурой", руководитель - академик РАН A.B. Каляев;

- "Разработка методологии организации структурно-процедурных вычислений на многопроцессорных суперЭВМ с массовым параллелизмом и программируемой архитектурой", руководитель - к.т.н. И.И. Левин, № ГР 01990002076;

- "Теоретические и практические основы построения и применения мультипроцессорных вычислительных систем с программируемой архитектурой для решения задач прикладной физики и математики", руководитель - академик РАН A.B. Каляев, № ГР 01970003041;

- "Разработка и исследование архитектуры, принципов построения и элементной базы высокопроизводительного универсального суперпроцессора со структурной организацией вычислений", руководитель - академик РАН A.B. Каляев, № ГР 019100054183;

- "Разработка и исследование принципов создания интеллектуальной самонастраиваемой элементной базы для построения структурноперестраиваемых процессорных полей МВС со структурно-процедурной организацией вычислений", руководитель - к.т.н. И.И. Левин,

ГР 01.20.0001267;

- "Исследование и разработка фундаментальных принципов и методов программирования многопроцессорных вычислительных систем с массовым параллелизмом, программируемой архитектурой и структурно-процедурной организацией вычислений", руководитель - академик РАН A.B. Каляев;

- "Разработка и изготовление экспериментального образца модульно-наращиваемой многопроцессорной системы со структурно-процедурной организацией вычислений и программируемой архитектурой на основе ПЛИС-технологии ", главный конструктор - к.т.н. И.И. Левин;

- "Исследования по созданию программно-аппаратных средств телевизионного автомата слежения за целями для перспективных наземных автономных роботизированных комплексов", руководитель - член-корреспондент РАН И.А. Каляев;

- "Исследование и разработка математических и программных средств для эффективного распараллеливания прикладных задач на высокопроизводительных вычислительных комплексах", руководитель - член-корреспондент РАН И.А. Каляев.

Апробация работы. Основные результаты работы докладывались и обсуждались на всероссийских и международных научно-технических конференциях:

- Всероссийская научно-техническая конференция "Актуальные проблемы твердотельной электроники и микроэлектроники", Таганрог, 1994 г.;

- Всероссийская научно-техническая конференция с международным участием "Теория цепей и сигналов", Новочеркасск, 1996 г.;

- 4-th International Conference, РаСТ-97. Yaroslavl, Russia, 1997 г.;

- VI международный семинар "Распределенная обработка информации", Новосибирск, 1998 г.;

- Всероссийская научно-техническая конференция с международным участием "Компьютерные технологии в инженерной и управленческой деятельности", Таганрог, 1998 г.;

- IV всероссийская научно-техническая конференция "Нейрокомпьютеры и их применение", Москва, 1998 г.;

- V всероссийская научно-техническая конференция "Нейрокомпьютеры и их применение", Москва, 1999 г.;

- Международная конференция "Интеллектуальные многопроцессорные системы (ИМС'99)", Таганрог, 1999 г.;

- Международная конференция "Искусственный интеллект-2000",-Кацивели, 2000 г.;

- Всероссийская научная конференция "Высокопроизводительные вычисления и их приложения", Черноголовка, 29 октября - 2 ноября 2000 г.;

- Третья международная научно-техническая конференция "Электроника и информатика - XXI век", 22-24 ноября, Зеленоград-Москва, МИЭТ, 2000 г.;

- Международная конференция "Интеллектуальные и многопроцессорные системы-2001", пос. Дивноморское, 2001 г.

- Международная конференция "Параллельные вычисления и задачи управления (РАСО'2001)", М: ИПУ РАН им. В.А.Трапезникова, 2001 г.;

- Международная конференция "Искусственный интеллект-2002",-Кацивели, 2002 г.;

- Международная научно-техническая конференция "СуперЭВМ и многопроцессорные вычислительные системы-2002", Таганрог, 2002 г.;

- Конференция "CA. Лебедев и развитие отечественной вычислительной техники", Москва, 2002 г.;

- Международная конференция "Интеллектуальные и многопроцессорные системы-2003", пос. Дивноморское, 2003 г.;

- Первая Всероссийская научная конференция "Методы и средства обработки информации". Москва, ф-т вычислительной математики и кибернетики МГУ им. М.В. Ломоносова, 2003 г.

По теме диссертации опубликованы 102 печатные работы, в том числе, 1 монография, 30 статей в центральной печати, из них 10 - в изданиях, входящих в "Перечень ведущих научных журналов и изданий, выпускаемых в Российской Федерации" ВАК, получено 4 патента на изобретение.

Наиболее важными из публикаций являются:

Каляев A.B., Левин И.И. Модульно-наращиваемые многопроцессорные системы со структурно-процедурной организацией вычислений. - М.: Янус-К, 2003. - 380 с. (опубликована при поддержке РФФИ, грант № 02-07-95004-д),

Левин И.И., Пономарев И.М. Реализация БПФ на многопроцессорной системе со структурной организацией вычислений // Электромеханика, 1995. -№ 4. - С.72 - 74.

Левин И.И., Гузик В.Ф., Сафронов О.О. Представление параллелизма в программах для многопроцессорной системы с программируемой архитектурой // Известия ВУЗов, Северокавказский регион. Технические науки, 1996. - № 2. -С. 4-15.

Каляев A.B., Фрадкин Б.Г.Левин И.И., Унифицированная элементная база для построения реконфигурируемых под задачу вычислительных систем // Известия вузов. Электроника, 1997. - № 1. - С.75-83.

Каляев A.B., Каляев И.А., Левин И.И., Пономарев И.М. Базовый модуль для построения реконфигурируемых под задачу вычислительных систем // Известия вузов. Электроника, 1998. - № 4. - С. 67-74.

Каляев A.B., Левин И.И. Многопроцессорные системы с перестраиваемой архитектурой; концепции развития и применения //Наука - производству, 1999. -№11. -С. 11-19.

Каляев A.B., Левин И.И., Пономарев И.М. Базовый модуль многопроцессорной вычислительной системы с программируемой архитектурой для эффективного решения исследовательских и производственных задач // Наука - производству, 1999. - № 11. - С. 33-39.

Левин И.И., Пономарев И.М. Структурно-процедурная реализация кластерной группировки данных в задачах обработки изображений // Электромеханика, 1999. - №2. - С. 54-57.

Левин И.И. Структурно-процедурная реализация электрического моделирования на многопроцессорной системе // Известия ВУЗов. Электромеханика, 2002. - №1. - С. 27-30.

Левин И.И., Коробкин В.В., Чернов Е.И. Об одном подходе к проблеме повышения надежности управляющего вычислительного комплекса с использованием технологии МВС ПА // Мехатроника, автоматизация, управление. - М.: Новые технологии, 2003. - № 4. - С. 40-43.

Левин И.И., Трунов Г.Л. Отказоустойчивое функционирование реконфигурируемых МВС // Электромеханика, 2004. - № 4. - С. 11-15.

Каляев В.А., Левин И.И., Фомин С.Ю. Об оценке эффективности решения задач математической физики на многопроцессорных системах // Электронное моделирование, 1989. - № 6. - С. 11-15.

Kalyaev A.V., Kaliaev I.A., Levin I.I. The Base Module of Multiprocessor System with Structural-Procedural Organization of Computing // Parallel Computing Technologies. Proceedings of 4-th International Conference, PaCT-97. Yaroslavl, Russia, 1997.-Pp. 394-396.

Левин И.И. Язык параллельного программирования высокого уровня для структурно-процедурной организации вычислений // Труды Всероссийской научной конференции "Высокопроизводительные вычисления и их приложения", Черноголовка, 2000. - М: Изд-во МГУ. - С. 108-112.

Каляев A.B., Левин И.И. Структурно-процедурная организация параллельных вычислений // Труды межд. конф. "Параллельные вычисления и задачи управления (РАСО'2001)". - М: ИПУ РАН им. В.А.Трапезникова, 2001. -Т. 5.-С. 112-121.

Левин И.И., Штейнберг Б.Я. Сравнительный анализ эффективности параллельных программ для различных архитектур многопроцессорных систем // Искусственный интеллект. - Донецк: Наука i освгга, 2001. - №3. - С. 234-242.

Левин И.И., Шахов Р.В., Шматок A.B., Сластен Л.М. Математическое обеспечение многопроцессорных вычислительных систем с программируемой архитектурой // Искусственный интеллект. - Донецк: Наука i освгга, 2002. - №3. - С. 286-294.

Левин И.И. Многопроцессорная система с программированием архитектуры на нескольких уровнях // Труды Первой Всероссийской научной конференции "Методы и средства обработки информации". - М.: МГУ, 2003. -С. 111-118.

Левин И.И., Пономарев И.М. Структурно-процедурная реализация задачи трассировки // Искусственный интеллект. Донецк: Наука i освгга, 2003. - №3. -С. 121-129.

Левин И.И. Ресурсонезависимое параллельное программирование // Искусственный интеллект. - Донецк: Наука i освгга, 2002. - №3. - С. 277-285.

Левин И.И. Модульно-наращиваемая многопроцессорная вычислительная система со структурно-процедурной организацией вычислений на основе ПЛИС-технологии // Искусственный интеллект. - Донецк: Наука i oceiTa, 2003. -№4.-С. 446-453.

Матричный коммутатор: Патент РФ № 2059288 на изобретение по заявке № 94029855/09. / Левин И.И., Ерохин A.B., Рыжих O.A., Фрадкин Б.Г. - Заявл. 05.08.1994; Опубл. 27.04.1996. - Бюлл. № 12. - 5 с.

Матричный коммутатор: Патент РФ № 2103729 на изобретение по заявке № 94029856/09. / Левин И.И., Ерохин A.B., Рыжих O.A., Фрадкин Б.Г. - Заявл. 05.08.1994; Опубл. 27.01.1998. - Бюлл. №3.-7 с.

Макропроцессор: Патент РФ № 2210808 на изобретение по заявке № 2001100388. / Каляев A.B., Левин И.И., Виневская Л.И., Станишевский О.Б. -Заявл. 05.01.2001; Опубл. 20.08.2003. - Бюлл. № 23. - 26 с.

Мультиконтроллер распределенной памяти: Патент РФ № 2210804 на изобретение по заявке № 2001122359. / Каляев A.B., Левин И.И., Виневская Л.И., Дмитренко H.H. - Заявл. 08.08.2001; Опубл. 20.08.2003. -Бюлл. №23.-44 с.

Левин И.И., Каляев В.А., Фомин С.Ю. Многопроцессорная система для оперативного моделирования гидрофизических процессов // Сб. "Программные и аппаратные средства машинного моделирования", Москва, 1988.

Левин И.И. Сопроцессор для решения задач математической физики структурно-процедурным методом распараллеливания // Сб. "Анализ эффективности вычислительных систем". - Львов, 1991. - Препринт НТЦ "Интеграл". - № 9-16.

Левин И .И., Рвачев В .Л., Шевчен ко А .Н., Кошелен ко А .И. S oftware and Hardware of Simulation of Phisical Mechanical Fillds // Сб. "Parallel Computing Technologies Word Scientific". - Новосибирск, 1991.

Левин И.И., Пономарев И.М. Реализация алгоритма волновой трассировки на многопроцессорной системе со структурной организацией вычислений. - М., 1995. - Деп. ВИНИТИ, № 1553-В95. - 49 с.

Левин И.И. Высокоэффективный алгоритм структурно-процедурной реализации задачи логико-временного моделирования на многопроцессорной системе. -М., 1995. - Деп. ВИНИТИ, № 1445-В95. - 31 с.

Левин И.И. Структурно-процедурная реализация функционального моделирования на многопроцессорной системе. - М., 1995. - Деп. ВИНИТИ, № 2043-В95. - 25 с.

Левин И.И., Пономарев И.М., Фрадкин Б.Г. Анализ эффективности структурно-процедурной организации вычислительного процесса при решении прикладных задач на МВС // Сборник аннотаций и научных статей по результатам исследований, проведенных в ходе выполнения межвузовской научно-технической программы "Фундаментальные исследования в области прикладной физики и математики в технических ВУЗах России". ФИЗМАТ 1992-1995. - М.: ГК РФ по Высшему образованию, 1995.

Левин И.И., Виневская Л.И., Дмитренко H.H., Логвинов С.А. Элементная база для построения высокопроизводительных систем // Труды международной конференции "Интеллектуальные многопроцессорные системы". - Таганрог: Изд-во ТРТУ, 1999. - С. 93-97.

Левин И.И., Шматок А. В. Технология параллельных индуктивных программ // Труды международной конференции "Интеллектуальные многопроцессорные системы (ИМС'99)". - Таганрог: Изд-во ТРТУ, 1999. - С. 142-146.

Левин И.И. Методы построения самонастраиваемой элементной базы // Тезисы международной конференции "Интеллектуальные и многопроцессорные системы-2001". - Таганрог: Изд-во ТРТУ, 2001. - С. 126129.

Левин И.И., Трунов Г.Л. Отказоустойчивое функционирование многопроцессорных систем с массовым параллелизмом // Искусственный интеллект. - Донецк: Наука i ocBiTa, 2002. - №3. - С. 295-302.

Левин И.И. Отображение структурно-процедурной формы задачи на архитектуру многопроцессорной системы // Материалы Международной научно-технической конференции "СуперЭВМ и многопроцессорные вычислительные системы". - Таганрог: Изд-во ТРТУ, 2002. - С. 95-98.

Каляев A.B., Каляев И. А., Левин И.И. Модульно-наращиваемые многопроцессорные системы с программируемой архитектурой и структурно-процедурной организацией вычислений // Сборник докладов конференции "С.А. Лебедев и развитие отечественной вычислительной техники". - М., 2002. -С. 112-116.

Левин И.И., Шахов Р.В. Алгоритмы трансляции структурно-реализуемого фрагмента задачи для многопроцессорной системы с программируемой архитектурой // Искусственный интеллект. - Донецк: Наука I освгга, 2003. - №3. -С. 138-146.

Основные положения, выносимые на защиту:

1) Доказательство более высокой эффективности (отношение ускорения, достигаемого на МВС, по сравнению с однопроцессорной ЭВМ, к числу процессоров) структурно-процедурных вычислений по сравнению с традиционными методами организации параллельных вычислений.

2) Принципы и методы преобразования алгоритмов решения задач различных классов в структурно-процедурную форму, эффективно реализуемую в МВС ПА для различных степеней распараллеливания, обеспечивающие линейный рост производительности при увеличении ресурсов системы.

3)Язык программирования высокого уровня для описания структурно-процедурных вычислений на основе неявного представления параллелизма за счет объявления типов массивов переменных и индексации их элементов, обеспечивающий естественное и взаимодополняющее отображение параллельного алгоритма в структуру многопроцессорной вычислительной системы.

4) Технология индуктивных программ, обеспечивающая высокую эффективность решения структурно-процедурных программ на различных аппаратных ресурсах, и сокращение времени прохождения потока заданий.

5) Программно-аппаратные средства поддержки реализации структурно-процедурных вычислений на уровне элементной базы, позволяющие достигать реальной производительности системы, близкой к пиковой, для широкого класса задач и повышающие удельную производительность системы.

6) Аппаратные средства, обеспечивающие реализацию структурно-процедурных вычислений на основе модульно-наращиваемых многопроцессорных систем для различных вариантов распараллеливания задач различных проблемных областей.

Структура диссертации. Диссертация состоит из введения, шести глав, заключения и библиографического списка.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Левин, Илья Израилевич

6.4. Выводы

1) На основе анализа различных вариантов построения структуры распределенной памяти показано, что для многопроцессорных систем наиболее рациональной является архитектура с системой распределяемой памяти, когда элементы (каналы) памяти могут с помощью пространственной коммутационной системы подключаться к любому элементарному процессору. Такая структура МВС позволяет повысить эффективность параллельных вычислений за счет более рационального взаимодействия компонентов системы при структурной реализации процесса решения задачи и снижения доли времени, необходимого для организации параллельных вычислений.

2) На основе анализа различных вариантов коммутационных структур МВС показано, что для эффективной реализации параллельных программ задач различных классов наиболее перспективной является иерархическая коммутационная система, а для минимизации аппаратных затрат и повышения характеристик "производительность/стоимость" целесообразно использовать ортогональные коммутационные системы.

3) Принцип модульного комплексирования позволяет строить МВС со структурно-процедурной организацией вычислений из унифицированных базовых модулей, что позволяет существенно сократить затраты на построение высокопроизводительных вычислительных комплексов. Базовый модуль представляет собой минимальную конфигурацию МВС со структурно-процедурной организацией вычислений и рассматривается операционной системой как программно-неделимый ресурс.

4) На основании методов структурно-процедурных вычислений МВС разработаны и созданы одноплатные базовые модули, использующие иерархическую и ортогональную коммутационную системы. При построении базовых модулей использованы средства ПЛИС-технологии.

5) Показано, что для структурно-процедурных вычислений уже на этапе трансляции задачи, в силу детерминизма вычислительного процесса, возможно определить множество коммутаций информационных каналов между объектами системы, которые необходимо последовательно реализовывать в пространственной коммутационной системе. Такое свойство позволит существенно уменьшить аппаратные затраты на построение коммутационной структуры. Технические решения по построению коммутационной структуры МВС со структурно-процедурной организацией вычислений защищены патентом РФ на изобретение.

6) На основе методов организации структурно-процедурных вычислений и принципов модульного наращивания разработана структура многопроцессорной системы, наиболее эффективно реализующая такой метод организации параллельных вычислительных процессов. Разработан и создан ряд образцов МВС со структурно-процедурной организацией вычислений, вычислительные эксперименты на которых подтвердили высокую реальную производительность (близкую к пиковой) при решении широкого класса задач и рост производительности, асимптотически приближающийся к линейному, при увеличении ресурсов (базовых модулей) системы.

ЗАКЛЮЧЕНИЕ

Непрерывное развитие фундаментальных наук и современных технологий диктует необходимость сохранять темп роста производительности вычислительных систем, в то же время возможности повышения производительности за счет повышения тактовой частоты практически исчерпаны, механическое комплексирование тысяч процессоров в единую систему приводит не к неадекватно малому росту производительности, а, зачастую, даже к снижению производительности, так как для организации параллельных процессов требуется затратить больше времени, чем на их исполнение. Все это заставляет изыскивать новые нетрадиционные методы организации параллельных вычислений, которые позволили бы приблизить реальную производительность параллельных суперкомпьютеров при решении широкого класса задач к пиковой производительности. Методы организации параллельных вычислительных процессов должны быть поддержаны программно-аппаратными средствами, которые позволят создавать масштабируемые параллельные программы, эффективно выполняемые на различных конфигурациях многопроцессорной системы и обеспечивающие линейный рост производительности при увеличении аппаратного ресурса, выделенного для решения задачи.

Совокупность взаимосвязанных проблем разработки математических методов организации эффективных параллельных вычислений и создания программно-аппаратных средств, реализующих в структуре многопроцессорной системы параллельную программу без семантического разрыва, образует единую крупную научную проблему создания теоретических основ организации эффективных параллельных вычислений.

Реализация данной проблемы позволит сократить время решения на многопроцессорных системах задач различных проблемных областей, а также снизить стоимость и повысить эффективность эксплуатации дорогостоящих высокопроизводительных вычислительных комплексов.

Для решения данной актуальной крупной научной проблемы в диссертации предложено на основе структурно-процедурной организации параллельных программ создать комплекс математических и программных средств, обеспечивающих эффективную реализацию на различных конфигурациях многопроцессорных систем задач различных проблемных областей.

• В диссертации определено понятие функционально-регулярного графа, который преобразовывается в кортеж изоморфных подграфов в кадровую форму. Разработаны принципы преобразования задачи в структурнопроцедурную форму с помощью сегментации информационного графа алгоритма в функционально-регулярный граф.

Доказано, что на основе структурно-процедурной организации вычислений возможно построение методов и аппаратно-программных средств, обеспечивающих существенное повышение реальной производительности при решении на МВС задач различных классов и пропорциональное увеличение производительности системы при увеличении числа процессоров.

В диссертации разработаны методы приведения нерегулярных подграфов в эффективную функционально-регулярную форму, основанные на процедуре векторизации и мажорирования информационных подграфов.

Доказано, что структурно-процедурная организация вычислений обладает более высокой эффективностью по сравнению с традиционными мульти-процедурными методами организации параллельных вычислений для широкого класса задач.

В диссертации разработаны средства описания СПОВ на основе языка программирования высокого уровня, позволяющего описать различные степени распараллеливания и обеспечить однозначное отображение в структуру МВС параллельных алгоритмов, а также детерминизм выполнения параллельных программ. Излагаются некоторые особенности и алгоритмы трансляции.

На основе математических методов и аппаратно-программных средств в диссертации разработаны теоретические принципы, методы и средства технологии индуктивных параллельных программ, обеспечивающие реализацию параллельных структурно-процедурных программ для различных конфигураций МВС СПОВ, когда каждое задание может быть реализовано на любом количестве и произвольном сочетании базовых модулей системы. Разработаны алгоритмы построения планировщика индуктивных заданий и системы посттрансляции, обеспечивающей за счет применения оригинальных методов преобразования кадровых структур возможность повышения степени распараллеливания задачи в зависимости от выделенного ресурса.

В диссертации разрабатываются программно-аппаратные средства, поддерживающие структурно-процедурные вычисления на уровне элементной базы. Описаны принципы построения программно-аппаратных средств макропроцессора, структурно-реализующего вычисления крупных функционально-законченных программно-неделимых фрагментов задачи, элементов коммутирующей системы - макрокоммутатора и управляющего элемента МВС со СПОВ - контроллера распределенной памяти, обеспечивающего высокоскоростной параллельный бесконфликтный доступ к каналам распределенной памяти и управление вычислительным процессом.

На основе исследований различных вариантов коммутационных структур и систем распределенной памяти в диссертации разработаны эффективные аппаратные средства, поддерживающие структурно-процедурные вычисления, базирующиеся на принципах модульной наращиваемости, на основе которых разработаны и созданы базовые модули МВС со СПОВ

Разработаны и созданы модульно-наращиваемые многопроцессорные системы со структурно-процедурной организацией вычислений, позволяющие повысить удельную производительность в несколько раз по сравнению с традиционными архитектурами многопроцессорных систем.

Научная новизна диссертации заключается в том, что в ней впервые:

1)На основе формального определения структурно-процедурной организации вычислений разработаны методы приведения регулярных графов алгоритмов в структурно-процедурную форму, которые обеспечивают синтез семейства параллельных алгоритмов с различной степенью параллелизма и эффективностью реализации на МВС ПА, сравнимой с эффективностью специализированных вычислителей.

2) Разработаны методы приведения произвольного информационного графа алгоритма в функционально-регулярную форму и синтеза на его основе структурно-процедурного алгоритма, позволяющие в несколько раз повысить эффективность реализации на МВС ПА параллельных программ решения функционально-нерегулярных задач по сравнению с традиционными методами организации параллельных вычислений.

3) Для структурно-процедурной организации вычислений разработан язык программирования высокого уровня, ориентированный на неявное представление параллелизма с помощью объявления типов массивов переменных и индексации их элементов и, как следствие, позволяющий получать различные варианты распараллеливания задачи при модернизации структуры данных.

4) В языке программирования высокого уровня предложено следующее ограничение правила единственной подстановки, широко используемой в языках потоков данных для представления неявного параллелизма: каждая переменная в программе получает значение один раз в теле описания вычислительной структуры кадра, что обеспечивает детерминизм реализации параллельной программы и позволяет достигнуть взаимнооднозначного соответствия описания вычислительной структуры кадра информационному графу решения фрагмента задачи.

5) Разработаны алгоритмы трансляции с языка программирования высокого уровня, учитывающие специфику организации параллельных

• вычислений и методы синтеза бесконфликтных процедур обращения к распределенной памяти.

6) Разработаны принципы построения технологии индуктивных структурно-процедурных программ, представленных в виде графа минимальной конфигурации, и правил его наращивания при увеличении аппаратного ресурса системы.

7) Разработана система операций модификации кадровых структур при увеличении аппаратного ресурса, выделенного для решения задачи, и степени распараллеливания. Применение системы операций модификации кадровых структур обеспечивает близкий к линейному рост производительности при увеличении числа базовых модулей МВС, выделенных для решения задачи.

8) На основе анализа различных вариантов построения структуры распределенной памяти показано, что для многопроцессорных систем наиболее рациональной является архитектура распределяемой памяти.

9) Показано, что для структурно-процедурных вычислений возможно уже на этапе трансляции задачи, в силу детерминизма вычислительного процесса, определить множество коммутационных структур, которые необходимо последовательно реализовывать в пространственной коммутационной системе. Такое свойство позволит существенно уменьшить аппаратные затраты на построение коммутационной структуры.

Практическое использование научных результатов позволило:

1) Повысить реальную производительность многопроцессорных систем при решении ряда задач различных проблемных областей. На основе разработанных в диссертации методов создан ряд параллельных алгоритмов и параллельных программ, повышающих эффективность распараллеливания в 2-5 раз по сравнению с известными решениями.

2) Разработать и создать язык программирования высокого уровня с неявным описанием параллелизма, позволяющий сократить время создания параллельных масштабируемых программ, эффективно реализуемых на различных конфигурациях многопроцессорной системы.

3) Разработать алгоритмы планировщика индуктивных заданий, распределяющего свободный ресурс системы с минимизацией времени прохождения потока заданий. Реализация планировщика заданий показывает его высокую эффективность, в том числе, и для ограниченных коммутирующих структур, для которых преимущество технологии индуктивных структурно-процедурных программ более заметно и позволяет повысить коэффициент использования оборудования на 40% и сократить время прохождения задач на 20-30%.

4) Разработать алгоритмы системы посттрансляции, осуществляющие модернизацию загрузочного модуля параллельной программы на более

• высокой степени распараллеливания и перекоммутацию пространственных связей между базовыми модулями, выделенными планировщиком заданий (ПЗ) для решения задачи.

5) Разработать и создать элементную базу для построения МВС со СПОВ, с минимальной номенклатурой и четко обозначенными функциями. Технические решения защищены четырьмя патентами РФ.

6) Разработать и создать одноплатные базовые модули с иерархической коммутационной и ортогональной коммутационной системами, аппаратно-программные средства которых позволили обеспечить повышение реальной производительности по сравнению с традиционными архитектурами на порядок, а удельной производительности - на два порядка. Набольший рост производительности достигается для наиболее сложных - сильносвязанных задач, для которых, как правило, ранее не было известно эффективного параллельного решения.

7) Разработать и создать модульно-наращиваемые многопроцессорные системы со структурно-процедурной организацией вычислений, используемые для решения широкого класса задач в различных организация и ведомствах.

В диссертации изложены основные результаты по анализу эффективности методов организации параллельных вычислений, синтезу методов приведения задач различных классов в эффективную структурно-процедурную форму, разработке средств описания структурно-процедурных вычислений, обеспечивающих естественное и детерминированное отображение параллельного алгоритма на архитектуру многопроцессорной вычислительной системы; разработке аппаратных средств для эффективной реализации структурно-процедурных вычислений на основе модульно-наращиваемых многопроцессорных систем, в том числе, на уровне элементной базы; разработке технологии масштабируемых структурно-процедурных программ, обеспечивающей реализацию задач на различных конфигурациях МВС, и близкий к линейному рост производительности при увеличении ресурса системы, выделенного для решения задачи.

Основные научные результаты диссертации опубликованы [57, 58, 69, 7783, 86-88, 95, 96, 98-101, 107-109, 133, 135, 137-140, 144-146, 153, 159, 160, 162, 167-169, 173-177, 187, 196, 198-200, 214, 215, 223, 224].

Предложенные в диссертации новые решения строго аргументированы и критически оценены по сравнению с другими известными результатами. В диссертации приведены рекомендации по использованию полученных научных выводов. Полученные научные результаты практически используются на различных предприятиях и в организациях РФ, что подтверждается соответствующими актами о реализации.

Таким образом, в диссертации решена новая крупная научная проблема, которая является актуальной и имеет важное научно-хозяйственное значение. Внедрение полученных в диссертации результатов вносит значительный вклад в развитие экономики страны и повышение ее обороноспособности.

Все научные результаты, полученные при решении крупной научной проблемы создания методов структурно-процедурного программирования и программно-аппаратных средств, обеспечивающих реальную производительность МВС при решении задач различных классов, близкую к пиковой, а также линейный рост производительности при увеличении ресурсов системы, получены автором лично. К

Список литературы диссертационного исследования доктор технических наук Левин, Илья Израилевич, 2004 год

1. Фортов В.Е., Савин Г.И., Левин В.К. и др. Создание и применение высокопроизводительных вычислений на базе высокопроизводительных сетевых технологий. // Информационные технологии и вычислительные системы, 2001. № 1. - С.3-10.

2. Митропольский Ю. суперкомпьютеры и микропроцессоры. // Электроника: наука, технология, бизнес, 2000. -№2. С Л 8-21.

3. Аладышев О.С., Дикарев Н.И., Овсянников А.П., Телегин П.Н., Шабанов Б.М. СуперЭВМ: области применения и требования к производительности. // Известия ВУЗов. Электроника, 2004. №1. - С. 13-17.

4. Каляев А.В. Теория цифровых интегрирующих машин и структур. М.: Сов. радио, 1970.-471 с.

5. Каляев А.В. Автоматы с программируемой структурой. // Problems of control and Information Theory. -Budapest, 1975. №1. - 1758. - Pp. 35-36.

6. Каляев А.В. Многопроцессорные однородные вычислительные структуры. // Радиоэлектроника. -М., 1978. № 12. - С. 5-17.

7. Kalyaev A.V. Multiprocessor homogeneous calculation structures with distributed memory and universal commutation. // Euromicro Journal, 1979. V.5. -№ 2. - Pp.73-81.

8. Каляев А.В. Многопроцессорные системы с распределенной памятью, универсальной коммутацией и программируемой структурой микропроцессоров. // Электронное моделирование. Киев, 1979. -№ 1. -С.31-41.

9. Каляев А.В. Микропроцессоры с программируемой структурой и многопроцессорные системы с универсальной коммутацией и распределенной памятью. // Параллельное программирование и высокопроизводительные системы. Новосибирск, 1980. - T.I. - С.87-117.

10. Каляев А.В. Принципы организации многопроцессорных систем сверхвысокой производительности. // Микропроцессорные средства и системы. -Москва, 1984.-№2.-С.31-35.

11. Kalyaev A.V. Multiprocessor Systems with a Programmable Architectures. // Fifth Generation Computer Architectures. Amsterdam. New York. Oxford. Tokyo, 1986.-Pp.291-300.

12. Kalyaev A.V. Multimicroprocessor Systems. // Information Processing-86. Proceedings of the IFIP 10-th World Computer Congress. Ireland, Dublin, 1986. -Pp.949-954.

13. Каляев A.B., Каляев И.А. СТОРК-компьютер многопроцессорная вычислительная система со структурной организацией вычислений. // Электронное моделирование. - Киев, 1996. - № 4. - С.5-14.

14. Kalyaev A.V. The Programming of Virtual Problem-Oriented Parallel Supercomputers in the Structure of Universal Supercomputers with Massive Parallelism. // H igh-Performance Computing. S an D iego, С alifornia, U SA, 1 999. -Pp.249-255.

15. Каляев A.B. Принципы и методы программирования виртуальных архитектур в многопроцессорных суперкомпьютерах. // Высокопроизводительные вычисления и их приложения. Черноголовка, 2000. -С. 12-16.

16. Каляев A.B. Программирование виртуальных архитектур в суперкомпьютерах с массовым параллелизмом. //Информационные технологии и вычислительные системы. Москва, 2000. № 2,- С.5-21.

17. Головкин Б.А. Параллельные вычислительные системы. М.: Наука, 1980.- 519 с.

18. Мизин И.А., Махиборода A.B. Архитектура самоопределяемых данных в среде взаимодействия открытых систем. // Материалы Н-ой Международной Конференции «Развитие и применение открытых систем», Петрозаводск, 1995.

19. Shmid P. Intel Merced vs. Alpha 21264. // http://www.thg.ru/cpu/19980725/index.html

20. Hamilton S. Taking Moore's Law into the Next century. Computer, 1999,1.21. http://www.cray.com/products/systems/.

21. Бурцев B.C. Новые подходы к созданию высокопараллельных вычислительных структур. // Искусственный интеллект 2000. Тез. докл. науч. конф. - Таганрог: ТРТУ, 2000.

22. Бурцев B.C. Новые подходы к оценке качества вычислительных средств. // Параллелизм вычислительных процессов и развитие архитектуры супер-ЭВМ. М.: Нефть и газ, 1997.

23. Бурцев B.C. Новые методы организации вычислительных процессов для задач, обладающих высоким параллелизмом. // Труды международного симпозиума ICSNET*. М., 2001. - С. 61-64.

24. Бурцев B.C. Вычислительные процессы с массовым параллелизмом. Электроника. Наука, Технология, бизнес, 2002. №1.

25. Кохонен Т. Ассоциативная память. М.: Мир, 1980.28. 32-разрядный транспьютер фирмы Inmos. // Электроника, 1985. №21, - С.35-39.

26. Fortran-M. // http://www.chair36.msiu.ru/education/cs/4-fplp/4-fplp-4/materials/parbook/node67.html30. http://www.llnl.gov/sisal/SisalHomePage.html.

27. Аллен P., Кеннеди К. Автоматическая трансляция Фортран-программ в векторную форму. // Векторизация программ: теория, методы, реализация. -М.: Мир, 1991.-С. 77-140.

28. MPI: the message passing interface. // http://parallel.ru/tech/techdev/mpi.html.34. http://www.openmp.org.

29. Проект: ИПС РАН /Т-система // http://parallel.ru/parallel/ /russia/map/data/project 15 .html.

30. Абрамов С., Адамович А., Коваленко M. Т-система: среда программирования с поддержкой автоматического динамического распараллеливания на платформе «IP-сеть UNIX-компьютеров», www.botik.ru/'abram/ts-pabs.html.

31. Андрианов А.Н., Ефимкин К.Н., Задыхайло И.Б. Непроцедурный язык для решения задач математической физики. // Программирование. 1991. №2. -С. 80-94.

32. Андрианов А.Н., Ефимкин К.Н., Задыхайло И.Б. Язык Норма.

33. Ш Препринт ИПМ им. М.В.Келдыша АН СССР, 1985. № 165.

34. Задыхайло И.Б., Крюков В.А., Поздняков Л.А. РАМПА система автоматизации разработки мобильных параллельных программ. // http://www.keldysh.ru/dvm/dvmhtml 107/publishr/rampar.html.

35. Корнеев В.В. Параллельные вычислительные системы. М.: Нолидж,

36. Корнеев В.В., Киселев А.В. Современные микропроцессоры. М.: Нолидж, 1998.

37. Кузьминский М. Между строк таблиц Linpack. // COMPUTER WEEK -Москва, 1998. № 13. - С. 41 - 43.49. http://www.starbridgesystems.com.

38. J. Child. FPGAs Pave Road to Reconfigurable Computing. // http://www.cotsjournalonline.com/pdfs/2004/02/cots02techfocusl.pdf.

39. R.W.Hartenstain, A.G.Hirschbil, M.Weber. Xputers: an Open Family of non-vov Neuman Arhitecture for Early Vision. // Int'l. Conf.on System Science. Honolulu, Hawaii, 1996.

40. R.W.Hartenstain, J.Beker.Performance Analylis in Co-DeX Partitioning for Sructural Programmable Acselerators. // Proc. of 5th Int'l. Workshop on Hardware/Software Co-Design Codes. Braunsweing, Germany, 1997.

41. M.Bolotski. Abacus: A Reconfigurable Bit Parallel Architectures. Ph.Dd.Thesis //. Massachusetts Insitut of Tehnologe, 1996. 126 PP.

42. Каляев А.В. Многопроцессорные вычислительные системы с программируемой архитектурой. М.: Радио и Связь, 1984. - 240 с.

43. Каляев А.В., Левин И.И. Модульно-наращиваемые многопроцессорные системы со структурно-процедурной организацией вычислений. М.: Янус-К, 2003. - 380 с.

44. Каляев А.В., Левин И.И. Многопроцессорные системы с перестраиваемой архитектурой: концепции развития и применения. // Наука — производству, 1999. № 11. - С.11-19.

45. Перестраиваемые цифровые структуры на основе интегрирующих процессоров. / Под ред. А.В. Каляева. М.: Радио и связь, 1982. -368 с.

46. Kalyaev A.V. Ultra-high Performance Multiprocessor Supersystems with Programable Architecture. Aspects of computation on Asynchronous Parallel Processors. -Amsterdam. New York. Oxford. Tokyo, 1989. Pp. 111-123.

47. Каляев A.B., Станишевский О.Б. Принципы построения программно-аппаратных средств супермакрокомпьютеров. // Информатика, 1990. № 2. - С. 13-21.

48. Бабаян Б.А., Бочаров А.В., Волин А.С. и др. Многопроцессорные ЭВМ и методы их проектирования. / Под ред. Смирнова Ю.М. М.: Высшаяшкола, 1990.

49. Воеводин B.B. Математические модели и методы параллельных процессов. М.: Наука, 1986. - 286 с.

50. Воеводин В.В. Информационная структура алгоритмов. М.: Изд-во МГУ, 1997.

51. Воеводин В.В. Отображение проблем вычислительной математики на архитектуру вычислительных систем. // Вычислительная математика и математическое моделирование. Тр. международной конф. М.: Ин-т вычисл. математики РАН, 2000. - Т.1. - С. 242-255.

52. Воеводин В.В. Параллельные структуры алгоритмов и программ. М.: ОВМ АН СССР, 1987.

53. Воеводин В.В. Математические основы параллельных вычислений. -М.: МГУ, 1991.-345 с.

54. Siegel L.J., Siegel H.J., Swain Р.Н. Performance Measures for Evaluation Algorithms for SIMD-Machines. // IEEE Trans. Software Eng. V. 8. -№ 4. - Pp. 319-331.

55. Каляев B.A., Левин И.И., Фомин С.Ю. Об оценке эффективности решения задач математической физики на многопроцессорных системах. // Электронное моделирование, 1989. №6. - С. 11-15.

56. Поспелов Д.А. Введение в теорию вычислительных систем. М.: Сов. радио, 1972.-280 с.

57. Воеводин В.В. Воеводин Вл.В. Параллельные вычисления. С-Петербург: БХВ-Петербург, 2002. - 599 с.

58. Воеводин Вл.В. Статистические оценки возможности выявления параллельной структуры последовательных программ. // Программирование, 1990.-№4.-С. 44-54.

59. Воеводин Вл.В. Теория и практика исследования параллелизма последовательных программ. // Программирование, 1992. № 3. - С. 38-54.

60. Программирование на параллельных вычислительных системах. / Под ред. Р. Бэба И. М.: Мир, 1991. - 376 с.

61. Самарский A.A. Введение в численные методы. М.: Наука, 1987.280 с.

62. Шуп Т.Е. Прикладные численные методы в физики и технике. М.: Высшая школа, 1990. - 255 с.

63. Каляев В.А., Левин И.И., Фомин С.Ю. Об эффективности моделирования на многопроцессорной системе процессов распространения

64. Ш цунами. // Сб. "Многопроцессорные вычислительные структуры", Таганрог,1987.-Вып. 9. С.14-18.

65. Каляев В.А., Левин И.И., Фомин С.Ю. Многопроцессорная система для оперативного моделирования гидрофизических процессов. // Сб.

66. Программные и аппаратные средства машинного моделирования". Москва, 1988.-С. 70-77.

67. Левин И.И. Организация вычислительного процесса для физико-топологического моделирования транзисторных структур СБИС на многопроцессорной системе. // Сб. "Математическое моделирование элементов и фрагментов БИС". Рига, 1990. - С. 51.

68. Рвачев В.Л. Шевченко А.Н., Левин И.И., Кошеленко А.И. Software and Hardware о f Simulation of Phisical Mechanical Fillds.// Сб. "Parallel Computing Technologies Word Scientific". Новосибирск, 1991. - Pp. 385-394.

69. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов. М: Мир, 1978. - 848 с.

70. Применение цифровой обработки сигналов. / Под редакцией Э. Оппенгейма. М: Мир, 1980. -552 с.

71. Левин И.И., Пономарев И.М. Реализация быстрого преобразования Фурье на многопроцессорной системе со структурно-процедурной организацией вычислений. //Изв. вузов. Электромеханика, 1995. -№ 4. -С.72-74.

72. Левин И.И., Пономарев И.М. Методика организации высокоэффективных параллельных вычислений в многопроцессорных системах. // Тезисы международной конференции "Искусственный интеллект-2000", Кацивели. Таганрог: Изд-во ТРТУ, 2000. - С. 142-144.

73. Левин И.И., Пономарев И.М., Шматок A.B. Методы преобразования параллельных программ под структуру вычислительной системы. // Искусственный интеллект. Донецк: Наука i освгга, 2001. - №3. - С. 227-231.

74. Векторизация программ: теория, методы, реализация. / Сборник переводов статей. М.: Мир, 1991. -С. 246-267.

75. Вальковский В.А. Распараллеливание алгоритмов и программ. Структурный подход. М.: Радио и связь, 1989.

76. Lamport L. The parallel execution of DO loops. // Commun. ACM, 1974.-V.17.-№2.-Pp. 83-93.

77. Штейнберг Б.Я. Распараллеливание рекуррентных циклов с условными операторами. // Автоматика и телемеханика, 1995. -№6. С. 176-184.

78. Ривкин М.Н. Векторные операции для моделирования процедур преобразования данных. // Программирование, 1991. № 3.

79. Норенков И.П., Маничев В.Б. Системы автоматизированного проектирования электронной и вычислительной аппаратуры. / Учеб. пособие для вузов. М.: Высшая школа, 1983. - 272 с.

80. Левин И.И., Пономарев И.М. Структурно-процедурная реализация задачи трассировки. // Искусственный интеллект. Донецк: Наука i освгга, 2003. -№3. - С.121-129.

81. Aykanat С., Kurc T. M. and Ercal F. Parallelization of Lee's routing algorithm on a hypercube multicomputer," Proc. of 2nd European Dist. Mem. Сотр. Conf. (EDMCC2), April 1991. Pp. 244-253.

82. Левин И.И. Высокоэффективный алгоритм структурно-процедурной реализации задачи логико-временного моделирования на многопроцессорной системе. М., 1995. - Деп. в ВИНИТИ, № 1445-В95. - 31 с.

83. Левин И.И. Структурно-процедурная реализация функционального моделирования на многопроцессорной системе. М., 1995. - Деп. в ВИНИТИ, № 2043-В95. - 25 с.

84. Левин И.И., Левина М.Г. Структурно-процедурная реализация электрического моделирования на многопроцессорной системе. М., 1995. -Деп. в ВИНИТИ, № 3425-В95. - 25 с.

85. Левин И.И. Структурно-процедурная реализация электрического моделирования на многопроцессорной системе. // Известия ВУЗов "Электромеханика", 2002. №1. - С. 27-30.

86. Параллельные вычисления. / Под ред. Родрига Г. М.: Наука, 1986.376с.

87. Барский А.Б. Параллельные процессы в вычислительных системах. Планирование и организация. М.: Радио и связь, 1990. - 256 с.

88. Валях Е. Последовательно-параллельные вычисления. М.: Мир,

89. Хокни Р., Джессхоуп К. Параллельные ЭВМ. Архитектура, программирование и алгоритмы. / Пер.с англ. -М.: Радио и связь, 1986. 392 с.

90. Shore J.E. Second thoughts on parallel processing. Comput. Elect. Eng., 1973.-№1.-Pp. 95-109.

91. Каляев A.B., Левин И.И., Фрадкин Б.Г. Унифицированная элементная база для построения реконфигурируемых под задачу вычислительных систем. //Известия ВУЗов. Электроника, 1997. № 1. - С. 7583.

92. Левин И.И., Штейнберг Б .Я. Сравнительный анализ эффективности параллельных программ для различных архитектур многопроцессорных систем. // Искусственный интеллект. Донецк: Наука i осв1та, 2001. - № 3. - С. 234-242.

93. Хуан К. Перспективные методы параллельной обработки и архитектура суперЭВМ. //ТИИЭР, 1987. № 10. - С.4-41.

94. Майерс Г. Архитектура современных ЭВМ. М.: Мир, 1985. - Кн.1.364 с.

95. Дейкстра Э. Взаимодействие последовательных процессов. // В сб. Языки программирования. / Под ред. Женюи Ф. М.: Мир, 1972. - С. 9-86.

96. Джехани Н. Язык Ада. М.: Мир, 1988. -540 с.

97. Хоар Ч. Взаимодействующие последовательные процессы. М.: Мир, 1989.-265с.

98. Эндрюс Г.Р. Основы многопоточного, параллельного и распределенного программирования. М.: Вильяме, 2003. - 320с.

99. Фути К., Судзуки Н. Языки программирования и схемотехника СБИС. М.: Мир, 1988. - 224 с.

100. Кутепов В.П., Кораблин Ю.П. Язык граф-схем параллельных алгоритмов. // Программирование, 1978. № 1. - С. 1-16.

101. Краснов С.А. Транспьютеры, транспьютерные вычислительные системы и Оккам. // Вычислительные процессы и системы. М.: Наука, 1983. -С.5-80.

102. The Occam Language.// http://www.wotug.org/occam/.

103. Затуливетер Ю.С. Введение в проблему параметризованного синтеза программ для параллельных компьютеров. / М., ИПУ РАН, препринт, 1993. -89 с.

104. Дейкстра Э. Дисциплина программирования. -М.: Мир, 1978. 278 с.

105. Элементы параллельного программирования. / Под ред. Котова В.Я. -М.: Радио и связь, 1983. 240 с.

106. Бабенко JI.K., Макаревич О.Б., Чефранов А.Г. Принципы описания и организации асинхронных крупноблочных вычислений в многопроцессорных системах. // Электронное моделирование, 1988. № 3. - С. 13-17.

107. May D. Occam 2 manual.-Bristol, UK:Inmos Ltd, 1986.

108. Вальковский B.A., Распараллеливание алгоритмов и программ. Структурный подход. М.: Радио и связь, 1989. - 176 с.

109. Хендерсон П. Функциональное программирование. / Пер. с англ. -М.: Мир, 1983.

110. Французов Ю.А. Обзор методов распараллеливания кода и программной конвейеризации. //Программирование, 1992. № 3. - С. 16-37.

111. Сир Ж.К. Метод потока операндов в многопроцессорных системах типа MIMD // В сб. Системы параллельной обработки. / Под ред. Ивинса Д. -М.: Мир, 1985.-С. 240-276.

112. Chamberlin D.D.Parallel Implementation of a'LAU Ph.D.Thesis Report 19, 1971.

113. Котов B.E. Теория параллельного программирования. Прикладные аспекты. // Кибернетика, 1974. № 1. - С. 1-16.

114. Стерлинг JL, Шапиро Э. Искусство программирования на языке Пролог. М.: Мир, 1990. - 235 с.

115. Братко И. Программирование на языке Пролог для искусственного интеллекта. М.: Мир, 1990. - 560 с.

116. Гузик В.Ф., Левин И.И., Сафронов О.О. Представление параллелизма в программах для многопроцессорной системы с программируемой архитектурой. // Известия ВУЗов СКНЦВШ. Технические науки, 1996. № 2. - С. 4-15.

117. Kuch D.J. ILLIAC IV. Software and Application Programming. // IEEE Trans. Computer, 1968. - V C17. - № 8. - Pp. 758-770.

118. Левин И.И. Язык параллельного программирования высокого уровня для структурно-процедурной организации вычислений. // Труды Всероссийской научной конференции. М.: Изд-во МГУ, 2000. - С. 108-112.

119. СБИС для распознавания образов и обработки изображений. / Под ред. К. Фи. М.: Мир, 1988. - 248 с.

120. Левин И.И., Пономарев И.М. Структурно-процедурная реализация кластерной группировки данных в задачах обработки изображений. // Изв. вузов. Электромеханика, 1999. №2. - С. 54-57.

121. Левин И.И., Шахов Р.В. Алгоритмы трансляции структурно реализуемого фрагмента задачи для многопроцессорной системы с программируемой архитектурой. // Искусственный интеллект. Донецк: Наукаi освгга, 2003. №3. - С. 138-146.

122. Левин И.И., Шахов P.B. Алгоритмы трансляции структурно реализуемого фрагмента задачи для многопроцессорной системы. // Методы и средства обработки информации. Труды первой Всероссийской научной конференции. М.: МГУ, 2003. - С. 125-130.

123. Штейнберг Б.Я. Бесконфликтные размещения массивов при параллельных вычислениях. // Кибернетика и системный анализ, 1999. № 2.

124. Вычислительная математика и математическое моделирование. // Труды международной конференции. М.: Ин-т вычислительной математики РАН, 2000. - Т. 1,2.

125. Высокопроизводительные вычисления на кластерных системах. // Материалы международного научно-практического семинара. Нижний Новгород: Изд-во Нижегородского университета, 2002. - 218 с.

126. Левин И.И. Структурно-процедурное программирование. //Тезисы международной конференции "Искусственный интеллект". Таганрог: Изд-во ТРТУ, 2000.-С. 148-150.

127. Каляев A.B., Левин И.И., Шматок A.B. Средства программирования суперкомпьютеров с массовым параллелизмом ■ и программируемой архитектурой. // Тезисы международной конференции "Искусственный интеллект". Таганрог: Изд-во ТРТУ, 2000. - С. 151-152.

128. Левин И.И. Ресурсонезависимое параллельное программирование. // Искусственный интеллект. Донецк: Наука i освгга, 2002. - №3. - С.277-285.

129. Pountain D. High-powered Helios.//PC-World, 1988. V.ll. - №7. -Pp.162-165.148. http://www.perihelion.co.uk/helios/tranos.html.

130. Ачасова C.M., Бандман О.Л. Корректность параллельных вычислительных процессов. Новосибирск: Наука, 1990.

131. Ильин В.П. О стратегиях распараллеливания в математическом моделировании. //Программирование, 1999. № 1. - С. 41-46.

132. Миренков H.H. Параллельное программирование для многомодульных вычислительных систем. М.: Радио и связь, 1989.

133. Тербер К. Дж. Архитектура высокопроизводительных • вычислительных систем. / Пер. с англ. М.: Наука, 1985.

134. Каляев A.B., Левин И.И. Структурно-процедурная организация параллельных вычислений. // Труды межд. конф. "Параллельные вычисления изадачи управления (РАСО'2001)". М: ИПУ РАН им. В.А.Трапезникова, 2001. -Т.5. - С.112-119.

135. Ахо А., Хопкрофт Дж., Ульман Дж. Построение и анализ вычислительных алгоритмов. М.: Мир, 1979. - 536 с.

136. Евстигнеев В.А. Применение теории графов в программировании. / Под ред. Ершова А.П. М.: Наука, 1985.

137. Трахтенгерц Э.А. Введение в теорию анализа и распараллеливания программ ЭВМ. М.: Наука, 1981.

138. Бочаров Н.В. Технологии и техника параллельного программирования. // Программирование, 2003. №1. - С. 5-23.

139. Ершов Н.М., Попов A.M. Оптимизация параллельных вычислений с учетом архитектуры и быстродействия связей в вычислительной системе. // Вестн. Моск. ун-та. Сер. 15, Вычислительная математика и кибернетика. 1993. -№ 1. С. 24-30.

140. Левин И.И., Шматок A.B. Технология индуктивных параллельных программ. // Труды международной научно-технической конференции. -Таганрог: Изд-во ТРТУ, 1999. С. 142-146.

141. Станишевский О.Б., Левин H.H. Метод решения задач в частных производных на макрокомпьютере. // В кн. Многопроцессорные вычислительные структуры. Таганрог, 1991. - С. 14-15.

142. Левин И.И. Элементная база для построения реконфигурируемых нейросетей. // Нейрокомпьютеры. Разработка и применение, 2001. № 7-8. - С. 36-45.

143. Левин H.H., Виневская Л.И., Дмитренко H.H., Логвинов С.А. Элементная база для построения высокопроизводительных систем. // Труды международной научно-технической конференции. Таганрог: Изд-во ТРТУ, 1999.-С. 98-103.

144. Каляев A.B. Принципы и методы программирования виртуальных архитектур в многопроцессорных универсальных суперкомпьютерах. // Высокопроизводительные вычисления и их приложения. Труды всероссийской научной конференции. -М.: Изд-во МГУ, 2000. С. 12-16.

145. Каляев A.B., Станишевский О.Б., Фрадкин Б.Г. Макропроцессорный комплект СБИС. // Сборник докладов I Всесоюзной конференции "Однородные вычислительные средства и систолические структуры". Львов, 1990. - Т.2. -С.33-46.

146. Корнеев В.В., Киселев A.B. Современные микропроцессоры. М.: • Нолидж, 1998.

147. Станишевский О.Б. Эффективность арифметической обработки при конвейерных и нейроконвейерных вычислениях. // Конвейерные вычислительные системы. Тезисы докладов. Кишинев, 1988.

148. Макропроцессор: Патент РФ № 2210808 на изобретение по заявке № 2001100388. / Каляев A.B., Левин И.И., Виневская Л.И., Станишевский О.Б. -Заявл. 05.01.2001; Опубл. 20.08.2003. Бюлл. № 23. - 26 с.

149. Матричный коммутатор: Патент РФ № 2059288 на изобретение по заявке № 94029855/09. / Левин И.И., Ерохин A.B., Рыжих O.A., Фрадкин Б.Г. -Заявл. 05.08.1994; Опубл. 27.04.1996. Бюлл. № 12. - 5 с.

150. Мультиконтроллер распределенной памяти: Патент РФ № 2210804 на изобретение по заявке № 2001122359. / Каляев A.B., Левин И.И., Виневская Л.И., Дмитренко H.H. Заявл. 08.08.2001; Опубл. 20.08.2003. -Бюлл. №23.-44 с.

151. Суммирующее устройство: Патент РФ №2069009 на изобретение по заявке №93054701. / Виневская Л.И., Станишевский О.Б., Ерохин A.B., Рыжих O.A.-Опубл. 10.11 1996.-Бюл.№31.-12с.

152. Устройство умножения: Патент РФ № 2418270 на изобретение по заявке № 98110224. / Каляев A.B., Виневская Л.И., Станишевский О.Б. Опубл. 27.04.2000. - Бюл. № 12. - 9 с.

153. Каляев A.B., Духнич Е.И., Сулин Г.А. Алгоритмы макроопераций для аппаратурной реализации в микропроцессорах с программируемой архитектурой. // Известия высших учебных заведений. Технические науки. -Ростов-на-Дону, 1996. № 2. - С. 15-20.

154. Левин И.И., Шахов Р.В., Шматок A.B., Сластен Л.М. Математическое обеспечение многопроцессорных вычислительных систем с программируемой архитектурой. // Искусственный интеллект. Донецк: Наука i осв1та, 2002. - №3. -С.286 294.

155. Ясинявичус Р. Параллельные пространственно-временные вычислительные структуры. Вильнюс: Мокслас, 1988. - 183 с.

156. Майоров С.А., Новиков Г.И. Структура электронных вычислительных машин. Д.: Машиностроение, 1979. - 379 с.

157. Норкин К.Б. Специализированные гибридные управляющие вычислительные устройства. М.: Энергия, 1984. - 215 с.

158. Трахтенгерц Э.А. Программное обеспечение параллельных процессов. М.: Наука, 1981.

159. Касьянов В.Н., Оптимизирующие преобразования программ. М.: Наука, 1988.-336 с.

160. Евреинов Э.В. Однородные вычислительные системы, структуры и среды. М.: Радио и связь, 1981.

161. Kuck D. The structure of computers and computations. John Wiley and Sons. Inc., New York, NY, 1978.

162. Прангишвили И.В., Виленкин С .Я., Медведев И.Л., Параллельные вычислительные системы с общим управлением. М.: Энергоатомиздат, 1983. — 312 с.

163. Гузик В.Ф. Модульные интегрирующие вычислительные структуры. М.: Радио и связь, 1984. - 216 с.

164. Каляев A.B., Каляев И.А., Левин И.И., Пономарев И.М. Параллельный компьютер с программируемой под структуру задачи архитектурой. // Труды шестого международного семинара "Распределенная обработка информации". Новосибирск, 1998. - С.25-29.

165. Коуги П.М. Архитектура конвейерных ЭВМ. / Пер. с англ. М.: Радио и связь, 1985.

166. Самофалов К.Г., Луцкий Г.М. Основы теории многоуровневых конвейерных вычислительных систем. Москва: Радио и связь, 1989. - 272 с.

167. Станишевский О.Б. Сверхскоростные СБИС для многопроцессорных вычислительных систем. // XXX Всесоюзная школа семинар им. М.А. Гаврилова "Развитие теории дискретных систем и проблема логического проектирования СБИС". Кишинев, 1988.

168. Гузик В.Ф., Каляев A.B., Станишевский О.Б. Архитектура микропроцессоров с программно-перестраиваемой структурой и их математического обеспечения. // Тезисы докладов Всесоюзной конференции

169. Ш "Микропроцессоры-85": Методы и микроэлектронные устройствапреобразования и обработки информации. М.: Изд-во МИЭТ, 1985. - Т.2.

170. Евстигнеев В.А., Касьянов В.Н. Оптимизирующие преобразования в распараллеливающих компиляторах. // Программирование, 1996. № 6. - С. 12

171. Wolf M., Baneijee U. Data Dependence and i ts Application to Parallel Processing/ International Journal of Parallel Programming//. Vol.16. - № 2. 1987. -Pp. 137-178.

172. J.Anderson, M.S.Lam. Global Optomizations for Parallelizm and Localits on Scalable Parallel Machines. // Rpocecdings of SIGPLAN'93 Conference on Programm Language Design and Implementation. Albucerque, 1993.

173. Amy W. Lim, Monika S. Lam Maximizing Parallelism and Minimizing Synchronization with Affine Partitions. Parallel Computing, 24, 1998. Pp. 445-475.

174. Каляев A.B., Левин И.И., Пономарев И.М. Базовый модуль многопроцессорной вычислительной системы с программируемой архитектурой. // Наука производству, 1999. № 11. - С. 33-39.

175. Левин И.И., Трунов Г.Л. Отказоустойчивое функционирование многопроцессорных систем с массовым параллелизмом. // Искусственный интеллект. Донецк: Наука i oceiTa, 2002. - №3. - С. 295-302.

176. Левин И.И. Структурно-процедурное программирование. // Тезисы докладов Международной научной конференции "Искусственный интеллект-2000", п. Кацивели, 2000. С. 148-150.

177. Савин Г.И., Телегин П.Н., Шабанов Б.М. Кластеры Беовульф. // Известия Вузов. Электроника, 2004. №1. - С.7-12.

178. Архитектура семейства компьютеров Ultra. //http://www.jetinfo.rU/1997/23-24/l/arhult.html.

179. Джон Т. Архитектуры вычислительных систем. // Электроника, 1989. №2. - С. 11-20.206. http: //parallel .ru/computers/computers.html.• 207. Stokes R.A. ILLIAC-IV:route to Parallel Computers. // Electronic Design,1967.-№26.-Pp.64-69.

180. Connection Mashine. Model CM-2. Technicae Summarg. Thinking Mashine Corporation, Cambridge, MA, 1989.

181. Y.Pan, S.Q.Zheng, K.Li, H.Shen. An Improved Generalization of Mesh-Connected Computers witch muple Buses. // IEEE Trans, on Parallel and Distributed Systems, 2001. V. 12. - № 3. - pp. 293-305.210. http://uginfo.rsu.ru/img/prj/ncube.

182. Дубова H. Суперкомпьютеры nCube. // Открытые системы, 1995.2.

183. Каляев A.B. Однородные коммутационные регистровые структуры. -М.: Советское радио, 1978. 240 с.

184. Левин И.И. Модульно-наращиваемая многопроцессорная вычислительная система со структурно-процедурной организацией вычислений на основе ПЛИС-технологии. // Искусственный интеллект. Донецк: Наука i ocBÎTa, 2003. - №4. - С.446-453.

185. Хэндлер В. Новая архитектура ЭВМ как увеличить параллелизм, не увеличивая сложности. // Системы параллельной обработки. / Под ред. Ивенса Д. - М.: Мир, 1985.-С. 10-44.

186. Handler W. Zur Geneslogie, Stuktur und Klasssifizieren von Rechern Arbeitsbetdeiberichte des IMMD, 1976. № 9. - Ss. 1-30.

187. Евреинов Э., Хорошевский В. Однородные вычислительные системы. Новосибирск: Наука, 1978.

188. Метлицкий Е.А., Каверзнев В.В. Системы параллельной памяти. Теория, проектирование, применение. Ленинград: ЛГУ, 1989.220. http://www.osp.ru/lan/bg96/nms.htm.

189. Майника Э. Алгоритмы оптимизации на сетях и графах. М.: Мир,1981.

190. Евстигнеев В.А. Применение теории графов в программировании. // -М.: Наука, 1985.-352 с.

191. Левин И.И., Сластен Л.М. Унифицированный алгоритм коммутации элементов многопроцессорной системы при структурной реализации фрагмента задачи. // Искусственный интеллект. Донецк: Наука i освгга, 2003. - № 3. - С. 130-137.

192. Левин И.И., Сластен Л.М. Алгоритм коммутации элементов многопроцессорной системы со структурно-процедурной организацией вычислений. // Труды Первой Всероссийской научной конф. "Методы и средства обработки информации". -М.: МГУ, 2003. С. 119-124.