Методы и средства программирования софт-архитектур для реконфигурируемых вычислительных систем тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Коваленко, Василий Борисович

• Коваленко, Василий Борисович
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Коваленко, Василий Борисович

СОДЕРЖАНИЕ

стр.

ВВЕДЕНИЕ

1. АНАЛИЗ МЕТОДОВ И СРЕДСТВ ПРОГРАММИРОВАНИЯ РЕКОНФИГУРИРУЕМЫХ МНОГОПРОЦЕССОРНЫХ СИСТЕМ

1.1. Современное состояние развития реконфигурируемых многопроцессорных вычислительных систем

1.2. Анализ средств программирования реконфигурируемых многопроцессорных вычислительных систем

1.3. Принципы программирования реконфигурируемых вычислительных систем, развиваемые в НИИ МВС ЮФУ

1.4. Принципы описания софт-архитектур

1.5. Выводы

2. ЯЗЫК ОПИСАНИЯ СОФТ-АРХИТЕКТУР

2.1. Строение софт-архитектур

2.1.1. Макрообъекты

2.1.2. Узлы

2.1.3. Объекты

2.2. Синтаксис языка описания софт-архитектур

2.3. Описание вычислительных возможностей непрограммируемых и операционных объектов

2.3.1. Описание и использование процессорных объектов

2.3.2. Описание систем команд процессорных объектов

2.4. Описание софт-архитектур

2.5. Описание макрообъектов

оп

2.6. Описание узлов

2.7. Описание и использование функциональных устройств

2.8. Описание и использование арифметико-логических устройств

2.9. Описание и использование статических мультиплексоров

2.10. Описание и использование регистров с управлением

2.11. Описание интерфейсных объектов

2.11.1. Память с сокращенным набором команд

2.11.2. Описание и использование преобразователя команд

2.12. Выводы

3. АЛГОРИТМЫ ТРАНСЛЯЦИИ 8А0Г-ОПИСАНИЯ ЭЛЕМЕНТОВ

СОФТ-АРХИТЕКТУР

3.1. Алгоритм трансляции описаний элементов софт-архитектуры

3.2. Промежуточный язык представления софт-архитектур

3.3. Выводы

4. ПРИМЕНЕНИЕ РЕКОНФИГУРИРУЕМЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ ДЛЯ РЕШЕНИЯ ЗАДАЧ ЦОС НА ОСНОВЕ

ПРОГРАММИРОВАНИЯ СОФТ-АРХИТЕКТУР

4.1. Софт-архитектура для решения задач ЦОС

4.2. Реализация алгоритма БПФ на софт-архитектуре ЦОС

4 3 Реализация алгоритмов цифровой фильтрации на софт-архитектуре

ЦОС

4.4. Реализация алгоритма обработки изображений на софт-архитектуре

ЦОС

4.5. Производительность РВС с софт-архитектурой

4.6. Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ 1. ОПИСАНИЕ СОФТ-АРХИТЕКТУРЫ ЦИФРОВОЙ

ОБРАБОТКИ СИГРАЛОВ СРЕДСТВАМИ ЯЗЫКА SADL

ПРИЛОЖЕНИЕ 2. АКТЫ О ВНЕДРЕНИИ РЕЗУЛЬТАТОВ

ДИССЕРТАЦИОННОЙ РАБОТЫ

Введение диссертации (часть автореферата) на тему «Методы и средства программирования софт-архитектур для реконфигурируемых вычислительных систем»

ВВЕДЕНИЕ

Актуальность задачи. Развитие науки неизбежно приводит к появлению новых методов и алгоритмов, требующих использования высокопроизводительных вычислительных систем. На данный момент наиболее широкое распространение получили кластерные многопроцессорные вычислительные системы, создаваемые на базе унифицированных процессорных блоков, соединенных стандартной коммутационной средой в единый вычислительный комплекс. Однако при решении задач, требующих большого количества информационных обменов, кластерные системы показывают низкую реальную производительность, что является следствием несоответствия архитектуры вычислительной системы структуре решаемой задачи. В некоторых случаях реальная производительность кластерных систем не превышает нескольких процентов от декларируемой пиковой производительности. Проблему повышения реальной производительности позволяет решить применение реконфигурируемых вычислительных систем (РВС), которые строятся на базе программируемых логических интегральных схем (ПЛИС). Подобные системы позволяют создавать в рамках аппаратной платформы вычислительные структуры, соответствующие информационным

структурам решаемых задач.

Как правило, при программировании реконфигурируемых систем используются стандартные средства разработки, основанные на языках НБЬ-группы. Применение языков НБЬ-группы требует продолжительного времени как на разработку текстов описания аппаратуры, так и на трансляцию полученных описаний на уровень логических ячеек ПЛИС. Для кристаллов, содержащих более 20 млн. эквивалентных вентилей, время трансляции прикладных задач может составлять несколько суток. При этом общее время программирования реконфигурируемых систем для решения одной задачи может составить несколько месяцев. Повысить эффективность программирования РВС позволяет применение языков высокого уровня, таких

как COLAMO, Handel-C, SystemC, Mitrion-C, Catapult С. Сокращение времени программирования при этом достигается за счет существенного ускорения процесса разработки текста программ. Однако время трансляции программ, созданных при помощи языков высокого уровня, остается существенным. Общее время программирования задач при использовании языков высокого уровня для реконфигурируемых вычислительных систем составляет несколько недель.

Другим методом программирования реконфигурируемых вычислительных систем является применение динамически перестраиваемых устройств, создаваемых на основе логических ячеек ПЛИС и управляемых посредством системы команд. Одним из примеров подобных устройств являются софт-процессоры, реализуемые на аппаратном ресурсе ПЛИС. В отличие от аппаратно реализованных встроенных процессоров, имеющих неизменную жесткую структуру, софт-процессоры создаются пользователем самостоятельно на основе логических ячеек ПЛИС. Построение вычислительных систем на основе софт-процессоров повторяют традиционные многопроцессорные системы, реализуя их на другой элементной базе, но со всеми присущими им архитектурными ограничениями. Развитием такого подхода можно считать создание проблемно-ориентированных вычислительных систем на основе логических ячеек ПЛИС. По аналогии, созданные на основе ПЛИС-технологий проблемно-ориентированные вычислительные системы для решения определенного класса задач следовало бы назвать софт-системами. Еще в 80-х годах прошлого века академиком A.B. Каляевым была предложена концепция многопроцессорных вычислительных систем с программируемой архитектурой. Для подобных многопроцессорных вычислительных систем пользователю предоставляется возможность программирования структуры вычислителя и системы команд его компонентов, при этом создаваемый вычислитель может быть ориентирован на решение, как отдельных задач, так и определенного класса задач. Такая совокупность была названа программируемой архитектурой. Решение

прикладных задач в многопроцессорных вычислительных системах с программируемой архитектурой осуществлялось путем программной настройки компонентов загруженной архитектуры: команд элементарных процессоров, операторов контроллеров распределенной памяти и настройки коммутационной системы. Будем называть софт-архитектурой РВС вычислители системы, построенные на основе ПЛИС-технологии, которые позволяют без перезагрузки конфигурации ПЛИС, путем программной настройки ее компонентов создавать вычислительно структуры, необходимые для решения прикладных задач. Трансляция прикладных программ на уровень команд устройств вычислительной системы позволит существенно ускорить процесс их отладки по сравнению с трансляцией на уровень примитивов ПЛИС.

Для сокращения времени создания прикладных программ для реконфигурируемых вычислительных систем требуется использование языков высокого уровня. В настоящее время для каждой разработанной проблемно-ориентированной вычислительной системы (софт-архитектуры РВС) требуется создание отдельного транслятора с языка высокого уровня, учитывающего особенности строения и управления софт-архитектурой. Эту проблему можно решить, если создать универсальный транслятор, обеспечивающий создание прикладных программ, написанных на языке программирования высокого уровня, в системы команд компонентов софт-архитектуры. Для создания универсального транслятора, позволяющего решать задачи на различных софт-архитектурах реконфигурируемых вычислительных систем, необходимо обеспечить унифицированное комплексное программирование софт-архитектур, которое будет использовано универсальным транслятором.

В этой связи актуальной является разработка методов и средств программирования софт-архитектур реконфигурируемых вычислительных систем, позволяющих создать универсальный транслятор и, как следствие, сократить время отладки прикладных задач. При этом разрабатываемые

описания софт-архитектур должны отображаться на различные аппаратные платформы реконфигурируемых вычислительных систем.

Объектом исследования являются методы программирования динамически перестраиваемой архитектуры реконфигурируемых

вычислительных систем.

Предметом исследования являются методы программирования софт-архитектур реконфигурируемых вычислительных систем.

Целью диссертации является сокращение времени отладки прикладных программ для реконфигурируемых вычислительных систем.

Методы исследований. При проведении исследований были использованы основы теории графов, теории множеств, методы структурного программирования, методы структурно-процедурного параллельного программирования. Экспериментальные исследования проведены на действующих образцах многокристальных реконфигурируемых

вычислительных систем.

Научная задача, решаемая в диссертации, состоит в создании методов программирования софт-архитектур реконфигурируемых вычислительных систем, обеспечивающих сокращение времени отладки прикладных программ при допустимом сокращении реальной производительности системы.

Для достижения поставленной цели решены следующие задачи исследования:

1) проведён анализ существующих методов и средств программирования

реконфигурируемых вычислительных систем;

2) разработан метод программирования софт-архитектур реконфигурируемых вычислительных систем;

3) разработан метод программирования прикладных задач с применением софт-архитектур реконфигурируемых вычислительных систем;

4) модернизирована структура системного программного обеспечения

реконфигурируемой вычислительной системы;

5) формализовано описание элементов софт-архитектур реконфигурируе-

мых вычислительных систем;

6) разработан язык программирования софт-архитектур для реконфигурируемых вычислительных систем, отличительной особенностью которого являются конструкции описания в едином языковом пространстве структурного, управляющего и синхронизационного компонентов софт-архитектур;

7) модернизированы алгоритмы трансляции описаний софт-архитектур вычислительных систем в промежуточное представление, используемое синтезатором, выполняющим размещение софт-архитектуры на аппаратную платформу, и транслятором, выполняющим размещение информационного графа прикладной задачи на уровень команд элементов проблемно-ориентированной вычислительной системы;

8) на основе предложенных методов и языка программирования софт-архитектур разработана софт-архитектура для решения задач цифровой обработки сигналов на реконфигурируемых вычислительных системах. В рамках разработанной софт-архитектуры был реализован ряд алгоритмов

цифровой обработки сигналов.

Методы исследований. При проведении исследований были использованы методы теории графов, теории множеств, структурного программирования, структурно-процедурного параллельного

программирования. Экспериментальные исследования проведены на действующих образцах многокристальных реконфигурируемых

вычислительных систем.

Научная новизна диссертации состоит в том, что в ней разработаны:

- новый метод программирования прикладных задач для реконфигурируемых вычислительных систем, отличающийся трансляцией структурного компонента прикладных программ на уровень софт-архитектуры (команд устройств проблемно-ориентированного вычислителя, загруженного в

ПЛИС);

- новый метод программирования софт-архитектур реконфигурируемых

вычислительных систем, отличающийся комплексным описанием аппаратных, управляющих и синхронизационных компонентов софт-архитектур, а также наличием в описании софт-архитектуры системы команд типовых объектов;

- модернизированная структура системного программного обеспечения реконфигурируемых вычислительных систем, отличающаяся введением транслятора языка программирования софт-архитектур, синтезатора архитектуры проблемно-ориентированного вычислителя;

- оригинальный язык программирования софт-архитектур вычислительных систем, отличающийся от существующих набором конструкций, описывающих структурный, управляющий и синхронизационный компоненты софт-архитектуры в едином языковом пространстве;

-модернизированные алгоритмы трансляции описания софт-архитектур вычислительных систем, отличающиеся от известных алгоритмов разделением процессов трансляции аппаратного компонента, компонента управления и компонента синхронизации софт-архитектур реконфигурируемых вычислительных систем.

Практическая значимость. Решение актуальной научной задачи разработки методов программирования софт-архитектур реконфигурируемых систем позволило сократить время отладки прикладных программ для реконфигурируемых систем в 2-3 раза по сравнению с существующими языками программирования. Использование софт-архитектуры цифровой обработки сигналов для решения задач нахождения спектра сигнала на основе алгоритма БПФ позволило в 3 раза сократить время отладки задач на РВС. Использование софт-архитектуры цифровой обработки сигналов для решения задачи фильтрации сигнала с использованием одномерного цифрового КИХ-фильтра методом свертки позволило в 2 раза сократить время отладки задач на РВС. Использование разработанной софт-архитектуры для решения задачи обработки спекл-интерферрограмм, поступающих с камеры телескопа БТА-6 по методу Лабейри, позволило в 3,2 раза сократить время программирования задач на РВС.

Использование результатов работы. Материалы диссертации использовались при выполнении ряда НИОКР. К наиболее значимым НИОКР относятся:

- ОКР «Разработка технологии создания высокопроизводительных модульно-наращиваемых многопроцессорных вычислительных систем с программируемой архитектурой на основе реконфигурируемой элементной базы», выполняемая в рамках Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития науки и техники на 2002-2006 гг.», № гос. per. 0122.0510630, шифр "Медведь";

- ОКР «Принципы организации мультипроцессорных имитационных комплексов на базе МНМС с программируемой архитектурой и повышенными возможностями отработки корректности и точности вычислений, отработки логики управления, автоматизированного задания условий работы, накопления и анализа результатов испытаний» в рамках мероприятия 1.12-САЗ по программе Союзного государства «Развитие и внедрение в государствах-участниках Союзного государства наукоёмких компьютерных технологий на базе мультипроцессорных вычислительных систем», № гос. per. 01.2.00611470, шифр "Триада", 2006;

- НИР «Разработка теоретических основ построения, аппаратных средств и математического обеспечения интеллектуальных многопроцессорных вычислительных и управляющих систем с реконфигурируемой архитектурой», № гос. per. 01.2.00707989, шифр "Ладья", 2006;

- НИР «Исследование и разработка программного обеспечения и испытания экспериментального образца унифицированного базового модуля многопроцессорной системы со структурной реализацией параллельной обработки информации», № гос. per. 01.2.00613841, шифр "ССПВ-Т2", 2006;

- ОКР «Создание семейства высокопроизводительных многопроцессорных вычислительных систем с динамически перестраиваемой архитектурой на основе реконфигурируемой элементной базы и их математического обеспечения для решения вычислительно трудоемких задач»,

выполняемой в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы», № гос. per. 01.2.00705707, шифр «Большая медведица»;

- НИР «Разработка и исследование параллельных и конвейерных реализаций задач различных предметных областей на гетерогенных МВС», № гос. per. 01.2007 02728, шифр "Карнавал", 2007.

Апробация работы. Основные результаты работы докладывались и обсуждались на всероссийских и международных научно-технических конференциях:

-на ежегодной научной конференции студентов и аспирантов базовых кафедр Южного научного центра РАН, 2005-2011 гг., г. Ростов-на-Дону;

- на международной молодежной научно-технической конференции "Высокопроизводительные вычислительные системы, ВПВС-2008", пос. Дивноморское;

- на международной научно-технической конференции «Многопроцессорные вычислительные и управляющие системы», 2009 г., пос. Дивноморское;

- на международной конференции «Интеллектуальные и многопроцессорные системы-2006», г. Таганрог;

- на научно-технической конференции профессорско-преподавательского состава, аспирантов и сотрудников ТРТУ, 2006 г., г. Таганрог;

- на конференции «Системы и средства искусственного интеллекта»,

2008 г., пос. Кацивели, Украина;

- на международной научной конференции «Суперкомпьютерные системы и их применение. SSA'2010». Республика Беларусь, Минск.

Наиболее значительными публикациями по теме диссертации являются:

1) Коваленко, В.Б. Организация многоуровневого программирования реконфигурируемых вычислительных систем. [Текст] / Е.А. Семерников,

В.Б. Коваленко // Вестник компьютерных и информационных технологий. - М.: Машиностроение, 2011. - №9. - С. 3-10;

2) Коваленко, В.Б. Система обработки астрофизических снимков на базе реконфигурируемого ускорителя персонального компьютера РУПК-50 [Текст] / М.С. Кочерга, Е.А. Семерников, В.Б. Коваленко // Цифровая обработка сигналов. - М.: Российское НТОРЭС им. A.C. Попова, 2011. - №2. - С. 32-36;

3) Коваленко, В.Б. Автоматизированные средства описания макрообъектов [Текст] /В.Б. Коваленко // Тезисы докладов Седьмой ежегодной научной конференции студентов и аспирантов базовых кафедр Южного научного центра РАН 11-25 апреля 2011 года. - Ростов-на-Дону: Изд-во

ЮНЦРАН, 2011.-С. 126-127;

4) Коваленко, В.Б. Макрообъекты в реконфигурируемых вычислительных системах [Текст] / М.С. Кочерга, Е.А. Семерников, JIM. Сластен, В.Б. Коваленко // Материалы Седьмой Международной научной молодежной школы «Высокопроизводительные вычислительные системы». - Таганрог: Изд-во ТТИ ЮФУ, 2010. - С.170-175;

5) Коваленко, В.Б. Реконфигурируемые вычислительные системы с макрообъектной архитектурой [Текст] / М.С. Кочерга, Е.А. Семерников, В.Б. Коваленко // Материалы Международной научно-технической конференции «Суперкомпьютерные технологии: разработка, программирование, применение (СКТ-2010)». Т.1. - Таганрог: Изд-во

ТТИ ЮФУ, 2010. - С. 107-112;

6) Коваленко, В.Б. Реконфигурируемые вычислительные системы для цифровой обработки сигналов [Текст] / М.С Кочерга, Е.А. Семерников, В.Б. Коваленко // Искусственный интеллект. - Донецк: Наука i освга, 2009. -№.3 - С.548-555.

Положение, выдвигаемое на защиту:

- время отладки прикладных программ для реконфигурируемых вычислительных систем может быть сокращено путем декомпозиции прикладной программы на структурный и потоково-процедурный компоненты

за счет того, что структурный компонент, представленный в виде софт-архитектуры, транслируется на уровень примитивов ПЛИС значительно реже потоково-процедурного компонента, транслируемого на уровень системы команд.

Результаты, выносимые на защиту:

- новый метод программирования прикладных задач для реконфигурируемых вычислительных систем, отличающийся трансляцией структурного компонента прикладных программ на уровень софт-архитектуры;

- новый метод программирования софт-архитектур реконфигурируемых вычислительных систем, отличающийся комплексным описанием аппаратных, управляющих и синхронизационных компонентов софт-архитектур;

-модернизированная структура системного программного обеспечения различных уровней программирования реконфигурируемых вычислительных систем, отличающаяся введением транслятора языка программирования софт-архитектур, синтезатора архитектуры проблемно-ориентированного вычислителя;

- язык описания софт-архитектур вычислительных систем, отличающийся от существующих набором конструкций, описывающих в едином языковом пространстве компоненты софт-архитектуры;

- модернизированные алгоритмы трансляции описания софт-архитектур вычислительных систем, отличающиеся от известных алгоритмов независимой трансляцией компонентов софт-архитектур реконфигурируемых

вычислительных систем.

Структура диссертации. Диссертация состоит из введения, четырех

глав, заключения и списка использованных источников.

Во введении изложены актуальность темы диссертации, цель и задачи исследования, научная новизна, практическая ценность, основные научные положения, выносимые на защиту, а также приведено краткое содержание каждой из глав.

В первой главе проанализированы реконфигурируемые вычислительные системы. При этом была рассмотрена архитектура традиционных, гибридных и реконфигурируемых вычислительных систем. Показаны потенциальные преимущества реконфигурируемых вычислительных систем перед системами с традиционной архитектурой. Проанализированы существующие методы программирования реконфигурируемых систем на предмет их использования при программировании софт-архитектур вычислительных систем. Рассмотрена многоуровневая система программирования реконфигурируемых вычислительных систем. Существующие средства программирования не позволяют описывать управляющий и синхронизационный компоненты софт-архитектур. Предложено разработать методы и средства для реализации дополнительных уровней программирования реконфигурируемых вычислительных систем, сочетающие в себе все положительные качества программирования на уровне софт-архитектуры и уровне логических примитивов ПЛИС. Разработана схема взаимодействия программных компонентов, составляющих второй и третий уровни программирования, обеспечивающая возможность создания универсального транслятора для решения прикладных задач. Разработана методика программирования софт-архитектур.

Во второй главе на основе метода программирования софт-архитектур, приведенного в главе 1, и формализованного описания элементов определен синтаксис языка описания софт-архитектур реконфигурируемых вычислительных систем. Показано, что для создания универсального транслятора язык программирования софт-архитектур должен позволять описывать структурный, управляющий и синхронизационный компоненты софт-архитектур. Разработан синтаксис описания структуры и управления и синхронизации операционных и процессорных объектов: функциональных устройств, арифметико-логических устройств. Определен синтаксис для описания процессорных устройств, их структур и систем команд. Разработан

алгоритм работы интерфейсов. Приведено описание составных элементов софт-архитектур вычислительных систем: макрообъектов, узлов, софт-архитектур.

В третьей главе разработаны и исследованы методы трансляции описания софт-архитектур реконфигурируемых вычислительных систем, которые позволяют транслировать SADL-описания в промежуточное представление, используемые в дальнейшем синтезаторами Fire ¡Constructor, Steam! Constructor и транслятором COLAMO. Разработана структура транслятора языка SADL, включающая в себя следующие основные компоненты: лексический анализатор, синтаксический анализатор, процедуру поиска и подстановки реальных элементов, генератор целевого кода. На основании принципов многоуровневого программирования, описанных в главе 1, и описания языка SADL, приведенного в главе 2, разработан алгоритм трансляции описаний софт-архитектуры с языка SADL в промежуточное представление. Разработана процедура синтаксического анализа программ на языке SADL. Разработана процедура анализа узлов софт-архитектуры реконфигурируемых вычислительных систем с общими управляющими связями, включающая синтез преобразователя команд. Приведены форматы представления элементов софт-архитектуры реконфигурируемых

вычислительных систем.

В четвертой главе на основе методов программирования софт-архитектур разработана библиотека объектов, необходимых для решения задач цифровой обработки сигналов. Разработана софт-архитектура для решения задач цифровой обработки сигналов. Разработанная софт-архитектура цифровой обработки сигналов позволила в 3 раз сократить время реализации на реконфигурируемой аппаратной платформе задачи нахождения спектра сигнала на основе алгоритма быстрого преобразования Фурье. Разработанная софт-архитектура цифровой обработки сигналов позволила в 2 раза сократить время реализации на реконфигурируемой аппаратной платформе фильтрации сигнала с использованием одномерного цифрового КИХ-фильтра, основывающегося на применении метода секционирования свертки, вычисляемой в частотной

области с использованием быстрого преобразования Фурье. Разработанная софт-архитектура цифровой обработки сигналов позволила в 3,2 раза сократить время реализации задачи обработки спекл-изображений в соответствии с алгоритмом Лабейри, что позволило обрабатывать получаемую с телескопа БТА информацию о звездных объектах в темпе ее поступления. Разработанные в соответствии с принципами, изложенными в предыдущих главах, программное обеспечение и софт-архитектура цифровой обработки сигналов позволили без перезагрузки конфигурационных файлов ПЛИС и без длительной трансляции параллельных программ на уровень примитивов ПЛИС обеспечить решение различных задач цифровой обработки сигналов при фиксированном уровне реальной производительности реконфигурируемой вычислительной системы.

В заключении изложен основной научный результат диссертации, а также сформулированы теоретические и прикладные результаты, полученные в

диссертационной работе.

В приложениях приведено описание софт-архитектуры цифровой обработки сигналов; представлены копии актов о внедрении результатов диссертационной работы от следующих организаций: ОАО «Концерн ПВО «Алмаз-Антей» (г. Москва), Специальной астрофизической лаборатории РАН (пос. Нижний Архыз), Южного научного центра РАН (г. Ростов-На-Дону), НИИ МВС ЮФУ (г. Таганрог).

1. АНАЛИЗ МЕТОДОВ И СРЕДСТВ ПРОГРАММИРОВАНИЯ РЕКОНФИГУРИРУЕМЫХ МНОГОПРОЦЕССОРНЫХ СИСТЕМ

В настоящее время из различных многопроцессорных систем очень широкое распространение получили кластерные системы. Это стало возможным, в первую очередь, по причине того, что большинство из них создается на основе стандартных вычислительных компонентов. Их доступность и относительно невысокая цена позволили кластерным системам выйти на первое место по популярности среди многопроцессорных систем. Еще одной причиной столь высокой активности в сфере кластерных вычислительных систем стали средства программирования задач для кластерных систем (MPI [1], OpenMP [2], PVM[3], HPF[4]) представляющие собой надстройки или дополнительные библиотеки к общеупотребительным языкам программирования, таким как С или Fortran. Это позволяет программистам без особенных трудностей переходить от программирования однокристальных систем к программированию кластеров. Однако у кластерных систем существует и серьезный недостаток, который состоит в существенном спаде их производительности при решении реальных задач. Зачастую реальная производительность кластерных систем не превышает 5%-10% [5].

Особенно сильно падение производительности на кластерных системах проявляется при решении сильносвязных задач, когда узлы кластера вынуждены часто обмениваться информацией. Это связано с большой длительностью обмена информацией между узлами кластера. По этой причине увеличение количества узлов кластера не позволяет получить линейный рост производительности системы. А в некоторых случаях рост накладных расходов на пересылку информации превышает прирост производительности при добавлении новых узлов и, как следствие, снижает производительность всей системы.

Проблемы низкой реальной производительности кластерных систем связаны, прежде всего, с тем, что архитектура системы не соответствует

структуре алгоритма задачи. Создание же специализированных систем для решения узкого класса задач связано с большими финансовыми вложениями.

Проблемы соответствия вычислительной архитектуры структуре задачи могут быть решены на многопроцессорных реконфигурируемых вычислительных системах, архитектура которых может быть адаптирована пользователем в соответствии со структурой информационного графа задачи. Подобный подход позволяет решать на одной аппаратной платформе задачи различных предметных областей с высокой реальной производительностью. Кроме этого, к достоинствам реконфигурируемых систем стоит отнести и близкий к линейному прирост производительности при увеличении

вычислительного ресурса [6].

Однако платой за адаптивность реконфигурируемых систем является более сложный в сравнении с кластерными системами процесс программирования. Он состоит из двух основных этапов. На первом этапе синтезируется вычислительная структура, соответствующая информационному графу решаемой задачи, на втором этапе организуется вычислительный процесс, связанный с перепрограммированием РВС и формированием потоков данных. Наибольшую сложность для программистов представляет первый этап программирования, так как он существенно отличается от привычного для многих процедурного программирования. В данном же случае процесс программирования может быть сравним с синтезом принципиальных схем. По этой причине для решения задачи на РВС зачастую привлекается два специалиста - схемотехник и программист, каждый из которых осуществляет программирование на соответствующем этапе.

Однако, несмотря на трудности программирования, на данный момент существует большое количество разработок многопроцессорных реконфигурируемых вычислительных систем как иностранного, так и российского производства.

1.1. Современное состояние развития реконфигурируемых многопроцессорных

вычислительных систем

Считается, что основоположниками идеи адаптации аппаратного обеспечения к структуре решаемой задачи являются Джон Паста и Джерольд Эстрин, выступивший в 1960 году на конференции «Western Joint Computer Conférence» [7]. Основная идея Эстрина состояла в том, чтобы создать вычислитель, состоящий из стандартного, статичного процессора, и перепрограммируемой части, а главный процессор должен осуществлять контроль над работой реконфигурируемой части системы. При этом переменная или реконфигурируемая часть должна использоваться для решения вычислительно емких частей алгоритма. Когда одна задача будет выполнена, реконфигурируемая часть системы может быть перепрограммирована для решения новой задачи. В результате строится гибридная вычислительная структура, сочетающая в себе гибкость перепрограммирования архитектуры и быстродействие аппаратных решений [8]. Однако эта идея существенно опережала свое время. Причиной, по которой идея реконфигурируемости не стала основной в развитии вычислительной техники, является отсутствие технологий, способных обеспечить реализацию идеи динамического перепрограммирования вычислительных структур.

Возможность развития идеи реконфигурируемых систем представилась лишь в 70-е годы. В это время появляются реконфигурируемые архитектуры FPLA (Field Programmable Logic Array) и FPLS (Field Programmable Logic Sequensers), которые, впрочем, не получили большого распространения, как и их отечественные аналоги К556РТ1, РТ2 и РТ21. Настоящее же возрождение реконфигурируемых систем произошло лишь в середине 80-х годов, когда на рынок выходят такие компании как Altéra Corporation (1983 год) [9], Xilinx. Inc. (1984 год) [10] и Actel Corporation (1985 год) [11], занимающие на данный момент порядка 80% всего рынка ПЛИС [12]. Однако, несмотря на возросший интерес к ПЛИС, первый коммерческий реконфигурируемый вычислитель был

выпущен компанией Algotronix лишь в 1991 г. Этот вычислитель поставлялся в университеты Великобритании и не имел особенной популярности за их пределами. Он содержал до 8 чипов CAL1024 по 1204 программируемых ячейки в каждом [13].

В СССР и России развитие реконфигурируемых вычислительных систем шло по двум основным направления. Первое направление было связано с развитием однородных вычислительных систем, представляющих собой одинаковые и одинаково соединенные вычислительные ячейки, как правило, реализуемые посредством простейших процессоров. Подобная структура настраивалась на выполнение операции программно. Основоположниками данного направления считаются Э.В. Евреинов [14, 15], И.В. Прангишвили [16], В.Г. Хорошевский [17], выпустившие в середине 60-х годов ряд научных работ. Однако реализовать идеи однородных систем стало возможно лишь в конце 70-х годов с развитием элементарной базы. Позже были выпущены специализированные микросхемы, реализующие однородные вычислительные среды. В 80-е годы крупные работы по созданию высокопроизводительных вычислительных систем на однородных средах проводились во Львове. B.C. Седовым и В.И. Шмойловым был выпущен ряд научных работ по данной тематике [18, 19, 20]. К достоинствам однородных вычислительных систем следует отнести простоту реализации вычислительных ячеек и высокую скорость выполнения конвейерной обработки. Однако сложность программирования и большое количество ячеек, требующееся для выполнения сложных задач, не позволяют данному подходу найти широкое применение при

решении прикладных задач.

Еще одним направлением развития реконфигурируемых систем в России стала концепция многопроцессорных вычислительных систем с программируемой архитектурой, предложенная в 70-х годах Каляевым A.B. [21, 22]. Ее суть заключается в создании перестраиваемых процессорных узлов (макропроцессоров), каждый из которых состоит из элементарных процессоров, соединенных коммутационной средой [23]. Перестраиваемая архитектура

макропроцессора позволила программировать вычислительные структуры, соответствующие информационной структуре решаемых задач. Аппаратная реализация подходов, предложенных А.В. Каляевым, стала возможна лишь в конце 80-х годов, когда были созданы такие вычислительные системы, как ЕС-2703, «Трасса», «Модуль 8». Однако разрабатываемые системы не получили широкого применения, в первую очередь, из-за специфичности структурного программирования и сложности программирования крупных алгоритмов. Для упрощения процесса программирования реконфигурируемых систем в соответствии с принципами структурно-процедурного подхода в 1987 году ИИ. Левиным был разработан язык программирования высокого уровня COLAMO [24, 25]. Более подробно язык COLAMO и принципы многоуровневого программирования будут рассмотрены в п. 1.3. Развитие ПЛИС-технологий послужило толчком к появлению нескольких поколений вычислительных систем, первое из которых появилось в 1998 г.

С приходом ПЛИС-технологии и применением языка высокого уровня для программирования РВС стало возможным в короткие сроки программировать крупные вычислительные задачи, используя при этом вычислительный ресурс, измеряемый сотнями миллионов «вентилей».

На данный момент можно выделить два крупных класса реконфигурируемых вычислительных систем: системы, полностью построенные на ПЛИС, и гибридные. Их отличие, в основном, заключается в различии роли стандартного процессора при решении задачи. Гибридная система представляет собой совокупность унифицированных процессоров и соединенных с ними одной или двух ПЛИС. По причине единственного потока команд разработчики гибридных систем столкнулись с теми же проблемами, что и разработчики классических вычислителей, основанных на архитектуре фон-Неймана. Помимо однопроцессорных систем, к гибридным вычислителям также можно отнести кластеры, имеющие в своем составе реконфигурируемые модули, на которых, как правило, выполняются сильносвязные участки алгоритмов. Подобный подход применяется при построении

суперкомпьютеров, занимающих ведущие места в рейтинге ТОР-500. Такие компании, как Cray, SGI, SRC, Linux Network, используют реконфигурируемые ускорители в своих передовых разработках [26, 27].

Альянсом «The FPGA High Performance Computing Alliance», в который входят такие известный фирмы, как Algotronix, Nallatech, Xilinx и прочие, в 2007 г. был разработан высокопроизводительный реконфигурируемый компьютер Maxwell [28], основной задачей которого была демонстрация возможностей ПЛИС-технологий. Физически весь вычислитель представляет собой стойку IBM BladeCenter, состоящую из 32-х блейд-серверов. Каждый сервер состоит из процессора Xeon с тактовой частотой 2,8 ГГц. По каналу PCI-X к процессору подключены платы двух типов, каждая из которых содержит ПЛИС Xilinx Virtex4. Один тип плат разработан компанией Alpha Data, другой - компанией Nallatech. Коммутационная инфраструктура Maxwell содержит два типа соединений. Сеть Gigabit Ethernet соединяет процессоры традиционной архитектуры в единую сеть и позволяет использовать MPI при программировании системы. Реконфигурируемая часть системы соединяется каналами RocketIO, каждый из которых способен предоставить скорость в 3,125 Гбит. Схема соединения внутри IBM BladeCenter приведена на рис. 1.1.

IBM Blade Centre

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Коваленко, Василий Борисович

4.6. Выводы

1)На основе методов программирования софт-архитектур разработан перечень объектов, необходимых для решения задач цифровой обработки сигналов. На основании библиотеки объектов средствами языка 8АБЬ сформированы узлы, макрообъекты и софт-архитектура, позволяющая решать задачи цифровой обработки сигналов.

2) Разработанная софт-архитектура цифровой обработки сигналов позволила в 3 раза сократить время реализации на реконфигурируемой аппаратной платформе задачи нахождения спектра сигнала на основе алгоритма быстрого преобразования Фурье. При этом производительность составила 75% от производительности базового модуля «ССПВ» при решении той же задачи на специализированной вычислительной структуре.

3) Разработанная софт-архитектура цифровой обработки сигналов позволила в 2 раз сократить время реализации на реконфигурируемой аппаратной платформе фильтрации сигнала с использованием одномерного цифрового КИХ-фильтра, основывающегося на применении метода секционирования свертки, вычисляемой в частотной области с использованием быстрого преобразования Фурье, при этом производительность составила 73% от производительности базового модуля 16У4-50 при решении той же задачи на специализированной вычислительной структуре.

4) Разработанная софт-архитектура цифровой обработки сигналов позволила в 2-3 раза сократить время реализации задачи обработки спекл-изображений в соответствии с алгоритмом Лабейри, что позволило обрабатывать получаемую с телескопа БТА информацию о звездных объектах в темпе ее поступления. При этом производительность составила 85% от производительности РУПК-50 при решении той же задачи на специализированной вычислительной структуре.

5) Разработанные в соответствии с методами программирования макрообъектных софт-архитектур язык программирования БАБЬ, средства трансляции и софт-архитектура цифровой обработки сигналов позволили без перезагрузки конфигурационных файлов ПЛИС и без длительной трансляции структурной составляющей параллельных программ на уровень примитивов ПЛИС обеспечить решение различных задач цифровой обработки сигналов при фиксированном уровне реальной производительности реконфигурируемой вычислительной системы.

ЗАКЛЮЧЕНИЕ

Таким образом, в диссертации решена научная задача, которая заключается в создании методов и средств программирования софт-архитектур реконфигурируемых вычислительных систем. Решение этой задачи обеспечивает возможность создания универсального транслятора и уменьшения времени отладки прикладных программ путем сокращения времени их трансляции.

При проведении исследований и разработок в диссертационной работе получены следующие теоретические и прикладные результаты:

-разработан новый метод программирования прикладных задач для реконфигурируемых вычислительных систем, отличающийся трансляцией структурного компонента прикладных программ на уровень софт-архитектуры, что позволяет сократить время трансляции;

- разработан новый метод программирования софт-архитектур реконфигурируемых вычислительных систем, отличающийся комплексным описанием аппаратных, управляющих и синхронизационных компонентов софт-архитектур, а также наличием в описании софт-архитектуры системы команд типовых объектов, что позволяет создать унифицированный транслятор для программирования реконфигурируемых вычислительных систем на уровне софт-архитектуры;

- модернизирована структура системного программного обеспечения реконфигурируемых вычислительных систем, отличающаяся введением транслятора языка программирования софт-архитектур, синтезатора Steam ¡Constructor и позволяющая программировать софт-архитектуру без семантического разрыва;

-разработан оригинальный язык программирования софт-архитектур реконфигурируемых вычислительных систем SADL, отличающийся от существующих набором конструкций, описывающих в едином языковом пространстве структурный, управляющий и синхронизационный компоненты софт-архитектуры;

- разработаны алгоритмы трансляции описания софт-архитектур вычислительных систем, отличающиеся от известных алгоритмов раздельной трансляцией структурного компонента, компонента управления и компонента синхронизации софт-архитектур реконфигурируемых вычислительных систем;

- разработан транслятор языка программирования софт-архитектур реконфигурируемых вычислительных систем;

- разработана софт-архитектура на языке 8АБЬ, позволяющая решать задачи цифровой обработки сигналов на реконфигурируемых вычислительных системах. В рамках разработанной софт-архитектуры были реализованы алгоритмы цифровой обработки сигналов: нахождения спектра сигнала на основе алгоритма БПФ; фильтрации массивов большой длины одномерным фильтром с конечной импульсной характеристикой; обработки потока спекл-изображений по методу Лабейри. Использование подхода методов и средств программирования софт-архитектур позволило в 2-3 раза сократить время отладки прикладных программ на реконфигурируемых вычислительных системах.

Основные научные результаты диссертационной работы опубликованы в работах [87, 84,51,72, 80].

Предложенные в диссертации новые результаты строго аргументированы и оценены по сравнению с известными работами в рассматриваемой области. Полученные научные результаты используются практически на различных предприятиях и в организациях России, что подтверждается соответствующими актами о внедрении.

Все научные результаты, полученные при решении научной задачи создания методов программирования софт-архитектур реконфигурируемых вычислительных систем, обеспечивающих сокращение времени отладки прикладных программ, получены автором лично.

Личный вклад автора в основных публикациях. В [87] разработаны основные принципы программирования софт-архитектур, разработана схема взаимодействия программного обеспечения различных уровней программирования; в [84] разработана софт-архитектура цифровой обработки сигналов, на которой решена задача корректировки спекл-интерферограмм, поступающих с камеры телескопа БТА-6, по методу Лабейри.

Таким образом, в диссертации решена новая научная задача, которая является актуальной и имеет существенное научно-практическое значение. Внедрение полученных в диссертации результатов вносит значительный вклад в развитие теории программирования в части системного программного обеспечения реконфигурируемых вычислительных систем.

Результаты диссертации внедрены в ОАО «Концерн ПВО «Алмаз-Антей» (г. Москва), Специальной астрофизической лаборатории РАН (пос. Нижний Архыз), Южном научном центре РАН (г. Ростов-на-Дону), НИИ МВС ЮФУ (г. Таганрог).

Список литературы диссертационного исследования кандидат технических наук Коваленко, Василий Борисович, 2012 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Корнеев В.Д. Параллельное программирование в MPI [Текст] / 2-е изд., испр. - Новосибирск: Изд-во ИВМиМГ СО РАН, 2002. - 215 с.

2. Антонов A.C. "Параллельное программирование с использованием технологии ОрепМР: Учебное пособие".-М.: Изд-во МГУ, 2009. - 77 с.

ISBN 978-5-211-05702-9

3. Geist G.A., Beguelin A., Dongarra J., Jiang W., Manchek В., Sunderam V. PVM: Parallel Virtual Machine - A User's Guide and Tutorial for Network Parallel Computing. MIT Press, 1994.

4. Немнюгин С. Стесик О. Параллельное программирование для многопроцессорных вычислительных систем [Текст]. Изд-во: БХВ-Петербург, 2002 г. 396 с.

5. Дордопуло А. И. Высокопроизводительные реконфигурируемые вычислительные системы. [Текст] / Дордопуло А. И. Каляев И.А. Левин И.И., Семерников Е.А. // «Суперкомпьютеры» - М.-.ООО «Издательство СКР-Медиа», 2010. - Вып. 3(3) осень 2010. - С.44-47.

6. http ://npo-rit.ru/proj ects-cloud.html

7. Estrin G. Organization of computer system: the fixed plus variable structure computer // Proc. Western Joint Computer Conf. - 1960. - N5. - P. 33-40.

8. Estrin, G. 2002. Reconfigurable computer origins: the UCLA fixed-plus-variable (F+V) structure computer. IEEE Ann. Hist. Comput. 24, 4 (Oct. 2002), 3-9.

9. http://www.altera.com

10. http://www.xilinx.com

11. http://www.actel.com

12. Стешенко В. Программируемые логические интегральные схемы: обзор архитектур и особенности применения [Текст]. // «Схемотехника» - М. ООО «ИД Скимен», №1 октябрь 2000. - С.23-26.

13 http://www.algotronix.com/people/tom/album.html

14. Евреинов Э.В. Однородные вычислительные системы, структуры и среды. - М.: Радио и связь, 1981. - С. 208.

15. Евреинов Э.В., Косарев Ю.Г. Однородные универсальные вычислительные системы высокой производительности. [Текст]- Новосибирск: Наука, 1966.-308 с.

16. Микроэлектроника и однородные структуры для построения логических и вычислительных устройств. / И.В. Прангишвили [и др.]. - М.: Наука, 1967.-228 с.

17. Евреинов Э.В., Хорошевский В.Г. Однородные вычислительные системы. - Новосибирск: Наука, 1983. - С. 116.

18. Русин Б.П. Пульсирующие информационные решетки - новое поколение однородных вычислительных сред [Текст]/ Русин Б.П., Кузьо М.Н., Шмойлов В.И.//Автоматика и вычислительная техника. - Рига, 2002, № 1, 60-71 с.

19. Седов B.C. Элементарная база ОВС [Текст]/ Седов B.C., Соболев В.Н., Самчинский A.A. и др. -Львов: ИППММ АН УССР, 1989, 38.

20. Шмойлов В.И. Однородные вычислительные среды и пульсиры [Текст]/ Шмойлов В.И., Русын Б.П., Кузьо М.Н. - Львов: Меркатор, 2001, 62

21. Каляев A.B. Многопроцессорные системы с распределенной памятью, универсальной коммутацией, и программируемой структурой микропроцессоров [Текст] // Электронное моделирование, 1979, № 1, с. 31-42.

22. Каляев A.B. Автоматы с программируемой структурой и коммутацией [Текст] // Теория автоматов и ее приложения (материалы Советско-Болгарского семинара)

23. Каляев A.B. Многопроцессорные системы с программируемой архитектурой. - М.: Радио и связь, 1984. - С. 240.

24. Левин, H.H. Язык программирования вы-сокого уровня для многопроцессорной системы с программируемой архитектурой [Текст]: сборник трудов / И.И. Левин, В.Ф. Гузик, О.О. Сафронов // Распределенная обработка информации. Новосибирск, 1991.

25. Левин, И.И. О языке макроассемблера комплекта БИС с програм-мно-перестраиваемой структурой [Текст] / И.И. Левин, О.О. Сафронов // Архитектура ЭВМ и машинное моделирование. - Таганрог: Изд-во ТРТИ, 1989.

26. http://www.cray.com/Products/CX/Systems.aspx

27. http://www.top500.org/

28. http://www.fhpca.org/

29. http://www.sciengines.com/

30. http://superconductor.voltage.com/2010/06/rivyera-from-sciengines.html

31. http://www.dinigroup.com/new/index.php

32. Arnaud Grasset «The MORPHEUS Heterogeneous Dynamically Reconfigurable Platform» [text] // International Journal of Parallel Programming Volume 39, Number 3.

33. http://www.chrec.org/

34. http://www.hipeac.net/conference/pisa/roccc 3 5. http ://www.rosta.ru

36. http://www.rdi-kvant.ru/

37. http://www.mvs.tsure.ru

38. Семерников, E.A. Семейство многопроцессорных вычислительных систем с динамически перестраиваемой архитектурой [Текст] / Е.А. Семерников, Н.Н. Дмитренко, И.А. Каляев, И.И. Левин // Вестник компьютерных и информационных технологий. - М.: Изд-во Машиностроение, 2009. - Ч. 1. - № 6. - С.2-8. -Ч. 2.- № 7. - С.2-10.

39. http://superevm.ru/index.php?page=vychislitelnaya-sistema-rvs-5-2009

40. Зотов В.Ю. Проектирование цифровых устройств на основе ПЛИС фирмы XILINX в САПР WebPACK ISE [Текст] М.: Горячая линия-Телеком. 2003 - 624 с.

41. Quartus II Handbook Version 10.1 Volume 1: Design and Synthesis. Altera

Corporation 2010.

42. Libero IDE v9.1 User's Guide. Actel Corporation 2010.

43. Суворова Е.А. Проектирование цифровых систем на VHDL [Текст] / Суворова Е.А., Шейнин Ю.Е. // СПб.: БХВ-Петербург, 2003. - 576 с

44. Емец С. Verilog - инструмент разработки цифровых электронных схем [Текст]. // «Схемотехника» - М. ООО «ИД Скимен», №2 февраль 2001. -С.38-40.

45. M. Freericks. The nML Machine Description Formalism. Technical Report 1991/15, TU Berlin, Fachbereich Informatik, 1991.

46. http://isdl.ctit.utwente.nl/

47. http://www.ics.uci.edu/~express/

48. http://hardware.ispras.ru/ru/cpefla_metaDSP

49. http://oops.math.spbu.ru/papers.html

50. Левин, И.И. Язык программирования высокого уровня для многопроцессорной системы с программируемой архитектурой [Текст]: сборник трудов / И.И. Левин, В.Ф. Гузик, О.О. Сафронов // Распределенная обработка информации. Новосибирск, 1991.

51. Семерников, Е.А. Универсальный многоядерный макропроцессор для семейства многопроцессорных вычислительных систем с динамически перестраиваемой архитектурой [Текст] / Е.А. Семерников, А.И. Дордопуло, И.А. Каляев, И.И. Левин // Труды Всероссийской научной конференции «Научный сервис в сети Интернет: многоядерный компьютерный мир». - М.: Изд-во МГУ, 2007. - С. 25 - 27.

52. Гудков, В.А. Трансляция параллельной программы в структурную составляющую [Текст] / В.А. Гудков // Тезисы докладов IV ежегодной научной конференции студентов и аспирантов базовых кафедр Южного научного центра РАН. - Ростов н/Д: Изд-во ЮНЦ РАН, 2008. - С. 95-96.

53. Каляев, И.А. Реконфигурируемые мультиконвейерные вычислительные структуры [Текст]: монография / И.А. Каляев, И.И. Левин, Е.А. Семерников, В.И. Шмойлов; под общ. ред. И.А. Каляева. - 2-е изд., перераб. и доп. - Ростов-на-Дону: Изд-во ЮНЦ РАН, 2009. - 344 с.

54. Левин, И.И. Расширение языка высокого уровня СОЬАМО для программирования реконфигурируемых вычислительных систем на уровне логических ячеек ПЛИС [Текст] / И.И. Левин, В.А. Гудков // Вестник компьютерных и информационных технологий. - М.: Машиностроение, 2010. -№ 12. - С. 22-33.

55. Левин, И.И. Семантические особенности описания переменных на языке программирования СОЬАМО [Текст] / И.И. Левин, А.И. Дордопуло, В.А. Гудков // Труды Третьей международной научной конференции «СУПЕРКОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИХ ПРИМЕНЕНИЕ. 88А'20Ю». Республика Беларусь, Минск. - С. 176-179.

56. Левин, И.И. Многопроцессорная система с программированием архитектуры на нескольких уровнях [Текст] / И.И. Левин // Труды Первой Всероссийской научной конференции «Методы и средства обработки информации». - Москва: Издательский отдел ф-та вычислительной математики и кибернетики МГУ им. М.В. Ломоносова, 2003. - С. 111-118.

57. Зотов В.Ю. Проектирование встраиваемых микропроцессорных систем на основе ПЛИС фирмы ХШпх [Текст] М.: Горячая линия-Телеком, 2006 - 520 е., ил.

58. Коваленко В. Б. Специализированный многоядерный макрообъект для цифровой обработки сигналов [Текст] / Коваленко В. Б., Семерников Е.А., Кочерга М.С // Научный сервис в сети Интернет: многоядерный компьютерный мир. 15 лет РФФИ: Труды Всероссийской научной конференции(24-29 сентября 2007 г., г. Новороссийск). - М: Изд-во МГУ, 2007. - С 221-223.

59. Угрюмов Е. П. [Текст] Цифровая схемотехника. Учебное пособие для вузов. Изд.2 — БХВ-Петербург, 2004, 528 е., ил.

60. Абрайтис Б.Б. Микропроцессоры и микропроцессорные комплекты интегральных микросхем: справочник. В т.2. - М.: Радио и связь, 1988. - Т.1.-368 е.: ил.

61. http://www.forth.org.ru/~tile/proc_creating3.htm

62. Сластен, JI.M. Методы и средства отображения параллельных алгоритмов задач в многопроцессорную вычислительную систему со структурно-процедурной реализацией вычислений [Текст] / Диссертация на соискание ученой степени кандидата технических наук; защищена 16.12.2005. -Таганрог, 2005.-211 с.

63. Семерников, Е.А. Универсальный многоядерный макропроцессор для семейства многопроцессорных вычислительных систем с динамически перестраиваемой архитектурой [Текст] / Е.А. Семерников, А.И. Дордопуло, И.А. Каляев, И.И. Левин // Труды Всероссийской научной конференции «Научный сервис в сети Интернет: многоядерный компьютерный мир». - М.: Изд-во МГУ, 2007. - С. 25 - 27.

64. Ахо, А Компиляторы: принципы, технологии и инструментарий, 2-е изд. Пер. с англ. [Текст] / М. Лам, Р.Сети, Дж. Ульман. - М.: ООО «И.Д. Вильяме», 2008. - 1184 е.: ил. - Парал. тит. англ.

65. Ахо, А. Теория синтаксического анализа, перевода и компиляции [Текст]: монография / А. Ахо, Дж. Ульман. - М.: Мир, 1978.

66. Карпов, Ю.Г. Теория и технология программирования. Основы построения трансляторов [Текст]: монография / Ю.Г. Карпов. - СПб.: БХВ-Петербург, 2005. - 272 с.

67. Бен-Ари, М. Языки программирования. Практический сравнительный анализ [Текст]: монография / М. Бен-Ари. -М.: Мир, 2000.

68. Дордопуло А.И. Средства программирования реконфигурируемых многопроцессорных вычислительных систем / [Текст] / Дордопуло А.И. Гудков, В.А., Сластен Л.М., Гуленок A.A. Известия ТРТУ. // Тематический выпуск «Интеллектуальные и многопроцессорные системы». - Таганрог: Изд-во ТРТУ, 2006. - № 16 (71). Специальный выпуск. - С. 16-20.

69. Хантер, Д. XML: Работа с XML - 4-е изд. [Текст] / Дж. Рафтер, Дж. Фаусетт, Э. ванн дер Влист, Д. Айерс, Й. Даккет, Э. Уагг, Л. Мак-Киннон Пер. с англ. - М.: ООО «И.Д. Вильяме», 2009. - 1344 с.: ил.

70. Спенсер, П. XML. Проектирование и реализация [Текст] / П. Спенсер.

- М. Лори, 2001 г. 509 с.

71.Botros, Nazeih HDL. Основы программирования VHDL И Verilog" [Текст]: монография / Nazeih Botros. - Изд-во "Da Vinci инженерно Пресс, 2006.

- 506 с.

72. http://www.portlet.ru/articles/software-engineering/adl.html

73. Гудков, В.А. Алгоритм лексического анализа для языков высокого уровня [Текст] / В. А. Гудков, А.И. Дордопуло // Сборник трудов международной научной конференции «Оптимальные методы решения научных и практических задач». - Ч. 2 - Таганрог: Изд-во "Антон", ТРТУ, 2005.

74. Карпов, Ю.Г. Теория и технология программирования. Основы построения трансляторов [Текст]: монография / Ю.Г. Карпов. - СПб.: БХВ-Петербург, 2005. - 272 с.

75. Рабинер Л. Теория и применение цифровой обработки сигналов [Текст] / Л. Рабинер, Б. Гоулд - М.: Мир, 1978. - 848 с.

76 Оппенгейм Э. Применение цифровой обработки сигналов [Текст] / Э.

Оппенгейм. -М: Мир, 1978, 552с.

77. Гуленок А.А. Среда разработки масштабируемых компонентов вычислительных структур для реконфигурируемых систем. [Текст] / Известия ТРТУ. Специальный выпуск. Технические науки. Материалы LII научно-технической конференции профессорско-преподавательского состава, аспирантов и сотрудников ТРТУ. - Таганрог: Изд-во ТРТУ, 2006. - № 9 (64). -С. 182.

78. Коваленко В.Б. Два подхода к созданию макрообъектов для реконфигурируемых вычислительных систем на основе ПЛИС [Текст] /В.Б. Коваленко, Е.А. Семерников, М.С. Кочерга // Материалы Второй Международной научной конференции «Суперкомпьютерные системы и их применение» (SSA'2008). - Минск: ОИПИ НАН Беларуси, 2008. - С. 60-64.

79. Коваленко В.Б. Набор библиотечных элементов для макрообъекта цифровой обработки сигналов [Текст] / В.Б. Коваленко, Семерников Е.А., Кочерга М.С.// Материалы Международной молодежной научно-техничес-кой конференции "Высокопро-изводительные вычислитель-ные системы, ВПВС-2008". - Таганрог: Изд-во ТТИ ЮФУ, 2008. - 478 с. - С. 358-362.

80. Коваленко В.Б. Генератор адресных последова-тельностей для конвейерных вычислителей БПФ [Текст] / Коваленко В.Б., Семерников Е.А., Доронченко Ю.И., Кочерга М.С // Материалы Седьмой Международной научно-технической конференции "Интеллектуальные и многопроцессорные системы- 2006". - Таганрог: Изд-во ТРТУ, 2006. - Т. 3. - С. 72-76.

81. Семерников Е.А.. Формирование адресных последовательностей для конвейер-ных вычислителей БП [Текст] / Е.А.Семерников, Ю.И.Доронченко, В.Б. Коваленко, М.С. Кочерга // Искусственный интеллект. - Донецк: Наука [ освшц 2006. - Т. 3. - С. 68-78.

82. Коваленко В.Б. Библиотечные элементы макро-объекта цифровой обработки сигналов [Текст] / В.Б. Коваленко, Семерников Е.А., Кочерга М.С. // Системы и средства искусственного интеллекта (ССИИ-2008). Материалы научной молодежной школы, пос. Кацивели, АР Крым, Украина, 22 - 27 сентября 2008. с. 66-71.

83. Введение в цифровую фильтрацию [Текст]/ под ред. Р. Богнера, А. Константинидиса. - М.: Мир, 1976. - 216 с.

84. Семерников Е.А. Конвейерный макропроцессор ЦОС для многопроцессорных вычислительных систем со структурно-процедурной организацией вычислений [Текст] / Семерников Е.А., Доронченко Ю.И., Трунов И.Л. // Искусственный интеллект. - Донецк: Наука \ Свгга, 2004, Т.З, 157-163.

85. Коваленко В.Б. Совместная фильтрация действительных сигналов большой длины на реконфигурируемых вычислительных системах [Текст] / Коваленко В.Б., Семерников Е.А.,Горев С.Д., Пересыпкин В.А // Многопроцессорные вычислительные и управляющие системы (МВУС-2009)//

Материалы Международной научно-технической конференции. Т.1. - Таганрог: изд-во ТТИ ЮФУ, 2009. - 242 е., с. 62 - 65

86. Коваленко В.Б. Использование макрообъекта ЦОС для фильтрации сигналов большой длины[Текст] / Коваленко В.Б. // V ежегодная научная конференция студентов и аспирантов базовых кафедр Южного научного центра РАН: Тезисы докладов(8-27 апреля 2009 г., г. Ростов н/Д: изд-во ЮНЦ РАН, 2009. 376 с.) с. 100-101.

87. http://www.sao.ru/hq/komarov/tel/08/index.html

88. Labeyrie, A. Attainment of diffraction-limited resolution in large telescopes by Fourier-analyzing speckle patterns in star images / Labeyrie A.// Astron. Astrophys. 6, 1970, p. 85-87.

89. Коваленко В.Б. Обработка астрофизических снимков на реконфигурируе-мых вычислительных системах [Текст] / Коваленко В.Б., Семерников Е.А.,Кочерга М.С., Малоголовец Е.В. // Многопроцессорные вычислительные и управляющие системы (МВУС-2009)// Материалы Международной научно-технической конференции. Т.1. - Таганрог: изд-во ТТИ ЮФУ, 2009. - 242 е., с.58 - 62

90. Коваленко В.Б. Система обработки астрофизических снимков на базе реконфигурируемого ускорителя персонального компьютера РУПК-50 [Текст] / Коваленко В.Б. Кочерга М.С., Семерников Е.А. // Цифровая обработка сигналов. - М.: Российское НТОРЭС им. А.С. Попова, 2011. - №2. - С. 32-36.

91. Коваленко В.Б. Применение реконфигурируемых вычислительных систем для обработки астрофизических снимков [Текст] / Коваленко В.Б. // Тезисы докладов VI ежегодной научной конференции студентов и аспирантов базовых кафедр Южного научного центра РАН. Ростов-на-Дону, 2010. - С. 106108.

92. Коваленко В.Б. Программно-аппаратный комплекс для обработки астрофизических снимков [Текст] / Коваленко В.Б.Кочерга М.С., Семерников Е.А. // Труды Третьей международной научной конференции

«СУПЕРКОМПЬЮТЕРНЫЕ СИСТЕМЫ И ИХ ПРИМЕНЕНИЕ. 88А'20Ю». Республика Беларусь, Минск. - С. 59-63.

93. Коваленко В.Б. Организация многоуровневого программирования реконфигурируемых вычислительных систем [Текст] / Е.А. Семерников, В.Б. Коваленко // Вестник компьютерных и информационных технологий. - М.: Машиностроение, 2011. - № 9. - С. 3-10.