Проблемы коммутации и синхронной передачи информации в суперЭВМ тема диссертации и автореферата по ВАК РФ 05.13.13, кандидат технических наук Пучков, Игорь Иванович

• Пучков, Игорь Иванович
• кандидат технических наук
• 2000

Оглавление диссертации кандидат технических наук Пучков, Игорь Иванович

Введение.

Глава 1. Высокопроизводительная синхронная связь в суперЭВМ.

1.1. Линии передачи данных.

1.2. Методы организации связи.

1.3. Принцип синхронной связи в суперЭВМ.

1.4. Организация взаимодействия ансамбля каналов ввода/вывода с оперативной памятью суперЭВМ.

1.5. Выводы.

Глава 2. Синхронные каналы суперЭВМ и их связь с оперативной памятью.

2.1. Синхронный канал связи с дисковой подсистемой.

2.1.1. Канал синхронный ввода.

2.1.2. Канал синхронный вывода.

2.1.3. Имитатор абонентов синхронных каналов.

2.2. Синхронный канал связи с внешней полупроводниковой памятью

2.2.1. Канал синхронный высокопроизводительный ввода.

2.2.2. Канал синхронный высокопроизводительный вывода.

2.3. Связь каналов с оперативной памятью основной машины.

2.4. Организация обработки прерываний от каналов в основной машине

2.5. Разработка, моделирование и реализация устройств.

2.6. Выводы.

Глава 3. Построение иерархической системы коммутации в неоднородной вычислительной суперсистеме.

3.1. Архитектура неоднородной вычислительной суперсистемы.

3.2. Иерархическая система коммутации.

3.3. Межкластерный коммутатор мультипроцессора.

3.3.1. Метод передачи информации в коммутаторе.

3.3.2. Периферийный узел коммутатора 1-го уровня.

3.3.3. Центральный узел коммутатора 1-го уровня.

3.3.4. Коммутатор II - го уровня.

3.3.5. Синхронный канал связи кластера с коммутатором

3.3.6. Реализуемость и пропускная способность коммутатора

3.4. Выводы.

Глава 4. Канал системной памяти - дальнейшее развитие методов синхронной передачи информации.

4.1. Системная память вычислительной суперсистемы.

4.1.1. Архитектура системной памяти.

4.1.2. Исправление ошибок в системной памяти.

4.2. Оперативная память основного вычислительного модуля

4.3. Канал системной памяти.

4.3.1. Структура канала системной памяти.

4.3.2. Особенности работы канала вывода.

4.3.3. Особенности работы канала ввода.

4.4. Выводы.

Введение диссертации (часть автореферата) на тему «Проблемы коммутации и синхронной передачи информации в суперЭВМ»

Важное место в суперЭВМ занимает внутрисистемный обмен информацией, от сбалансированности которого с производительностью основных вычислительных средств, а также с объемами хранимой и обрабатываемой информации в конечном итоге и зависит эффективность работы всей вычислительной системы в целом.

При рассмотрении проблемы организации ввода/вывода в суперЭВМ существенная роль отводится созданию внутрисистемных каналов обмена для подключения различных абонентов системы, к числу которых относятся внешняя память и внешние машины, характеризующиеся высокой интенсивностью обмена. От правильного подхода к решению этой проблемы, в частности от соответствующей пропускной способности каналов, в большой степени зависит и достижение высоких характеристик производительности суперЭВМ в целом.

Особое место, как наиболее эффективные, занимают синхронные каналы, реализующие синхронные методы передачи информации, которые обеспечивают наиболее высокопроизводительный обмен между отдельными частями суперЭВМ.

В вычислительных суперсистемах, основанных на объединении большого числа процессоров, значительную роль в повышении общей производительности всей суперсистемы играет система коммутации, обеспечивающая связь процессоров как между собой, так и с общей памятью. Поэтому выбор оптимальной архитектуры системы коммутации, обеспечивающей максимальную пропускную способность, масштабируемость суперсистемы и компактность реализации весьма важен.

Таким образом, проблемы коммутации и синхронной передачи информации в суперЭВМ являются весьма актуальными как при разработке конкретных суперЭВМ, так и при анализе архитектурных аспектов построения перспективных вычислительных суперсистем.

Целью и задачей настоящей работы является рассмотрение отдельных аспектов коммутации и передачи информации в суперЭВМ. 5

Из всего многообразия внутрисистемного обмена в суперЭВМ в работе анализируются наиболее напряженные информационные потоки, такие как, например, связи оперативной памяти центрального процессора с подсистемами дисковой памяти и внешней полупроводниковой памяти.

В рамках проекта перспективной неоднородной вычислительной суперсистемы, основанной на объединении различных процессоров на общей, глобально-адресуемой памяти, исследуется организация как межкластерных связей внутри массово-параллельного мультипроцессора с распределенной памятью, так и его связей с оперативной памятью, мультиконвейерным унипроцессором и диспетчером пакета заданий основного вычислительного модуля.

Рассмотрен подход к организации связи системной памяти с оперативной памятью и другими частями суперсистемы и разработана структура высокопроизводительного канала системной памяти.

Наряду с проблемами обмена и коммутации, в работе рассматриваются те вопросы организации системы синхронизации в суперЭВМ, от оптимального решения которых в большой степени зависит возможность построения высокопроизводительных устройств обмена, в частности использующих для достижения заданных характеристик синхронные методы передачи информации.

Научная новизна работы заключается в следующем:

1. Разработана архитектура подсистемы обмена в суперЭВМ «Электроника СС БИС/1».

2. Предложена организация связи каналов с оперативной памятью суперЭВМ с использованием оптимальной комбинированной схемы приоритета. Рассмотрена процедура обработки прерываний центрального процессора, возникающих от каналов.

3. Предложены структура и алгоритмы работы высокопроизводительных каналов внутрисистемного обмена в суперЭВМ. Для их реализации сформулирован принцип организации синхронной связи с использованием фазового сдвига.

4. На основе анализа архитектуры перспективной неоднородной вычислительной суперсистемы предложена структура иерархического межкластерного коммутатора 6 мультипроцессора. Предложен метод обмена информацией как между кластерами мультипроцессора, так и с оперативной памятью суперсистемы.

5. Предложена структура канала с высокой пропускной способностью, обеспечивающего связь между отдельными частями суперсистемы.

Структурно, диссертационная работа состоит из введения, четырех глав и заключения.

Заключение диссертации по теме «Телекоммуникационные системы и компьютерные сети», Пучков, Игорь Иванович

4.4. Выводы

В главе 4 описан канал системной памяти, связывающий между собой системную память неоднородной суперсистемы и оперативную память основного вычислительного модуля.

Рассмотрена архитектура многопортовой системной памяти большого объёма. Описаны её двухуровневая организация и формат данных, функциональное распределение портов, даны количественные характеристики и метод исправления ошибок в системной памяти.

В качестве абонента канала системной памяти выступает многопортовая оперативная память основного вычислительного модуля, в которой используется расслоение памяти и введена трехуровневая организация. Приведены формат данных, распределение портов и количественные характеристики оперативной памяти.

Рассмотрена структура канала системной памяти, состоящего из двух симплексных синхронных каналов - вывода и ввода. С учетом архитектуры неоднородной суперсистемы определены параметр канала (к) и длины информационных кабелей и кабеля синхросигнала.

Простое управление обменом позволяет реализовать программу канала, которая обеспечивает передачу нескольких массивов данных, расположенных по разным адресам.

91

Выполнение программы канала облегчает организацию обмена и минимизирует число системных прерываний.

Рассмотрены особенности работы каналов ввода и вывода, преобразование форматов данных, приведены количественные характеристики каналов.

92

Заключение

В работе рассмотрены проблемы коммутации и синхронной передачи информации, возникающие при внутрисистемном обмене в суперЭВМ.

I. Первая часть работы, включающая в себя главы 1 и 2, посвящена обоснованию принципов функционирования, разработке, наладке и опытной эксплуатации устройства обмена центрального процессора одной из первых отечественных суперЭВМ «Электроника СС БИС/1».

На основе анализа линий передачи данных и методов связи по ним сделан выбор в пользу синхронного способа передачи данных по многоразрядной сбалансированной дифференциальной линии.

Опираясь на сформулированный принцип синхронной связи получены аналитические выражения длин линий данных и синхросигнала и определен диапазон устойчивой работы синхронной передачи.

Рассмотрено взаимодействие ансамбля каналов различных типов с оперативной памятью суперЭВМ и предложена комбинированная схема приоритета каналов ввода/вывода.

Для разработанных синхронных каналов ввода и вывода, связывающих центральный процессор с дисковой подсистемой, приведены форматы данных, интерфейсы и обобщенные временные диаграммы работы. Пиковая пропускная способность таких каналов составляет 32 Мбайта/с.

Разработанный имитатор абонентов синхронных каналов предназначен для проверки функционирования каналов ввода и вывода, соединенных информационными кабелями.

Для связи центрального процессора с подсистемой внешней полупроводниковой памяти разработаны синхронные высокопроизводительные каналы ввода и вывода, высокая пропускная способность каждого из которых (около 130 Мбайт/с) обеспечивается встроенной буферной памятью и синхронным обменом массивами данных по многоразрядной магистрали.

93

Описана реализация связи ансамбля каналов с оперативной памятью основной машины с использованием комбинированной схемы приоритета. Рассмотрена процедура обработки прерываний, возникающих от каналов.

Разработка и моделирование четырех устройств: ГПИ (ГРУППОВОГО ПРИОРИТЕТА И ИМИТАЦИИ), имеющего децимальный номер ЩЯ2.222.002-28, КС (КАНАЛОВ СИНХРОННЫХ), имеющего децимальный номер ЩЯ2.222.002-31, КСВИ (КАНАЛ СИНХРОННЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВВОДА), имеющего децимальный номер ЩЯ2.222.002-29, и КСВО (КАНАЛ СИНХРОННЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВЫВОДА), имеющего децимальный номер ЩЯ2.222.002-30, осуществлялись с использованием автоматизированной системы логического проектирования «ПУЛЬС», разработанной в ИТМ и ВТ имени С.А. Лебедева РАН.

На специальном входном языке формульного типа для каждого устройства были написаны математические модели. Результатами моделирования, с учетом функциональных тестов, являлись потактовые временные диаграммы устройств.

В процессе проектирования моделировались объекты, состоящие из ряда устройств. Так была промоделирована совместная работа каналов синхронных (устройство КС), соединительных информационных линий связи с переменной задержкой распространения сигнала и имитатора абонентов каналов синхронных (ИМИ), размещенного в устройстве ГПИ.

По результатам моделирования, с использованием специально разработанной в НИИ «Дельта» системы, была выпущена техническая документация на устройства КС, ГПИ, КСВИ и КСВО, которые вошли в состав суперЭВМ «Электроника СС БИС/1», наладка и опытная эксплуатация которой показали правильность принятых технических решений.

П. Вторая часть работы, включающая в себя главы 3 и 4, посвящена дальнейшему развитию принципов организации внутрисистемного обмена информацией на примере разработки архитектуры перспективной неоднородной вычислительной суперсистемы.

В рамках основного вычислительного модуля предложена архитектура среды для высокопроизводительного обмена информацией в системе общей физически

94 распределенной памяти кластеров мультипроцессора. Для выбранного метода коммутации сообщений рассмотрены форматы сообщений нескольких типов - как обмена информацией между отдельными кластерами мультипроцессора, так и операций с оперативной памятью основного вычислительного модуля - выполнения одиночных и групповых операций записи и чтения. Исследованы структуры иерархического межкластерного коммутатора в целом и составляющих его центральных и периферийных узлов коммутаторов I и П-го уровней.

Через 8 двунаправленных портов осуществляется тесная связь кластерного мультипроцессора с оперативной памятью основного вычислительного модуля, а через нее и с мультиконвейерным унипроцессором.

Для решения проблемы масштабируемости мультипроцессора связь отдельных кластеров с коммутатором осуществляется при помощи синхронных симплексных каналов внутрисистемного уровня.

Суммарная пиковая пропускная способность иерархического межкластерного коммутатора мультипроцессора составляет 95 Гбайт/с.

Канал системной памяти связывает между собой системную память неоднородной вычислительной суперсистемы и оперативную память основного вычислительного модуля, для которых соответственно рассмотрены многопортовая организация, форматы хранимой информации, функциональное распределение портов, методы исправления ошибок и приведены количественные характеристики.

Предложена структура многоразрядного канала с развитой буферной памятью, состоящего из двух симплексных синхронных каналов - вывода и ввода, для которых с учетом архитектуры неоднородной суперсистемы определены параметр канала (к) и длины информационных кабелей и кабеля синхросигнала.

Возможность выполнения программы канала, обеспечивающей передачу нескольких массивов данных, минимизирует число системных прерываний.

Пиковая пропускная способность симплексного канала системной памяти составляет 2 Гбайт/с. С учетом общего числа каналов системной памяти, составляющего 4 пары каналов ввода/вывода, суммарная интенсивность обмена между системной памятью и основным вычислительным модулем может достигать 16 Гбайт/с.

95

Дальнейшее повышение пропускной способности каналов внутрисистемного обмена до значений в десятки и сотни Гигабайт/с по-видимому возможно лишь с применением иных физических принципов передачи информации. Так, в частности, представляется весьма перспективным использование для этой цели оптических каналов, обладающих высокими частотными характеристиками, помехозащищенностью и малыми потерями (0,2 дБ/км на длине волны 1,55мкм).

Однако их широкое применение сдерживается необходимостью преобразования представления информации из электронного вида в оптический и обратно, и связанными с этим существенными, в настоящее время, накладными расходами.

По мере развития интегральной схемотехники, упомянутые расходы на преобразование информации из одного вида в другой будут неуклонно снижаться, что откроет путь к использованию нового диапазона пропускной способности каналов обмена.

96

Список литературы диссертационного исследования кандидат технических наук Пучков, Игорь Иванович, 2000 год

1. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Исследование применения больших матричных быстродействующих схем и микропроцессоров в вычислительных системах // Эскизный проект по теме «Банк-2», ГР № Ф15939. - М.: НИИ «Дельта», 1982.

2. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Разработка опытного образца и рабочего проекта высокопроизводительной вычислительной системы «Электроника СС БИС/1» // Научно-технический отчет по ОКР «Банк-3», ГР № Ф20303. -М.: НИИ «Дельта», 1986.

3. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Вычислительная система «Электроника СС БИС/2» // Аванпроект по теме «Багаж», ГР № Х13224. М.: НИИ «Дельта», 1988.

4. Камынина М.А., Пучков И.И. и др. Устройство обмена вычислительной системы «Электроника СС БИС/1» // Тезисы докладов отраслевой научно-технической конференции «Актуальные проблемы развития вычислительной техники». М.: НИЦЭВТ, 1988.

5. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Разработка головного образца и внедрение в серийное производство вычислительной системы «Электроника СС БИС/1» // Научно-технический отчет по ОКР «Банк-4», ГР № . М.: НИИ «Дельта», 1989.

6. Мельников В.А., Митропольский Ю.И., Пучков И.И. и др. Вычислительная система «Электроника СС БИС/2» // Эскизный проект по теме «Багаж-2», ГР № . М. НИИ «Дельта», 1991.

7. Митропольский Ю.И., Анохин А.В., Пучков И.И. и др. Исследование архитектуры, физико-технологических основ реализации и методологии проектирования перспективных суперкомпьютерных систем//Научный отчет. -М.: ИВВС РАН, 1994.

8. Stunkel С.В. et al. The SP2 High-Performance Switch // IBM System Journal. 1995. -V. 34, № 16. -P. 185-203.

9. Scott S.L. Synchronization and Communication in the T3E multiprocessor // ACM SIGPLAN Notices. 1996. - V. 31, № 9. - P. 26-36.

10. Анохин A.B., Ленгник Л.М., Митропольский Ю.И., Пучков И.И. Архитектура неоднородной вычислительной суперсистемы // Труды Пятого Международного семинара97

11. Распределенная обработка информации», Институт физики полупроводников СО РАН. -Новосибирск. 1995. - С. 22-27.

12. Митропольский Ю.И. Концепции построения неоднородных вычислительных суперсистем // Труды Пятого Международного семинара «Распределенная обработка информации», Институт физики полупроводников СО РАН. Новосибирск. - 1995. - С. 4246.

13. Митропольский Ю.И. Суперсистемы следующий этап развития суперЭВМ // Информационные технологии и вычислительные системы. - М.: ОИВТА РАН, ИВВС РАН. - 1996. -№ 1. - С. 9-16.

14. Митропольский Ю.И., Анохин A.B., Пучков И.И. Архитектура коммутационной сети многопроцессорной системы // Доклад на VI Конференции РТА «Многопроцессорные системы, вычислительные технологии». Домодедово. - 1996.

15. The СВ-С10 family. Data book NEC Electronic Inc. Doc. No. A12504EU1VODSOO, 1997.

16. Митропольский Ю.И. Мультиконвейерный унипроцессор // В сб: Вычислительные машины с нетрадиционной архитектурой. Супер ВМ. Выпуск 5. Неоднородные вычислительные суперсистемы. М.: ИВВС РАН. - 1997. - С. 50-64.98

17. Анохин А.В., Пучков И.И. Межкластерный коммутатор мультипроцессора // В сб: Вычислительные машины с нетрадиционной архитектурой. Супер ВМ. Выпуск 5. Неоднородные вычислительные суперсистемы. М.: ИВВС РАН. - 1997. - С. 37-49.

18. Бояринов И М. Исправление ошибок в полупроводниковой памяти вычислительной системы // В сб: Вычислительные машины с нетрадиционной архитектурой. Супер ВМ. Выпуск 5. Неоднородные вычислительные суперсистемы. М.: ИВВС РАН. - 1997. - С 82-100.

19. Анохин А.В., Ленгник Л.М., Митропольский Ю.И., Пучков И.И. Архитектура и проблемы эффективности неоднородной вычислительной суперсистемы // Информационные технологии и вычислительные системы. М.: ОИВТА РАН, ИВВС РАН. - 1997. -№ 4. - С. 12-31.

20. Пучков И.И. Проблемы коммутации в неоднородной вычислительной суперсистеме // Труды Шестого Международного семинара «Распределенная обработка информации», Институт физики полупроводников СО РАН. Новосибирск. - 1998. - С. 91-95.

21. Митропольский Ю.И., Анохин А.В., Пучков И.И. и др. Разработка архитектуры перспективной высокопроизводительной вычислительной системы // Проект 037.02.245.49 Миннауки РФ. Итоговый отчет. М.: ИВВС РАН, 1998.

22. Пучков И.И. Проблемы коммутации и синхронной передачи информации в суперЭВМ // Научная конференция, посвященная 70-летию со дня рождения академика В.А. Мельникова. Сб. докладов. -М. 1999. - С. 238-241.

23. Принципы работы системы ШМ/370. Пер. с англ.-М.: Мир, 1978.-576 С.

24. Интерфейсы систем обработки данных: Справочник / Под ред. А.А. Мячева.-М.: Радио и связь, 1989. -416 С.

25. К. Hwang. Advanced Computer Architecture. -N.Y.: Mc.Craw-Hill. -1993.