Архитектура коммуникационной сети с топологией kD-тор тема диссертации и автореферата по ВАК РФ 00.00.00, доктор наук Симонов Алексей Сергеевич

• Симонов Алексей Сергеевич
• доктор наук
• 2023

Оглавление диссертации доктор наук Симонов Алексей Сергеевич

Введение

1 Анализ состояния проблемы обеспечения высокой производительности многопроцессорных вычислительных систем

1.1 Общие сведения

1.2 Программные модели взаимодействия приложений в многопроцессорных вычислительных системах

1.3 Актуальные задачи, решаемые с использованием многопроцессорных вычислительных систем

1.4 Анализ коммерчески доступных и заказных коммуникационных

сетей многопроцессорных вычислительных систем

1.5 Тесты оценки производительности многопроцессорных вычислительных систем

1.6 Проблемные вопросы и пути повышения производительности многопроцессорных вычислительных систем

1.7 Оценка эффективности коммуникационной сети

1.8 Постановка задачи исследования

1.9 Выводы по главе

2 Имитационная модель коммуникационной сети

2.1 Общие сведения и параметры имитационной модели коммуникационной сети

2.2 Структура и описание работы имитационной модели

2.3 Рабочая нагрузка

2.4 Адекватность имитационной модели

2.5 Выводы по главе

3 Архитектура коммуникационной сети для высокопроизводительных

многопроцессорных вычислительных систем

3.1 Базовые архитектурные решения коммуникационной сети

3.2 Проведение исследований архитектурных решений коммуникационной сети

3.3 Методика построения подсети коллективных операций коммуникационной сети с топологией Ш-тор

3.4 Методика обеспечения отказоустойчивости коммуникационной сети

с топологией Ш-тор на различных уровнях передачи данных

3.5 Выводы по главе

4 Технические решения коммуникационной сети с топологией Ш-тор для высокопроизводительных многопроцессорных вычислительных систем

4.1 Микроархитектура и принципы функционирования заказной СБИС маршрутизатора коммуникационной сети

4.2 Методика многоуровневой верификации заказной СБИС коммуникационной сети

4.3 Стек программного обеспечения коммуникационной сети

4.4 Отдельные вопросы проектирования заказной СБИС маршрутизатора коммуникационной сети и сетевого оборудования

4.5 Выводы по главе

5 Оценочное тестирование и направления совершенствования коммуникационной сети Ангара с топологией Ю-тор

5.1 Совместимость сетевого оборудования коммуникационной сети Ангара с процессорными архитектурами и операционными

системами

5.2 Достигнутые характеристики сетевого оборудования Ангара

5.3 Результаты экспериментальных исследований многопроцессорных вычислительных систем, оснащённых коммуникационной сетью

Ангара

5.4 Направления внедрения коммуникационной сети Ангара

5.5 Направления дальнейшего развития коммуникационной сети Ангара

5.6 Выводы по главе

Заключение

Список сокращений и условных обозначений

Список литературы

Список рисунков

Список таблиц

Приложение А Подтверждение адекватности имитационной модели

коммуникационной сети с топологией Ш-тор

Приложение Б Акты внедрения результатов диссертационной работы

Введение диссертации (часть автореферата) на тему «Архитектура коммуникационной сети с топологией kD-тор»

Введение

Актуальность темы исследования. Многопроцессорные вычислительные системы (далее МВС) имеют важное значение для решения прикладных задач, направленных на повышение научно-технического потенциала экономики страны. В первую очередь это задачи компьютерного моделирования, обработки Больших Данных, планирования и прогнозирования [11].

Наблюдаемое в настоящее время быстрое развитие технологий виртуального проектирования и компьютерного моделирования, охватывающего широкий спектр расчётов - прочностных, тепловых, электромагнитных, мультифизических, приводит к существенному возрастанию сложности прикладных задач, решаемых с использованием МВС. Особое место в данном ряду занимают задачи аэро- и гидродинамики (далее прикладные задачи целевого класса) как одни из наиболее требовательных к показателям производительности МВС и важных с точки зрения достижения целевых характеристик перспективных образцов промышленной продукции.

На практике это приводит к необходимости создания более производительных МВС с большим числом вычислительных узлов. При этом с увеличением числа узлов МВС, переданных прикладной задаче, растут и затраты процессорного времени на поддержку параллельных вычислений, величина которых в основном определяется архитектурой и характеристиками межузловой коммуникационной сети МВС (далее КС).

Более того, в настоящее время наблюдается увеличение разрыва между ростом производительности процессоров и улучшением основных характеристик КС, что является одним из существенных факторов, ограничивающих реальную производительность МВС при решении прикладных задач.

Противоречие между возрастанием сложности прикладных задач и, как следствие, требованиями к росту производительности МВС, с одной стороны, и недостаточным уровнем знаний в области архитектуры КС, с другой стороны, приводит к низкой производительности МВС при решении прикладных задач целевого класса, что порождает проблемную ситуацию, на решение которой

направлена данная диссертационная работа.

Таким образом, проведение исследований, направленных на выявление архитектурных решений КС, обеспечивающих повышение производительности МВС при решении прикладных задач целевого класса, является актуальной научной задачей.

Её решение позволит повысить производительность МВС при решении прикладных задач целевого класса, снизить временные и финансовые затраты на их решение, повысить технико-экономические показатели практического применения МВС.

Актуальность темы диссертационных исследований подтверждается п. 18 «Технологии и программное обеспечение распределённых и высокопроизводительных вычислительных систем» Перечня критических технологий Российской Федерации, утверждённого Указом Президента Российской Федерации от 7 июля 2011 г. № 899, обеспечивает Национальные интересы в информационной сфере, заданные Доктриной информационной безопасности Российской Федерации, утверждённой Указом Президента Российской Федерации от 5 декабря 2016 г. № 646.

Степень разработанности темы исследования. Важный вклад в развитие теории КС внесли многие учёные и инженеры, в том числе W. Dally, J. Duato, M. Blumrich, N. Adiga, P. Kermani, V. Puente, S. Scott, G. Thorson.

Учитывая важность решения проблемы обеспечения высокой производительности МВС при решении задач, направленных на повышение научно-технического потенциала экономики страны, в России, помимо проекта создания КС Ангара, имеется ряд проектов по созданию КС.

Так, в ФГУ «ФИЦ ИПМ им. М. В. Келдыша РАН» и ФГУП «НИИ "Квант"» разработаны технические решения КС МВС-Экспресс [55] (В. К. Левин, Б. Н. Четверушкин, Г. С. Елизаров, В. С. Горбунов, А. О. Лацис, В. В. Корнеев, А. А. Соколов, Д. В. Андрюшин, Ю. А. Климов), построенной на основе зарубежных коммутаторов PCI Express компании PLX Technology с отечественным стеком программного обеспечения (далее ПО).

Во ФГУП «РФЯЦ-ВНИИЭФ» разработаны технические решения системы межпроцессорного обмена СМПО-IOG [37, 38] (А. А. Холостов, Р. М. Шагалиев, В. А. Свиридов, Н. Н. Залялов, В. С. Попов, С. В. Дыдыкин, М. П. Авдеев, П. О. Костин, В. М. Вялухин, Д. А. Жуков, В. Г. Басалов, В. Н. Стрюков), основу которой составляет заказная сверхбольшая интегральная схема (далее СБИС). Первые образцы СМПО-IOG представлены в 2018 г. Информации об этой разработке в открытых публикациях недостаточно.

В ФГБУН «ИПС им. А.К. Айламазяна РАН» разработаны основанные на программируемых логических интегральных схемах (далее ПЛИС) технические решения КС СКИФ-Аврора [36] и Паутина [48] (Ю. А. Климов, А. Б. Шворин, А. Ю. Хренов, И. А. Адамович, А. Ю. Орлов, С. М. Абрамов, Ю. В. Шевчук, А. Ю. Пономарев).

Перечисленные проекты сыграли важную роль в развитии направления создания КС для отечественных МВС, однако они обладают рядом ограничений. Так, технические решения, выбранные в ходе разработки МВС-Экспресс, обеспечивают возможность создания лишь МВС с небольшим числом узлов. Архитектурные решения, принятые при разработке КС СМПО-IOG, адаптированы для передачи пакетов большого размера, что ограничивает область применения задачами, специфичными для предметной области предприятия-разработчика. КС СКИФ-Аврора и Паутина в силу особенностей реализации по коммуникационной задержке уступают коммерчески доступным КС.

Среди КС заказных зарубежных МВС наибольший интерес представляют технические решения CRAY Gemini [87] с топологией 30-тор и CRAY Aries [88, 115] с топологией Dragonfly, применяемые в составе линеек МВС высшего диапазона производительности CRAY (S. Scott, R. Alverson, D. Abts, G. Faanes и др., США), КС МВС высшего диапазона производительности IBM BlueGene/Q с топологией 5D-тор [122] (N. R. Adiga, M. A. Blumrich, D. Chen, R. Haring и др., США), КС Tofu [82], Tofu2 [83], TofuD [84] с топологией 6D^ для МВС высшего диапазона производительности компании Fujitsu (T. Inoue, Y. Ajima, S. Hiramoto и др., Япония), европейская КС Extoll с топологией 3D-тор [139]

(S. Neuwirth, D. Frey, M. Nuessle, U. Bruening), китайская КС Sugon с топологией 3D-тор [149] (C. Sha, P. Yan, D. Qin). Перечисленные КС во многом и обеспечивают более высокую реальную производительность зарубежных заказных МВС по сравнению с МВС, построенными на основе коммерчески доступных КС Infiniband фирмы Mellanox [150, 189, 190] (США, Израиль) и OmniPath фирмы Intel [191] (США).

Целью диссертации является повышение производительности МВС при решении сложных прикладных задач за счёт разработки новой архитектуры, методик построения и технических решений КС.

Объектом исследования является процесс передачи данных между узлами МВС при решении прикладных задач целевого класса.

Предметом исследования являются архитектурные и технические решения КС, определяющие производительность МВС при решении прикладных задач целевого класса.

Границы исследования определяются технической реализуемостью КС.

Задачи исследования:

1 Разработка параметризованной многофункциональной имитационной модели КС (далее ИМ), позволяющей проводить исследования процесса передачи данных между узлами МВС с учётом различных архитектурных решений.

2 Разработка архитектуры КС, обеспечивающей повышение производительности МВС при решении прикладных задач целевого класса:

- оценка влияния базовых архитектурных решений и значений архитектурных параметров КС на время выполнения коммуникационных операций. Обоснование архитектуры и значений архитектурных параметров КС;

- разработка методики построения подсети коллективных операций, позволяющей приблизить временную сложность их выполнения в КС с топологией kD-тор к теоретическому пределу;

- разработка методики обеспечения отказоустойчивости КС с топологией kD-тор, позволяющей сохранить высокую производительность МВС в условиях одиночных отказов её элементов.

3 Разработка методики многоуровневой верификации заказной СБИС маршрутизатора КС, позволяющей осуществить успешную разработку схемотехнических и топологических решений заказной СБИС маршрутизатора КС за один цикл проектирования.

4 На основе полученных результатов разработка технических решений КС Ангара, включая микроархитектурные, схемотехнические и топологические решения заказной СБИС маршрутизатора КС, схемотехнические, конструктивные и программно-алгоритмические решения сетевого оборудования. Проведение оценочного тестирования МВС, построенной на основе разработанной КС Ангара с топологией Ш-тор.

5 Определение направлений совершенствования КС Ангара, формирование требований к сетевому оборудованию Ангара следующих поколений.

Научная новизна. Научная новизна заключается в разработке архитектуры и технических решений КС с топологией Ш-тор, обеспечивающих повышение производительности МВС при решении прикладных задач целевого класса, и подтверждается следующими научными результатами:

1) разработана параметризованная многофункциональная имитационная модель КС, отличающаяся возможностью оценки влияния различных комбинаций архитектурных решений и топологии внутренних связей между элементами микроархитектуры КС на параметры КС под рабочей нагрузкой;

2) предложена и обоснована архитектура КС с топологией Ю-тор, отличающаяся от известных реализацией коллективных операций в выделенных виртуальных подсетях и наличием обходных каналов связи, что позволяет повысить производительность МВС при решении прикладных задач целевого класса;

3) предложена методика построения подсети коллективных операций, в отличие от существующих позволяющая приблизить временную сложность их выполнения в КС с топологией Ш-тор к теоретическому пределу;

4) предложена методика обеспечения отказоустойчивости КС с топологией Ш-тор, в отличие от существующих позволяющая сохранить высокую производительность МВС в условиях одиночных отказов её элементов;

5) предложена и обоснована методика многоуровневой верификации заказной СБИС маршрутизатора КС, позволяющая осуществить успешную разработку схемотехнических и топологических решений заказной СБИС маршрутизатора КС за один цикл проектирования, отличающаяся от известных разработанными специально для КС способами и алгоритмами верификации;

6) разработаны технические решения по микроархитектуре заказной СБИС маршрутизатора КС Ангара с топологией Ю-тор, отличающиеся от известных микроархитектурными реализациями методик построения подсети коллективных операций и обеспечения отказоустойчивости КС с топологией Ш-тор.

Теоретическая значимость работы. В диссертационной работе внесен вклад в развитие теории построения КС с топологией Ю-тор. С использованием методов системного анализа и синтеза, имитационного моделирования, аппарата линейной алгебры, теории массового обслуживания и теории надёжности предложена архитектура КС с топологией Ш-тор, получены аналитические оценки временной сложности основных операций и величины архитектурных параметров КС, обоснованы методики, позволяющие повысить производительность МВС при решении прикладных задач целевого класса по сравнению с МВС, построенными на основе коммерчески доступных КС, реализованных на сопоставимых микроэлектронных технологиях.

Практическая значимость работы:

1 Разработанная автором имитационная модель позволяет проводить исследования различных решений по архитектуре КС (топологии, алгоритмам маршрутизации, дисциплинам передачи данных) под рабочей нагрузкой и осуществлять верификацию заказной СБИС маршрутизатора КС.

2 Предложенная архитектура КС с топологией Ю-тор, методика построения подсети коллективных операций, методика обеспечения отказоустойчивости КС с топологией Ю-тор, позволяют уменьшить коммуникационную задержку на 15 %

по сравнению с существующими коммуникационными сетями зарубежного производства, повысить масштабируемость производительности МВС от 20 до 50 % при решении задач компьютерного моделирования и довести уровень коэффициента готовности МВС размером 2000 узлов до 0.99.

3 Предложенная методика многоуровневой верификации заказной СБИС маршрутизатора КС позволяет осуществить успешную разработку схемотехнических и топологических решений заказной СБИС маршрутизатора КС за один цикл проектирования.

4 Применение разработанной в диссертационной работе архитектуры КС, предложенных и обоснованных методик, алгоритмов и технических решений позволило сформировать направление по созданию отечественного сетевого оборудования Ангара с топологией Ш-тор, опережающего КС передовых зарубежных МВС высшего диапазона производительности по коммуникационной задержке и позволяющего обеспечить более высокую производительность МВС при решении прикладных задач целевого класса по сравнению с МВС, построенными на основе коммерчески доступных КС, реализованных на сопоставимых микроэлектронных технологиях.

Реализация и внедрение результатов работы. Основные результаты диссертационной работы были реализованы в АО «НИЦЭВТ» в рамках серии НИОКР по созданию КС Ангара с топологией 4Б-тор (темы № 25/96, № РС/06/325/НТБ/К, № РС/07/327/НТБ/к, № РС/07/804ЮПК/к,

№ 10411.1003902.11.011), в серии ОКР по созданию высокопроизводительных МВС (темы № 13411.1400099.11.123, № 15411.169999.11.023,

№ 07-22/2018/265); во ФГУП «НИИ "Квант"» (темы № 360811/5, № 360821/7, № 11/2010); в АО «Концерн "Вега"» (тема № 20/6-667-14); в АО «НИИП им. В. В. Тихомирова» (темы № 1820187199702452245002384/994, № 20/02-06-234-18, № 20/02-06-1322-18, № 1727187323191452208001139/20/02-02430-19); при подготовке технических заданий и создании МВС в Центре компьютерного моделирования Госкорпорации Ростех, МВС Десмос и Фишер во ФГБУН «Объединённый институт высоких температур РАН», мобильных МВС

во ФГУП «РФЯЦ-ВНИИТФ им. академ. Е. И. Забабахина», компактных МВС в АО «НИКИЭТ», в учебном процессе МАИ на кафедре 304 «Вычислительные машины, системы и сети» в рамках дисциплины «Телекоммуникационные системы и сети».

Полученные в диссертационной работе результаты внедрены при создании КС Ангара с топологией 4D-тор для МВС с высокой производительностью, применяемых в учреждениях науки и на предприятиях промышленности. Внедрение результатов диссертационной работы подтверждается соответствующими актами.

Методология и методы исследования. При выполнении диссертационных исследований использовались методы системного анализа и синтеза, линейной алгебры, теории массового обслуживания, теории надёжности, имитационного моделирования, передачи данных, многопроцессорных вычислений, схемотехнического конструирования и экспериментального прототипирования, численные методы.

Положения, выносимые на защиту:

1 Параметризованная многофункциональная имитационная модель КС, позволяющая проводить исследования процесса передачи данных между узлами МВС с учётом различных архитектурных решений.

2 Архитектура КС, обеспечивающая повышение производительности МВС при решении прикладных задач целевого класса по сравнению с МВС, построенными на основе коммерчески доступных КС, реализованных на сопоставимых микроэлектронных технологиях, включающая:

а) совокупность базовых архитектурных решений по топологии, дисциплине передачи данных, алгоритмам маршрутизации;

б) значения архитектурных параметров КС с топологией Ю-тор, обеспечивающие повышение производительности МВС при решении прикладных задач целевого класса;

в) методику построения подсети коллективных операций, позволяющую приблизить временную сложность их выполнения в КС с топологией Ю-тор к

теоретическому пределу;

г) методику обеспечения отказоустойчивости КС с топологией Ш-тор, позволяющую сохранить высокую производительность МВС в условиях одиночных отказов её элементов.

3 Методика многоуровневой верификации заказной СБИС маршрутизатора КС, позволяющая осуществить успешную разработку схемотехнических и топологических решений заказной СБИС маршрутизатора КС за один цикл проектирования.

4 Технические решения КС Ангара, включая микроархитектурные, схемотехнические и топологические решения заказной СБИС маршрутизатора КС, схемотехнические, конструктивные и программно-алгоритмические решения сетевого оборудования.

Степень достоверности и апробация результатов работы. Достоверность полученных научных результатов подтверждается приведёнными в работе аналитическими расчётами, сходимостью результатов расчётов, имитационного моделирования и оценочного тестирования, актами испытаний, внедрения и практической эксплуатации КС Ангара в составе МВС с высокой производительностью, созданных для нужд учреждений науки и предприятий промышленности.

Результаты работы докладывались и обсуждались на российских и международных конференциях, в том числе:

- на научно-технической конференции «Перспективные направления развития средств вычислительной техники», г. Москва, 2011 г.;

- на XVI Международной научно-практической конференции «Системный анализ в проектировании и управлении», г. Санкт-Петербург, 2012 г.;

- на X Международном симпозиуме по фундаментальным и прикладным проблемам науки, посвящённом 70-летию Победы, с. Непряхино Челябинской обл., 2015 г.;

- на Международной конференции «Суперкомпьютерные дни в России», г. Москва, 2015, 2016, 2017, 2019, 2020 гг.;

- на 4-й и 5-й Всероссийской научно-технической конференции «Суперкомпьютерные технологии» (СКТ-2016, СКТ-2018), с. Дивноморское,

2016 г. и 2018 г.;

- на научно-практической конференции «Технологии параллельной обработки больших графов GraphHPC-2016», г. Москва, 2016 г.;

- на Международной конференции «Параллельные вычислительные технологии (ПаВТ'2016)», г. Архангельск, 2016 г., и ПаВТ'2017, г. Казань, 2017 г.;

- на 12-й Международной конференции по параллельным вычислениям и прикладной математике PPAM-2017, г. Люблин, Польша, 2017 г.;

- на Международной конференции по параллельным вычислениям «Parallel computational technologies (PCT) 2017», г. Казань, 2017 г.;

- на Международном форуме «Инженерные системы - 2017», г. Москва,

2017 г.;

- на конференции «Национальный суперкомпьютерный форум» (НСКФ-2019), г. Переславль-Залесский, 2019 г.;

- на Международной конференции «Distributed Computer and Communication Networks (DCCN 2020)», г. Москва, 2020 г.

Публикации. По теме диссертации опубликовано 35 научных работ, из которых 14 опубликованы в ведущих рецензируемых научных журналах, входящих в Перечень ВАК при Минобрнауки России, 8 научных работ опубликовано в российских и зарубежных изданиях, индексируемых в системах Web of Science, Scopus. Получено 3 свидетельства о государственной регистрации программ для ЭВМ.

Личный вклад автора. Основные научные результаты диссертационной работы получены автором самостоятельно. В большинстве работ, опубликованных в соавторстве, соискателю принадлежит определяющая роль при постановке задачи, ее исследовании, в разработке концептуальных положений, моделей, алгоритмов и получении результатов.

Параметризованная многофункциональная имитационная модель КС разработана автором лично. При разработке архитектуры КС с топологией kD-тор

автором обоснованы ключевые архитектурные решения и принципы работы КС с топологией Ш-тор. Значения архитектурных параметров КС с топологией Ю-тор получены и обоснованы автором лично. При разработке методики построения подсети коллективных операций автором предложено создание отдельной виртуальной подсети коллективных операций и обходных каналов связи, осуществлена разработка ключевых алгоритмов, проведены исследования и оценка их временной сложности. При разработке методики обеспечения отказоустойчивости КС с топологией Ш-тор автором предложены концепция, ключевые алгоритмы и протоколы, проведена оценка эффекта применения предложенной методики. При разработке методики многоуровневой верификации заказной СБИС маршрутизатора КС автором предложены концепция, ключевые способы и алгоритмы. Программа анализа трассировочной информации автором разработана лично. При разработке технических решений КС Ангара автором предложена микроархитектура и ключевые технические решения заказной СБИС маршрутизатора КС и сетевого оборудования КС Ангара, проведены расчёты основных параметров.

Соответствие паспорту специальности. Диссертационная работа соответствует пунктам 1, 3, 4, 6, 8 паспорта специальности 2.3.2. Вычислительные системы и их элементы (технические науки).

Структура и объем диссертации. Материалы диссертации изложены на 318 страницах машинописного текста, включают введение, 5 глав, заключение, список литературы из 205 наименований, список иллюстративного материала и 2 приложения. Работа содержит 87 рисунков и 42 таблицы.

1 Анализ состояния проблемы обеспечения высокой производительности многопроцессорных вычислительных

систем

1.1 Общие сведения

Суперкомпьютерные технологии (далее СКТ) играют важнейшую роль в инновационном развитии крупнейших мировых держав - Российской Федерации, Китая, США, Японии, стран Евросоюза. Рост производительности МВС позволяет решать совершенно новые задачи в области науки и промышленности.

В Российской Федерации развитию СКТ уделяется большое внимание [2]. В 2010 г. для координации деятельности организаций, участвующих в создании, развитии и внедрении СКТ, в соответствии с «Концепцией долгосрочного социально-экономического развития Российской Федерации до 2020 года» и «Планом мероприятий по стимулированию инновационной активности предприятий, осуществляемых в рамках реализации в 2009-2010 годах Основных направлений деятельности Правительства Российской Федерации» решением Президиума Правительственной комиссии по высоким технологиям и инновациям, протокол от 2 августа 2010 г. № 3, создана Национальная Суперкомпьютерная Технологическая Платформа, в которую входят несколько десятков организаций, осуществляющих разработку и внедрение СКТ в России и за рубежом.

Правительство РФ, понимая важность СКТ для развития России, уделяет данному вопросу пристальное внимание. Так в Перечень критических технологий Российской Федерации, утверждённый Указом Президента РФ от 7 июля 2011 г. № 899, включены «Технологии и программное обеспечение распределённых и высокопроизводительных вычислительных систем», что является основанием для получения финансовой поддержки работ в данной области со стороны государства.

Минпромторг России осуществляет финансирование отдельных проектов в области разработки СКТ отечественными предприятиями, правительство Союзного государства России и Беларуси профинансировало несколько союзных научно-технических программ по разработке и внедрению СКТ в науку и промышленность.

Стратегические компьютерные технологии и программное обеспечение определены в числе основных направлений деятельности созданной в 2009 г. Комиссии при Президенте Российской Федерации по модернизации и технологическому развитию экономики России. Её решением в 2010 г. запущен проект «Суперкомпьютерное образование», который всего за несколько лет обрёл всероссийский масштаб. В рамках данного проекта в ведущих ВУЗах России создана сеть научно-образовательных центров СКТ, разработано учебно-методическое обеспечение, реализуются образовательные программы подготовки, переподготовки и повышения квалификации кадров в области СКТ. С целью интеграции фундаментальных и прикладных исследований и образования в области СКТ налажено взаимодействие учебных заведений с организациями РАН, промышленностью, бизнесом.

Таким образом, напрашивается вывод о том, что СКТ в России есть и активно развиваются. Однако, это не совсем так. В России развиваются технологии применения СКТ и МВС, включая технологии разработки параллельного ПО, а вот с технологиями разработки МВС дело обстоит сложнее.

Современные отечественные МВС собираются из зарубежных комплектующих, поставляемых в Россию ведущими технологически развитыми странами, прежде всего, США. Фактически, отечественные МВС, в строгом смысле, представляют собой лишь МВС отечественной сборки, и, учитывая доступный технический уровень комплектующих, значительно отстают от лучших образцов зарубежных МВС, в первую очередь по реальной производительности. И с дальнейшим ростом производительности процессоров эта проблема лишь усугубляется.

Во многом это обусловлено ограничениями, определяемыми

характеристиками используемого для объединения вычислительных узлов, доступного для приобретения в России зарубежного коммуникационного оборудования Infiniband фирмы Mellanox (США, Израиль) и OmniPath фирмы Intel (США). Как следствие, решение сложных вычислительных задач, направленных на повышение научно-технического потенциала экономики страны, значительно усложняется или не представляется возможным.

При этом, передовые зарубежные МВС оснащаются заказными КС, недоступными для приобретения и опережающими коммерчески доступные КС по характеристикам. Так, шесть МВС из первой десятки списка TOP500 наиболее мощных суперкомпьютеров в мире были оснащены заказными КС фирм CRAY (США), IBM (США), NUDT (Китай) [204].

Традиционно проблема значительного отставания производительности отечественных МВС от зарубежных у нас в стране решается силами программистов за счёт оптимизации алгоритмов решения задач, однако этот путь не всегда доступен. Так, при проведении инженерных расчётов в российской промышленности, как правило, используются зарубежные пакеты программ фирм ANSYS, Siemens, Flow Science, GDT Software Group и другие, исходные тексты ПО которых недоступны. Схожая ситуация и со свободно распространяемыми пакетами OpenFOAM (вычислительная гидродинамика), GROMACS (молекулярная динамика), LAMMPS (молекулярная динамика), объём исходного текста ПО которых столь велик, что задача его оптимизации является практически невыполнимой.

Список литературы диссертационного исследования доктор наук Симонов Алексей Сергеевич, 2023 год

Список таблиц

Таблица 1.1 - Характеристики многопроцессорных вычислительных систем высшего диапазона производительности на основе

коммуникационной сети 1пйтЬапё............................................................................36

Таблица 1.2 - Характеристики многопроцессорных вычислительных систем высшего диапазона производительности, построенных на основе

заказных коммуникационных сетей............................................................................37

Таблица 1.3 - Состав №В 1.........................................................................................55

Таблица 1.4 - Дополнения №В 2 и 3..........................................................................57

Таблица 1.5 - Классификация тестов по размерности решаемых задач.................59

Таблица 2.1 - Основные параметры имитационной модели....................................71

Таблица 3.1 - Аналитическая оценка времени на выполнение операции

обмена граничными условиями...................................................................................89

Таблица 3.2 - Сведения о достоинствах и недостатках различных

топологий КС.................................................................................................................90

Таблица 3.3 - Основные принципы работы существующих дисциплин

передачи данных............................................................................................................92

Таблица 3.4 - Оценка применимости различных дисциплин передачи

данных при разработке КС...........................................................................................93

Таблица 3.5 - Особенности адаптивных алгоритмов маршрутизации....................98

Таблица 3.6 - Оценка применимости различных адаптивных алгоритмов

маршрутизации при разработке КС.............................................................................99

Таблица 3.7 - Интерфейсы с процессором заказных и коммерчески

доступных коммуникационных сетей.......................................................................105

Таблица 3.8 - Функции маршрутизатора и их применимость...............................109

Таблица 3.9 - Обобщённый состав низкоуровневых операций, выполняемых маршрутизатором КС.........................................................................111

Таблица 3.10 - Основные функции, выполняемые при взаимодействии

процессора вычислительного узла и коммуникационной сети..............................113

Таблица 3.11 - Аргументы выбора варианта реализации

коммуникационной сети.............................................................................................115

Таблица 3.12 - Результаты имитационного моделирования пропускной способности коммуникационной сети с топологией Fat Tree на тесте

Random Access.............................................................................................................118

Таблица 3.13 - Результаты имитационного моделирования пропускной способности коммуникационной сети с топологией 4D-тор на тесте

Random Access.............................................................................................................119

Таблица 3.14 - Результаты сопоставления оценки среднего времени выполнения коммуникационной операции записи данных в память удалённого узла, полученные в ходе имитационного моделирования КС при выполнении теста Ping-Pong, с результатами оценочного тестирования коммерчески доступной КС Infiniband FDR.............................................................121

Таблица 3.15 - Результаты оценки среднего времени выполнения коммуникационной операции записи данных в память удалённого узла в зависимости от соотношения между агрегатной пропускной способностью линков маршрутизатора и пропускной способностью интерфейса с

процессором при выполнении теста Random Access..............................................123

Таблица 3.16 - Технически обоснованные варианты реализации коммуникационной сети с учётом ограничения на предельное число

лейнов корпуса СБИС.................................................................................................126

Таблица 3.17 - Параметры МВС..............................................................................127

Таблица 3.18 - Результаты оценки среднего времени выполнения коммуникационной операции записи данных в память удалённого узла для вариантов размерности топологии коммуникационной сети, ширины и

параметров линков......................................................................................................127

Таблица 3.19 - Результаты оценки пропускной способности в зависимости от размеров FIFO-буферов виртуальных каналов линков маршрутизатора.........131

Таблица 3.20 - Сопоставление оценки времени выполнения операции broadcast в зависимости от количества вычислительных узлов для

коммуникационной сети с топологией 3Э-тор........................................................142

Таблица 3.21 - Сопоставление оценки времени выполнения операции broadcast в зависимости от количества вычислительных узлов для

коммуникационной сети с топологией 4Э-тор........................................................143

Таблица 3.22 - Номенклатура и порядок реализации в коммуникационной

сети коллективных операций, определённых стандартом MPI..............................147

Таблица 3.23 - Результаты расчёта коэффициента готовности без и с применением методики обеспечения отказоустойчивости коммуникационной сети с топологией kD-тор на различных уровнях

передачи данных..........................................................................................................165

Таблица 3.24 - Количество узлов многопроцессорной вычислительной

системы и размерности по координатам КС............................................................166

Таблица 3.25 - Результаты имитационного моделирования деградации

характеристик МВС при возникновении отказов линий связи..............................166

Таблица 4.1 - Варианты реализации заказной СБИС маршрутизатора

коммуникационной сети Ангара...............................................................................211

Таблица 4.2 - Основные параметры корпусов СБИС типа BGA/LGA..................216

Таблица 4.3 - Основные параметры корпусов СБИС типа PGA...........................217

Таблица 4.4 - Основные технические характеристики заказной СБИС

маршрутизатора коммуникационной сети Ангара..................................................219

Таблица 5.1 - Перечень процессорных архитектур и операционных систем,

совместимых с сетевым оборудованием коммуникационной сети Ангара..........227

Таблица 5.2 - Основные характеристики сетевого оборудования Ангара с топологией 4D-тор в сопоставлении с зарубежными коммерчески доступными и заказными коммуникационными сетями, а также отечественной коммуникационной сетью СМПО-ЮО...........................................229

Таблица 5.3 - Характеристики многопроцессорных вычислительных систем, использованных для сопоставления характеристик

коммуникационных сетей Ангара и Infiniband........................................................230

Таблица 5.4 - Оценка показателей сбалансированности характеристик многопроцессорных вычислительных систем высшего диапазона

производительности....................................................................................................243

Таблица А.1 - Количество тактов ожидания между пакетами, добавляемых

контроллером PCI Express в зависимости от размера пакета.................................301

Таблица А.2 - Результаты оценки пропускной способности..................................302

Таблица А.3 - Результаты оценки коммуникационной задержки..........................303

Приложение А

(обязательное)

Подтверждение адекватности имитационной модели коммуникационной

сети с топологией kD-тор

А.1 Подтверждение адекватности имитационной модели коммуникационной сети с топологией kD-тор (далее ИМ, КС соответственно) проведено путём сопоставления результатов имитационного моделирования с данными, полученными с помощью аналитических расчётов и с использованием метода прототипирования при выполнении тестов на многопроцессорной вычислительной системе (далее МВС), оснащённой КС Ангара.

При разработке ИМ приняты разумные допущения, оказывающие несущественное влияние на точность моделирования:

- при моделировании используется единая тактовая частота для всех узлов маршрутизатора, скорректированная с учетом потери пропускной способности трансиверов за счёт применения избыточного кодирования;

- работа трансиверов с линиями связи и интерфейса с процессором узла модулируется с помощью очередей.

Известно, что чем сложнее тест, тем выше влияние на его результаты системных параметров, напрямую не связанных с характеристиками коммуникационной сети, таких как тактовая частота и количество ядер процессоров узлов МВС, параметры Root Complex PCI Express, параметры оперативной памяти и т.д. Очевидно, что для получения объективного результата необходимо минимизировать влияние системных параметров. В этой связи было принято решение осуществлять сопоставление лишь на простом тесте при выполнении операции записи данных в память удалённого узла.

А.2 Аналитическая оценка пропускной способности при выполнении

операции записи в память удалённого узла осуществлялась в соответствии с соотношением:

V = KL*K*-— , (А.1)

L Qpkt+NG(Qpkt) v 7

где V - средняя пропускная способность, бит/с;

- пиковая пропускная способность линка, бит/с;

K - поправочный коэффициент;

Qdata - размер поля данных пакета, флит;

Qpfct - размер пакета, флит;

NG(Qpkt) - количество тактов ожидания между пакетами, добавляемых контроллером PCI Express в зависимости от размера пакета.

Пиковая пропускная способность линка в сети Ангара составляет 75 Гбит/с. Значение поправочного коэффициента K определяется примененным в трансиверах методом кодирования, в сети Ангара используется метод кодирования 8/10, соответственно, величина K = 0.8. Пакет включает поле данных и 3 служебных флита. Величина NG(Qpkt) - количество тактов ожидания между пакетами, добавляемых контроллером PCI Express в зависимости от размера пакета, определяется в технической документации на выбранный контроллер в соответствии с таблицей А. 1.

Таблица А.1 - Количество тактов ожидания между пакетами, добавляемых контроллером PCI Express в зависимости от размера пакета

Qpkt Qdata NG(Qpkt)

4 1 5

5 2 4

7 4 3

11 8 1

19 16 0

Учитывая то, что пропускная способность практически не зависит от расстояния между узлами, в таблице А.2 приведены результаты сравнительной оценки только при обмене между соседними узлами.

Таблица А.2 - Результаты оценки пропускной способности

Q d ata> флит (байт) Результаты оценки пропускной способности

Аналитический расчёт Имитационное моделирование Прототип на основе СБИС, Гбит/с

Результат, Гбит/с Отклонение от прототипа, % Результат, Гбит/с Отклонение от прототипа, %

1 (16) 6.67 9.3 6.445 5.6 6.1

2 (32) 13.33 10.3 12.877 6.5 12.085

4 (64) 24.0 1.7 23.379 4.2 24.402

8(128) 40.0 1.3 39.475 2.6 40.521

16 (256) 50.52 0.8 48.831 2.6 50.119

32 (512) 50.52 1.0 48.796 2.5 50.023

А.3 Аналитическая оценка коммуникационной задержки осуществлялась в соответствии с соотношением:

T^f + O-D.ti + fr"+N У • S , (А.2)

где t - коммуникационная задержка при выполнении операции записи

данных в память удалённого узла, нс; - коммуникационная задержка, определяемая временем доставки пакета нулевой длины между двумя соседними узлами, нс;

t 1 - задержка на hop, нс;

/ - длина маршрута, число шагов по КС от узла-источника к узлу-приёмнику;

S f - размер флита, бит;

N - количество пакетов в сообщении.

Коммуникационная задержка , определяемая временем доставки пакета нулевой длины между двумя соседними узлами, в аналитических расчётах принята равной 700 нс. Задержка на hop t1, в расчётах принята равной 130 нс. Размер флита S f равен 128 бит. Результаты сравнительной оценки коммуникационной задержки приведены в таблице А.3.

Таблица А.3 - Результаты оценки коммуникационной задержки

N Qdata > флит Результаты

Аналитический расчёт Имитационное Прототип на

(байт) моделирование основе СБИС,

Результат, Отклонение от Результат, Отклонение от нс

нс прототипа, % нс прототипа, %

Расстояние - 1 юр

1 1 (16) 719 0.03 720 0.14 719

1 2 (32) 719 0.39 721 0.28 722

1 4 (64) 721 0.23 723 0.14 723

1 8 (128) 726 3.25 727 3.2 750

1 16 (256) 743 10.84 742 10.9 833

2 16 (256) 785 8.36 783 8.52 857

Расстояние - 2 юр

1 1 (16) 849 0.14 850 0.24 848

1 2 (32) 849 0.21 851 0.12 851

1 4 (64) 851 0.08 853 0 852

1 8 (128) 856 2.66 857 2.62 879

1 16 (256) 873 9.29 872 9.36 962

2 16 (256) 915 7.17 913 7.3 986

Расстояние - 4 юр

1 1 (16) 1109 0.29 1110 0.36 1106

1 2 (32) 1109 0.02 1110 0.09 1109

1 4 (64) 1111 0.12 1112 0.18 1110

1 8 (128) 1116 1.88 1116 1.85 1137

1 16 (256) 1133 7.16 1132 7.21 1220

2 16 (256) 1175 5.52 1174 5.63 1244

Расстояние - 8 юр

1 1 (16) 1629 0.44 1630 0.49 1622

1 2 (32) 1629 0.26 1630 0.31 1625

1 4 (64) 1631 0.33 1632 0.37 1626

1 8 (128) 1636 1.05 1636 1.03 1653

1 16 (256) 1653 4.80 1652 4.84 1736

2 16 (256) 1695 3.67 1694 3.75 1760

А.4 Результаты имитационного моделирования совпадают с результатами аналитических расчётов. При этом, некоторые расхождения с результатами прототипирования объясняются особенностями работы применённого при проектировании заказной СБИС маршрутизатора КС Ангара СФ-блока интерфейса PCI Express. Учитывая то, что величина погрешности составляет менее 11 %, её влиянием можно пренебречь.

Таким образом, адекватность ИМ обеспечивается структурной и поведенческой близостью к объекту моделирования и подтверждается

сходимостью результатов моделирования как с результатами аналитических расчётов, так и с результатами измерений, проведенных на прототипах сетевого оборудования, построенного на основе разработанной в рамках настоящей работы заказной СБИС маршрутизатора КС Ангара.

Приложение Б

(обязательное) Акты внедрения результатов диссертационной работы

ОТКРЫ ТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО «Концерн радиостроения «ВЕГА»

Россия. 121170, Москва, Кутузовский проспект. 34 Телефон: [phone] Факс: [phone]

E-mail: [e-mail]

№

УТВЕРЖДАЮ

ьный конструктор - первый ь генерального директора, технических]

т РАН

B.C. Верба

работы

АКТ

о внедрении результатов диссертант

Симонова Алексея Сергеевича «Архитектура коммуникационной сети с топологией К(1-Тор», представляемой на соискание ученой степени доктора технических наук по специальности 2.3.2 «Вычислительные системы и их элементы».

Комиссия в составе:

председатель заместитель генерального директора по ГОЗ и НТР, кандидат технических наук Крайлюк А.Д. Члены комиссии:

директор по НИОКР - начальник центра научно - технического развития, кандидат технических наук Мекекечко В.В.

заместитель генерального конструктора, доктор технических наук Меркулов В.И. заместитель директора научно- технического комплекса, кандидат технических наук Юрчик И.А.

составила настоящий акт о том. что в научно-исследовательских и опытно-конструкторских работах, выполняемых в АО «Концерн радиостроення «Вега». внедрены следующие положения и прикладные результаты диссертационной работы Симонова Алексея Сергеевича на тему «Архитектура коммуникационной сети с топологией Ш-тор»:

1. Параметризованная многофункциональная имитационная модель коммуникационной сети (далее - КС), позволяющая проводить исследования процесса передачи данных между узлами многопроцессорных вычислительных систем (далее - МВС) с учётом различных архитектурных решений.

2. Архитектура КС, обеспечивающая повышение производительности МВС при решении прикладных задач целевого класса по сравнению МВС, построенными на основе коммерчески доступных КС, реализованных на сопоставимых микроэлектронных

технологиях, включающая:

2.1. Совокупность базовых архитектурных решений по топологии, дисциплине передачи данных, алгоритмам маршрутизации.

2.2. Значения архитектурных параметров КС с топологией kD-тор, обеспечивающие повышение производительности МВС при решении прикладных задач целевого класса.

2.3. Методику построения подсети коллективных операций, позволяющую приблизить временную сложность их выполнения в КС с топологией kD-тор к теоретическому пределу.

2.4. Методику обеспечения отказоустойчивости КС с топологией kD-тор, позволяющую сохранить высокую производительность МВС в условиях одиночных отказов сС элементов.

3. Методику многоуровневой верификации заказной СБИС маршрутизатора КС, позволяющая осуществить успешную разработку схемотехнических и топологических решений заказной СБИС маршрутизатора КС за один цикл проектирования.

4. Технические решения КС Ангара. включая микроархитектурные, схемотехнические и топологические решения заказной СБИС маршрутизатора КС, схемотехнические, конструктивные и программно-алгоритмические решения сетевого оборудования.

Перечисленные положения и прикладные результаты диссерт ации Симонова A.C. внедрены в ОКР «Прсмьср-476», что позволило:

- решить задачу обеспечения сопровождения заданного в ТТЗ на ОКР числа воздушных целей;

- в 3 раза сократить время, необходимое на перевод управления БИУС с основного на резервный полукомплект серверного оборудования;

- обеспечить непрерывную работу функционального программного обеспечения операторов в процессе испытаний и практической работы.

Председатель комиссии: А ^

заместитель генерального директора по ГОЗ и IГТР,

кандидат технических наук А.Д. Крайлюк

Члены комиссии:

директор по НИОКР - начальник центра

научно технического развития, кандидат технических наук ^.^^¿V^B.B. Мексксчко заместитель генерального конструктора.

доктор технических наук

заместитель директора научно- технического комплекса

кандидат технических наук

Экз. № I

УТВЕРЖДАЮ Директор ФГУП «НИИ «Квант», до ктсух^ехттич ее к и х наук

АКТ

о внедрении результатов диссертационной работы Симонова Алексея Сергеевича на соискание ученой степени доктора технических наук в научно-исследовательских и опытно-конструкторских

работах ФГУП «НИИ «Квант»

Комиссия ФГУП «НИИ «Квант» в составе:

председателя - директора, доктора технических наук, Елизарова Георгия Сергеевича;

членов комиссии:

заместителя директора, кандидата технических наук, Титова Александра Георгиевича;

главного научного сотрудника, доктора технических наук, профессора, Корнеева Виктора Владимировича

составила настоящий акт о том, что в работах ФГУП «НИИ «Квант» внедрены следующие положения и результаты диссертационной работы Симонова Алексея Сергеевича на тему «Архитектура коммуникационной сети с топологией Ш-тор»:

1. Параметризованная многофункциональная имитационная модель коммуникационной сети (далее КС), позволяющая проводить исследования процесса передачи данных между узлами многопроцессорных вычислительных систем (далее МВС) с учётом различных архитектурных решений.

2. Архитектура КС, обеспечивающая повышение производительности МВС при решении прикладных задач целевого класса по сравнению МВС, построенными на основе коммерчески доступных КС, реализованных на сопоставимых микроэлектронных технологиях, включающая:

2.1. Совокупность базовых архитектурных решений по топологии, дисциплине передачи данных, алгоритмам маршрутизации.

2.2. Значения архитектурных параметров КС с топологией kD-тор, обеспечивающие повышение производительности МВС при решении прикладных задач целевого класса.

2.3. Методику построения подсети коллективных операций, позволяющую приблизить временную сложность их выполнения в КС с топологией kD-тор к теоретическому пределу.

2.4. Методику обеспечения отказоустойчивости КС с топологией kD-тор, позволяющую сохранить высокую производительность МВС в условиях одиночных отказов её элементов.

3. Методика многоуровневой верификации заказной СБИС маршрутизатора КС, позволяющая осуществить успешную разработку схемотехнических и топологических решений заказной СБИС маршрутизатора КС за один цикл проектирования.

4. Технические решения КС Ангара, включая микроархитектурные, схемотехнические и топологические решения заказной СБИС маршрутизатора КС, схемотехнические, конструктивные и программно-алгоритмические решения сетевого оборудования.

Результаты диссертационной работы Симонова A.C. внедрены в следующих работах, выполненных во ФГУП «НИИ «Квант»:

аванпроект «Создание суперкомпьютера на базе перспективной архитектуры МTDF», шифр «Булава-А»;

ОКР «Разработка экспериментального образца ПОСК для анализа перспективных маршрутизаторов высокоскоростной коммуникационной среды», шифр «Б-6.СВК.5»;

ОКР «Разработка программных библиотек для адаптеров с высокоскоростным интерфейсом», шифр «Б-6.СВК 2.7»;

НИР «Исследование модели и макета массово-параллельной вычислительной системы, построенной на основе высокоскоростной коммуникационной сети», шифр «Бурелом».

Использование разработанных в диссертационной работе Симонова A.C. положений и технических решений позволило повысить масштабируемость производительности многопроцессорных вычислительных систем при решении специальных залач на 28%, что подтверждается результатами тестирования.

ПРЕДСЕДАТЕЛЬ КОМИССИИ Директор, д.т.н.

Г.С. Елизаров

ЧЛЕНЫ КОМИССИИ Заместитель директора, к.т.н.

А.Г. Титов

Г лавный научный сотрудник, д.т.н., профессор

В.В. Корнеев

АО «КОНЦЕРН ВКО ««АЛМАЗ-АНТЕЙ»

АКЦИОНЕРНОЕ ОБЩЕСТВО «НАУЧНО-ИССЛЕДОВ AT F-1Ы К И Й ИНСТИТУТ ПРИЕОРОГГРОПШЯ имени В. В. Тихом и ром»

Гшаржш ул., д. 3. Жчкоккий, Московская область. Россия. 140ISO Тел.: [phone] факс: [phone] E-mail: niipitfniip.ru hup: vtww.niip.ni

ОКНО 13185231. ОГРН 1025001627859 ИНН КПП 5013045054 504001001

УТВЕРЖДАЮ Генеральный директор АО «НИИП имени В.В. Тихомирова»

С

м.а

1едуницин С 2. 2022 г.

АКТ

о внедрении результатов диссертационной работы Симонова Алексея Сергеевича на соискание ученой степени доктора технических наук в научно-исследовательских и опытно-конструкторских работах, выполняемых в АО «НИИП имени В.В. Тихомирова»

Научно-техническая комиссия АО «НИИП имени В.В. Тихомирова» в составе:

председателя - заместителя генерального директора по научной работе, доктора технических наук, Фролова А.Ю.;

членов комиссии - Главного конструктора Поисова Д.А.;

- Главного конструктора Суслякова Д.Ю.;

- ученого секретаря, доктора технических наук, Кауфмана Г.В.

составила настоящий акт о том, что в научно-исследовательских и опытно-конструкторских работах, выполняемых АО «НИИП имени В.В. Тихомирова», внедрены следующие положения и результаты диссертационной работы Симонова Алексея Сергеевича на тему «Архитектура коммуникационной сети с топологией кО-тор»:

1. Параметризованная многофункциональная имитационная модель коммуникационной сети (далее КС), позволяющая проводить исследования процесса передачи данных между узлами многопроцессорных вычислительных систем (далее МВС) с учётом различных архитектурных решений.

2. Архитектура КС, обеспечивающая повышение производительности

МВС при решении прикладных задач целевого класса по сравнению МВС, построенными на основе коммерчески доступных КС, реализованных на сопоставимых микроэлектронных технологиях, включающая:

2.1. Совокупность базовых архитектурных решений по топологии, дисциплине передачи данных, алгоритмам маршрутизации.

2.2. Значения архитектурных параметров КС с топологией kD-тор, обеспечивающие повышение производительности МВС при решении прикладных задач целевого класса.

2.3. Методику построения подсети коллективных операций, позволяющую приблизить временную сложность их выполнения в КС с топологией kD-тор к теоретическому пределу.

2.4. Методику обеспечения отказоустойчивости КС с топологией kD-тор, позволяющую сохранить высокую производительность МВС в условиях одиночных отказов её элементов.

3. Методика многоуровневой верификации заказной СБИС маршрутизатора КС, позволяющая осуществить успешную разработку схемотехнических и топологических решений заказной СБИС маршрутизатора КС за один цикл проектирования.

4. Технические решения КС Ангара, включая микроархитектурные, схемотехнические и топологические решения заказной СБИС маршрутизатора КС, схемотехнические, конструктивные и программно-алгоритмические решения сетевого оборудования.

Перечисленные положения и прикладные результаты диссертации Симонова A.C. внедрены в следующих работах, выполненных в АО «НИИП имени В.В. Тихомирова»:

1. НИР «Стандарт»

2. ОКР «Викинг»

3. ОКР «Роботизация»

4. ОКР «Изделие 80-1РЛ»

ПРЕДСЕДАТЕЛЬ КОМИССИИ

ЧЛЕНЫ КОМИССИИ

УТВЕРЖДАЮ Директор ФГУП «РФЯЦ - ВНИИТФ

АКТ

о внедрении результатов диссертационной работы Симонова Алексея Сергеевича на соискание ученой степени доктора технических

наук в научно-исследовательских и опытно-конструкторских работах, выполняемых в ФГУП «РФЯЦ - ВНИИТФ имени академика Е. И. Забабахина»

Комиссия ФГУП «РФЯЦ - ВНИИТФ имени академика Е. И. Забабахина» в составе:

председатель - научный руководитель профильной лаборатории ВИТ «ЭРА», начальник отдела РФЯЦ - ВНИИТФ, доктор физико-математических наук, член-корреспондент РАН, Лебедев Сергей Наркисович.

членов комиссии:

Заместитель главного инженера РФЯЦ - ВНИИТФ - главный технолог -начальник научно - исследовательского отделения РФЯЦ - ВНИИТФ, доктор технических наук, Борисов Виктор Николаевич;

Руководитель проектного офиса «Центры Обработки Данных» РФЯЦ -ВНИИТФ. главный инженер - заместитель начальника научно исследовательского отделения РФЯЦ-ВНИИТФ. Акулов Сергей Викторович;

Начальник научно - исследовательского отделения РФЯЦ - ВНИИТФ, Талантов Павел Владимирович;

Заместитель начальника научно-исследовательского отделения РФЯЦ -ВНИИТФ - начальник отдела, Глаголев Евгений Дмитриевич;

11ачальник отдела научно-исследовательского отделения РФЯЦ - ВНИИТФ, Мокшин Сергей Юрьевич

составила настоящий акт о том, что в научно-исследовательских и опытно-конструкторских работах, выполняемых ФГУП «РФЯЦ - ВНИИТФ имени академика Е. И. Забабахина». внедрены следующие положения и результаты диссертационной работы Симонова Ачексея Сергеевича на тему «Архитектура коммуникационной сети с топологией кЭ-тор»:

1. Параметризованная многофункциональная имитационная модель коммуникационной сети (далее КС), позволяющая проводить исследования

процесса передачи данных между узлами многопроцессорных вычислительных систем (далее МВС) с учётом различных архитектурных решений.

2. Архитектура КС, обеспечивающая повышение производительности МВС при решении прикладных задач целевого класса по сравнению с МВС. построенными на основе коммерчески доступных КС, реализованных на сопоставимых микроэлектронных технологиях, включающая:

2.1. Совокупность базовых архитектурных решений по топологии, дисциплине передачи данных, алгоритмам маршрутизации.

2.2. Значения архитекту рных параметров КС с топологией kD-тор, обеспечивающие повышение производительности МВС при решении прикладных задач целевого класса.

2.3. Методику построения подсети коллективных операций, позволяющую приблизить временную сложность их выполнения в КС с топологией kD-тор к теоретическому пределу.

2.4. Методику обеспечения отказоустойчивости КС с топологией kD-тор, позволяющую сохранить высокую производительность МВС в условиях одиночных отказов её элементов.

3. Технические решения КС Ангара, включая микроархитектурные, схемотехнические, топологические и программно-алгоритмические решения.

Перечисленные положения и прикладные результаты диссертации Симонова A.C. внедрены в следующих работах, выполненных в ФГУП «РФЯЦ-ВНИИТФ имени академика Е. И. Забабахина»:

1. СЧ ОКР «Разработка системного программного обеспечения для сетевого оборудования Ангара»;

2. СЧ ОКР «Разработка интегрированного высокоплотного решения для создания вычислительной инфраструктуры центра обработки данных»;

3. Создание центра обработки данных в Военном инновационном технополисе «ЭРА»;

4. Создание мобильных ЦОД.

Использование результатов диссертационной работы Симонова A.C. позволило принципиально внедрить и успешно использовать отечественное коммуникационное оборудование в различных МВС, создаваемых РФЯЦ-ВНИИТФ. Реализованные в диссертационной работе технические решения позволяют уменьшать на 10-15% показатели латентности при массовой передаче сообщений в процессе решения параллельных прикладных задач по сравнению с МВС, построенными на основе имеющихся в данный момент на рынке коммуникационных сетей зарубежного производства. Кроме того, предложенные Симоновым A.C. методические решения позволили повысить на 20% эффективность использования 2D-rop и 30-тор сетей МВС за счет уменьшения времени обработки коллективных операций.

ПРЕДСЕДАТЕЛЬ КОМИССИИ:

Научный руководитель профильной лаборатории ВИТ «ЭРА», начальник отдела РФЯЦ - ВНИИТФ. доктор физико-математических наук, член-корреспондент РАН.

7

7

Лебедев С.Н.

ЧЛЕНЫ КОМИССИИ:

Заместитель главного инженера РФЯЦ - ВНИИТФ - главный технолог - начальник научно - исследовательского отделения РФЯЦ - ВНИИТФ, доктор технических наук

Борисов В.Н.

Руководитель проектного офиса «Центры Обработки Данных» РФЯЦ - ВНИИТФ. главный инженер - заместитель начальника научно-исследовательского отделения р^ЯЦ-ВНИИТФ

Акулов C.B.

Начальник научно - исследовательского отделения РФЯЦ - ВНИИТФ

¿jk

Талантов П.В.

Заместитель начальника научно - исследовательского отделения РФЯЦ-ВНИИТФ - начальник отдела

Глаголев Е.Д.

Начальник отдела научно - исследовательского отделения РФЯЦ-ВНИИТФ

Мокшин С.Ю.

УТВЕРЖДАЮ Временный генеральный директор Акционерного общества «Научно-исследовательский центр электронной вычислительной

Дзейтов

2022 г.

АКТ

о внедрении результатов диссертационной работы Симонова Алексея Сергеевича на соискание ученой степени доктора технических наук в научно-исследовательских и опытно-конструкторских работах, выполненных в АО «НИЦЭВТ»

Комиссия АО «НИЦЭВТ» в составе:

председателя - доктора физико-математических наук, профессора Стегайлова Владимира Владимировича; членов комиссии:

- доктора технических наук, профессора Карпова Валерия Ивановича;

- доктора физико-математических наук, профессора Любецкого Василия Александровича;

- кандидата технических наук, профессора Гагарина Андрея Петровича,

составила настоящий акт о том, что в научно-исследовательских и опытно-конструкторских работах, выполняемых в АО «11ИЦЭВТ», внедрены следующие положения и прикладные результаты диссертационной работы Симонова Алексея Сергеевича на тему «Архитектура коммуникационной сети с топологией Ш-тор»:

1. Параметризованная многофункциональная имитационная модель коммуникационной сети (далее КС), позволяющая проводить исследования процесса передачи данных между узлами многопроцессорных вычислительных систем (далее МВС) с учётом различных архитектурных решений.

2. Архитектура КС, обеспечивающая повышение производительности МВС при решении прикладных задач целевого класса по сравнению МВС.

построенными на основе коммерчески доступных КС, реализованных на сопоставимых микроэлектронных технологиях, включающая:

2.1. Совокупность базовых архитектурных решений по топологии, дисциплине передачи данных, алгоритмам маршрутизации.

2.2. Значения архитектурных параметров КС с топологией kD-тор, обеспечивающие повышение производительности МВС при решении прикладных задач целевого класса.

2.3. Методику построения подсети коллективных операций, позволяющую приблизить временную сложность их выполнения в КС с топологией kD-тор к теоретическому пределу.

2.4. Методику обеспечения отказоустойчивости КС с топологией kD-тор, позволяющую сохранить высокую производительность МВС в условиях одиночных отказов её элементов.

3. Методика многоуровневой верификации заказной СБИС маршрутизатора КС, позволяющая осуществить успешную разработку схемотехнических и топологических решений заказной СБИС маршрутизатора КС за один цикл проектирования.

4. Технические решения КС Ангара, включая микроархитектурные, схемотехнические и топологические решения заказной СБИС маршрутизатора КС, схемотехнические, конструктивные и программно-алгоритмические решения сетевого оборудования.

Перечисленные положения и прикладные результаты диссертации Симонова A.C. внедрены в следующих работах, выполненных в АО «НИЦЭВТ»:

1. Аванпроект тема №25/96.

2. ОКР тема №360811/5.

3. ОКР тема №360821/7.

4. ОКР тема № 11/2010.

5. ОКР тема № РС/06/325/НТБ/К.

6. ОКР тема № РС/07/327/НТБ/к.

7. ОКР тема № РС/07/804ЮПКУк.

8. ОКР тема № 10411.1003902.11.011.

9. ОКР тема № 13411.1400099.11.123.

10. ОКР тема № 07-22/2018/265.

11. СЧ ОКР тема № 20/6-667-14.

12. ОКР тема № 15411.169999.11.023.

13. СЧ ОКР тема № 1820187199702452245002384/994.

14. СЧ ОКР тема № 20/02-06-234-18.

15. СЧ ОКР тема №20/02-06-1322-18.

16. СЧ НИР тема № 1727187323191452208001139/20/02-02-430-19.

Внедрение результатов диссертационной работы Симонова A.C. позволило уменьшить коммуникационную задержку коммуникационной сети Ангара на MPI на 15% по сравнению с существующими коммуникационными сетями зарубежного производства, повысить масштабируемость производительности МВС от 20% до 50% при решении задач компьютерного моделирования, что подтверждается результатами оценочного тестирования с использованием пакетов NAS Parallel Benchmark и FlowVision, осуществить успешную разработку схемотехнических и топологических решений заказной СБИС маршрутизатора КС за один цикл проектирования.

ПРЕДСЕДАТЕЛЬ КОМИССИИ

Доктор физико-математических нр^*

профессор

ЧЛЕНЫ КОМИССИИ

Доктор технических наук, профессор

Карпов В.И.

Доктор физико-математических наук, профессор

Любецкий В.А.

Кандидат технических наук, профессор

Гагарин А.П.