Методы и способы построения, выбора и применения высокопроизводительных вычислительных систем для выполнения научных и технических задач тема диссертации и автореферата по ВАК РФ 05.13.15, доктор наук Шабанов Борис Михайлович

• Шабанов Борис Михайлович
• доктор наук
• 2019

Оглавление диссертации доктор наук Шабанов Борис Михайлович

Введение

Глава 1. Тенденции развития суперкомпьютерных

вычислительных центров

1.1 Суперкомпьютерные центры в мире

1.2 Суперкомпьютерные центры в России и РАН

1.3 Типовая структура вычислительного центра

1.3.1 Вычислительная инфраструктура

1.3.2 Системы хранения данных в структуре суперкомпьютерного центра

1.3.3 Сетевая инфраструктура вычислительного центра

1.3.4 Инженерная инфраструктура вычислительного центра

1.3.5 Программное обеспечение суперкомпьютерных центров

Глава 2. Создание вычислительных систем для научного суперкомпьютерного центра

2.1 Архитектура суперкомпьютерных систем и особенности программирования

2.1.1 Вычислительные системы на основе

векторных процессоров

2.1.2 Многопроцессорные системы с общей памятью

2.1.3 Вычислительные кластеры и MPP-системы

2.1.4 Уровни выполнения программ пользователей

2.2 Метод выбора вычислительных систем

2.2.1 Отображение архитектуры вычислительной системы на прикладные программы

2.2.2 Программно-зависимый выбор параметров оборудования вычислительной системы

2.2.3 Выбор оборудования по производительности и стоимости

2.2.4 Соответствие экосистеме суперкомпьютерного центра

2.2.5 Дополнительные ограничения при выборе оборудования для вычислительного центра

2.3 Оценка производительности вычислительных систем

2.3.1 Тесты для оценки вычислительных систем

2.3.2 Тестирование создаваемых суперкомпьютеров

2.3.3 Определение энергоэффективности приложений

2.4 Реальная производительность вычислительных систем

2.4.1 Использование ускорителей

2.4.2 Программная зависимость производительности систем

Глава 3. Разработка векторного процессора с архитектурой управления

потоком данных

Недостатки процессоров классической архитектуры и их влияние на эффективность работы высокопроизводительных вычислительных систем

3.2 Проблемы создания потокового процессора

3.3 Векторный потоковый процессор (ВПП)

3.3.1 Структурная схема ВПП и особенности реализации

3.3.2 Оценка производительности ВПП на программе умножения матриц

3.3.3 Выполнение в ВПП задач сортировки

Моделирование параллельной работы ядер векторного потокового процессора с общей памятью

3.4.1 Классы задач, на которых ВПП имеет преимущество перед современными процессорами, и перспективы использования ВПП

Глава 4. Создание суперкомпьютеров для вычислительного центра и

направления его развития

4.1 Суперкомпьютерные системы межведомственного суперкомпьютерного центра РАН

4.1.1 Вычислительная система МВС-1000М

4.1.2 Вычислительная система МВС-15000ВM

4.1.3 Вычислительная система МВС-60001М

4.1.4 Вычислительная система МВС-100К

4.1.5 Вычислительная система МВС-10П

4.2 Грид-инфраструктура для суперкомпьютерных приложений

4.3 Анализ использования суперкомпьютерных ресурсов

4.4 Направления развития научного суперкомпьютерного центра

4.5 Построение межведомственного центра коллективного пользования в модели программно-определяемого ЦОД

4.5.1 Программно-определяемый центр

обработки данных (ЦОД)

4.5.2 Требования к межведомственному центру коллективного пользования общего назначения

4.5.3 Концепция программно-определяемого ЦОД

4.5.4 Архитектура программно-определяемого ЦОД

4.5.5 Реализация модели программно-определяемого ЦОД

Заключение

Список литературы

Введение диссертации (часть автореферата) на тему «Методы и способы построения, выбора и применения высокопроизводительных вычислительных систем для выполнения научных и технических задач»

Введение

Приоритетные направления научно-технологического развития Российской Федерации включают в себя переход к передовым цифровым, интеллектуальным производственным технологиям, роботизированным системам, новым материалам и способам конструирования, создание систем обработки больших объемов данных, машинного обучения и искусственного интеллекта [1]. Разнообразие, масштаб и сложность возникающих при этом задач требуют создания и развития специальных технологий, инструментальных средств и организационных решений.

Суперкомпьютерные технологии находят все более широкое применение в различных областях науки, промышленности, управления и бизнеса. Суперкомпьютерные расчеты дают возможность сверхточного моделирования природных, финансово-экономических и социальных явлений, экспериментальное исследование которых либо невозможно, либо сильно затруднено. При проектировании промышленных изделий использование суперкомпьютеров позволяет за сравнительно короткое время рассчитывать множество различных конфигураций изделия и выбрать из них оптимальные.

В мире на протяжении десятилетий реализуются национальные и наднациональные проекты по созданию и использованию высокопроизводительных вычислительных систем, уровень развития которых является фактором стратегического значения. Серьезные программы в данном направлении, требующие огромных инвестиций, представлены в США, Европейском Союзе, Китае, Японии, России. Очевидно, что только индустриально развитые страны в состоянии поддерживать исследования и проводить разработки в области суперкомпьютерных технологий, а также эффективно использовать высокопроизводительные вычисления.

История высокопроизводительных вычислений за рубежом началась в 1960-х годах, когда Национальный научный фонд США (NSF) приступил к финансированию проектов по созданию вычислительных центров.

Появление мощных суперкомпьютеров, постоянный рост их производительности сделали возможным моделирование различных природных явлений, решение вычислительно сложных фундаментальных и прикладных задач. Однако большинство высокопроизводительных систем было установлено в закрытых лабораториях с общим количеством пользователей порядка 5000 [2].

Начало важного этапа в развитии суперкомпьютеров и организации высокопроизводительных вычислений совпало с появлением в 1982 году результатов исследования, выполненного под руководством Питера Лэкса [3].

Выводы исследования существенным образом повлияли на стратегическое решение NSF создавать суперкомпьютерные центры для удовлетворения растущих потребностей научно-образовательного сообщества в высокопроизводительных вычислениях и в их расширяющейся номенклатуре. В течение 1985 - 1986 г.г. в пяти крупнейших университетах США были организованы суперкомпьютерные центры, которые в последующие 12 лет служили основой реализации национальной стратегии высокопроизводительных вычислений и коммуникаций [4]. Следует отметить, что эти суперкомпьютерные центры, наряду с обеспечением доступа к высокопроизводительным вычислениям широкому кругу исследователей, сыграли большую роль в развитии аппаратных средств и программного обеспечения вычислительных систем, формирования и развития сетевой инфраструктуры в качестве узлов сети NSFNET, а с 1995 года высокопроизводительной магистральной сети NSF (vBNS) для науки и образования.

Исследования тенденций развития суперкомпьютерных центров NSF, проведенные в 1995 году [5], позволили сформировать новую программу -Партнерство для передовой вычислительной инфраструктуры (Partnership for Advanced Computational Infrastructure, PACI), предоставлявшую исследователям доступ к мощным вычислительным ресурсам. Эти ресурсы включали, в том числе, первую терафлопсную вычислительную систему для науки и образования -суперкомпьютер, способный выполнять 1 трлн. операций в секунду. В то же время

центры PACI сыграли важную роль в развитии грид-вычислений [6] и их широком внедрении в науку и промышленность.

Изменение требований к исследовательским проектам, их децентрализация, большие потоки данных, способствовали появлению в 2001 году проекта TeraGrid, направленного на создание распределенной инфраструктуры для научных исследований [7].

Проект XSEDE (Xtreme Science and Engineering Discovery Environment) пришел в 2011 году на смену TeraGrid. Его целью являлось предоставление научно-исследовательскому сообществу высокопроизводительных ресурсов, сетей передачи данных, средств визуализации и хранения данных, а также программного обеспечения. Партнерами проекта стали 17 организаций, в которых установлено 16 суперкомпьютеров [8]. С помощью XSEDE был предоставлен инструмент для исследований более чем 6000 ученым.

Прогресс в области вычислительной техники и информационных технологий за последние десятилетия изменил характер научных исследований и требования к инфраструктуре для их проведения. Создаваемая в США для этих целей киберинфраструктура включает в себя такие ресурсы, как высокопроизводительные вычислительные системы, используемые для моделирования, анализа данных, визуализации, предварительной обработки, сети с высокой пропускной способностью и системы хранения данных [7, 9].

В 2015 году появилась Национальная стратегическая вычислительная инициатива (National Strategic Computing Initiative, NSCI), которая предусматривает федеральные инвестиции в киберинфраструктуру для академических, федеральных и отраслевых исследований [10]. Стратегическими целями NSCI являются: ускорение развертывания и применение вычислений экзафлопсного диапазона; обеспечение поддержки моделирования, аналитики данных, а также исследование новых подходов для создания перспективных вычислительных архитектур и технологий, включая альтернативные вычислительные парадигмы; расширение возможностей надежной и устойчивой

экосистемы высокопроизводительных вычислений; налаживание сотрудничества государственных и частных организаций.

В конце 1990-х, начале 2000-х годов суперкомпьютерные вычисления стали важным направлением исследований в Европейском Союзе (ЕС), причем в ЕС доступ к ресурсам суперкомпьютерных центров координируется европейскими проектами по обеспечению высокопроизводительных вычислений. Один из таких проектов - проект HPC Europa [11] - предоставляет доступ к высокопроизводительным вычислительным системам работникам науки и промышленности, обеспечивает научную кооперацию и техническую поддержку суперкомпьютерных центров.

Важную роль в становлении инфраструктуры высокопроизводительных вычислений в ЕС сыграли реализованные средствами грид-технологий проекты. К числу наиболее значимых проектов следует отнести следующие.

- Проект EGI/EGEE, стартовавший в 2004 году как проект EGEE (Enabling Grids for E-Science) [12] и продолжающийся с 2010 года под названием EGI (European Grid Infrastructure) [13]. Созданная система объединяет в настоящее время более 300 дата-центров по всему миру.

- Распределенная европейская инфраструктура для суперкомпьютерных приложений (DEISA), главной целью которой было создание устойчивой суперкомпьютерной платформы для европейских научных исследований. В DEISA к 2010 году входили 11 основных партнеров - ведущих вычислительных центров и 4 ассоциированных партнера (в том числе МСЦ РАН) [14].

- Специализированный грид Worldwide LHC Computing Grid (WLCG) [15] (до 2006 года: LHC Computing Grid), спроектированный в CERN и предназначенный для обработки больших объемов данных, поступающих с LHC (Большой адронный коллайдер, БАК). В его состав входит 170 вычислительных центров из 42 стран.

- Европейское партнерство по передовым вычислениям (PRACE) [16], является развитием идеологии DEISA по обеспечению доступа к вычислительным ресурсам и сервисам управления данными для суперкомпьютерных научных и инженерных расчетов. В настоящее время PRACE объединяет 26 участников и

предоставляет доступ к 7 мощным суперкомпьютерам представителям науки, образования и промышленности.

В Китае развитие суперкомпьютерных технологий определяется на государственном уровне планами развития высоких технологий. Принятая в 1986 г. Программа 863 [17] поставила своей целью обеспечить независимость государства от импорта зарубежных компьютерных технологий. В частности, в рамках Программы был создан первый китайский суперкомпьютер петафлопсной производительности.

Россия также на протяжении последних 25 лет уделяет внимание формированию инфраструктуры обеспечения высокопроизводительных вычислений. В настоящее время в России имеются современные вычислительные центры, предоставляющие и использующие суперкомпьютеры для науки и образования. Среди них следует отметить НИВЦ МГУ им. М.В. Ломоносова, МСЦ РАН, СПбПУ, НИЦ «Курчатовский институт», ИПМ им. М.В. Келдыша РАН.

В настоящее время многие страны ведут активные разработки в области вычислительных систем экзафлопсного уровня производительности, появление которых планируются в начале 2020-х годов [18].

В частности, в 2020 году экзафлопсные системы планирует ввести Китай. Проектные названия систем: Sugon Exascale, Sunway Exascale, TianHe-3. В системах предполагается использование разных типов процессоров, в основном китайского производства [19].

В США, начиная с 2021 года, планируется создание трех суперкомпьютеров с пиковой производительностью не менее 1 экзафлопса каждый [20]. Объявлен тендер на установку в национальных лабораториях трех вычислительных систем: Frontier в Ок-Ридже (ORNL), El Capitan в Ливерморе (LLNL) и Aurora в Аргонне (ANL) [21].

В Евросоюзе на создание суперкомпьютеров экзафлопсной производительности Еврокомиссией выделено 486 млн. евро для реализации рамочной программы EuroHPC, столько же внесут страны-участницы [22]. К 2023

году планируется ввод двух экзафлопсных систем, использующих европейские процессоры с низким энергопотреблением.

Современные суперкомпьютеры являются сложными и дорогостоящими вычислительными системами, поэтому важно обеспечить оперативность проектирования, экономичность эксплуатации и результативность применения. В настоящее время доминирует тенденция увеличения производительности суперкомпьютерных вычислительных систем, в основном за счет роста количества процессорных ядер, число которых в наиболее производительных современных системах исчисляется миллионами, в первую очередь в гетерогенных системах. Продуктивное использование столь большого числа процессоров в настоящее время возможно для выполнения весьма ограниченного набора приложений. Увеличение числа ядер приводит к необходимости решения задач масштабируемости и энергопотребления высокопроизводительных вычислительных систем и приложений.

Повышение производительности вычислительных систем, в том числе гетерогенных, может быть достигнуто как за счет методов и средств балансировки вычислительной нагрузки между узлами, или процессорными модулями, системы с учетом их характеристик и конфигурации коммуникационной сети, так и за счет организации параллельных вычислений внутри узла. Важным инструментом, позволяющим повысить производительность выполнения приложений, остается векторизация программного кода.

Оптимальный выбор вычислительных систем для оснащения суперкомпьютерного центра коллективного пользования является одним из определяющих факторов обеспечения научных исследований и разработок. В современных условиях осуществление такого выбора является нетривиальной научной задачей, при решении которой в первую очередь должны учитываться следующие виды вычислительных систем.

Вычислительные системы для решения специализированных задач. Вычислительные системы этого вида применяются в суперкомпьютерных центрах для решения конкретной задачи или ограниченного круга задач и подразумевают

специальные аппаратные и программные решения, такие, как сигнальные процессоры, программируемые архитектуры [23]. К подобным системам можно отнести гетерогенные системы, которые создаются для отраслевых задач и технологий, например, задач энергетики [24], искусственного интеллекта [25], обработки больших объемов данных.

Необходимость создания специализированных вычислительных машин для выполнения конкретных задач была отмечена еще академиком С.А. Лебедевым [26].

Универсальные вычислительные системы для обработки потоков разнородных задач. При создании и использовании в вычислительных центрах систем такого вида можно выделить две ключевые задачи: создание универсальных вычислительных систем, решающих разнородные классы задач и создание сетей вычислительных центров, оснащенных ресурсами, ориентированными на решение разных классов задач с использованием грид-технологий и облачных сервисов. Кроме того, при обработке на вычислительных системах потоков разнородных задач возникают проблемы оптимального использования оборудования [27]. Для оптимизации прохождения потоков задач используются специальные системы управления заданиями [28].

Помимо решения задач создания универсальных суперкомпьютерных систем, построенных на основе традиционных архитектур процессоров, необходимо проведение исследований, связанных с разработкой и поиском новых решений для повышения их реальной производительности. Одним из таких подходов является переход на системы с архитектурой управления потоком данных, высокая производительность которых достигается за счет параллелизма выполнения команд, закладываемого при составлении потокового графа программы [29].

Важным направлением повышения эффективности вычислений является создание сервисно-ориентированных сетей вычислительных центров. Это обусловлено тем, что вычислительные центры могут специализироваться на решении определенных классов задач с применением проблемно-

ориентированных вычислительных систем и пакетов программ. Сервисно -ориентированная сеть позволяет достигать наибольшего эффекта при решении специализированных задач или их частей на наиболее подходящих вычислительных ресурсах независимо от их принадлежности конкретному вычислительному центру. Все это формирует настоятельную необходимость в создании и исследовании глобально распределенных сервисно-ориентированных сетей вычислительных центров, объединяющих в своем составе вычислительные ресурсы различной архитектуры и производительности, а также системное и прикладное программное обеспечение. Такой подход открывает возможности повышения эффективности использования суперкомпьютерных ресурсов за счет совершенствования системного программного обеспечения и управления вычислительными процессами, расширяет номенклатуру и повышает качество предоставляемых высокопроизводительных вычислительных услуг.

Таким образом, актуальными становятся решение задачи выбора оптимальных состава компонентов и характеристик суперкомпьютерной системы для обработки потоков разнородных задач, исследование теоретических аспектов и поиск практических решений по созданию и функционированию сервисно-ориентированных сетей вычислительных центров, формированию профилей субъектов интеграции и оценки качества их деятельности при различных типах информационного и сетевого взаимодействия между центрами с учетом многоаспектности вычислительных потребностей пользователей.

Среди исследований в этой области следует выделить работы В.И. Бердышева, В.Б. Бетелина, Г.И. Савина, И.А. Соколова, Б.Н. Четверушкина, Вл.В. Воеводина, И.А. Каляева, С.М. Абрамова, Г.С. Елизарова, А.А. Зацаринного, В.В. Корнеева, Р.М. Шагалиева, А.Н. Томилина, А.О. Лациса.

Изложенное обуславливает своевременность и актуальность исследования, направленного на решение крупной научно-технической проблемы - поиск новых технических, технологических и организационных решений для обеспечения возрастающих потребностей в высокопроизводительных вычислениях за счет разработки и внедрения высокопроизводительных вычислительных систем, в том

числе на новых архитектурах процессоров, их интеграции в единую

вычислительную среду средствами сетей сервисно-ориентированных вычислительных центров.

Цель и задачи работы. Цель работы состоит в исследовании и разработке технических, технологических и организационных решений для анализа, построения и применения высокопроизводительных вычислительных систем как основы суперкомпьютерной инфраструктуры для науки, образования и инноваций.

Для достижения поставленной цели в диссертационной работе необходимо решить следующие задачи:

- Разработать метод построения суперкомпьютерных систем на основе выделения и классификации факторов, определяющих результативность применения вычислительных систем.

- Разработать комплекс решений по тестированию и анализу вычислительных кластерных систем с многоядерной архитектурой с целью определения влияния параметров на время выполнения программ.

- Создать суперкомпьютеры с различным набором характеристик, воплотившие в себя разработанные архитектурные, сетевые и программные решения, сформировать на их основе интегрированную вычислительную информационно-коммуникационную среду проведения научных исследований и решения прикладных задач.

- Разработать решения по повышению производительности процессоров и вычислительных систем за счет развития архитектуры векторно-потокового процессора.

- Разработать основы, архитектурные и технические решения для создания сервисно-ориентированных программно-определяемых центров обработки данных межведомственного уровня как современной среды проведения научных исследований и инновационных разработок, формирования профессиональных компетенций специалистов в области суперкомпьютерных технологий.

Научная новизна работы.

Научная новизна выполненного исследования имеет в своей основе комплекс выполненных автором работ по всему технологическому циклу от проектирования и оптимизации суперкомпьютеров до создания распределенных комплексов и инфраструктур высокопроизводительных вычислительных систем, включая организацию эффективного вычислительного процесса, а именно:

- Разработан метод построения суперкомпьютерных систем на основе выделения и классификации факторов, определяющих результативность применения вычислительных систем для исследования актуальных вычислительно сложных научных проблем.

- Разработан и реализован комплекс решений по тестированию и анализу вычислительных систем с целью определения влияния параметров на время выполнения программ в вычислительных кластерах с многоядерной архитектурой.

- На основе разработанных решений создана уникальная серия суперкомпьютеров с различным набором характеристик, оригинальных архитектурных, сетевых и программных решений, сформирована интегрированная высокопроизводительная вычислительная информационно-коммуникационная среда проведения научных исследований и решения прикладных задач.

- Разработана оригинальная архитектура векторно-потоковой вычислительной системы, поддерживающая аппаратное распределение памяти, позволяющая увеличивать производительность процессора в 7 -10 раз, и обеспечивающая устойчивость к изменениям латентности памяти и межпроцессорного обмена в диапазоне изменения задержек, на порядок более широком по сравнению с системами традиционной архитектуры.

- Разработаны базовые принципы, архитектурные и технические решения для создания сервисно-ориентированных программно-определяемых центров обработки данных межведомственного уровня как современной

среды проведения научных исследований и инновационных разработок, формирования профессиональных компетенций специалистов в области суперкомпьютерных технологий.

Практическая ценность и достоверность полученных результатов подтверждаются положительным опытом создания и практического использования высокопроизводительных систем МВС-1000М, МВС-15000ВМ, МВС-60001М, МВС-100К, МВС-10П, в основу которых легли научно обоснованные архитектурные, технические и технологические решения в применении суперкомпьютерных технологий в сфере науки и образования.

Разработанный и реализованный комплекс решений по созданию, развитию и интеграции высокопроизводительных вычислительных ресурсов обеспечил качественно новый уровень проведения фундаментальных исследований, реализации наукоемких проектов, что подтверждается многочисленными научными публикациями пользователей МСЦ РАН в ведущих зарубежных и российских научных изданиях.

Теоретические положения и накопленный практический опыт, представленные в настоящей работе, могут служить основой дальнейшего развития суперкомпьютерных технологий, создания перспективных

высокопроизводительных вычислительных систем и организации на их основе распределенных вычислительных центров.

Работа является развитием достижений отечественной и мировой науки и практики по созданию вычислительных средств, в том числе разработок научных школ академиков С.А. Лебедева, В.А. Мельникова, В.С. Бурцева, В.К. Левина, А.В. Каляева, И.А. Мизина, Б.А. Бабаяна, А.В. Забродина, А.А. Дородницына, Г.И. Марчука, В.В. Воеводина, В.П. Иванникова, Л.Н. Королева.

Методология и методы исследования. Результаты диссертации были получены с привлечением моделей и методов, используемых при тестировании и анализе производительности вычислительных систем, поиске архитектурных и системотехнических решений. Математическую основу исследования составляют системный анализ, теория алгоритмов, математическая логика, теория графов.

Защищаемые положения.

- Разработанный метод выбора вычислительных систем на основе выделения и классификации факторов, определяющих результативность применения вычислительных систем, позволяет создавать суперкомпьютерные системы для решения актуальных вычислительно сложных научных проблем и делает возможным выполнение оптимизации состава вычислительного центра.

- Разработанный и реализованный комплекс решений по тестированию и анализу вычислительных систем позволяет определять влияние параметров на время выполнения программ в вычислительных кластерах с многоядерной архитектурой.

- Разработанные и реализованные суперкомпьютерные системы МВС-1000М, МВС-15000ВМ, МВС-6000Ш, МВС-100К и МВС-10П с различным набором характеристик, оригинальные архитектурные, сетевые и программные решения составляют основу интегрированной высокопроизводительной вычислительной информационно-коммуникационной среды проведения научных исследований и решения прикладных задач, позволившей поднять фундаментальные научные исследования в России на качественно новый уровень.

- Разработанная оригинальная архитектура векторно-потоковой вычислительной системы обеспечивает аппаратное распределение памяти, позволяет повышать производительность процессора в 7 - 10 раз, обеспечивает устойчивость производительности к десятикратному увеличению задержек памяти и межпроцессорного обмена.

- Разработанные архитектурные, технические и технологические решения составляют базовые основы создания сервисно-ориентированных программно-определяемых центров обработки данных межведомственного уровня как современной среды проведения научных исследований и инновационных разработок, формирования

специалистов

в области

профессиональных компетенций суперкомпьютерных технологий.

Реализация результатов работы. Полученные результаты нашли применение при создании и использовании суперкомпьютеров МВС-1000М, МВС-15000ВМ, МВС-60001М, МВС-100К, МВС-10П в Межведомственном суперкомпьютерном центре РАН, а также оказали существенное влияние на формирование и развитие инфраструктуры суперкомпьютерных вычислений науки и образования в стране. Результаты диссертации были получены соискателем лично или при его руководстве в научно-исследовательских работах по Программам фундаментальных научных исследований государственных академий наук, Программам фундаментальных исследований президиума РАН, проектам РФФИ и Минобрнауки России, международным проектам DEISA-2, ExaHYPE.

Апробация диссертации. Материалы диссертации докладывались на следующих международных и всероссийских конференциях:

1. Federated Conference on Computer Science and Information Systems. Szczecin, Poland, 18-21 September, 2011.

2. 4-я Международная научно-техническая конференция «Распределенные вычисления и Грид-технологии в науке и образовании (GRID'2010)» Дубна 28 июня-3 июля 2010 г.

3. Международная конференция «Суперкомпьютерные дни в России: Труды международной конференции», Москва, 25-26 сентября 2017 г.

4. Национальный Суперкомпьютерный Форум (НСКФ-2018), Переславль-Залесский, 27 - 30 ноября 2018 г.

5. Национальный Суперкомпьютерный Переславль-Залесский, 28 ноября - 01 декабря 2017 г.

6. Национальный Суперкомпьютерный Переславль-Залесский, 24-27 ноября 2015 г.

7. Национальный Суперкомпьютерный Переславль-Залесский, 25-27 ноября 2014 г.

Форум

Форум

(НСКФ-2017), (НСКФ-2015),

Форум (НСКФ-2014),

8. Конференция «Суперкомпьютерные вычисления для развития российской науки» Москва, 26 апреля 2017 г.

9. International conference Engineering & Telecommunications - En&T 2014 Moscow. 26 - 28 November, 2014 г.

10. Международная конференция "Информационные технологии в науке, социологии и бизнесе (осенняя сессия)", Ялта-Гурзуф, 1 - 10 октября 2011г.

11. Суперкомпьютерные технологии: разработка, программирование, применение СКТ-2010. Международная научно-техническая конференция. Таганрог, 2010 г.

Список литературы диссертационного исследования доктор наук Шабанов Борис Михайлович, 2019 год

Список литературы

1. Указ Президента Российской Федерации от 01.12.2016 г. № 642 О Стратегии научно-технологического развития Российской Федерации. URL: http: //static. kremlin.ru/media/acts/files/0001201612010007. pdf (дата обращения: 25.07.2018).

2. W. Lepkowski. NSF Establishes First Four National Supercomputer Centers // Chemical and Engineering News, 1985, т. 63, № 10, c. 14-16.

3. Report of the panel on Large Scale Computing in Science and Engineering. 1982. URL: https://www.pnnl.gov/scales/docs/lax_report1982.pdf (дата обращения: 23.08.2018).

4. NSF Special Report: Cyberinfrastructure, From Supercomputing to TeraGrid. 2006. URL: https://www.nsf.gov/news/special_reports/cyber/fromsctotg.jsp (дата обращения: 23.07.2018).

5. Report of the Task Force on the Future of the NSF Supercomputer Centers Program. 1995. URL: https://www.nsf.gov/pubs/1996/nsf9646/nsf9646.htm (дата обращения: 25.07.2018).

6. I. Foster, C. Kesselman, S. Tuecke. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // International Journal of High Performance Computing Application. 2001, т. 15, № 3, c. 200-222.

7. National Science Borad, Science & Engineering Indicators 2018, Chapter 5| Academic Research and Development. 2018. URL: https://nsf.gov/statistics/2018/nsb20181/report/sections/academic-research-and-development/infrastructure-for-academic-r-d (дата обращения: 04.11.2018).

8. National Science Foundation, Project Brings Advanced Cyberinfrastructure, Digital Services and Expertise to Nation's Scientists and Engineers. 2011. URL: https://nsf.gov/news/news_summ.jsp?cntn_id=121181 (дата обращения: 15.11.2018).

9. National Science Foundation (NSF), Cyberinfrastructure for 21st Century Science and Engineering, Advanced Computing Infrastructure: Vision and Strategic Plan.

2012. URL: https://www.nsf.gov/pubs/2012/nsf12051/nsf12051.pdf (дата обращения: 04.11.2018).

10. Executive Order -- Creating a National Strategic Computing Initiative. 2015. URL: https://obamawhitehouse.archives.gov/the-press-office/2015/07/29/executive-order-creating-national-strategic-computing-initiative (дата обращения: 17.11.2018).

11. HPC Europa-3. Pan-European Research Infrastructure on High Performance Computing. 2000-2018. URL: http://www.hpc-europa.eu/ (дата обращения: 15.10.2018).

12. EGEE-III Project Publishable Summary. 2010. URL: http://eu-egee-org.web.cern.ch/eu-egee-

org/fileadmin/documents/publications/EGEEin_Publishable_summary.pdf (дата

обращения: 17.11.2018).

13. EGI. 2018. URL: https://www.egi.eu/ (дата обращения: 17.11.2018).

14. W. Gentzsch, et al. DEISA-Distributed European Infrastructure for Supercomputing Applications // Journal of Grid Computing. 2011, т. 9, № 2, c. 259-277.

15. WLCG. Worldwide LHC Computing Grid. URL: http://wlcg.web.cern.ch/ (дата обращения: 16.11.2018).

16. Partnership for Advance Computing in Europe. URL: http://www.prace-ri.eu/ (дата обращения: 21.09.2018).

17. Официальный сайт Программы 863. Совместный офис Программы 863 Министерства науки, технологий. 2004. URL: https://web.archive.org/web/20031214051243/http://www.863.gov.cn/863_105/index.ht ml (дата обращения: 24.05.2019).

18. M. Feldman. Hyperion Provides Update to Exascale Efforts in US, China, Japan, and Europe. 2018. URL: https://www.top500.org/news/hyperion-updates-exascale-development-in-us-china-japan-and-europe/ (дата обращения: 3.10.2018).

19. C. Lang. Hyperion: China Maintains Lead in Race to Exascale. 2018. URL: https://www.hpcwire.com/2018/06/28/hyperion-china-maintains-lead-in-race-to-exascale/ (дата обращения: 23.10.2018).

20. T.P. Morgan. Bidders Off And Running After $1.8 Billion DOE Exascale Super Deals. 2018. URL: https://www.nextplatform.com/2018/04/09/bidders-off-and-running-after-1-8-billion-doe-exascale-supercomputer-deals/ (дата обращения: 9.06.2018).

21. CORAL-2 RFP No. 6400015092. 2018. URL: https://procurement.ornl.gov/rfp/CORAL2/ (дата обращения: 6.06.2018).

22. L.F. Anover. EuroHPC and the European HPC Strategy // HPC User Forum, September 4-6, 2018, Dearborn, Michigan, USA, 2018 URL: https://www.etp4hpc.eu/pujades/files/SC18%20BoF%20-%201%20-%20%20EC%20-%20Juan%20Pelegrin.pdf (дата обращения: 28.05.2019) .

23. И. Каляев, И. Левин, Е. Семерников, В. Шмойлов. Реконфигурируемые мультиконвейерные вычислительные структуры / Ростов-на-Дону: Южный научный центр, 2009.

24. The Design, Deployment, and Evaluation of the CORAL Pre-Exascale Systems // ISC 2018, Франкфурт, 2018.

25. P. Jawandhiya. Hardware Design for Machine Learning // International Journal of Artificial Intelligence and Applications. 2018, т. 9, № 1, c. 63-84.

26. С.А. Лебедев. Электронные вычислительные машины / Москва: Издательство Академии наук СССР, 1956, 48 c.

27. V. Voevodin. Medical practice: diagnostics, treatment and surgery in supercomputing centers // Presentation at the International Advanced Research Workshop on High Performance Computing, Cetraro, Italy, 2014.

28. A. Reuther, C. Byun, W. Arcand, . D. Bestor, . B. Bergeron, M. Hubbell, M. Jones, P. Michaleas, A. Prout, A. Rosa, J. Kepner. Scalable System Scheduling for HPC and Big Data // Journal of Parallel and Distributed Computing. 2018, т. 111, № January, c. 76-92.

29. В.С. Бурцев. Выбор новой системы организации выполнения высокопараллельных вычислительных процессов в архитектуре суперЭВМ / в кн. Бурцев, Всеволод Сергеевич. Параллелизм вычислительных процессов и развитие архитектуры супер-эвм сборник статей; сост.: В. П. Торчигин, Ю. Н. Никольская, Ю. В. Никитин. - Москва, Торус Пресс, 2006. c. 349-387.

30. TOP500. The List. URL: https://www.top500.org/ (дата обращения: 17.11.2018).

31. Oak Ridge National Laboratory. 2018. URL: https://www.ornl.gov (дата обращения: 07.02.2019).

32. Lawrence Livermore National Laboratory. 2019. URL: https://www.llnl.gov/ (дата обращения: 07.02.2019).

33. Los Alamos National Laboratory. 2019. URL: https://www.lanl.gov/ (дата обращения: 07.02.2019).

34. National Supercomputing Center Wuxi. 2019. URL: http://www.nsccwx.cn/ (дата обращения: 07.02.2019).

35. National Supercomputer Center in Guangzhou. 2019. URL: http://nscc-gz.cn/ (дата обращения: 07.02.2019).

36. National Center for Supercomputing Applications. 2018. URL: http://www.ncsa.illinois.edu/ (дата обращения: 29.11.2018).

37. Blue Waters. Sustaned Petascale Computing. URL: https://bluewaters.ncsa.illinois.edu/about (дата обращения: 15.08.2018).

38. San Diego Supercomputer Center. 2018. URL: http://www.sdsc.edu (дата обращения: 31.10.2018).

39. Gauss Centre for Supercomputing. URL: http://www.gauss-centre.eu/gauss-centre/EN/Home/home_node.html (дата обращения: 21.09.2018).

40. LRZ to Install 26.7-Petaflop Supercomputer. 2017. URL: https://www.top500.org/news/lrz-to-install-267-petaflop-supercomputer (дата обращения: 28.08.2018).

41. Jülich Forschungszentrum / Forschungszentrum Jülich , URL: http://www.fz-juelich.de/portal/EN/Home/home_node.html (дата обращения: 20.08.2018).

42. High Performance Computing Center / University of Stutgart, URL: http://www.hlrs.de/home/ (дата обращения: 21.08.2018).

43. Automotive Simulation Center Stuttgart. URL: https://www.asc-s.de/en/ (дата обращения: 21.09.2018).

44. MAX PLANCK COMPUTING AND DATA FACILITY. 2013-2018. URL: https://www.mpcdf.mpg.de (дата обращения: 21.09.2018).

45. TACC. Texas Advanced Computing Center. Texas Advanced Computing Center / The University of Texas at Austin, 2011-2018. URL: https://www.tacc.utexas.edu/home (дата обращения: 20.08.2018).

46. Stampede2 User Guide. System Overview. 2018. URL: https://portal.tacc.utexas.edu/user-guides/stampede2#overview (дата обращения: 28.11.2018).

47. Purdue University. Information Technology. Research Computing / Purdue University, 2017. URL: https://www.rcac.purdue.edu (дата обращения: 20.08.2018).

48. CINECA. URL: https://www.cineca.it/en (дата обращения: 21.08.2018).

49. HPC Cineca Infrastructure: State of the art and towards the exascale. 2018. URL: https://www.unibs.it/sites/default/files/ricerca/allegati/03_Hardware-PresentazioneBS_20180321.pdf (дата обращения: 31.08.2018).

50. Barcelona Supercomputing Center / Barcelona Supercomputing Center, 2018. URL: https://www.bsc.es/ (дата обращения: 21.08.2018).

51. JCAHPC. URL: http://jcahpc.jp/ (дата обращения: 30.11.2018).

52. Supercomputing Center of Chinese Academy of Sciences. URL: http://www.sccas.cn (дата обращения: 23.07.2018).

53. Суперкомпьютерная система Юань. URL: https://translate.google.ru/translate?sl=zh-CN&tl=ru&js=y&prev=_t&hl=ru&ie=UTF-8&u=http%3A%2F %2Fwww. sccas.cas. cn%2Fyhfw%2Fyj zy%2Fxyd%2F&edit-text= (дата обращения: 23.07.2018).

54. Michalewicz M.T., Lian T.G., Seng L., Low J., Southwell D., Gunthorpe J., Noaje G., Chien D., Poppe Y., Chrzeszczyk J., Howard A., Wee T.T., Sing-Wu L., InfiniCortex: Present and Future Invited Paper // Proceedings of the ACM International Conference on Computing Frontiers, CF '16, 2016, Como, Italy, pp.267-273

55. Суперкомпьютеры top50. Текущий рейтинг. 28-я редакция от 03.04.2018г. URL: http://top50.supercomputers.ru/?page=rating (дата обращения: 15.08.2018).

56. ExaHyPE - An Exascale Hyperbolic PDE Engine. 2018. URL: https://exahype.eu/project-objectives (дата обращения: 22.08.2018).

57. Н.И. Дикарев , Б.М. Шабанов, А.С. Шмелев. Использование «сдвоенного» умножителя и сумматора в векторном процессоре с архитектурой управления потоком данных // Программные системы: теория и приложения. 2015, т. 4(27), № 6, c. 227-241.

58. C.E. Leiserson, Fat-trees: universal networks for hardware-efficient supercomputing // IEEE Trans. Comput., Vol. 34, Iss. 10, Oct. 1985, pp. 892-901.

59. J. Kim, W. J. Dally, S. Scott, D. Abts. Technology-Driven, Highly-Scalable Dragonfly Topology. // 2008 International Symposium on Computer Architecture, Beijing, 2008, с. 77-88.

60. J. Vienne, J. Chen, Md. Wasi-ur-Rahman, N.S. Islam, H. Subramoni, D.R. Panda, Performance Analysis and Evaluation of InfiniBand FDR and 40GigE RoCE on HPC and Cloud Computing Systems // 2012 IEEE 20th Annual Symposium on HighPerformance Interconnects, IEEE, 2012, p. 48-55.

61. XSEDE Storage Resources URL: https://portal.xsede.org/storage (дата обращения: 12. 05. 2019).

62. Leibniz Supercomputing Centre. File systems URL: https://www.lrz.de/services/compute/linux-cluster/files/ (дата обращения: 12. 05. 2019).

63. P. Rad, M. Thoene, T. Webb. Best Practices for increasing Data center energy efficiency. 2008. URL: http://www.virtualine.it/docs/Best%20Practices%20for%20Increasing%20Data%20Cen ter%20Energy%20Efficiency.pdf (дата обращения: 20.07.2018).

64. C. Longbottom. Water cooling vs. air cooling: The rise of water use in data centres. 2011. URL: https://www.computerweekly.com/tip/Water-cooling-vs-air-cooling-The-rise-of-water-use-in-data-centres (дата обращения: 28.11.2018).

65. S. Moss. Getting into hot water. 2018. URL: https://www.datacenterdynamics.com/analysis/getting-into-hot-water/ (дата обращения: 28.11.2018).

66. В МСЦ РАН продемонстрирован самый энергоэффективныйв СНГ суперкомпьютер МВС-10П — крупнейший за пределами США проект c новейшими сопроцессорами Intel Xeon Phi. 2013. URL: https://docplayer.ru/43083560-Snizhenie-summarnoy-stoimosti-vladeniya.html (дата обращения: 28.02.2019).

67. Uptime Institute 8th Annual Data Center Survey Shows Need for Change with Rise of Complex Digital Infrastructure. 2018. URL: https://uptimeinstitute. com/component/content/article/17-news/1082-uptime-institute-8th-annual-data-center-survey-shows-need-for-change-with-rise-of-complex-digital-infrastructure (дата обращения: 28.11.2018).

68. Green ICT: Sustainable Communications & Information Technology. Is PUE Still Above 2.0 for Most Data Centers? 2015. URL: http://www.vertatique.com/no-one-can-agree-typical-pue (дата обращения: 28.11.2018).

69. Google Data Centers / Hamina, Finland. 2013. URL: https://www.google.com/about/datacenters/inside/locations/hamina/ (дата обращения: 28.11.2018).

70. Fujitsu Technology Solutions, Case Study intergenia AG. 2011. URL: http: //www. fuj itsu. com/hu/Images/110414_CS_intergenia_DataDock_ENG.pdf (дата обращения: 28.11.2018).

71. А.В. Баранов, С.Д. Николаев. Использование контейнерной виртуализации в организации высокопроизводительных вычислений. Программные системы: теория и приложения. 2016, т. 7, № 1, c. 117-134.

72. A.B.Yoo, M.A.Jette, M. Grondona. SLURM: Simple Linux Utility for Resource Man-agement // Job Scheduling Strategies for Parallel Processing. Lecture Notes in Computer Science, т. 2862. Springer, Berlin, Heidelberg, 2003, с. 44-60.

73. СУППЗ Система Управления Прохождением Параллельных Заданий. 2018. URL: http://suppz.jscc.ru/ (дата обращения: 28.08.2018).

74. А.В. Баранов, Д.С. Ляховец. Сравнение качества планирования заданий в системах пакетной обработки SLURM и СУППЗ // Труды Международной

суперкомпьютерной конференции (23-28 сентября 2013 г., г. Новороссийск), Москва, 2013.

75. I. Foster. Designing and Building Parallel Programs / Addison-Wesley, 1995.

76. П.Н. Телегин, Е.В. Телегина, Б.М. Шабанов. Влияние архитектуры на модели программирования параллельных вычислительных систем // Известия высших учебных заведений. Электроника. 2011, т. 88, № 2, с. 60-65.

77. High Performance Fortran. URL: http://hpff.rice.edu/versions/hpf2/hpf-v20/index.html (дата обращения: 18.06.2018).

78. C. Lameter. NUMA (Non-Uniform Memory Access): An Overview // Queue -Development, т. 11, № 7, 2013.

79. Z. Majo, T. R. Gross. Memory system performance in a NUMA multicore multiprocessor // Proceedings of the 4th Annual International Conference on Systems and Storage, ACM New York,, 2011.

80. D.R. Butenhof. Programming with POSIX threads / Boston, MA, USA: Addison-Wesley Longman Publishing Co., 1997.

81. OpenMP. URL: https://www.openmp.org/ (дата обращения: 19.07.2018).

82. А.Н. Андрианов, А.Б. Бугеря, К.Н. Ефимкин, И.Б. Задыхайло, Норма. Описание языка. Рабочий стандарт / Москва: Препринт ИПМ им. М.В.Келдыша РАН, N 120, 1995, 50 с., 1995.

83. S. G. Akl. The design and analysis of parallel algorithms / Upper Saddle River, NJ: Prentice-Hall, Inc., 1989.

84. J. Dongarra, T. Sterling, H. Simon. High-performance computing: clusters, constellations, MPPs, and future directions // Computing in Science & Engineering, т. 7, № 2, с. 51-59, 2005.

85. С.А. Немнюгин, О.Л. Стесик. Параллельное программирование для многопроцессорных вычислительных систем / Санкт-Петербург: Издательство "БХВ-Петербург", 2002.

86. MPI Documents. 19.07.2018. URL: https://www.mpi-forum.org/docs/.

87. B. Chapman, T. Curtis, S. Pophale, S. Poole, J. Kuehn, C. Koelbel, and L. Smith. Introducing OpenSHMEM: SHMEM for the PGAS community // Proceedings

of the Fourth Conference on Partitioned Global Address Space Programming Model (PGAS '10). ACM, New York, 2010. DOI:10.1145/2020373.2020375.

88. V. Melnikov, B. Shabanov, P. Telegin, A. Chernjaev. Automatic Parallelization of Programs for MIMD Computers // Modern Geometric Computing for Visualization, Tokyo, Springer-Verlag, 1992, c. 253-262.

89. Н.А. Коновалов, В.А. Крюков. Параллельные программы для вычислительных кластеров и сетей // Открытые системы, № 3, 2002.

90. M. De Wael , S. Marr , B. De Fraine, T. Van Cutsem, W. De Meuter. Partitioned Global Address Space Languages // ACM Computing Surveys. 2015 , т. 47, № 4, c. 62:1-62:27.

91. Д.М. Арапов, А.Я. Калинов, А.Л. Ластовецкий, И.Н. Ледовских, Н.А. Посыпкин. Язык и система программирования для высокопроизводительных параллельных вычислений на неоднородных сетях // Программирование. 2000, № 4, c. 55-80.

92. П.Н. Телегин, Б.М. Шабанов. Связь моделей программирования и архитектуры параллельных вычислительных систем // Программные продукты и системы. 2007, № 2, c. 5-8.

93. M. Keahey, M. E. Papka, Q. Peng, Q. Schissel, G. Abla, T. Araki, J. Burruss, E. Feibush, P. Lane, S. Klasky, T. Leggett, D. McCune, L. Randerson. Distributed Environments (CLADE) / Grids for Experimental Science: The Virtual Control Room, in proceedings of the Challenges of Large Applications, Honolulu, HI, USA, 2004.

94. M.S. Tarkoм. Mapping parallel programs onto multicore computers by recurrent neural networks // Prikl. Diskr. Mat. , 2013, т. 20, № 2, c. 50-58.

95. V.G. Khoroshevsky, M.G. Kurnosov. Algorithms for Assigning Parallel Program Branches to Computer System Processor Cores // Optoelectronics, Instrumentation and Data Processing. 2008, т. 44, № 2, с. 135-143.

96. Б.М. Шабанов, Выбор вычислительной системы для решения научных задач // Программные продукты и системы, т. 100, № 4, c. 7-10, 2012.

97. Б.М. Шабанов, П.Н. Телегин, О.С. Аладышев. Особенности использования многоядерных процессоров // Программные продукты и системы, № 2, c. 7-9, 2008.

98. М.С. Клинов, С.Ю. Лапшина, П.Н. Телегин, Б.М. Шабанов. Особенности использования многоядерных процессоров в научных вычислениях // Вестник УГАТУ. 2012, т. 16, № 6(51), с. 25-31.

99. T. Mattson, B. Sanders, B. Massingi, Patterns for Parallel Programming / Addison-Wesley Professional, 2004, 384 с.

100. 1. J. Moore. Predators and Prey - a New Ecology of Competition // Harvard Business Review, 1993, vol. 71, issue 3, pp. 75-86.

101. Д. Реймер. Операторы децентрализованных экосистем. Новая бизнес-модель // ComNews, 06.11.2018. URL: https://www.comnews.ru/digital-economy/content/115659/opinions/2018-11 -06/operatory-decentralizovannyh-ekosistem-novaya-biznes-model (дата обращения 14.06.2019).

102. M. Feldman, "IBM Bails on Blue Waters Supercomputer," 08 08 2011. Online). URL: http s: //www.hpcwire. com/2011/08/08/ibm_bail s_on_blue_waters_supercomputer/. (дата обращения: 20.07.2018).

103. M. Feldman, Intel Dumps Knights Hill, Future of Xeon Phi Product Line Uncertain. 2017. URL: https://www.top500.org/news/intel-dumps-knights-hill-future-of-xeon-phi-product-line-uncertain/ (дата обращения: 20.07.2018).

104. Standard Performance Evaluation Corporation. URL: http://www.spec.org/ (дата обращения: 18.07.2018).

105. NAS Parallel Benchmarks. URL: http://www.nas.nasa.gov/Resources/Software/npb.html (дата обращения: 18.07.2018).

106. A. Petitet, R.C. Whaley, J. Dongarra, A. Cleary, HPL - A Portable Implementation of the High-Performance Linpack Benchmark for Distributed-Memory Computers. 24 02 2016. URL: http://www.netlib.org/benchmark/hpl/ (дата обращения: 04.08.2018).

107. J. Dongarra, M.A. Heroux, P. Luszczek, HPCG Benchmark: a New Metric for Ranking High Performance Computing Systems. Technical Report, Electrical Engineering and Computer Sciente Department, , UT-EECS-15-736, Knoxville, Tennessee, 2015.

108. А.В. Киселев, Е.А. Киселев, В.В. Корнеев, Анализ структуры информационного графа теста HPCG. Научный сервис в сети Интернет: многообразие суперкомпьютерных миров. Труды Международной суперкомпьютерной конференции, 22-27 09 2014.

109. B. Hess, C. Kutzner, D. van der Spoel, E. Lindahl, GROMACS 4: Algorithms for Highly Efficient, Load-Balanced, and Scalable Molecular Simulation // J. Chem. Theory Comput., т. 4, № 3, с. 435-447, 2008.

110. M.J. Abraham, T. Murtola, R. Schulz, S. Pall, J.C. Smith, B. Hess, E. Lindahl, GROMACS: High performance molecular simulations through multi-level parallelism from laptops to supercomputers // SoftwareX, т. 1 , c. 19-25, 2015.

111. BLAS (Basic Linear Algebra Subprograms). 14 11 2017. URL: http://www.netlib.org/blas (дата обращения: 23.08.2018).

112. CFP2000 Result. 2001. URL: http://www.spec.org/osg/cpu2000/results/res2001q3/cpu2000-20010827-00844.html (дата обращения: 02.08.2018).

113. Inventing Itanium: How HP Labs Helped Create the Next-Generation Chip Architecture. 06 2001. URL: http://www.hpl.hp.com/news/2001/apr-jun/itanium.html (дата обращения: 26.08.2018).

114. M. Schlansker, R. Rau, EPIC: An Architecture for Instruction-Level Parallel Processors. 02 2000. URL: http://www.hpl.hp.com/techreports/1999/HPL-1999-111.pdf (дата обращения: 26.08.2018).

115. CFP2000 Result. Hewlett-Packard Company. HP Integrity rx2620-2 (1.6GHz/3MB Itanium 2). 2004. URL: http://www.spec.org/osg/cpu2000/results/res2004q4/cpu2000-20041101 -03481 .html (дата обращения: 06.08.2018).

116. CFP2000 Result. IBM Corporation. IBM eServer BladeCenter JS20 (2200 MHz, 1 CPU). 2004. URL: http://www.spec.org/osg/cpu2000/results/res2004q4/cpu2000-20041011 -03438.html (дата обращения: 06.08.2018).

117. Hewlett-Packard Company. ProLiant BL2x220c G5 (3.00 GHz, Intel Xeon E5450). 2008. URL: http://www.spec.org/cpu2006/results/res2008q2/cpu2006-20080609-04555.html (дата обращения: 13.08.2018).

118. Hewlett-Packard Company. ProLiant BL460c G7 (2.93 GHz, Intel Xeon X5670). 2010. URL: http://www.spec.org/cpu2006/results/res2010q4/cpu2006-20100928-13494.html (дата обращения: 13.08.2018).

119. Н.А. Крылов, П.Н. Телегин, Б.М. Шабанов. Производительность современных вычислительных платформ в расчетах молекулярной динамики белок-мембранных систем // Труды НИИСИ РАН. 2017, т. 7, № 4, c. 157-162.

120. J. Jeffers, J. Reinders. Intel Xeon Phi Coprocessor High Performance Programming // Morgan Kaufmann, 2013.

121. Skordas T. Horizon 2020. SPIE Professional April 2012. DOI: 10.1117/2.4201204.10.

122. M. Dumbser, I. Peshkov, E. Romenski, O. Zanotti. High order ADER schemes for a unified first order hyperbolic formulation of Newtonian continuum mechanics coupled with electro-dynamics // Journal of Computational Physics. 2017, т. 348, c. 298342.

123. Summit, America's newest and smartest supercomputer. 2018. URL: https://www.olcf.ornl.gov/summit/ (дата обращения: 29.08.2018).

124. Sierra. 2018. URL: https://hpc.llnl.gov/hardware/platforms/sierra (дата обращения: 29.08.2018).

125. D. Nikitenko, A. Antonov , P. Shvets, S. Sobolev, K. Stefanov, V. Voevodin, V. Voevodin, S. Zhumatiy. JobDigest - Detailed System Monitoring-Based // Суперкомпьютерные дни в России. Труды международной конференции, Москва, 2017.

126. W. Kramer, Top problems with the TOP500. 10 01 2012. URL: http://www.ncsa.illinois.edu/news/story/top_problems_with_the_top500 (дата обращения: 31.08.2018).

127. Г.Э. Норман, Д.Э. Орехов, В.В. Писарев, Г.С. Смирнов, С.В. Стариков, В.В. Стегайлов, А. В. Янилкин. Зачем и какие суперкомпьютеры экзафлопсного класса нужны в естественных науках // Программные системы: теория и приложения. 2015, т. 6, № 4, с. 243-311.

128. GROMACS. Argonne Leadership Computing Facility. URL: https://www.alcf.anl.gov/user-guides/gromacs (дата обращения: 23.08.2018).

129. Д.Л. Хеннеси, Д.А. Паттерсон. Компьютерная архитектура. Количественный подход / Москва: Техносфера, 2016.

130. Н.И. Дикарев, Б.М. Шабанов. Архитектура высокопроизводительных вычислительных систем / Москва: ФАЗИС, 2015.

131. Arvind, R. S. Nikhil. Executing a program on the MIT tagged-token data-flow architecture // IEEE Trans. Comput. 1990, т. 1, № 3, c. 300-318.

132. J. Gurd и др. Performance Issues in Dataflow Machines // Future generations computer systems. 1987, т. 3, № 4, c. 285-297.

133. S. Sakai. An Architecture of a Dataflow Single-Chip Processor // Proc. 16-th Ann. Symp. on Computer Architecture, 1989.

134. G.V. Papadopoulos, K.R. Traub. Multithreading: A revisionist view of dataflow architectures // Proc. 18-th Ann. Symp. on Computer Architecture, 1991, c. 342-351.

135. D. E. Culler, Arvind. Resource requirements of dataflow programs // Proc. 15th Ann. Symp. on Computer Architecture, 1988.

136. H. Terada и др. DDMP's: Self-Timed Super-Pipelined Data-Driven Multimedia Processors. Proceedings of the IEEE, т. 87, № 2, с. 282-296, 1988.

137. Н.И. Дикарев, Б.М. Шабанов, А.С. Шмелев. Векторный потоковый процессор: оценка производительности // Известия ЮФУ. Технические науки. 2014, № 12, с. 36-46.

138. Л. Гервич, Б.Я. Штейнберг, М. Юрушкин. Программирование экзафлопсных систем // Открытые системы. 2013, № 8, c. 26-29.

139. J.F. Hake, W. Homberg. The Impact of Memory Organization on the Performance of Matrix Calculations // Parallel Computing. 1991, т. 17, № 2/3, с. 311327.

140. C.R. Jesshope. Multi-Threaded Microprocessor - Evolution or Revolution // Proc. ACSAC 2003: Advances in Computer Systems Architecture, 2003.

141. Vector Supercomputer SX Series. 10 2013. URL: http://de.nec.com/de_DE/en/documents/SX-ACE-brochure.pdf (дата обращения: 27.08.2018).

142. B. Bramas. Fast sorting algorithms using AVX-512 on Intel Knights Landing. 2017. URL: http://arxiv.org/pdf/1704.08579.pdf (дата обращения: 27.08.2018).

143. Н.И. Дикарев, Б.М. Шабанов, А.С. Шмелев. Выполнение задач сортировки на векторном процессоре с архитектурой управления потоком данных // Программные системы: теория и приложения. 2017, т. 8, № 4(35), c. 305-317.

144. Н.И. Дикарев, Б.М. Шабанов, А.С. Шмелев. Быстрые алгоритмы сортировки для векторного потокового процессора // Суперкомпьютерные технологии (СКТ-2018) (17 - 22 сентября 2018 г.), Материалы 6-й Всероссийской научно-технической конференции, Ростов-на-Дону, 2018.

145. Сортировка слиянием. 2015. URL: https://ru.wikipedia.org/wiki/Сортировка_слиянием (дата обращения: 27.08.2018).

146. М.В. Якобовский. Введение в параллельные методы решения задач: учебное пособие /Москва: Издательство Московского университета, 2013, с. 328.

147. Н.И. Дикарев, Б.М. Шабанов, А.С. Шмелев. Моделирование параллельной работы ядер векторного потокового процессора с общей памятью // Программные системы: теория и приложения, 2018, т. 9, № 1(36), c. 37-52.

148. Н.И. Дикарев, Б.М. Шабанов, А.С. Шмелев. Выбор оптимальной производительности ядра векторного потокового процессора // Суперкомпьютерные технологии (СКТ-2016) (19 - 24 сентября 2016 г.), Материалы 4-й Всероссийской научно-технической конференции, Ростов-на-Дону, 2016.

149. J. Peraza и др. Understanding the Performance of Stencil Computations on Intel's Xeon Phi. 2013. URL: http://users.sdsc.edu/~lcarring/Papers/2013_Clusters.pdf (дата обращения: 27.08.2018).

150. Н.И. Дикарев, Б.М. Шабанов, А.С. Шмелев. Использование мелко гранулярного параллелизма в процессоре с архитектурой управления потоком данных // Проблемы разработки перспективных микро и наноэлектронных систем под ред. Р.А. Стемпковского, , Москва, ИППМ РАН, 2016, c. 144-150.

151. Н.И. Дикарев, Б.М. Шабанов, А.С. Шмелев. Проблемы масштабирования производительности в векторном процессоре с архитектурой управления потоком данных // Суперкомпьютерные технологии СКТ-2012. Материалы 2-й Всероссийской научно-технической конференции, 24 - 29 сентября 2012, Дивноморское, Геленджик, 2012.

152. Г.И. Савин, П.Н. Телегин, Б.М. Шабанов. Кластеры Беовульф // Известия высших учебных заведений. Электроника. 2004, № 1, c. 7-12.

153. T. L. Sterling, J. Salmon, D. J. Becker, D. F. Savarese. How to Build a Beowulf A guide to the Implementation and Application of PC Clusters / Cambridge, MA, USA: The MIT press, 1999.

154. A. Vajda. Programming Many-Core Chips, Springer Publishing Company, 2011, 228 с.

155. G. I. Savin, V. V. Korneyev , B. M. Shabanov , P. N. Telegin, D. V. Semonov, A. V. Kiselev, A. V. Baranov, O. I. Vdovikin, O. S. Aladyshev, A. P. Ovsyanikov. Grid-infrastructure JSCC RAS for supercomputing applications // Distributed Computing and Grid-Technologies in Science and Education: Proceedings of the 4th Intern. Conf., Dubna, June 28-July 3, 2010.

156. Г.И. Савин, Б.М. Шабанов, П.Н. Телегин, О.И. Вдовикин, А.П. Овсянников, И.А. Козырев, В.В. Корнеев, Д.В. Семенов, А.В. Киселев, А.В. Кузнецов. Инфраструктура ГРИД для суперкомпьютерных приложений // Известия высших учебных заведений. Электроника. 2011, № 1, c. 51-56.

157. Б.М. Шабанов, А.П. Овсянников, А.В. Баранов, С.А. Лещев, С.А. Долгов, Д.Ю. Дербышев. Проект распределенной сети суперкомпьютерных

центров коллективного пользования // Программные системы: теория и приложения. 2017. № 4(35). С. 245-262.

158. MareNostrum. 2018. URL: https://www.bsc.es/marenostrum/marenostrum (дата обращения: 30.11.2018).

159. New SkyLake partition on MARCONI. 08 2017. URL: http: //www. hpc. cineca. it/center_news/new-skylake-partition-marconi (дата обращения: 28.08.2018).

160. About the new HPC System COBRA at MPCDF. 2013-2018. URL: https://www.mpcdf.mpg.de/services/computing/cobra/about-the-system (дата обращения: 30.11.2018).

161. JUWELS. Jülich Wizard for European Leadership Science. 29.10.2018. URL: https://www.mpcdf.mpg.de/services/computing/cobra/about-the-system (дата обращения: 30.11.2018).

162. J.M. Hellerstein. Programming a Parallel Future / Berkeley, November 7,

2008.

163. Б.М. Шабанов, О.И. Самоваров. Принципы построения межведомственного центра коллективного пользования общего назначения в модели программно-определяемого ЦОД // Труды ИСП РАН. 2018, т. 30, № 6, с. 724.

164. K. Asanovic, R. Bodik, B. C. Catanzaro, J.J. Gebis, P. Husbands, K. Keutzer, D.A. Patterson, W.L. Plishker, J. Shalf, S. W. Williams, K.A. Yelick. The Landscape of Parallel Computing Research: A View from Berkeley / Berkeley, December 18, 2006.

165. M. Perks. Reference Architecture: VMware Software Defined Data Center. 2018. URL: https://lenovopress.com/lp0661-reference-architecture-vmware-software-defined-data-center-thinksystem (дата обращения: 20.12.2018).

166. FUJITSU White Paper, Software-Defined Data Center infrastructure for enterprise digital transformation. 2017. URL: https://sp.ts.fujitsu.com/dmsp/Publications/public/wp-sddc-infrastructure-for-enterprise-digital-transformation-ww-en.pdf (дата обращения: 20.12.2018).

167. EMC Reference Architecture, Federation Software-Defined Data Center, Foundation Infrastructure Reference Architecture. 2015. URL: https://www.emc.com/collateral/TechnicalDocument/h13378-evp-sddc-ra.pdf (дата обращения: 20.12.2018).

168. С. Гайсарян, О. Самоваров, А. Аветисян, В. Иванников. Университетский кластер": интеграция образования, науки и индустрии. Открытые системы. СУБД. 2010, № 5.

169. А. Аветисян, О. Самоваров, С. Гайсарян, Э. Хашба. OpenCirrus, российский сегмент // Открытые системы. 2011, СУБД , № 5.

170. О. Самоваров, M. Крапошин, С. Стрижак. Web лаборатория UniHUB в рамках программы 'Университетский кластер"// Proceedings of the Workshop "Multiphysical Modelling in OpenFOAM", Рига, 2011.

171. M3. Крапошин, О.И. Самоваров, С.В. Стрижак. Особенности реализации Web-лаборатории механики сплошной среды на базе технологической платформы программы Университетский Кластер» // Труды международной суперкомпьютерной конференции с элементами научной школы для молодежи Научный сервис в сети Интернет: экзафлопсное будущее, 2011.

172. М.В. Крапошин, О.И. Самоваров, С.В. Стрижак. Опыт использования СПО для проведения расчетов пространственной гидродинамики промышленного масштаба // Труды конфконференции "Свободное программное обеспечение", СПб, 2010.