Методы и средства моделирования распределенных систем хранения и обработки данных на основе результатов их мониторинга тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Нечаевский Андрей Васильевич

• Нечаевский Андрей Васильевич
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Нечаевский Андрей Васильевич

СОДЕРЖАНИЕ

ВВЕДЕНИЕ 4 ГЛАВА 1. АНАЛИЗ ПРОГРАММНЫХ ИНСТРУМЕНТОВ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ ГРИД И ОБЛАЧНЫХ СИСТЕМ

1.1. Проблемы хранения и обработки данных научных экспериментов

1.2. Распределенные системы хранения и обработки данных

1.2.1. Грид системы

1.2.2. Облачные средства хранения данных и вычислений

1.2.3. Гибридные распределенные системы хранения и обработки данных

1.3. Анализ инструментов моделирования

1.3.1. Компьютерное моделирование

1.3.2. Системы моделирования грид 28 Система моделирования Bricks 30 Система моделирования OptorSim 32 Система моделирования GridSim 38 Сравнение инструментов моделирования грид систем

1.3.3. Системы моделирования облачных инфраструктур 49 Система моделирования CloudSim 49 Система моделирования iCanCloud 53 Система моделирования CReST 57 Система моделирования SimGrid 61 Сравнительный анализ систем моделирования

1.4. Описание предлагаемого подхода к моделированию 65 Выводы по главе 1 69 ГЛАВА 2. РАЗРАБОТКА МОДЕЛЕЙ, МЕТОДОВ, АЛГОРИТМОВ И ПРОГРАММНЫХ ИНСТРУМЕНТОВ ДЛЯ СИНТЕЗА ПРОЦЕССОВ МОДЕЛИРОВАНИЯ И МОНИТОРИНГА В ЕДИНЫЙ ПРОГРАММНЫЙ ИНСТРУМЕНТАРИЙ

2.1. Базовая концепция структуры программного инструментария

2.2. Разработка базы данных

2.2.1. Описание базы данных

2.2.2. Реализация загрузки данных в систему моделирования SyMSim

2.3. Разработка веб-интерфейса для взаимодействия с моделью 82 Вывод по главе 2. 86 ГЛАВА 3. АПРОБАЦИЯ РАЗРАБОТАННОГО ПРОГРАММНОГО ИНСТРУМЕНТАРИЯ SYMSIM ДЛЯ РЕШЕНИЯ КОНКРЕТНЫХ ПРИКЛАДНЫХ ЗАДАЧ

3.1. Проверка адекватности результатов моделирования

3.1.1 Ускорительный комплекс NICA

3.1.2 Модель системы обработки данных эксперимента NICA-MPD

3.2. Моделирование системы обработки и хранения данных BM@N

3.3. Моделирование расчетов MPI-приложений на облачных вычислительных ресурсах

3.3.1. Описание эксперимента на облачном полигоне

3.3.2. Моделирование MPI-приложений

3.4. Моделирование вычислительного центра ИФВЭ (Китай) 111 Выводы по главе 3 114 ЗАКЛЮЧЕНИЕ 115 СПИСОК ЛИТЕРАТУРЫ 117 ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ 126 ПРИЛОЖЕНИЕ А. ОПИСАНИЕ ТАБЛИЦ БАЗЫ ДАННЫХ 128 ПРИЛОЖЕНИЕ Б. СВИДЕТЕЛЬСТВО О РЕГИСТРАЦИИ ПРОГРАММЫ 132 ПРИЛОЖЕНИЕ В. ПИСЬМА О ПРИМЕНЕНИИ РЕЗУЛЬТАТОВ ДИССЕРТАЦИОННОГО ИССЛЕДОВАНИЯ

ВВЕДЕНИЕ

Актуальность темы. В настоящее время в России создаются современные научные установки, которые генерируют большие объемы экспериментальных данных. Например, интенсивность потока после запуска ускорительного комплекса NICA (ОИЯИ, г. Дубна) будет составлять десятки петабайт в год. Современные системы хранения и обработки данных - это сложные распределенные программно-аппаратные комплексы, построенные с применением грид и облачных технологий, требующие определенного режима работы, меняющегося как при увеличении объемов поступающих данных, так и при изменении качества и состава оборудования. Прежде, чем приступить к созданию распределенной IT-инфраструктуры, необходимо решить, какова будет ее архитектура в зависимости от стоимостных факторов и интенсивности потоков данных. С этой целью необходимо выполнить моделирование рассматриваемой вычислительной структуры, чтобы на полученной динамической модели, учитывающей реальную специфику системы и поступающих потоков данных, выбрать оптимальную архитектуру. Как показал проведенный анализ доступных аналитических методов моделирования, в силу ограниченных теоретических предпосылок они не могут быть применены для моделирования сложных компьютерных комплексов многоуровневой архитектуры с реальными распределениями входных потоков заданий, сложной многоприоритетной дисциплиной их обслуживания и динамическим распределением. Системы хранения и обработки данных являются сложными и многокомпонентными установками, включающими кластеры, а также узлы, реализованные в облачной архитектуре, при их создании и изменении необходимо использовать имитационное моделирование. Под имитационной моделью понимается универсальное средство исследования сложных систем, представляющее собой логико-алгоритмическое описание поведения отдельных элементов системы и правил их взаимодействия, отображающих последовательность событий, возникающих в моделируемой системе.

Имитационное моделирование грид и облачных систем позволяет обнаружить узкие места в архитектуре центров обработки данных, проводить эксперименты с изменением топологии и заменой ресурсов для проверки предлагаемых решений без непосредственного вмешательства в функционирование вычислительного центра, тестировать алгоритмы управления задачами и распределения ресурсов по группам пользователей. Зачастую моделирование применяют только на этапе проектирования грид и облачных систем, однако, эксперименты продолжаются годами и десятилетиями, при этом объемы обрабатываемой информации имеют тенденции роста, поэтому одновременно с эксплуатацией системы происходит ее развитие, не только качественное, но и количественное. Очевидно, что для достижения оптимальных результатов моделирование должно носить постоянный характер на протяжении всего жизненного цикла экспериментов. В настоящее время процессы моделирования и мониторинга рассматриваются, как независимые задачи, не связанные между собой. Чтобы повысить точность получаемых результатов, необходимо в качестве входных данных для моделирования использовать статистику, накопленную во время работы подобных вычислительных инфраструктур. Для этого требуется разработка программных средств, объединяющих процессы моделирования и мониторинга систем хранения и обработки данных больших научных экспериментов.

Цели и задачи исследования

Создание методов и средств для моделирования распределенных систем хранения и обработки данных с учетом результатов их мониторинга.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Исследование различных подходов к моделированию распределенных систем хранения и обработки данных больших объемов;

2. Разработка подхода для моделирования систем хранения и обработки данных с использованием результатов мониторинга в качестве входных параметров для динамической коррекции параметров модели;

3. Создание программного инструментария для моделирования систем хранения и обработки данных, реализующего идею синтеза процессов мониторинга и моделирования;

4. Применение разработанного программного инструментария для конкретных прикладных задач.

Методы исследования

Для решения поставленных задач в диссертации использованы методы теории вероятностей и математической статистики, теории системного анализа и проектирования сложных систем, методы Монте-Карло.

Научная новизна диссертационной работы

1. Разработан оригинальный подход для моделирования вычислительных систем распределенной обработки, основанный на учете данных мониторинга, используемых для корректировки параметров модели, что выгодно отличает новый подход от других известных программ моделирования, поскольку позволяет оперативно учитывать изменения как архитектуры, так и динамику загрузки системы.

2. Разработан программный инструментарий, реализующий предложенные методы и алгоритмы, позволяющий провести предварительные исследования по анализу и выбору вариантов инфраструктур с учетом их загрузки и определить наиболее эффективное решение для построения IT-инфраструктуры обработки и хранения данных.

3. Впервые получены данные моделирования для вычислительных центров экспериментов BM@N и MPD ускорительного комплекса NICA, а также

вычислительного центра ИФВЭ1 в Пекине. Результаты моделирования позволили проверить различные варианты организации инфраструктуры и дать рекомендации по составу оборудования.

Положения, выносимые на защиту

1. Новый подход к моделированию систем хранения и обработки данных на основе использования результатов мониторинга для динамической коррекции параметров модели.

2. Программный инструментарий для моделирования систем хранения и обработки данных, реализующий синтез процессов моделирования и мониторинга, позволяющий провести предварительные исследования различных вариантов организации IT-инфраструктуры, оценить возможности существующей архитектуры при решении задач хранения и обработки данных и дать рекомендации по ее оптимизации.

3. Научные результаты по прогнозированию IT-инфраструктуры экспериментов BM@N и MPD ускорительного комплекса NICA, производительности MPI-приложений на облачной инфраструктуре ЛИТ, а также инфраструктуры вычислительного центра ИФВЭ в Пекине, полученные в результате моделирования и обеспечившие получение информации, необходимой для оптимизации режима работы и повышения эффективности указанных систем.

Практическая значимость

1. Разработано программное обеспечение для моделирования распределенных вычислительных центров - комплекс SyMSim (Свидетельство о регистрации программы для ЭВМ №2017618100 "Программный комплекс для моделирования распределенных систем

1 Научно-исследовательский институт физики высоких энергий китайской академии наук (english.ihep.cas.cn)

2 Synthesis of Monitoring and Simulation - синтез мониторинга и моделирования

хранения и обработки данных на основе результатов их мониторинга", дата регистрации 21.07.2017).

2. Предложенный в исследовании подход позволяет провести исследования IT-инфраструктуры для принятия управленческих решений по ее модернизации с целью сохранения скорости получения результатов экспериментов при постоянном повышении потока данных, а также сократить срок создания технического проекта. Это достигается за счет обоснованного вычислительным экспериментом прогноза уровня загрузки оборудования и уточнения необходимого запаса ресурсов.

3. Разработанный программный инструментарий был использован для моделирования вычислительных центров экспериментов BM@N и MPD ускорительного комплекса NICA, в результате которого определены основные характеристики этих систем и даны практические рекомендации по выбору оборудования. Проведенное моделирование вычислительного центра ИФВЭ в Пекине позволило дать рекомендации по развитию центра.

Достоверность представленных в диссертации результатов, подтверждается сопоставлением реальных статистических данных и результатов, полученных с использованием имитационной модели. Все представленные результаты прошли апробацию в научных изданиях, на международных конференциях. На программный инструментарий получено свидетельство о регистрации авторских прав.

Введение диссертации (часть автореферата) на тему «Методы и средства моделирования распределенных систем хранения и обработки данных на основе результатов их мониторинга»

Апробация работы

Результаты работы неоднократно докладывались и обсуждались на семинарах ЛИТ ОИЯИ, на российских и международных научных конференциях:

- The International Conference «Distributed computing and Grid technologies in science and education» 2014, 2016 (Dubna, Russia);

- XVII международная конференция DAMDID/RCDL "Аналитика и управление данными в областях с интенсивным использованием данных", 2015 (Обнинск, Россия);

- The International Conference on Mathematical Modeling and Computational Physics, 2015 (Stara Lesna, Slovakia);

- The 4th International Young Scientists Conference and Summer School, 2015 (Athens, Greece);

- 44th meeting of the PAC for Particle Physics, JINR, 2015 (Russia, Dubna, poster session)

- RO-LCG 2016 Conference "Grid, Cloud, and High-Performance Computing in Science", Magurele, Romania, 26-28 October, 2016

- 23d International Conference on Computing in High Energy and Nuclear Physics, CHEP2018, Sofia, Bulgaria, 2018.

Диссертационное исследование выполнялось в рамках Проблемно-тематического плана научно-исследовательских работ и международного сотрудничества ОИЯИ по теме № 05-6-1118-2014/2023 "Информационно-вычислительная инфраструктура ОИЯИ", а также при поддержке:

- гранта РФФИ в рамках научного проекта № 14-07-00215 "Разработка средств планирования построения и развития систем хранения и обработки больших объёмов данных на основе синтеза процессов моделирования и мониторинга" (руководитель Ососков Г.А.);

- гранта РФФИ в рамках научного проекта № 15-29-01217 "Разработка программно-аппаратного комплекса для численных исследований джозефсоновских наноструктур на базе облачного центра ЛИТ ОИЯИ с использованием параллельных вычислений" (руководитель Ососков Г.А.);

- грантов ОИЯИ для молодых ученых и специалистов (№14-603-02, №15603-03) и стипендии имени Говоруна (ЛИТ ОИЯИ).

В 2015 году результаты, представленные в диссертационном исследовании, удостоены премии Губернатора Московской области в сфере науки и инноваций для молодых ученых.

В диссертационной работе использованы результаты двух магистерских работ, где автор был консультантом:

1. Пряхина Д.И. "Моделирование процессов управления распределенными данными для крупных проектов", 2015

2. Айриян В.С. "Создание и исследование имитационной модели облачной инфраструктуры на примере LIT Cloud", 2017

Личный вклад

Содержание диссертации, а также основные результаты и положения, выносимые на защиту, отражают персональный вклад автора.

Подготовка к публикациям полученных результатов проводилась совместно с соавторами, при этом вклад соискателя был определяющим. Все представленные в диссертации результаты получены лично автором, либо в соавторстве при определяющем вкладе соискателя.

Соответствие диссертации паспорту специальности

Данная диссертационная работа соответствует формуле специальности, поскольку содержит в себе разработку программного инструментария для моделирования процессов хранения и обработки данных в сложных многокомпонентных системах, которыми являются распределенные IT-инфраструктуры.

Проблематика диссертации соответствует областям исследований:

• пункт 3 формулы специальности - модели, методы, алгоритмы, языки и программные инструменты для организации взаимодействия программ и программных систем;

• пункт 4 формулы специальности - системы управления базами данных и знаний;

• пункт 9 формулы специальности - модели, методы, алгоритмы и программная инфраструктура для организации глобально распределенной обработки данных.

Публикация результатов

По результатам исследований, составивших основу диссертации, опубликовано 17 работ, выполненных в течение 2013-2019 гг. в соответствии с требованиями к публикациям Положения о присуждении ученых степеней в ОИЯИ (пр. ОИЯИ от 30.04.2019 № 320). Получено 1 свидетельство о регистрации программного продукта.

Структура и объем работы

Диссертация состоит из 3 глав, введения, заключения и приложения, содержит 134 страницы, включает 34 рисунка, 21 таблицу и библиографию из 71 наименования.

Основные положения диссертации отражены в следующих публикациях:

1. Andrey Nechaevskiy, Gennady Ososkov, Darya Pryahina, Vladimir Trofimov, Weidong Li. Simulation approach for improving the computing network topology and performance of the China IHEP Data Center // EPJ Web of Conferences, Vol. 214, 2019, 08018

2. Кутовский Н.А., Нечаевский А.В., Ососков Г. А., Пряхина Д.И., Трофимов В.В. Моделирование межпроцессорного взаимодействия при выполнении MPI-приложений в облаке // Компьютерные исследования и моделирование, Т.9, № 6, 2017, с.955-963.

3. Korenkov V.V., Nechaevskiy A.V., Ososkov G.A., Pryahina D.I., Trofimov V.V., Uzhinskiy A.V. Simulation concept of NICA-MPD-SPD Tier0-Tier1 computing facilities // Particles and Nuclei Letters, Vol. 13, № 5, 2016, p.1074-1083.

4. Korenkov V.V., Nechaevskiy A.V., Ososkov G.A., Potrebenikov Y.K., Pryahina D.I., Trofimov V.V., Uzhinskiy A.V. Simulation of distributed data processing system for BM@N experiment of T0-T1 NICA project // Selected Papers, 7th International Conference Distributed Computing and Grid-technologies in Science and Education, CEUR Workshop Proceedings, ISSN 1613-0073, Vol.1787, 2016, p.307-311.

5. Korenkov V.V., Nechaevskiy A.V., Ososkov G.A., Pryahina D.I., Trofimov V.V., Uzhinskiy A.V., Voytishin N.N. The JINR Tier1 Site Simulation for Research and Development Purposes // European Physical Journal (EPJ) -Web of Conferences, Vol.108, 02033, 2016.

6. Korenkov V.V., Nechaevskiy A.V., Ososkov G.A., Potrebenikov Y.K., Pryahina D.I., Trofimov V.V., Uzhinskiy A.V. Optimization of Distributed Data Processing System for NICA BM@N Experiment by Using Simulation // Procedia Computer Science, Vol.101, 2016, p.333-340.

7. Кореньков В.В., Нечаевский А.В., Ососков Г.А., Пряхина Д.И., Трофимов В.В., Ужинский А.В. Моделирование грид и облачных сервисов как важный этап их разработки // Системы и средства информатики, Т.25, вып.1, 2016, с.3-19.

8. Кореньков В.В., Нечаевский А.В., Ососков Г.А., Пряхина Д.И., Трофимов В.В., Ужинский А.В. Синтез процессов моделирования и мониторинга для развития систем хранения и обработки больших массивов данных в физических экспериментах // Компьютерные исследования и моделирование, Т.7, № 3, 2015, с.691-698.

9. Ososkov G.A., Korenkov V.V., Nechaevskiy A.V., Pryahina D.I., Trofimov V.V., Uzhinskiy A.V., Balashov N.A. Web-Service Development of the Grid-

doud Simulation Tools // Procedia Computer Science, Vol.66, 2015, p.533-539.

10. Nechaevskiy, A.V., Pryahina, D.I., Trofimov, V.V. Usage of data of a Tier1 site monitoring for simulation of the file distribution strategies // CEUR Workshop Proceedings, ISSN 1613-0073, Vol.1536, 2015, р.173-178.

11. Korenkov V.V., Nechaevskiy A.V., Ososkov G.A Pryahina D.I., Trofimov V. V., Uzhinskiy A.V. Simulation of Grid and Cloud Services as the Means of Improvement of Their Development Efficiency // CEUR Workshop Proceedings, ISSN 1613-0073, Vol.1297, 2014, p.13-19.

12. Кореньков В.В., Муравьев А.Н., Нечаевский А.В. Пакеты моделирования облачных инфраструктур // Системный анализ в науке и образовании, №2, 2014.

13. Кореньков В.В., Нечаевский А.В., Ососков Г.А., Пряхина Д.И., Трофимов В.В., Ужинский А.В. Моделирование грид-облачных сервисов проекта NICA, как средство повышения эффективности их разработки // Компьютерные исследования и моделирование, Т.6, № 5, 2014, с.635-642.

14. Кореньков В.В, Нечаевский А.В., Трофимов В.В. Разработка имитационной модели сбора и обработки данных экспериментов на ускорительном комплексе НИКА // Информатика и ее применения, Т.7, вып. 3, 2013, с. 130-137.

15. Кореньков В.В., Нечаевский А.В., Трофимов В.В. Моделирование распределенной системы сбора, передачи и обработки данных для крупных научных проектов (мегапроект НИКА) // Информационные технологии и вычислительные системы, №4, 2013, с.37-44.

16. Нечаевский А.В. История развития компьютерного имитационного моделирования // Системный анализ в науке и образовании, № .2, 2013.

17. Кореньков В.В., Нечаевский А.В., Трофимов В.В. Модель системы offline обработки данных эксперимента НИКА // Системный анализ в науке и образовании, № 4, 2012.

ГЛАВА 1. АНАЛИЗ ПРОГРАММНЫХ ИНСТРУМЕНТОВ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ ГРИД И ОБЛАЧНЫХ

СИСТЕМ

1.1. Проблемы хранения и обработки данных научных экспериментов

Стремительный прогресс компьютерных технологий, программных средств и взрывное развитие глобального информационного пространства, возникшего с появлением Интернета, объединившего между собой компьютерные сети во всемирную систему передачи информации с помощью информационно-вычислительных ресурсов, — все это ознаменовало вступление человечества в новую эру Больших Данных (Big Data).

Майер-Шенбергер и Кукьер, авторы книги «Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим», характеризуют Большие Данные, как «массу новых задач, касающихся общественной безопасности, глобальных экономических моделей, неприкосновенности частной жизни, устоявшихся моральных правил, правовых отношений человека, бизнеса и государства» [1]. Раньше сбор и обработка больших объемов данных были недоступны человеку, а статистика, теория вероятности, позволяли уточнять результаты вычислений за счет получения большого количества точек данных. Big Data же возникает тогда, когда для обработки доступны огромные количества измерений. Авторы книги уделяют значительное внимание рассмотрению примеров использования больших объемов данных, убеждая в том, что мы уже живем в мире Big Data.

В технической, научной и, особенно, в социальных сферах нас окружает непрерывный поток большого количества информации, идущий из компьютеров, мобильных телефонов, передач различных масс медиа и множества других источников. Поэтому часто Big Data определяют, как данные, которые слишком велики и сложны, чтобы их можно было эффективно запомнить, передать и проанализировать стандартными средствами доступных

БД и иных имеющихся систем хранения, передачи и обработки. Но, говоря о Больших Данных, надо понимать, что это не просто «очень много данных».

В 2001 г. компания META Group, крупный аналитик рынка информационных технологий, ввела в качестве определяющих характеристик для Больших Данных так называемые «три V» [2]:

- объем (Volume, в смысле величины физического объема);

- скорость (Velocity, в смыслах как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов);

- многообразие (Variety, в смысле возможности одновременной обработки различных типов структурированных и неструктурированных данных).

Однако, когда общий поток данных растет экспоненциально, удваиваясь каждый год за счет революционных технологических изменений, к 2014 г. даже эту «три V» модель предлагают расширить, добавляя новые и новые «V», включая Validity (обоснованность, применимость), Veracity (достоверность), Value (ценность, полезность), и Visibility (обозримость, способность к визуализации) и т.д. [3]. В соответствии с 4-й парадигмой научных исследований [4], проведение исследований, движимых данными, становится неотъемлемой частью различных областей науки, экономики, бизнеса. Без обеспечения все новыми данными, являющимися результатом наблюдений, измерений в природе и обществе, развитие исследований в различных областях с интенсивным использованием данных становится немыслимым [5].

Самым ярким примером Больших Данных являются потоки экспериментальных данных физики высоких энергий, поступающие с БАК (LHC, Large Hadron Collider) в ЦЕРН [6]. За время первого запуска БАК в 2012 четыре экспериментальные установки на нем ALICE, ATLAS, CMS и LHCb выдавали каждую секунду 1 петабайт (1015 байт) данных. Запомнить такое количество данных было невозможно ни на какой из вычислительных систем. Поэтому после сверхбыстрой сложной электронной предобработки, в ЦЕРН

выполнялся их первичная реконструкция в компьютерном центре обработки из многих тысяч процессоров. Но даже после сокращения объема экспериментальных данных в миллион раз, для этих четырех больших экспериментов требовалось хранить, поступающие в год 25 петабайт данных, в специальных роботизированных ленточных хранилищах. Копии этих данных подлежат передаче в сотни физических центров в 36 странах мира, объединенных во Всемирную сеть распределенных вычислений — Worldwide LHC Computing Grid (WLCG). Сравнение БАК по общим объемам обрабатываемых данных с тем, что выполняется в социальных сетях, поисковых системах, разных отраслях бизнеса, медицины, климатических прогнозов, наглядно показывает, что исследования в ЦЕРНе идут в условиях Больших Данных.

Таким образом, развитие научных исследований в физике высоких энергий и других направлениях человеческой деятельности требуют совместной работы многих организаций по обработке большого объема данных в относительно короткие сроки. Для этого создаются системы распределенного хранения и обработки данных, которые способны передавать, обрабатывать и хранить огромные массивы данных с применением грид и облачных технологий.

1.2. Распределенные системы хранения и обработки данных

1.2.1. Грид системы

Термин «грид-вычисления» появился в начале 1990 годов в «The Grid: Blueprint for a new computing infrastructure» под редакцией Яна Фостера и Карла Кессельмана, как метафора, демонстрирующая возможность простого доступа к вычислительным ресурсам, как и к электрической сети (power grid). «Грид — географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и БД, сети), доступ к которым пользователь может получить из

любой точки, независимо от места их расположения. Грид предполагает коллективный разделяемый режим доступа к ресурсам и к связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы. В каждой виртуальной организации имеется своя собственная политика поведения ее участников, которые должны соблюдать установленные правила. Виртуальная организация может образовываться динамически и иметь ограниченное время существования» [7].

В.В. Кореньков в своей статье «Грид-технологии: статус и перспективы» [8] перечисляет основные приложения грид, к которым относятся:

- сложное моделирование на удаленных суперкомпьютерах;

- совместная визуализация очень больших наборов научных данных;

- распределенная обработка в целях анализа данных;

- соединение научного инструментария с удаленными компьютерами и архивами данных.

Также среди основных направлений использования грид автор статьи выделяет:

- организацию эффективного использования ресурсов для небольших задач, с утилизацией временно простаивающих компьютерных ресурсов;

- вычисления с привлечением больших объемов географически распределенных данных;

- коллективные вычисления, в которых одновременно принимают участие пользователи из различных организаций.

Таким образом, грид служит универсальной эффективной инфраструктурой для распределенных вычислений и обработки данных. И, если первоначально технологии грид использовались для научных и инженерных приложений, то теперь они применяются для решения различных задач в государственном управлении, медицине, промышленности, бизнесе.

Самым масштабным научным проектом последних лет является создание в ЦЕРН БАК. Очень большой объем данных, которые поступают с детектора, требует использования грид системы для их обработки. Эта система имеет несколько уровней организации и представляет собой распределенную модель хранения и обработки данных. Базовыми элементами являются компьютерные узлы ^ег0, ^ег1, ^ег2. Суть распределенной модели состоит в том, что весь объем информации с детекторов БАК после обработки в реальном времени и первичной реконструкции должен направляться для дальнейшей обработки и анализа в региональные центры.

Описание центров обработки и их функций приведено в таблице 1.

Таблица 1. Функции ресурсных центров

НвгО первичная реконструкция событий, калибровка, хранение копий полных БД

Ивг1 полная реконструкция событий, хранение актуальных БД по событиям, создание и хранение наборов анализируемых событий, моделирование, анализ

Ивг2 репликация и хранение наборов анализируемых событий, моделирование, анализ

ИвгЗ кластеры отдельных исследовательских групп

Центром обработки данных является ^ег0, расположенный в ЦЕРН. Он осуществляет первичную обработку данных, их калибровку, создает файлы информации для событий. После первичной обработки эти файлы рассылаются в 13 вычислительных центров ^ег1 с достаточной емкостью хранения и круглосуточной поддержкой грид, где проводится основной массив вычислений по реконструкции данных измерений. Эти результаты в форме файлов с реконструированными данными рассылаются в центры уровня ^г2, где становятся доступными физикам, которые выполняют их анализ. Для индивидуальной работы или работы небольшой группы физиков по определенной теме предназначены локальные вычислительные базы ^ег3, функции которой уже может выполнять отдельный персональный компьютер

На торжестве 4 июля 2012 г. по поводу получения нобелевской премии за открытие бозона Хиггса директор ЦЕРН Рольф Хойер прямо назвал грид-технологии одним из трех столпов успеха (наряду с ускорителем БАК и физическими установками) [10].

1.2.2. Облачные средства хранения данных и вычислений

«Облачные вычисления — это модель предоставления удобного сетевого доступа в режиме «по требованию» к коллективно используемому набору настраиваемых вычислительных ресурсов (например, сетей, серверов, хранилищ данных, приложений и сервисов), которые пользователь может оперативно задействовать под свои задачи и высвобождать при сведении к минимуму числа взаимодействий с поставщиком услуги или собственных управленческих усилий. Эта модель направлена на повышение доступности вычислительных ресурсов» [11].

Потребитель, когда это ему необходимо, может самостоятельно задействовать вычислительные возможности, такие как серверное время или сетевое хранилище данных, в автоматическом режиме, без взаимодействий с персоналом поставщика услуг. Все возможности доступны через сеть на основе стандартных механизмов, что обеспечивает использование разнородных тонких и толстых клиентских платформ, таких как мобильных телефонов, ноутбуков.

-5

Поставщик объединяет свои вычислительные ресурсы в пул для обслуживания большого числа потребителей. Различные физические и виртуальные ресурсы динамически распределяются и перераспределяются в соответствии с потребностями пользователей. Возникает ощущение независимости от местоположения, когда заказчик не знает и не контролирует, где конкретно находятся вычислительные ресурсы, которыми он пользуется.

Вычислительные возможности могут быстро и гибко резервироваться (часто автоматически) для оперативного масштабирования под задачи

3 Пул — набор общих ресурсов (вычислительных систем, хранилищ и сетей), образующих среду, в которой размещаются виртуальные нагрузки

заказчика, и также быстро освобождаться. С точки зрения потребителя доступные возможности часто выглядят ничем не ограниченными и могут быть приобретены в любом количестве в любое время. Облачные системы автоматически контролируют и оптимизируют использование ресурсов через измерение некоторых параметров, таких как размер хранилища данных, вычислительная мощность, пропускная способность, число активных пользовательских записей.

Таким образом, облачные технологии обеспечивают сетевой доступ к вычислительным, программным и информационным ресурсам (сетям передачи данных, серверам, устройствам хранения, сервисам и приложениям), конфигурируемым в соответствии с оперативными запросами. Они позволяют значительно сократить расходы на ИТ-инфраструктуру, удовлетворять динамически меняющиеся потребности в ресурсах и т.д.

1.2.3. Гибридные распределенные системы хранения и обработки данных

Для широкого спектра задач в различных областях науки является актуальным сокращение времени их выполнения, а также повышение эффективности использования ресурсов. Одним из решений представляется синтез облачных и грид-технологий. Как было показано в диссертации Н.А. Кутовского [12], повышение эффективности использования компьютерных ресурсов достигается при размещении грид-сервисов на виртуальных машинах в облачной среде, а уменьшение времени выполнения — за счет решения задач на отдельных специализированных комплексах. «Таким образом, представляется актуальным разработка методов создания многофункциональных гетерогенных комплексов для решения широкого класса задач в области физики высоких энергий, позволяющих сократить время решения этих задач и повысить эффективность использования ресурсов».

Примером уже имеющейся технологии, реализующей синтез облачных и грид-технологий для работы с Большими Данными, является система РапОА

(Production and Distributed Analysis — обработка данных и распределенный анализ) эксперимента ATLAS на LHC. Сегодня PanDA рассматривается как возможная система для российского мегапроекта NICA в ОИЯИ [13].

В 2018 г. во время второго запуска БАК, даже после отсева 99% данных, с детекторов БАК было получено 88 ПБ данных [14], что потребовало значительного увеличения вычислительных мощностей и ресурсов хранения данных [16]. Следует отметить, что в 2021 г. предстоит третий запуск БАК после его существенной модернизации, где ожидается двукратное увеличение собираемых данных и неизбежный переход к гибридным IT-инфраструктурам. Это необходимо для потенциально новой физики, но сталкивается с новыми серьезными требованиями, а именно:

• значительное увеличение вычислительных мощностей и сетевых ресурсов хранения данных;

• необходимость доступа к данным из грид и облаков;

• активное использование распределенных параллельных вычислений;

• совершенствование кодов программ анализа и моделирования.

На сегодняшний день грид и облачные технологии активно применяются как государственными организациями в сфере управления, обороны, коммунальных услуг, так и частными компаниями, например, финансовыми и энергетическими. Такие системы используются, например, для обработки и хранения данных с экспериментов физики высоких энергий, где ускорители частиц производят объем данных до сотен петабайт в год. Следует подчеркнуть, что разработка таких сложнейших систем сбора, передачи и распределенной обработки сверхбольших объемов информации требует больших предварительных исследований по выбору их оптимальной структуры с учетом стоимости предполагаемых ресурсов и их загрузки.

1.3. Анализ инструментов моделирования

Если говорить о моделировании как о методе научного познания, то

моделирование это один из методов познания, состоящий в описании реальных объектов и явлений с помощью других объектов и явлений либо с помощью абстрактного описания в виде изображения, уравнения, формулы, программы для компьютера. Таким образом, модель - это представление реального объекта в форме, отличной от его реального воплощения.

По способам моделирования различают

- физическое, натурное моделирование;

- структурно-функциональное (с помощью языка, блок-схемы, графика, карты);

- математическое (с помощью аналитического описания: уравнений и формул);

- имитационное моделирование для тех случаев, когда аналитическое описание невозможно в силу сложности описываемого явления. Поскольку имитационное моделирования возникло и может быть выполнено только на компьютере, его часто называют компьютерным моделированием, что, вообще говоря, сужает описание этого способа моделирования, т.к. в настоящее время на компьютере реализуются и аналитические и различные числовые модели явлений.

В качестве целей моделирования, можно назвать: осмысление, изучение действительности; общение; обучение, тренаж.

Функции моделирования: конструирование и проверка модели; экспериментирование с моделью для изучения поставленной задачи, выбора оптимальной стратегии ее решения или предсказания поведения изучаемого процесса в будущем.

Модели классифицируют:

- по вышеуказанным способам моделирования;

- по отношению к времени: статические или динамические модели;

- по отношению к случайности: детерминистские или стохастические модели [15].

Если теперь выбирать способ моделирования, наиболее адекватный решаемой задаче, то очевидно, что физическое моделирование нам не подходит. При физическом моделировании исследуемая система заменяется соответствующей ей другой материальной системой, которая воспроизводит свойства изучаемой системы с сохранением их физической природы. Возможности физического моделирования ограничены. Оно позволяет решать отдельные задачи при задании небольшого количества сочетаний исследуемых параметров системы. При физическом моделировании практически невозможно проверить работу системы для различных вариантов. Проверка на практике около десятка разных типов условий связана с большими усилиями, временными и немалыми материальными затратами. Во многих областях исследований физический эксперимент невозможен, потому что он либо запрещен (изучение здоровья человека), либо слишком опасен (изучение экологических явлений), либо просто неосуществим (изучение астрофизических явлений).

Поэтому во многих случаях предпочтительным оказывается использование математического моделирования. Математическая модель представляет собой совокупность соотношений (формул, уравнений, неравенств, логических условий), определяющих процесс изменения состояния системы в зависимости от ее параметров, входных сигналов, начальных условий и времени. Под математическими моделями понимают основные закономерности и связи, присущие изучаемому явлению. Это могут быть формулы или уравнения, наборы правил или соглашений, выраженные в математической форме [17].

В настоящее время широко применяется два вида математического моделирования: аналитическое и имитационное. При аналитическом моделировании изучаются математические (абстрактные) модели реального объекта в виде алгебраических, дифференциальных и других уравнений, а также предусматривающих осуществление однозначной вычислительной

процедуры, приводящей к их точному решению. При имитационном моделировании исследуются математические модели в виде алгоритма(ов), воспроизводящего функционирование исследуемой системы путем последовательного выполнения большого количества элементарных операций [18].

Список литературы диссертационного исследования кандидат наук Нечаевский Андрей Васильевич, 2021 год

СПИСОК ЛИТЕРАТУРЫ

1. Майер-Шенбергер В., Кукьер К. Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим. // М.: Манн, Иванов и Фербер, 2013. - 240 с.

2. Laney D. Application Delivery Strategies [Электронный ресурс] - Электрон. текст. - 2001. - Режим доступа: https://studylib.net/doc/8647594/3d-data-management--controlling-data-volume--velocity--an..., свободный (дата обращения - 12.05.2020).

3. Livingstone R. The 7 Vs of Big Data - and by they are important for you and your business [Электронный ресурс] - Электрон. текст. - 2013. - Режим доступа: https://rob-livingstone.com/2013/06/vs-big-data/, свободный (дата обращения - 02.06.2020).

4. Hey T., Tansley S., Tolle K. The fourth paradigm: Data-intensive scientific discovery // Microsoft Research. 284 p. Available at: http://goo.gl/edvr6W (дата обращения - 15.05.2020)

5. Калиниченко Л.А., Вольнова А.А., Гордов Е.П., Киселева Н.Н., Ковалева Д.А., Малков О.Ю., Окладников И.Г., Подколодный Н.Л., Позаненко А.С., Пономарева Н.В., Ступников С.А., Фазлиев А.З. Проблемы доступа к данным в исследованиях с интенсивным использованием данных в России // Информатика и ее применения. - 2006. - Т.10, №1. - С. 3-23.

6. Computing | CERN [Электронный ресурс] - Электрон. текст. - Режим доступа: http://home.web.cern.ch/about/computing, свободный (дата обращения - 02.03.2020).

7. Foster I., Kesselman C. The grid: blueprint for a new computing infrastructure. // Morgan Kaufmann Publishers Inc. San Francisco, CA, USA, 1999. - 593 p. -ISBN 1-55860-475-8.

8. Кореньков В.В. Грид-технологии: статус и перспективы // Вестник Международной академии наук. Русская секция. 2010. - N1. - С. 41-44. -ISSN 1819-5733.

9. Worldwide LHC Computing Grid [Электронный ресурс] - Электрон. текст. -Режим доступа: http://wlcg.web.cern.ch/, свободный (дата обращения -04.02.2020).

10. Update on the Higgs Boson searches at the LHC, 4th July 2012 4th July 2012, Seminar at CERN [Электронный ресурс] - Режим доступа: https://www.youtube.com/watch?v=XvI7boyEIAw, свободный (дата обращения - 12.11.2018).

11. Mell P., Grance T. The NIST Definition of Cloud Computing [Электронный ресурс] - Электрон. текст. - 2011. - Режим доступа: https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-145.pdf, свободный (дата обращения - 12.03.2020).

12. Кутовский Н.А. Развитие методов построения грид-сред и систем облачных вычислений для задач физики высоких энергий: Диссертация кандидата физико-математических наук // ЛИТ ОИЯИ. - Дубна, 2014. - 125 с.

13. Климентов А., Ваняшин А., Кореньков В. За большими данными следит ПАНДА // СуперКомпьютеры. 2013. - N3 (15). - С. 56-61.

14. Collaboration website [Электронный ресурс] - Электрон. текст. - Режим доступа: https://wlcg-public.web.cern.ch/about (дата обращения - 12.04.2020).

15. Майер Р.В. Компьютерное моделирование: моделирование как метод научного познания. Компьютерные модели и их виды. // Научный электронный архив. - Режим доступа: http://econf.rae.ru/article/6722 (дата обращения - 15.03.2020).

16. José M., Hernández M. CIEMAT, On behalf of the Spanish LHC Computing community, Perspectives on LHC Computing [Электронный ресурс] -

Электрон. текст. - 2013. - Режим доступа:

http: //indico. cern. ch/event/153763/contribution/14/material/slides/0. pdf свободный (дата обращения - 02.03.2020).

17. Бирюков Б.В., Гастев Ю.А., Геллер Е.С. Моделирование // БСЭ. - 3-е изд. -М., 1974. - Т.16. - С. 393-395.

18. Нечаевский А.В. История развития компьютерного имитационного моделирования // Электронный журнал «Системный анализ в науке и образовании». 2013. - N2. - УДК 004.414.23, 519.876.5.

19. Попков Ю.С. Макросистемы и grid-технологии: моделирование динамических стохастических сетей // Информационные технологии в управлении. 2003. - N1. - С. 10-20.

20. Рыбаков Д.С., Дергачева Л.М. Компьютерное моделирование: задачи оптимизации // Научный журнал Российского университета дружбы народов. 2007. - N2 -3.

21. Модель распределенной системы коллективного пользования для сбора, передачи и обработки сверхбольших объемов информации на основе технологии Грид для ускорительного комплекса НИКА [Текст]: Отчет о НИР (промежуточ.) / ОИЯИ; рук. Кореньков В.В.; исполн.: Белов С.Д. [и др.]. - Дубна, 2011. - 91 с. - Шифр: 2011-1.4-514-049-061.

22. Кореньков В.В., Нечаевский А.В., Трофимов В.В. Разработка имитационной модели сбора и обработки данных экспериментов на ускорительном комплексе НИКА // Информатика и ее применения. 2013. -T.7, N3. - С. 94-101.

23. Кореньков В.В., Нечаевский А.В., Ососков Г.А., Пряхина Д.И., Трофимов В.В., Ужинский А.В. Моделирование грид-облачных сервисов проекта NICA, как средство повышения эффективности их разработки //

Компьютерные исследования и моделирование. 2014. - Т.6, N5. - С. 635642. - ISSN 2076-7633.

24. Bricks: A Performance Evaluation System for Grid Computing Scheduling Algorithms [Электронный ресурс] — Режим доступа: http://ninf.apgrid.org/bricks/, свободный (дата обращения - 12.04.2011).

25. Simulating data access optimization algorithms // OptorSim. [Электронный ресурс] — Режим доступа: http://edg-wp2.web.cern.ch/edg-wp2/optimization/optorsim.html, свободный (дата обращения - 12.04.2011).

26. GridSim: A Grid Simulation Toolkit for Resource Modelling and Application Scheduling for Parallel and Distributed Computing [Электронный ресурс] — Режим доступа: http://www.gridbus.org/gridsim/, свободный (дата обращения - 14.06.2012).

27. Cameron D.G. et al. OptorSim: A simulation tool for scheduling and replica optimisation in data grids // Computing in High Energy Physics and Nuclear Physics. - 2004. - http://dx.doi.org/10.5170/CERN-2005-002.707

28. Cameron D.G. et al. OptorSim v2.1: Installation and User Guide [Электронный ресурс] — Режим доступа: https://sourceforge.net/projects/optorsim/files/ optorsim/optorsim-2.1/userguide-optorsim.pdf (дата обращения - 14.06.2012).

29. Rajkumar B., Manzur M. GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing // Concurrency and Computation: Practice and Experience. - 2002. - 1175-1220. -https://arxiv.org/ftp/cs/papers/0203/0203019.pdf

30. Klusacek D., Matyska L., Rudova H. Alea — Grid scheduling simulation environment // 7th International Conference on Parallel Processing and Applied Mathematics (PPAM 2007), volume 4967 of LNCS. - 2008. - P. 1029-1038.

31. Caminero A. et al. Extending GridSim with an architecture for failure detection // Parallel and Distributed Systems, 2007 International Conference, Vol. 2, 2008, 10.1109/ICPADS.2007.4447756

32. CloudSim: a framework for modeling and simulation of cloud computing infrastructures and services. [Электронный ресурс] — Режим доступа: http://www.cloudbus.org/cloudsim (дата обращения: 20.05.2014).

33. iCanCloud Homepage [Электронный ресурс] — Режим доступа: http://www.arcos.inf.uc3m.es/~icancloud/Home.html (дата обращения: 20.05.2014).

34. Cartlidge J., Cliff D. Comparison of cloud middleware protocols and subscription network topologies using CReST, the cloud research simulation toolkit // Proceedings 3rd Int. Conf. Cloud Computing and Services Science. -Germany: SciTePress. - 2013. - P. 58-68.

35. Howell F., Mcnab R. SimJava: A discrete event simulation library for java. // Proceedings of the first International Conference on Web-Based Modeling and Simulation. - 1998.

36. Rodrigo N. Calheiros, Rajiv Ranjan, Anton Beloglazov, Cesar A. F. De Rose, and Rajkumar Buyya, CloudSim: A Toolkit for Modeling and Simulation of Cloud Computing Environments and Evaluation of Resource Provisioning Algorithms // Software: Practice and Experience. - January 2011. - Vol. 41. -№1. - P. 23-50.

37. Medina A., Lakhina A., Matta I., Byer J. BRITE: An Approach to Universal Topology Generation. // Proceedings of the 9th International Workshop on Modeling, Analysis, and Simulation of Computer and Telecommunication Systems (MASCOTS 2001). - Cincinnati, USA. - 2001.

38. OMNeT++ Community Homepage [Электронный ресурс] - Электрон. текст. - Режим доступа: http://www.omnetpp.org (дата обращения: 22.12.2014).

39. INET Framework Homepage [Электронный ресурс] - Электрон. текст. -Режим доступа: http://inet.omnetpp.org (дата обращения: 21.12.2014).

40. Laing B. Summary of Windows Azure Service Disruption on Feb 29th, 2012 [Электронный ресурс] - Электрон. текст. - Режим доступа: https://azure.microsoft.com/m-m/blog/summary-of-windows-azure-service-disruption-on-feb-29th-2012/, свободный (дата обращения - 04.11.2019).

41. Casanova H. et al. Versatile, Scalable, and Accurate Simulation of Distributed Applications and Platforms // Journal of Parallel and Distributed Computing. — 2014. — Vol. 74, No. 10. — P. 2899-2917.

42. CloudSimEx Documentation [Электронный ресурс] - Электрон. текст. -Режим доступа: http://nikolaygrozev.wordpress.com/category/cloudsimex, свободный (дата обращения - 04.11.2015).

43. WorkflowSim Homepage [Электронный ресурс] - Электрон. текст. - Режим доступа: http://www.workflowsim.org, свободный (дата обращения: 20.05.2015).

44. Bux M., Leser U. DynamicCloudSim: simulating heterogeneity in computational clouds. // Int. Workshop on Scalable Workflow Enactment Engines and Technologie, in conjunction with ACM SIGMOD Conference. - New York. -USA. - DOI: 10.1145/2499896.2499897.

45. CMS | CERN [Электронный ресурс] - Электрон. текст. - Режим доступа: https://home.cern/science/experiments/cms, свободный (дата обращения -12.03.2019).

46. ATLAS | CERN [Электронный ресурс] - Электрон. текст. - Режим доступа: https://home.cern/science/experiments/atlas (дата обращения - 11.03.2019).

47. PANDA Website [Электронный ресурс] - Электрон. текст. - Режим доступа: http://www-panda.gsi.de/ (дата обращения - 13.03.2019).

48. BESIII Experiment [Электронный ресурс] - Электрон. текст. - Режим доступа: http://bes3.ihep.ac.cn/ (дата обращения - 10.02.2019).

49. Сисакян А.Н., Сорин А.С. Многоцелевой детектор-MPD для изучения столкновений тяжелых ионов на ускорителе NICA (Концептуальный дизайн-проект), версия 1.4. [Электронный ресурс] - Электрон. текст. -Режим доступа: http://nica.jinr.ru/files/CDR_MPD/MPD_CDR_ru.pdf (дата обращения - 23.05.2019).

50. Andreeva J. et al. Providing global WLCG transfer monitoring // J. Phys.: Conf. Ser. 396 032005, 2012.

51. Andreeva J. et al. WLCG Transfers Dashboard: a Unified Monitoring Tool for Heterogeneous Data Transfers // Journal of Physics Conference Series. - DOI: 10.1088/1742-6596/513/3/032005.

52. Nilsson P. et al. The PanDA System in the ATLAS Experiment // XII Advanced Computing and Analysis Techniques in Physics Research. — PoS(ACAT08)027. — 2008. — https://pos.sissa.it/070/027/pdf

53. DIRAC (Distributed Infrastructure with Remote Agent Control) INTERWARE [Электронный ресурс] - Режим доступа: http://diracgrid.org/ (дата обращения - 15.05.2019).

54. Cortese P. et al. ALICE computing : Technical Design Report // LHC Experiments Committee, ALICE Collaboration. — CERN-LHCC-2005-018. — CERN. — 2005.

55. Ленточная библиотека IBM System Storage TS3500 Tape Library. IBM Systems and Technology. Спецификация. [Электронный ресурс] - Электрон. текст. - Режим доступа: http://meliusgroup.ru/files/techinfo/technicheskie-kharakteristiki-lentochnaya-biblioteka-ibm-system-storage-ts3500.pdf, свободный (дата обращения - 23.01.2016).

56. Conceptual Design Report. BM@N - Baryonic Matter at Nuclotron. [Электронный ресурс]. - Режим доступа: http: //nica.j inr.ru/files/BM@N/BMN_CDR.pdf (дата обращения — 30.06.2016)

57. Dolbilov A. et al. Network and computing infrastructure for the NICA complex at JINR // Technical Design v.1.02. — mpd.jinr.ru/wp-content/uploads/2018/05/NICA_computing_TDR.pdf (дата обращения -23.01.2019).

58. Объединенный институт ядерных исследований. Годовой отчет. — 2019. — http://www1.jinr.ru/Reports/Otchet_19_rus_sait.pdf

59. Shukrinov Yu. M., Rahmonov I. R., Nashaat M. Staircase structure of Shapiro steps // JETP Letters. — 2015. — Vol. 102, No. 12. — P. 803-806.

60. Shukrinov Yu. M., Rahmonov I. R., Plecenik A., Streltsova O.I., Zuev M.I., Ososkov G.A. Modeling of Intrinsic Josephson Junctions in High Temperature Superconductors under External Radiation in the Breakpoint Region // EPJ Web of Conferences. — 2016. — Vol. 108, 02042. DOI: 10.1051/epconf/201610802042

61. Baranov A.V., Balashov N.A., Kutovskiy N.A., Semenov R.N. JINR cloud infrastructure evolution // Physics of Particles and Nuclei Letters. — 2016. — Vol. 13, No. 5 (203). — P. 1046-1050.

62. Hassani R., Chavan G., Luksch P. Optimization of Communication in MPI-Based Clusters // IEEE Xplore, 2014. — http://ieeexplore.ieee.org/document/6984296/

63. Multifunctional Information and Computing Complex [Электронный ресурс] -Электрон. текст. - Режим доступа: https://miccom.jinr.ru/ru/, свободный (дата обращения - 23.01.2018).

64. Bashashin M.V., Zemlyanaya E.V., Rahmonov I.R., Shukrinov Yu.M., Atanasova P.Kh., Volokhova A.V. Numerical approach and parallel implementation for computer simulation of stacked long Josephson Junctions // Computer Research And Modeling. — 2016. — Vol. 8, No. 4. — P. 593-604.

65. Firmware complex for numerical researches of Josephson nanostructures [Электронный ресурс] - Электрон. текст. - Режим доступа: http://jj.jinr.ru/results/, свободный (дата обращения - 23.01.2018).

66. Achour S, Ammar M, Khmili B, Nasri W. MPI-PERF-SIM: Towards an automatic performance predic-tion tool of MPI programs on hierarchical clusters// Parallel, Distributed and Network-Based Processing (PDP). 19th Euromicro International Conference on, IEEE. — March 2011. — P. 207-211.

67. Clauss P, Stillwell M, Genaud S, Suter F, Casanova H, Quinson M. Single node on-line simulation of MPI applications with SMPI // Parallel & Distributed Processing Symposium (IPDPS), 2011 IEEE International, IEEE. — 2011. — P. 664-675.

68. Pelkey J., Riley G. Distributed Simulation with MPI in ns-3. — 2011. — https://pdfs.semanticscholar.org/b555/7f4bb0b77ad7bb8f5e62ccdd941a8498fd4b. pdf.

69. Cuomo A., Rak M., Villano U. Planting parallel program simulation on the cloud// Concurrency and computation: practice and experience. — 2013. — http: //deal .ing.unisannio .it/perflab/assets/papers/ccpe2012. pdf.

70. Garg S., Buyya R. NetworkCloudSim: Modelling Parallel Applications in Cloud Simulations // Fourth IEEE International Conference on Utility and Cloud Computing. — 2011. — P. 105-113.

71. Kutovskiy N., Nechaevskiy A., Ososkov G., Trofimov V. Simulation of Cloud Computation MPI Ap-plications // Proc. of 7th International Conference Distributed Computing and Grid-technologies in Science and Education, Dubna, Russia, July 4-9, 2016, CEUR-WS.org, online URL: http://CEUR-WS.org/Vol-1787/343-348-paper-59.pdf.

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ЦЕРН - (CERN, European Organization for Nuclear Research) Один из крупнейших в мире центров научных исследований.

БАК - (LHC, Large Hadron Collider) Большой Адронный Коллайдер - проект по созданию самого большого в мире ускорителя элементарных частиц. WLCG - (Worldwide LHC Computing GRID) Проект построения глобальной инфраструктуры региональных центров, предназначенный для обработки, хранения и анализа данных на момент начала работы ускорителя (LHC). NICA (Nuclotron-based Ion Collider fAtility) - новый ускорительный комплекс, который создаётся на базе Объединённого института ядерных исследований (Дубна, Россия) с целью изучения свойств плотной барионной материи (nica.jinr.ru).

BM@N (Baryonic Matter at Nuclotron) - физический эксперимент для изучения барионной материи на Нуклотроне.

SPD (Spin Physics Detector) - детектор, предназначенный для проведения экспериментов по физике спина при столкновениях пучков ядер легких элементов.

MPD (Multi Purpose Detector) - многоцелевой детектор (МПД).

RAW - формат данных, содержащий сырые, необработанные данные.

TDR (Technical Design Report) - Концептуальный дизайн-проект

ПЭВМ - персональная электронно-вычислительная машина

kSI2K - это условные единицы, которые обычно используются для оценки

вычислительной мощности в соответствии со специальным тестом Spec Integer

2000, и 2,5 kSI2K приблизительно соответствует вычислительной мощности

одного ядра процессора Intel Xeon 2,8 ГГц.

SLA (Service Level Agriement) - Соглашения об уровне сервиса

CMS (Compact Muon Solenoid) - физический эксперимент в ЦЕРНе на БАК

ALICE (A Large Ion Collider Experiment) - физический эксперимент на БАК

ATLAS (A Toroidal LHC ApparatuS) - физический эксперимент в ЦЕРНе на БАК

LHCb (Large Hadron Collider beauty experiment) - физический эксперимент в ЦЕРНе на БАК

PanDA (Production and Distributed Analysis - обработка данных и

распределенный анализ)

dCache - Система хранения данных.

СУБД - система управления базами данных.

SQL (structured query language) - язык программирования, применяемый для создания, модификации и управления данными в реляционной базе данных, управляемой соответствующей системой управления базами данных. MPI (Message Passing Interface) - программный интерфейс для передачи информации, который позволяет обмениваться сообщениями между процессами, выполняющими одну задачу.

API (application programming interface) - набор готовых классов, процедур, функций, структур и констант, предоставляемых приложением (библиотекой, сервисом) или операционной системой для использования во внешних программных продуктах.

ПРИЛОЖЕНИЕ А. ОПИСАНИЕ ТАБЛИЦ БАЗЫ ДАННЫХ

Таблица 10. Описание полей таблицы Users

№ Название Описание Примечание

0 user_id Идентификатор пользователя Primary key, autoincrement, NOT NULL

1 user_login Логин пользователя Unique, NOT NULL

2 user_password Пароль пользователя Unique, NOT NULL

3 user_email E-mail адрес пользователя Unique, NOT NULL

Таблица 11. Описание полей таблицы Experiments

№ Название Описание Примечание

0 experimented Идентификатор эксперимента Primary key, autoincrement, NOT NULL

1 experiment_name Название эксперимента Unique, NOT NULL

Таблица 12. Описание полей таблицы Users Experiments

№ Название Описание Примечание

0 user id Идентификатор пользователя Foreign key, NOT NULL

1 experimented Идентификатор эксперимента Foreign key, NOT NULL

Таблица 13. Описание полей таблицы Simulation Parameters

№ Название Описание Примечание

0 simulation id Идентификатор прогона Primary key, autoincrement, NOT NULL

1 simulation date Дата и время запуска NOT NULL

2 config_id Идентификатор конфигурации Foreign key, NOT NULL

3 startjobsflow Дата и время начала потока заданий NOT NULL

4 endJobsflow Дата и время окончания потока заданий NOT NULL

5 start_statistic Дата и время начала сбора статистики NOT NULL

6 finish_flag Флаг, указывающий на то, когда должно быть завершено моделирование. Если значение флага — истина, завершение происходит в момент поступления последнего задания, независимо от того, стартовало оно или нет. В противном случае, моделирование выполняется до завершения последнего введенного задания NOT NULL, DEFAULT = true

6 compressor_ time Компрессор времени — число с плавающей точкой NOT NULL

7 intensity_data Интенсивность потока данных. Число от 1.0 до 0.0, представляющее собой величину, на которую будет умножена интенсивность потока NOT NULL, DEFAULT = 0.0

Таблица 14. Описание полей таблицы Configurations

№ Название Описание Примечание

0 config_id Идентификатор конфигурации Primary key, autoincrement, NOT NULL

1 experimented Идентификатор эксперимента Foreign key, NOT NULL

2 config_name Имя конфигурации — текст до 8 символов Unique, NOT NULL

3 config_version Версия конфигурации — целое число (2 знака) Unique, NOT NULL

4 current_start_jobsflow Дата и время начала потока заданий

5 current_endJobsflow Дата и время окончания потока заданий

6 current_start_statistic Дата и время начала сбора статистики

7 current_finish_flag Флаг, указывающий на то, когда должно быть завершено моделирование. Если значение флага — истина, завершение происходит в момент поступления последнего задания, независимо от того, стартовало оно или нет. В противном случае, моделирование выполняется до завершения последнего введенного задания

Таблица 15. Описание полей таблицы Results

№ Название Описание Примечание

0 result_id Идентификатор строки с результатом Primary key, autoincrement, NOT NULL

1 config_id Идентификатор конфигурации Foreign key, NOT NULL

2 system_time Системное время из сообщения NOT NULL

3 rep_type Параметры результата из логирующего сообщения

4 act_type

5 obj_type

6 opt1

7 opt2

8 opt3

9 text

Таблица 16. Описание полей таблицы HardDescription

№ Название Описание Примечание

0 hard_id Идентификатор «сайта» Primary key, autoincrement, NOT NULL

1 hard_name Название «сайта» NOT NULL

2 cpu_speed Коэффициент производительности процессора (МГц) NOT NULL

3 main_memory_size Объем оперативной памяти (ОЗУ, кБ) NOT NULL

4 operating_system Название операционной системы NOT NULL

5 list_of_jobs Метка задач, которые обрабатывает NOT NULL

6 number_of_machines Общее количество машин без текущей NOT NULL

7 n umber_of_ cores_min Минимальное количество ядер NOT NULL

8 n umber_of_ cores_max Максимальное количество ядер NOT NULL

9 ncpu Общее количество процессоров (ЦПУ) без текущего NOT NULL

10 router_name Имя подключенного роутера на внешний мир NOT NULL

11 disk_pool_size Объем дискового пула NOT NULL

12 hsm_name Имя «робота» NOT NULL

13 config_id Идентификатор конфигурации Foreign key, NOT NULL

Таблица 17. Описание полей таблицы HsmDescription

№ Название Описание Примечание

0 hsm_id Идентификатор «робота» Primary key, autoincrement, NOT NULL

1 hard_name Название «сайта» NOT NULL

2 description Номер или -1 для описания пула NOT NULL

3 drive_type Тип драйва NOT NULL

4 drives_name Коллективное название драйвов NOT NULL

5 n umber_of_ drives Количество драйвов NOT NULL

6 tape_pool_name Коллективное название пула лент NOT NULL

7 n umber_of_ tapes Количество лент в пуле NOT NULL

8 device_name Имя устройства, к которому цепляются драйвы NOT NULL

9 config_id Идентификатор конфигурации Foreign key, NOT NULL

Таблица 18. Описание полей таблицы jobswaiting4

№ Название Описание Примечание

0 pandaid Идентификатор задания Primary key, autoincrement, NOT NULL

1 jobdefinitionid Идентификатор описания задания: 1 — симуляция, 2 — реконструкция, 3 — анализ NOT NULL

2 atlasrelease Аналог поля list_of_jobs из таблицы hard_description NOT NULL

3 jobstatus Статус задания: определено (defined), NOT NULL, DEFAULT ='waiting'

назначено (assigned), активно (activated), в ожидании (waiting), на исполнении (running), блокировано (holding), передано (transferring), завершено (finished), сбой (failed)

4 minramcount Минимальное количество оперативной памяти NOT NULL

5 starttime Дата и время начала потока заданий NOT NULL

6 endtime Дата и время окончания потока заданий NOT NULL

7 cpuconsumptiontime Количество процессорного времени NOT NULL

8 jobparameters Дополнительные параметры задания

9 nevents Количество событий для задания NOT NULL, DEFAULT = 0

10 sourcesite Сайт «источник» задания (hard_name) NOT NULL

Таблица 19. Описание полей таблицы Communication Type

№ Название Описание Примечание

0 object_type Название типа объекта Primary key, NOT NULL

1 config_id Идентификатор конфигурации Primary key, NOT NULL

2 default_input Скорость записи, с которой объект может поставлять данные в поток NOT NULL

3 default_output Скорость чтения NOT NULL

4 default_alarm Нагрузка на объект NOT NULL

Таблица 20. Описание полей таблицы CommunicationObject

№ Название Описание Примечание

0 object_id Идентификатор объекта Primary key, autoincrement, NOT NULL

1 object_name Название объекта NOT NULL

2 object_type Название типа объекта Foreign key, NOT NULL

3 config_id Идентификатор конфигурации Foreign key, NOT NULL

4 speed_input Предельная скорость записи, с которой объект может поставлять данные в поток NOT NULL

5 speed_output Предельная скорость чтения NOT NULL

6 load_alarm Предельная нагрузка на объект NOT NULL

Таблица 21. Описание полей таблицы CommunicationTopo

№ Название Описание Примечание

0 topo_id Идентификатор связи Primary key, autoincrement, NOT NULL

1 config_id Идентификатор конфигурации Foreign key, NOT NULL

2 connect_from Название объекта, начало связи NOT NULL

3 connect_to Название объекта, конец связи NOT NULL

ПРИЛОЖЕНИЕ Б. СВИДЕТЕЛЬСТВО О РЕГИСТРАЦИИ ПРОГРАММЫ

ПРИЛОЖЕНИЕ В. ПИСЬМА О ПРИМЕНЕНИИ РЕЗУЛЬТАТОВ ДИССЕРТАЦИОННОГО ИССЛЕДОВАНИЯ

Institute of High Energy Physics

Chinese Academy of Sciences

Address: 19 Yuquanlu Road. Shijingshan District, Beijing 100049. CHINA

Prof. Weidong Li Institute of High Energy Physics (IHEP) Chinese Academy of Sciences (CAS) Beijing. 100049 P. R. China 2nd December. 2020

To whom it may concern.

This letter is to confirm that the simulation software SyMSim developed by Andrey Nechaevskiy in the frame of his PhD work. "Methods and tools for distributed data storage and processing systems simulation based on the monitoring results", was successfully used to study and optimize the performance of computing system at the

IHEP Computing Center. CAS.

This program was provided to IHEP by JINR and the SyMSim software was later extended by the LIT JINR team to simulate a data stream from the DAQ infrastructure to be stored in a robotized tape library. Data transfer simulation from DAQ to the tape library allowed us to estimate the required number of tape drivers for recording all data. The new version of the program was installed at IHEP. configured with the parameters from IHEP Computing Center, and tested. Results of these simulations were included in the joint report at the ISGC 2018 Symposium in Taiwan.

The simulation tools developed within Andrey Nechaevskiy's PhD work provide information about possible computing structure bottlenecks and suggest ways to fix it. This information is useful for the optimization of the present and planned structure of the IHEP Computing Center.

Yours sincerely.

UXecdsna ^b^

Weidong Li IHEP, CAS

Telephone: (+>86-10-88236725 Email: [e-mail]

Председателю Диссертационного совета ОИЯИ.05.01.2019.П при ЛИТ ОИЯИ д.т.н. В. В. Коренькову

В диссертации на соискание ученой степени кандидата технических наук А. В. Нечаевского "Методы и средства моделирования распределенных систем хранения и обработки данных на основе результатов их мониторинга" разработан и реализован программный инструментарий SyMSim для имитационного моделирования распределенных систем хранения и обработки данных. В связи со строительством в ОИЯИ ускорительного комплекса NICA, уже идущим первым экспериментом BM@N и соответствующей необходимостью хранения и обработки больших данных, получаемых с детекторов физических экспериментов на NICA, работа Нечаевского А. В. является крайне актуальной.

Предложенный в диссертации подход к моделированию систем хранения и обработки данных позволяет использовать результаты мониторинга для коррекции параметров модели, что является серьезным преимуществом работы, так как используемые распределенные вычислительные системы экспериментов постоянно расширяются и модернизируются. Созданный в ходе работы программный комплекс позволяет провести анализ различных вариантов реализации инфраструктур с учетом выбранных параметров с целью выработки эффективных решений для построения распределенной системы обработки и хранения данных.

На базе разработанного программного обеспечения SyMSim проведено моделирование распределенного вычислительного комплекса по приему и обработке данных эксперимента BM@N, которое позволило определить предполагаемую загрузку канала связи, количество ядер для полной и экспресс обработки задач эксперимента, требуемый объем ресурсов хранения данных. В настоящее время ведется работа по продолжению моделирования и построению инфраструктуры с учетом последних модернизаций.

Успешно проведенное моделирование IT-инфраструктур различного типа подтверждает перспективность дальнейшего использования разработанных в диссертации методов и программных инструментов для решения задач проектирования и прогнозирования работы распределенных гетерогенных центров. Разработанные методы и программные системы могут быть востребованы не только для экспериментов проекта NICA, но и для использования в других проектах.

Выражаю свою поддержку диссертационной работе А. В. Нечаевского.

к.т.н., Герценбергер Константин Викторович координатор разработки программного обеспечения эксперимента BM@N проекта NICA, начальник группы, ЛФВЭ, ОИЯИ

« dS"

» февраля 2021 г.