Разработка и исследование методов повышения эффективности вычислений в распределенных высокопроизводительных вычислительных системах тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Мин Тху Кхаинг

• Мин Тху Кхаинг
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Мин Тху Кхаинг

Обозначения и сокращения

Введение

ГЛАВА 1. Вычислительные среды для высокопроизводительных вычислительных систем

1.1 Высокопроизводительные вычислительные среды

1.2 Кластерные вычисления

1.2.1 Особенности архитектура кластерных вычислений

1.2.2 Основные компоненты кластера

1.2.3 Типы кластеров

1.2.4 Приложения для кластерных вычислений

1.2.5 Преимущества и недостатки кластерных вычислений

1.3 Грид вычисления

1.3.1 Архитектуры GRID

1.3.2 Концепции грид-вычислений

1.3.3 Программные компоненты GRID

1.3.4 Типы грид-вычислений

1.3.5 Управление ресурсами в грид

1.3.6 Приложения для грид-вычислений

1.3.7 Преимущества и недостатки грид вычислений

1.4 Облачные технологии

1.4.1 Облачные вычисления

1.4.2 Облачные сервисы

1.4.3 Модели облачных вычислений

1.4.4 Безопасность облачных технологий

1.4.5 Преимущества и недостатки облачных вычислений

1.5 Сравнение вычислительных сред

Выводы

ГЛАВА 2. Методы организации распределенных вычислений

2.1 История появления Grid систем

2.2 Типы Grid систем

2.2.1 Добровольные гриды

2.2.2 Научные гриды

2.2.3 Коммерческие гриды

2.3 Промежуточное программное обеспечение для Grid систем

2.4 BOINC

2.4.1 Процесс работы BOINC

2.4.2 Недостатки BOINC

2.5 Globus Toolkits

2.5.1 Инфраструктура безопасности Globus

2.6 HTC кластеры

2.6.1 HTCondor

2.6.2. Использование HTCondor

2.7 UNICORE

2.7.1 Основные цели UNICORE

2.7.2 Архитектура UNICORE

2.7.3 Особенности UNICORE

Выводы

ГЛАВА 3. Организация гетерогенных распределенных вычислительных систем

3.1 Производительность вычислительного узла

3.2 Тесты для оценки производительности узлов

3.2.1 Geekbench

3.2.2 PassMark

3.2.3 SuperPi

3.2.4 WPrime

3.2.5 Cinebench

3.2.6 7- Zip

3.2.7 AIDA64

3.2.8 Dolphin Emulator

3.3 Запуск приложения на удаленном узле

3.4 Утилита PsExec

3.4.1 Управление работой PsExec

3.4.2 Организация распределенных вычислений с помощью утилиты PsExec83

Выводы

ГЛАВА 4. Практические исследования

4.1 Создание платформы распределенных вычислений с использованием Grid-технологии

4.2 Распределенное приложение

4.3 Оценка производительности сети узлов

4.4 Экспериментальная оценка эффективности методов балансировки

Заключение

Список литературы

Приложение 1 Акт внедрения результатов работы

Обозначения и сокращения

ВВС Высокопроизводительные вычислительные среды (или системы)

ПО Программное обеспечение

РВС Распределенная вычислительная система

РВВС Распределенные ВВС

GRID Сетевые вычисления, грид-вычисления

HPL High Performance LINPACK Benchmark

MPI Message Passing Interface

PVM Parallel Virtual Machine

VPN Virtual Private Network

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов повышения эффективности вычислений в распределенных высокопроизводительных вычислительных системах»

Введение

Актуальность проблемы. Современный мир и окружение человека изменяется все более быстрыми темпами, технический прогресс нельзя остановить или повернуть вспять. Все страны, так или иначе, участвуют в этой гонке, но лидерство сегодня принадлежит тем из них, кто обладает большими вычислительными мощностями. На протяжении довольно длительного времени рост национальных вычислительных ресурсов был связан исключительно с развитием суперкомпьютеров, однако политическая ситуация последних лет изменила эту тенденцию. Ведущие производители процессоров и электронных компонентов ввели санкционные ограничения на их поставки, сделав невозможным построение мощных кластеров для развивающихся стран. Похожие ограничения ввели и поставщики программного обеспечения. Ответной реакцией на этот шаг стал резкий рост интереса к распределенным вычислениям, где различные по архитектуре компьютеры формируют связанную среду для решения прикладных задач, предъявляющих высокие требования к ресурсам.

Для развивающихся стран отставание в области высокопроизводительных вычислений является даже более чувствительным, чем для технологических лидеров, которые имеют национальные суперкомпьютерные платформы, широко представленные в ТОР500. Ориентация развивающихся стран на собственные силы для этой области означает, что они не могут полагаться на облачные решения, а должны иметь свои, пусть и менее мощные ресурсы. Этим объясняется активный интерес к распределенным вычислительным системам, поскольку их можно создать из большого количества персональных компьютеров, которые имеются в распоряжении государственных структур. А Другим преимуществом распределенных систем является то, что их можно использовать, имея на узлах только системное ПО, без приобретения специальных программ, которые сегодня также попадают под санкции.

Приведенные соображения, в сочетании с широким интересом к подобной проблематике в научной литературе, определяют актуальность проводимых в диссертации исследований.

Настоящая работа направлена на исследование возможности организации высокопроизводительных вычислительных сред без использования специализированных систем.

Целью работы является совершенствование методов организации распределенных вычислительных сред из гетерогенных узлов и обеспечения их эффективной работы.

Для достижения поставленной цели в работе решены следующие основные задачи:

1. Проведён сравнительный анализ вариантов реализации современных высокопроизводительных вычислительных сред.

2. Рассмотрены существующие технологии организации распределенных вычислительных систем.

3. Разработан способ организации распределенных вычислений с помощью утилиты удаленного администрирования PsExec.

4. Проведён анализ методов оценки производительности вычислительных узлов распределенной системы.

5. Разработан метод статической балансировки нагрузки узлов в распределенных вычислительных системах.

6. Проведены вычислительные эксперименты для подтверждения функциональности способа организации распределенных вычислений и эффективности метода статической балансировки нагрузки узлов.

Объектом исследования являются архитектуры распределенных высокопроизводительных вычислительных систем.

Предмет исследования включает способы построения распределенных вычислительных систем и методы повышения эффективности их работы.

Методы исследования. При решении поставленных задач были использованы методы дискретной оптимизации, объектно-ориентированное программирование и вычислительные эксперименты.

Научная новизна проведённых исследований заключается в следующем:

1. Предложен способ организации распределенных вычислений с помощью утилиты удаленного администрирования PsExec, не требующий использования проприетарного ПО.

2. Разработан метод статической балансировки нагрузки в распределенных системах, обеспечивающий эффективную утилизацию вычислительных ресурсов в гетерогенных средах с высоким уровнем неоднородности узлов.

3. Экспериментально подтверждены возможность практического использования способа организации распределенных сред и эффективность предложенного метода статической балансировки нагрузки при проведении высокопроизводительных вычислений в сетях с числом узлов от 10 до 100.

Практическая значимость.

Предложенный и опробованный на практике способ организации распределенных вычислений без использования проприетарного ПО, позволяет обеспечить функционал отдельных сегментов национальной суперкомпьютерной инфраструктуры в условиях санкционных ограничений. Реализованный метод статической балансировки нагрузки узлов, основанный на использовании тестового приложения, позволяет уменьшить дисбаланс до уровня 5-10%, что вполне достаточно для практических расчетов.

Достоверность полученных результатов и выводов.

Достоверность выдвинутых в диссертации положений и сделанных выводов опирается на корректное использование методов построения программных комплексов и подтверждается результатами вычислительных экспериментов.

Внедрение результатов исследований.

Разработанный в диссертации способ организации распределенных вычислений и метод статической балансировки нагрузки узлов использован для

проведения высокопроизводительных вычислений в Технологическом Институте, г. Янгон, Мьянма. Акт внедрения представлен в приложении. Результаты, выносимые на защиту:

1. Результаты сравнительного анализа вариантов организации распределенных вычислительных систем.

2. Способ организации распределенных вычислений с помощью утилиты удаленного администрирования PsExec.

3. Метод статической балансировки нагрузки узлов в гетерогенных распределенных вычислительных системах.

4. Результаты вычислительных экспериментов, подтвердившие функциональность способа организации распределенных вычислений и эффективность метода статической балансировки нагрузки узлов.

Апробация работы. Результаты диссертационных исследований были представлены и обсуждались на следующих научных конференциях:

1. 24-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: «Микроэлектроника и информатика - 2017», МИЭТ, 2017.

2. 11-я Всероссийская межвузовская научно-техническая конференция «Актуальные проблемы информатизации в науке и образовании», МИЭТ, 2018.

3. 26-я Всероссийская межвузовская научно-практическая конференция студентов и аспирантов: «Микроэлектроника и информатика - 2019», МИЭТ, 2019.

4. 2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus2019), MIET, Moscow, 2019.

5. Международная научно-практическая конференция «LXXIV Международные научные чтения (памяти А. Л. Чижевского)», Москва, 2020.

6. 27-я Всероссийская межвузовская научно-практическая конференция студентов и аспирантов: «Микроэлектроника и информатика - 2020», МИЭТ, 2020.

7. Международная научно-практическая конференция: «Инновационные технологии современной научной деятельности: стратегия, задачи, внедрение» - OMEGA SCIENCE, 2020.

8. 28-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: «Микроэлектроника и информатика - 2021», МИЭТ, 2021.

9. 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus2021), MIET, Moscow, 2021.

10. Международная научно-практическая конференция «Актуальные проблемы информатизации в цифровой экономике и научных исследованиях - 2021» МИЭТ, 2021.

11. Международная научно-практическая конференция «Актуальные проблемы информатизации в цифровой экономике и научных исследованиях - 2022» МИЭТ, 2022.

12. 29-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: «Микроэлектроника и информатика - 2022», МИЭТ, 2022.

13. ХХХ Всероссийская межвузовская научно-практическая конференция студентов и аспирантов: «Микроэлектроника и информатика - 2023», МИЭТ, 2023.

Публикации. По материалам диссертации опубликовано 12 тезисов докладов и 8 статей, в том числе 3 в журналах, входящих в перечень ВАК, 3 работы проиндексированы в Scopus.

Структура и объём диссертационной работы. Рукопись диссертационной работы, общим объёмом 1 18 страниц, состоит из введения, четырёх глав, заключения, списка литературы из 111 источников и приложения.

ГЛАВА 1. Вычислительные среды

В настоящее время наблюдается неуклонный рост интереса к области распределенных вычислений, где различные по архитектуре машины и подсистемы связаны в единую среду для интеграции вычислительных возможностей и выполнения масштабных прикладных задач, предъявляющих высокие требования к ресурсам. Это могут быть разные типы сред, включая параллельные, распределенные, кластеры и гриды. Они формируются на базе промышленных, научных, правительственных, академических и военных структур, и используются для решения широкого класса задач. Основной причиной интереса к распределенным вычислениям в целом, и к высокопроизводительным вычислительным системам (РВВС) в частности, является тот факт, что они имеют ряд преимуществ по сравнению с суперкомпьютерами с сильно связанными узлами и симметричными многопроцессорными машинами [1].

1.1 Высокопроизводительные вычислительные среды

Высокопроизводительные вычислительные среды (ВВС) можно определить как платформу, состоящую из различных ресурсов - процессоров, коммуникации, дисков, памяти, операционной системы, которые предоставляют вычислительные услуги для приложений, решающих прикладные задачи с использованием параллельной обработки. Современные ВВС соединяет пользователей научных вычислений, данные, прикладное и промежуточное программное обеспечение и суперкомпьютерные центры и объединяет их в единую исследовательскую среду [2]. Такие среды ориентированы на достижение высокой эффективности за счет систем параллельной обработки, алгоритмов параллельного программирования, сетей с высокой пропускной способностью и низкой задержкой, а также оптимального управления вычислительными процессами [3].

Сегодня облачные, кластерные и добровольные грид-вычисления стали очень популярными. Все эти способы интеграции вычислительных ресурсов

могут быть эффективны для организации распределенных вычислительных сред.

Распределенные вычисления основаны на концепции выполнения высокопроизводительных вычислений с использованием географически удаленных машин, что стало возможным с появлением высокоскоростных сетей [4].

Масштаб РВВС не зависит от ее типа, любой из них позволяет объединять различное количество компьютеров, расположенных в разных местах, для решения различных задач [5].

Высокопроизводительные вычисления получили широкое распространение в банковской сфере и торговле, в органах власти и академических кругах, а также практически во всех сферах промышленности. Они затрагивают практически все аспекты повседневной жизни — энергетику, транспорт, связь, медицину, инфраструктуру, финансы, управление бизнесом и производство как новых, так и традиционных потребительских товаров. ВВС особенно хорошо подходят для решения ресурсоемких задач, требующих больших объемов вычислений или данных. Без высокопроизводительных вычислений невозможно представить современную физику, науки о Земле,

Рис. 1 Вычислительные среды

национальную безопасность, биологию, инженерию, моделирование климата, аэрокосмическую промышленность и энергетику.

1.2 Кластерные вычисления

Кластерные вычисления являются основной частью суперкомпьютерных высокопроизводительных вычислений. Сегодня кластеры играют значительную роль в экономическом развитии стран, например, показателен практический опыт их использования в Азии формирования политики восстановления после пандемии СОУГО-19. Проведенные исследования способствуют лучшему пониманию процессов и целей политики в анализируемых странах. Они показали, что общей характеристикой моделей развития является подход "сверху-вниз", при котором точки экономического роста возникают и развиваются в основном в результате правительственных решений и государственных программ [6].

Кластерные вычисления предполагают, что множество компьютеров подключенных к сети, работают как единое целое. Доступ к кластеру осуществляется с одного главного узла, который координирует распределение нагрузки узлов при запуске параллельной программы с помощью пакетных заданий, предоставляет пользователям интерфейс для управления узлами [7]. Для реализации своих функций главный узел использует промежуточное программное обеспечение для управления кластером, а вычислительным узлам часто не требуется ничего, кроме стандартной операционной системы.

Аппаратная конфигурация кластеров отличается в зависимости от выбранных сетевых технологий. Выбор сетевой технологии зависит от ряда факторов, включая цену, производительность и совместимость с другим оборудованием кластера и системным программным обеспечением. Сеть кластера должна соответствовать коммуникационным запросам приложений, которые будут его использовать. В большинстве случаев локальная сеть является объединительной средой при построении кластеров [8].

1.2.1 Особенности архитектура кластерных вычислений

Кластерные вычисления характеризуются как совокупность нескольких компьютеров и их ресурсов, объединенных с помощью аппаратного обеспечения, сетей и программного обеспечения, чтобы они работали как единый компьютер (рис. 2). Это имеет некоторые преимущества, такие как повышение производительности, высокая доступность, снижение затрат и управляемость [9-11]. Первоначально термины "кластерные вычисления" и "высокопроизводительные вычисления" считались одинаковыми. Кластеры также могут быть развернуты для балансировки нагрузки, параллельной обработки, управления системой и масштабируемости.

последовательное приложение параллельное приложение

среда параллельного У программирования j

Кластер (Промежуточное программное обеспечение)

Узел

Уз

эл

-с

Уз

ел

Уз

эл

Соединенние Switch

Рис. 2 Архитектуры кластерных вычислений Вычислительные узлы в кластере могут иметь различные характеристики, такие как однопроцессорный или симметричный многопроцессорный дизайн, а также доступ к различным типам устройств хранения. Важной частью промежуточного программного обеспечения (ПО) являются библиотеки для выполнения параллельных программ. Собственное программное обеспечение управляет балансировкой нагрузки узлов в кластере. Промежуточное программное обеспечение в виде интерфейса передачи сообщений (Message Passing Interface - MPI) или параллельной виртуальной машины (Parallel Virtual Machine - PVM) позволяет выполнять надежные вычисления для широкого

спектра кластеров. После вычисления части общей задачи на каждом узле результаты будут объединены на ведущем узле. Кластерные вычисления позволяют решать сложные задачи, обеспечивая более высокую скорость вычислений и целостность данных [12].

1.2.2 Основные компоненты кластера

Основные компоненты кластера включают несколько автономных компьютеров (узел, рабочие станции), операционные системы, высокопроизводительные соединения, промежуточное программное обеспечение, среды параллельного программирования и приложения [13] (рис.

3).

Рис. 3 Компоненты кластера Приложения включают различные программы, которые запущены пользователями. Они выполняются параллельно и формируют различные запросы, выполняемые на разных узлах кластера. Это входная часть кластерного компонента.

Промежуточное программное обеспечение - это программные пакеты, которые взаимодействуют с операционной системой пользователя при кластерных вычислениях. Другими словами - это уровни ПО между

приложениями и операционной системой. Промежуточное ПО предоставляет различные сервисы, необходимые для правильного функционирования приложения.

Кластеры могут поддерживаться различными операционными системами, включая Windows и Linux.

Межсоединение узлов в кластерной системе может быть выполнено с помощью сетей 10GbE, Myrinet и других. В случае небольшой кластерной системы узлы могут быть подключены с помощью простых коммутаторов.

Узлами кластерной системы могут быть компьютеры с разнообразными процессорами, чаще всего это Intel или AMD решения.

1.2.3 Типы кластеров

Вычислительные кластеры классифицируются по следующим типам [11]:

1. Кластеры балансировки нагрузки;

2. Высокопроизводительные кластеры;

3. Кластеры высокой доступности.

Кластеры балансировки нагрузки применяются в серверных решениях, где они выступают в качестве основополагающего фактора. Этот тип кластеризации обеспечивает повышение производительности сервера при динамической нагрузке. Здесь все узлы полностью доступны для запросов, присутствующих в сети. Они не исполняют один общий процесс, а обрабатывают запросы индивидуально по мере их поступления в зависимости от алгоритма планировщика. Важной особенностью кластеров балансировки нагрузки является их масштабируемость. Балансировщик нагрузки распределяет входящие запросы или трафик на все подключенные узлы, а при их занятости может задействовать и резервные компоненты кластера.

Высокопроизводительные кластеры используются для решения вычислительно сложных задач, которые требуют, чтобы узлы обменивались данными во время выполнения своей работы. Возможным способом создания недорогих высокопроизводительных вычислительных кластеров является

использование в качестве их узлов старого оборудования в сочетании с бесплатными операционными системами и ПО, которые обеспечивают приемлемую функциональность при решении сложных практических задач. Операционные системы с открытым исходным кодом и бесплатное программное обеспечение, такие как Linux и MPI, снижают стоимость такого решения практически до нуля. Такие кластеры обеспечивают недорогую параллельную вычислительную систему и значительно сокращают время, необходимое для поиска решений проблем, требующих анализа больших объемов данных [14].

Кластеры высокой доступности также называются и отказоустойчивыми кластерами. Поскольку компьютерные системы часто сталкиваются с проблемами отказа, необходимо обеспечить доступность их ресурсов даже при выходе из строя отдельных узлов. Для этого используют резервирование, как отдельных компонентов, так и всей компьютерной системы в целом. Таким образом, когда происходит сбой в одной точке, система не теряет своей функциональности, поскольку она имеет избыточные кластерные элементы. Благодаря внедрению кластеров высокой доступности системы могут работать с расширенной функциональностью и предоставлять вычислительные услуги, в таких сложных приложениях как базы данных, бизнес-деятельность, обслуживание клиентов, веб-сайты и распространение сетевых файлов.

1.2.4 Приложения для кластерных вычислений

Сегодня кластерные вычисления используются в самых разных областях. Вот лишь некоторые примеры:

1. аэродинамические и астрофизические расчеты,

2. интеллектуальный анализ данных,

3. прогнозирование погоды,

4. рендеринг изображений,

5. электронная коммерция,

6. моделирование землетрясений,

7. моделирование процессов нефтедобычи,

8. исследование процессов распространения эпидемий.

1.2.5 Преимущества и недостатки кластерных вычислений

Таблица 1. Преимущества и недостатки кластерных вычислений

Преимущества Недостатки

Использует лучшие сетевые технологии Легкий доступ к секретным данным

Высокая доступность Сложно разрабатывать ПО

Управляемость Сложно отлаживать ПО

Высокая производительность Сложный поиск неисправностей

Меньше проблем с обслуживанием Ограниченная кроссплатформенность

Единый системный образ Нужна специальная подготовка

Централизованное обновление ПО Необходимость скоростной сети

1.3 Грид вычисления

Одним из самых популярных видов сетевого взаимодействия являются распределенные вычисления (сетевые или грид-вычисления, GRID, Grid-computing). GRID начали использовать в середине 90-х годов для решения крупномасштабных вычислительных задач. В основе таких решений лежат компьютерные сети с общим использованием ресурсов, которые обеспечивают вычислительную мощность, доступную только суперкомпьютерам и большим выделенным кластерам. В GRID отдельный пользователь может получить доступ к любому типу вычислительных ресурсов. GRID - это тип параллельной системы, которая позволяет интегрировать и совместно использовать географически распределенные автономные ресурсы на время выполнения ресурсоемкого приложения. Грид-вычисления отличаются от традиционных высокопроизводительных вычислений, таких как кластерные вычисления. В первую очередь тем, что они ориентированы на распределенную обработку информации без сетевого взаимодействия узлов.

Грид-вычисления объединяют очень разные ресурсы: принадлежащие организациям суперкомпьютеры и кластеры, персональные компьютеры, принадлежащие университетам, исследовательским лабораториям и компьютеры частных пользователей. Таким образом, часть ресурсов имеет централизованное управление, связь по сетевым каналам с высокой пропускной способностью, в отличие от частных компьютеров. Между организациями существуют симметричные отношения: каждая из них может либо предоставлять ресурсы, либо использовать их.

Одним из наиболее важных сервисов GRID является управление рабочими процессами [15]. Основными проблемами грид-инфраструктуры являются безопасность и интероперабельность, поскольку программы могут поступать из разных административных доменов, которые имеют как глобальную, так и локальную политику использования ресурсов, имеют разные платформы и конфигурации аппаратного и программного обеспечения, а также различаются по пропускной способности и доступности. На рисунке 4 представлена наиболее общая схема грид-вычислений.

Рис. 4 Грид вычисления Активно развивая грид-вычисления, Китай столкнулся с большей неоднородностью ресурсов и другими специфическими требованиями, и приложил много усилий, как для исследований, так и для практического

использования [16]. Хорошо известным примером грид-вычислений, находящихся в общественном достоянии, является продолжающийся проект добровольных вычислений на платформе BOINC SETI@Home (Search for Extraterrestrial Intelligence), в рамках которого тысячи людей совместно используют свои компьютеры в обширном поиске признаков "рациональных" сигналов из космоса. Хотя грид-вычисления ориентированы на поддержку научных исследований, они также используются в различных коммерческих проектах, бизнес-исследованиях, развлечениях и правительственными структурами.

1.3.1 Архитектуры GRID

В среде грид-вычислений узлы могут располагаться не в общем физическом местоположении, но могут независимо управляться из разных местоположений. Каждый узел в сети является самостоятельным компьютером. Компьютеры, объединенные в единую сеть, могут даже иметь разное оборудование и операционные системы. При построении грид промежуточное ПО является основным строительным блоком для поддержки межмашинной связи и обеспечения таких функциональных возможностей, как управление ресурсами, мониторинг, аутентификация и авторизация [17]. Грид состоит из многоуровневой модели архитектуры, обеспечивающей протоколы и обслуживание на пяти различных уровнях [18], представленных на рисунке 5.

Рис. 5 Многоуровневая архитектура GRID систем.

Архитектура включает пять уровней.

Fabric находится в нижней части многоуровневой архитектуры грид. Он предоставляет общие ресурсы, такие как пропускная способность сети, процессорное время, память, научные инструменты, такие как датчики и файлы. На этом уровне полученные данные датчиками, могут передаваться непосредственно на другие вычислительные узлы или могут храниться в базе данных грид. Стандартные протоколы грид отвечают за управление ресурсами. Выполнение операций совместного использования является показателем качества этого уровня. Операционная система, системы массового обслуживания и процессорные ядра также являются частью этого уровня.

Уровень Connectivity определяет протоколы для безопасного доступа. На нём размещаются необходимые для транзакций и связанные с коммуникацией и аутентификацией протоколы. Эти протоколы связи позволяют осуществлять обмен данными между уровнем resource и уровнем fabric.

Уровень Resource определяет протоколы для работы с общими ресурсами. Протоколы уровня ресурсов обеспечивают аутентификацию и связь на уровне подключения для определения интерфейса прикладного программирования и разработки программного обеспечения для учета, инициирования, мониторинга, управления безопасными обменами, а также оплаты общих ресурсов. Протоколы ресурсного уровня можно разделить в основном на два класса - информационные протоколы и протоколы управления.

Уровень Collective состоит из утилит общего назначения. Уровень collective отличается от уровня Resource в том смысле, что ресурсный уровень концентрируется на взаимодействиях с одним ресурсом. Любые совместные операции с общими ресурсами размещаются на уровне collective, и он координирует совместное использование ресурсов и служб: каталогов, распределения, планирования, посреднические службы, мониторинг и диагностика, дублирования данных.

Список литературы диссертационного исследования кандидат наук Мин Тху Кхаинг, 2024 год

Список литературы

1. Stephen J.Ezell, Robert D.Atkison. The Vital Importance of High Performance Computing to U.S. Competitiveness // Information Technology & Innovation Foundation, April 2016, pp. 1-57.

2. Zhiwei Xu1, Xuebin Chi, Nong Xiao. High-performance computing environment: a review of twenty years of experiments in China // National Science Review, Vol. 3, No. 1, pp. 36-48, 2016.

3. Hemprasad Y., Badgujar and Ravindra Thool. HPC in Abstract // CSI Communications, pp. 10-11, 2013.

4. G. Sravanthi, B. Gracea, V.kamakshamma. A review of High Performance Computing // IOSR Journal of Computer Engineering (IOSR-JCE), Volume - 16, Issue 1, pp. 36-43, 2014.

5. [онлайн] Доступ: https://www.geeksforgeeks.org/computing-environments/.

6. Arkadiusz Michal Kowalski, Marta Mackiewicz Commonalities and Differences of Cluster Policy of Asian Countries; Discussion on Cluster Open Innovation // Journal of Open Innovation: Technology, Market, and Complexity, pp. 1-14, January 2021.

7. Chee Shin Yeo, Rajkumar Buyya, Hossein Pourreza, Rasit Eskicioglu, Peter Graham, Frank Sommers. Cluster Computing: High-Performance, High-Availability, and High-Throughput // Processing on a Network of Computers, pp. 1-24, January 2006.

8. R. Buyya. High Performance Cluster Computing: Architectures and Systems, Prentice Hall, 1999.

9. M.M. Naeem, H. Mahar, F. Memon, M. Siddique, A. Chohan. Cluster Computing Vs Cloud Computing a Comparison and an Overview // Sci. Int., vol. 28, no. 6, pp. 5267-5271, 2016.

10. K. Kaur, A. K. Rai. A Comparative Analysis: Grid, Cluster and Cloud Computing // Int. J. Adv. Res. Comput. Commun. Eng., vol. 3, no. 3, pp. 998-1021, 2014.

11. I. Gandotra, P. Abrol, P. Gupta, R. Uppal, S. Singh. Cloud Computing Over Cluster, Grid Computing: a Comparative Analysis // J. Grid Distrib. Comput., vol. 1, no. 1, pp. 1-4, 2011.

12. Cinantya Paramita, Catur Supriyanto, Yani Parti Astuti, Lukman Afi Syariffudin, Fauzi Adi Rafrastara. Performance Evaluation of Random Forest Algorithm in Cluster Environment // International Journal of Computer Science and Information Security (IJCSIS), Vol. 19, No. 12, December 2021.

13. [онлайн] Доступ: https://www.geeksforgeeks.org/an-overview-of-cluster-computing/.

14.Dileep Kumara, Liaquat Ali Theboa, Sheeraz Memona, Design and Implementation of High Performance Computing (HPC) Cluster // Academic Journal of Management Sciences, Vol. 6, No.1, Jan. 2018.

15.Ashish Adinath Vankudre. Grid Computing: Technicalities and Overview // International Journal on Recent and Innovation Trends in Computing and Communication, Volume: 5 Issue: 4, pp. 157-160, 2017.

16. Guangwen Yang., Hai Jin., Minglu Li., Nong Xiao., Wei Li Zhaohui Wu., Yongwei Wu, Feilong Tang. Grid Computing in China // Journal of Grid Computing, pp. 193-206, 2004.

17. Foster Ian; Zhao Yong; Raicu Ioan, Lu Shiyong Cloud computing and grid computing 360-degree compared // Grid Computing Environments Workshop. IEEE, pp. 1-10, 2008.

18.Muhammad Hasnain, Mazhar Hussain Malik, Abdul Raoof, Shafqat Ullah, Allah Dad Jawed. Architecture for Grid Computing // International Journal of Computer Science and Information Security (IJCSIS), Vol. 14, No. 11, pp. 84-90, November 2016.

19. Gurudatt Kulkarni, Vikas Solanke, Shyam Gupta. Grid Computing Overview // International Conference on Electrical Engineering and Computer Science, pp. 1215, 12th May-2013.

20. Sunil Shankar. Grid computing // University of Calicut, Academic Jour., pp. 1-12, 2017.

21. Keshab Nath, Sarfaraz Jelil. Grid Computing // International Journal of Advanced Computational Engineering and Networking, Volume- 1, Issue- 8, 2017.

22. Junwei Cao, Stephen A. Jarvis, Subhash Saini, Graham R. Nudd Gridflow: Workflow management for grid computing // International Symposium on cluster computing and the Grid (CCGRID'03) IEEE, pp. 1-8, 2003.

23. Armu Sungkar, Tena Kogoya. A review of grid computing // Computer Science & IT Research Journal, Volume 1, Issue 1, pp. 1-6, March 2020.

24. Swati I. Bairagi, Ankur O. Bang. Cloud Computing: History, Architecture, Security Issues // International Journal of Advent Research in Computer and Electronics (IJARCE), pp. 102-108, 28 March 2015.

25. Vaquero L.M., Rodero-Merino L., Lindner M. A break in the clouds, towards a cloud definition // Acm Sigcomm Computer Communication Review, 39(1), pp. 50-55, 2008.

26. Zheng L., Chen S., Hu Y. Applications of cloud computing in the smart grid // Proceedings of International Conference on Artificial Intelligence, Management Science and Electronic Commerce, pp. 203-206, 2011.

27. Xu W. P. Zhao, H. Research of cloud computing information management mode for oil enterprise // Applied Mechanics & Materials, pp. 336-338, 2013.

28. Mine Omurgonulsen, Merve lbis, Yigit Kazancoglu, Pretty Singla Cloud Computing: A Systematic Literature Review and Future Agend // Journal of Global Information Management, 29(6), pp. 1-25, January 2021.

29. [онлайн] Доступ: https://www.javatpoint.com/cloud-computing-architecture

30. [онлайн] Доступ: Cloud Computing Architecture (w3schools.in)

31. M. Lakshmi Neelima, M. Padma A Study On Cloud Storage // International Journal of Computer Science and Mobile Computing, Vol.3 Issue.5, pp. 966-971, May- 2014.

32. [онлайн] Доступ: 3 Main Categories of Cloud Computing: IaaS, PaaS, SaaS | Giva (givainc.com)

33. P. Sujatha, P. SriPriya. Security Threats and Preventive Mechanisms in Cloud Computing // Journal of Applied Science and Computations , ISSN NO: 1076-5131,Volume V, Issue XII, pp. 2112-2119, December - 2018.

34. [онлайн] Доступ: https://azure.microsoft.com/en-us/resources/cloud-computing-dictionary/what-is-paas

35. [онлайн] Доступ: https://www.javatpoint.com/infrastructure-as-a-service#:~:text=Iaas%20is%20also%20known%20as,virtual%20machines%2C%2 0and%20other%20resources.

36. Rafat Ara, Abdur Rahim, Sujit Roy, Uzzal Kumar Prodhan. Cloud Computing: Architecture, Services, Deployment Models, Storage, Benefits and Challenges // International Journal of Trend in Scientific Research and Development (IJTSRD) Volume 4 Issue 4, e-ISSN: 2456 - 6470, pp. 837-842, June 2020.

37. [онлайн] Доступ: Definition of Hybrid Cloud (apprenda.com)

38. Ankush Dhiman, Mauli Joshi. A Survey of Cloud Computing: Designing, Applications, Security Issues and Related Technologies // Int. Journal of Engineering Research and Applications, ISSN: 2248-9622, Vol. 4, Issue 5(Version 3), pp.17-24, May 2014.

39. Jayachander Surbiryala, Chunming Rong. Cloud Computing: History and Overview // 2019 IEEE Cloud Summit, Washington, DC, USA. ISBN: 978-17281-3101-6, pp. 1-7, Aug 2019.

40. Jalal H. Kiswani, Sergiu M. Dascalu, Frederick C. Harris. Cloud Computing and Its Applications: A Comprehensive Survey // IJCA, Vol. 28, No. 1, pp. 3-22, March 2021.

41. Pratima Bhalekar. A Comparative Study of Cluster, Grid and Cloud Computing // International Journal of New Innovations in Engineering and Technology, Volume 9 Issue 1, ISSN: 2319-6319, pp. 8-14, October 2018.

42. Naidila Sadashiv, S. M Dilip Kumar. Cluster, Grid and Cloud Computing: A Detailed Comparison // The 6th International Conference on Computer Science & Education (ICCSE 2011), pp. 477-482, August, 2011.

43. Seyyed Mohsen Hashemi, Amid Khatibi Bardsiri. Cloud Computing Vs. Grid Computing // ARPN Journal of Systems and Software, Vol. 2, No.5, pp. 188-194, May 2012.

44. Dominik Sch'afer, Janick Edinger, Sebastian VanSyckel, Christian Becker. Tasklets: Overcoming Heterogeneity in Distributed Computing Systems // IEEE 36th International Conference on Distributed Computing Systems Workshops, pp. 156-161, 2016.

45. Daniel Espling. Enabling Technologies for Management of Distributed Computing Infrastructures // Umea University, Sweden, pp. 1-76, September 2013.

46. Manjula K.A, G. Raju. A Study on Applications of Grid Computing in Bioinformatics // Computer Aided Soft Computing Techniques for Imaging and Biomedical Applications, pp. 69-72, 2010.

47. Ira Brodsky. Scale grid computing down to size // Networkworld.com, 2003.

48. Foster I., Kasselman C. The Grid. Blueprint for a new computing infrastructure // San Francisco: Morgan Kaufman, pp. 1-677, 1999.

49. Guerrero G., Imbernón B., Pérez-Sánchez H., Sanz F., Garcia J., Cecilia J. A Performance/Cost Evaluation for a GPU-Based Drug Discovery Application on Volunteer Computing // BioMed Research International, pp. 1-8, 2014.

50. Montes D., Añel J.A., Pena T.F., Uhe P., Wallom D.H. Enabling BOINC in Infrastructure as a Service Cloud System // Geosci. Model Dev., vol-10, pp. 811826, 2017.

51. Marosi A., Kovács J., Kacsuk P. Towards a Volunteer Cloud System // Future Generation Computer Systems, 29(6), pp. 1442-1451. 2013.

52. [онлайн] Доступ: Frequent Itemset Mining Dataset Repository. http://fimi.ua.ac.be. Accessed on November 7, 2017.

53. [онлайн] Доступ: The BOINC Wrapper. http://boinc.berkeley.edu/trac/ wiki/WrapperApp. Accessed on November 7, 2017.

54. Anjomshoa M., Salleh M., Kermani. M.P. A Taxonomy and Survey of Distributed Computing Systems // Journal of Applied Sciences, 15(1), pp. 46-57. 2015.

55. Albertas Jurgelevicius, Leonidas Sakalauskas. Big Data Mining Using Public Distributed Computing // Journal of Information Technology and Control, Vol. 47, No. 2, pp. 236-248, 2018.

56. Ivashko E., Golovin A. Association Rules Extraction from Big Data Using BOINC-Based Enterprise Desktop Grid // Journal on Selected Topics in Nano Electronics and Computing, 2(2), pp. 31-35, 2014.

57. Н.Н. Никитина, Е.Е. Ивашко. Организация квантово-химических расчетов с использованием пакета FIREFLY в гетерогенной грид-системе на базе BOINC // Numerical methods and programming, pp. 8-12, 2012.

58. Muhammed Suhail T.S. Performance Analysis of Distributed Systems using BOINC // International Journal of Computer Applications (0975 - 8887) Volume 134 - No.5, pp. 34-38, January 2016.

59. [онлайн] Доступ: https://boinc.berkeley.edu/

60. David P. Anderson. BOINC: A Platform for Volunteer Computing // University of California, Berkeley Space Sciences Laboratory Berkeley, CA 94720, pdf. pp. 1-37, December 9, 2018.

61. Foster I., Kesselman C., Tsudik G., Tuecke S. A Security Architecture for Computational Grids // 5th ACM Conference on Computer and Communication Security, pp. 83-92, 1998.

62. Howes T., Smith M. A Scalable, Deployable Directory Service Framework for the Internet // CITI Technical Report, pp. 1-12, July 11, 1995.

63. Foster I., Frey J., Livny M., Tannenbaum T., Tuecke S. Condor-G: A Computation Management Agent for Multi-Institutional Grids // Tenth International Symposium on High Performance Distributed Computing (HPDC-10), IEEE Press, pp. 55-63, August, 2001.

64. Bester J., Foster I., Kesselman C., Tedesco J., Tuecke S. GASS: A Data Movement and Access Service for Wide Area Computing Systems // Sixth Workshop on I/O in Parallel and Distributed Systems, pp. 1-11, May 5th, 1999.

65. Abramson D., Giddy J., Kotler L. High Performance Parametric Modeling with Nimrod/G: Killer Application for the Global Grid? // International Parallel and Distributed Processing Symposium (IPDPS), Cancun, Mexico, pp. 520-528. May, 2000.

66. [онлайн] Доступ: Globus Dynamically-Updated Request Online Coallocator (DUROC) v0.8, Globus Alliance: https://www.globus.org/

67. Bruce Schneier. Applied Cryptography, 2nd edition. John Wiley & Sons, 1995.

68. Alfred J. Menezes, Paul C. van Oorschot, Scott A. Vanstone. Handbook of Applied, Cryptography, CRC Press, 1996.

69. Сачков В.Е., диссертация к.т.н., "Разработка методов и алгоритмов повышения производительности многопроцессорных вычислительных комплексов при решении специальных задач", стр. 1-191, 2020.

70. [онлайн] Доступ: Manual - Parallel Applications (Including MPI Applications): http: //research.cs.wisc.edu/htcondor/manual/v8.4/29ParallelApplications. html

71. C. Hollowell, J. Barnett, C. Caramarcu, W. Strecker-Kellogg, A. Wong, A. Zaytsev. Mixing HTC and HPC Workloads with HTCondor and Slurm // IOP Conf. Series: Journal of Physics: Conf. Series 898, pp. 1-8, 2017.

72. [онлайн] Доступ: HTCondor. htts://research.cs.wisc.edu/htcondor.

73. Oliver Freyermuth, Peter Wienemann, Philip Bechtle, Klaus Desch. Operating an HPC/HTC Cluster with Fully Containerized Jobs Using HTCondor, Singularity, CephFS and CVMFS // Computing and Software for Big Science, pp. 1-20, 29 March 2021.

74. Hunt A., Thomas D. The Pragmatic Programmer: From Journeyman to Master, Addison-Wesley Professional; Sional, pp.1-280, 2000.

75. [онлайн] Доступ: Center for High Throughput Computing. HTCondor Version 8.6.1 Manual; https://research.cs.wisc.edu/htcondor/manual/

76. Dietmar W. Erwin, David F. Snelling. UNICORE: A Grid Computing Environment // Euro-Par 2001, LNCS 2150, pp. 825-834, 2001.

77. [онлайн] Доступ: UNICORE Open Source project page: https: //sourceforge. net/proj ects/unicore/

78. D. Erwin. UNICORE - Uniformes Interface to Computing Resources, Final report, pp. 1-135, German, 2002.

79. Parvin Asadzadeh, Rajkumar Buyya, Chun Ling Kei, Deepa Nayar, Srikumar Venugopal. Global Grids and Software Toolkits: A Study of Four Grid Middleware Technologies, pp. 1-19, September 2005.

80. E Fajardo, C Pottberg, B Bockelman, G Attebury, T Martin, F. Wurthwein. Testing the limits of an LVS-GridFTP cluster as a replacement for BeSTMan // Journal of Physics: Conference Series, pp. 1-6, 2018.

81. Cristian Morales Pérez. Study and Benchmarking of Modern Computing Architectures, Barcelona Supercomputing Center, pp. 1- 68, 2017.

82. Dongsoo Kang, Henry W. Park, Jinwoo Suh, Viktor K. Prasanna, Sharad N. Gavali. Benchmarking of HPC Systems // Major shared resource center, pp. 1-122, 1998.

83. [Online] https://trashexpert.ru/hardware/general-issues/best-cpu-benchmark-tools/

84. [Online]. Доступ: https://browser.geekbench.com.

85. [Online]. Доступ: https://www.passmark.com

86. [Online]. Доступ: https://www.superpi.net/

87. [Online]. Доступ: https://www.wprime.net/

88. [Online]. Доступ: https://www.maxon.net/ru

89. [Online]. Доступ: https://www.7-zip.org

90. [Online]. Доступ: https://www.aida64.combsoft.com

91. [Online]. Доступ: https://www.dolphinemulator.org

92. [Online]. Доступ: https://en.wikipedia.org/wiki/7-Zip

93. [Online]. Доступ: https://7ziphelp.com/how-to-use-7-zip

94. [Online]. Доступ: PsExec Simple Tutorial http://jjasser.com/2014/04/psexec-simple-tutorial.

95. [Online]. Доступ: https://learn.microsoft.com/psexec

96. Jagdish Chandra Patni, Mahendra Singh Aswal. Distributed Load Balancing Model for Grid Computing Environment // 2015 1st International Conference on Next Generation Computing Technologies (NGCT-2015), pp. 123-126, September 2015.

97. Saleh A. Khawatreh. An Efficient Algorithm for Load Balancing in Multiprocessor Systems // (IJACSA) International Journal of Advanced Computer Science and Applications, Vol. 9, No. 3, pp. 160-164, 2018.

98. Мин Тху Кхаинг, Аунг Тху. Исследование методов резервирования узлов в распределенных вычислительных системах // 11-ая Всероссийская научно-практическая конференция «Актуальные проблемы информатизации в науке и образовании - 2018», МИЭТ, C. 36, 2018г.

99. Мин Тху Кхаинг, С.А. Лупин, Аунг Тху. Оценка эффективности методов балансировки нагрузки в распределенных вычислительных системах // International Journal of Open Information Technologies., Vol.9, №11, с. 30-36, 2021.

100. Мин Тху Кхаинг, С.А. Лупин, Ай Мин Тайк, Д.А. Федяшин. Сравнительный анализ методов оценки производительности узлов в распределенных системах // International Journal of Open Information Technologies ISSN: 2307-8162 vol. 11, no.5, pp. 41-46, 2023.

101. Мин Тху Кхаинг, Ай Мин Тайк, Тун Мин У. Балансировка нагрузки узлов в распределенных вычислительных системах, III научно-практическая конференция с международным участием «Актуальные проблемы информатизации в цифровой экономике и научных исследованиях - 2022», МИЭТ, С. 60, 2022г.

102. [Online].Доступ: Балансировка нагрузки в распределенных системах. НОУ ИНТУИТ. https://intuit.ru/studies/courses/1146/238/lecture/6153

103. OpenMP. [Online]. Доступ: https://www.openmp.org

104. Бабичев С. Л. Распределенные системы: учебное пособие для вузов // Москва: Издательство Юрайт, 2019. — 507 с.

105. Мин Тху Кхаинг, Аунг Тху. Повышение эффективности вычислений в грид-системах // 26-я Всероссийская межвузовская научно-техническая

конференция студентов и аспирантов «Микроэлектроника и информатика -2019», МИЭТ, C. 132, 2019г.

106. Мин Тху Кхаинг, С.А. Лупин, Аунг Тху. Исследование методов балансировки нагрузки узлов в распределенных вычислительных системах // 28-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика - 2021», МИЭТ, С. 133, 2021г.

107. Мин Тху Кхаинг, Аунг Тху. Статическая балансировка нагрузки узлов в распределенных вычислительных системах при решении оптимизационных задач // Международная научно-практическая конференция «Актуальные проблемы информатизации в цифровой экономике и научных исследованиях - 2021», МИЭТ, С. 47, 2021г.

108. Мин Тху Кхаинг, С.А.Лупин, Тун Мин У. Распределение нагрузки узлов в гетерогенных GRID-системах // 29-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика - 2022», МИЭТ, С. 87, 2022г.

109. Мин Тху Кхаинг. Балансировка нагрузки узлов при проведении грид-вычислений // XXX Всероссийская межвузовская научно-техническая конференция студентов, аспирантов и молодых ученых «Микроэлектроника и информатика -2023», МИЭТ, С. 147, 2023г.

110. Ай Мин Тайк, Мин Тху Кхаинг, Лэй Пью Хейн. Решение задачи о неограниченном рюкзаке с помощью алгоритма перебора // XXX Всероссийская межвузовская научно-техническая конференция студентов, аспирантов и молодых ученых «Микроэлектроника и информатика -2023», МИЭТ, С. 129, 2023г.

111. Ай Мин Тайк, С.А. Лупин, Мин Тху Кхаинг. Методы повышения эффективности алгоритма перебора на примере решения задачи о неограниченном рюкзаке // International Journal of Open Information Technologies ISSN: 2307-8162 vol. 11, no.5, pp. 41-46, 2023г.

Приложение 1 Акт внедрения результатов работы

The Republic of the Union of Myanmar

I

Ministry of Science and Technology Technological University (Thanlyin) Department of Information Technology Engineering Email: ttti.it.2022fa timail.com

Date: 17.10.2023

CONFIRMATION Using the results of doctoral thesis Min Thu Khaing

"Research and development of methods for increasing the efficiency of distributed highperformance computing systems"

This document confirms that the load balancing methods and principles of organizing highperformance distributed computing systems, proposed in Min Thu Khaing's dissertation, have been tested at the Technological University (Thanlyin).

Load balancing is a major factor in achieving high performance especially for heterogeneous grid systems. Using the static balance strategy, proposed by Min Thu Khaing, of an imbalance level was decreased from 24% to 4.3% for a computational grid of 120 nodes.

The implementation results demonstrate the effectiveness of original approaches to load balancing in distributed systems and can be useful to a wide range of researchers.

Dr. Mon Mon Zaw Professor and Head

Department of Information Technology Engineering,

Technological University (Thanlyin)

Yangon, Myanmar.

[e-mail]

[phone]