Метод попарной обработки элементов информационных массивов для многозадачных вычислений в гибридном облаке тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Бобылева Ирина Владимировна

• Бобылева Ирина Владимировна
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Бобылева Ирина Владимировна

ВВЕДЕНИЕ

1 АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ ОРГАНИЗАЦИИ ИНФОРМАЦИОННЫХ ПРОЦЕССОВ В ГИБРИДНОМ ОБЛАКЕ

1.1 Организация распределенных вычислений посредством грид-систем

1.2 Способы и средства реализации облачных вычислений

1.3 Многозадачные вычисления и способы их описания

1.4 Концепция модели акторов и её систематика

1.5 Модель «портфель задач» и алгоритмические скелеты

1.6 Научные проблемы обработки данных в сети Интернет

1.7 Выводы

2 РАЗРАБОТКА ПАРАЛЛЕЛЬНЫХ АЛГОРИТМОВ ПОПАРНОЙ ОБРАБОТКИ ЭЛЕМЕНТОВ В МАССИВАХ ДАННЫХ

2.1 Модель «асинхронный круговой турнир» попарной обработки элементов в массивах данных

2.2 Алгоритм синтеза графов зависимостей задач процесса попарной обработки элементов в массивах данных

2.3 Синтез и анализ графа зависимостей задач для турнира без дополнительных ограничений

2.4 Синтез и анализ графа зависимостей задач для простого сортирующего турнира

2.5 Синтез и анализ графа зависимостей задач для оптимизированного сортирующего турнира

2.6 Выводы

3 ПРИМЕНЕНИЕ МОДЕЛИ АКТОРОВ И АЛГОРИТМИЧЕСКИХ СКЕЛЕТОВ ДЛЯ ОПИСАНИЯ ИНФОРМАЦИОННОГО ПРОЦЕССА ПОПАРНОЙ ОБРАБОТКИ ЭЛЕМЕНТОВ В МАССИВАХ ДАННЫХ

3.1 Метод представления информационных процессов на основе алгоритмических

скелетов

3.2 Акторная семантика выполнения и визуализация базового алгоритмического скелета информационных процессов

3.3 Информационные модели процессов попарной обработки элементов в массивах данных с распараллеливанием по управлению

3.4 Информационная модель процессов попарной обработки элементов в массивах данных с распараллеливанием по данным. Частный случай

3.5 Информационная модель процессов попарной обработки элементов в массивах данных с распараллеливанием по данным. Общий случай

3.6 Экспериментальное исследование эффективности вычислений по моделям в различных аппаратных окружениях

3.7 Выводы

4 ПРОГРАММНАЯ СИСТЕМА ЧАСТОТНОГО АНАЛИЗА МИКРОБЛОГА TWITTER В ГИБРИДНОМ ОБЛАКЕ

4.1 Постановка проблемы и метод организации вычислений в программной системе

4.2 Архитектура и особенности развертывания программной системы

4.3 Вычислительные эксперименты для оценки эффективности вычислений в гибридном облачном окружении

4.4 Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

Приложение А. Свидетельство о регистрации программы

Приложение Б. Результаты вычислительных экспериментов

Приложение В. Акты внедрения

Введение диссертации (часть автореферата) на тему «Метод попарной обработки элементов информационных массивов для многозадачных вычислений в гибридном облаке»

ВВЕДЕНИЕ

В основе цифровизации лежат высокопроизводительные вычисления, связанные с обработкой больших массивов данных. Как правило, чем больше данных удается обработать в разумные сроки, тем большую ценность имеет извлекаемая из данных информация. Ограничивающим фактором повышения эффективности процесса обработки данных являются возможности вычислительной техники. Очевидный способ повышения эффективности - это увеличение компьютерного парка. Однако получить дополнительные вычислительные ресурсы можно арендуя виртуальные машины через сеть Интернет, а также используя простаивающие рабочие станции, кластеры, персональные компьютеры, подключенные к сети Интернет, в составе гибридного облака.

Вычисления в гибридном облаке невозможны без специальной организации вычислительного процесса, чтобы эффективно задействовать разнородные вычислительные ресурсы в совокупности. Их реализация требует решения научных задач в рамках исследования структуры алгоритмов и её отображения на вычислительную среду гибридного облака. Общая проблема отображения впервые была сформулирована и исследована в трудах Г.И. Марчука [127], В.В. Воеводина [110], Вл. В. Воеводина [111] и др. применительно к задаче высокопроизводительных вычислений. В диссертации исследуется частная задача в рамках общей проблемы отображения, заключающаяся в поиске структур алгоритмов, которые легко отображаются на совокупность разнородных ресурсов гибридного облака (возможно за счет приемлемой потери эффективности при вычислении на типовых ресурсах), в тоже время выразительны при описании практических алгоритмов обработки данных.

Перспективный подход решения данной частной задачи отображения лежит в области вычислений с параллелизмом задач. Типовым применением

параллелизма задач является поэлементная обработка информационных массивов в независимых задачах или так называемая чрезвычайная параллельность. Актуальное направление развития вычислений с параллелизмом задач -многозадачные вычисления, предложенные I. Raicu, I. Foster, Y. Zhao [76]. В многозадачных вычислениях рассматриваются также информационные процессы, в которых имеются зависимости между задачами, а вычислительная сложность задач варьируется в широких пределах. Естественной моделью таких процессов и объектом исследования диссертации являются параллельные алгоритмы попарной обработки элементов массивов данных, когда параллелизм задач частично ограничен из-за невозможности одновременной обработки пар, включающих одинаковый элемент.

В качестве вычислительных ресурсов, для которых исследуется отображение алгоритмов попарной обработки, в диссертации рассматриваются разнородные ресурсы, получаемые с использованием технологий облачных вычислений от нескольких поставщиков, составляющих гибридное облако. Предметом диссертационного исследования является разработка и исследование метода отображения алгоритмов попарной обработки элементов массивов данных на архитектуру гибридного облака.

Решение проблемы отображения включает несколько аспектов: системные средства организации вычислений (M. Livny [89], D.P. Anderson [10], И.В. Бычков [130], А.П. Афанасьев [106], С.В. Востокин [95,88], О.В. Сухорослов [57,91,125,132] и др.); алгоритмы планирования задач (В.В. Топорков [133] и др.); языки программирования и инструменты описания информационных процессов (А.В. Бухановский [109], L. Lamport [55,56], A. Abbassi [1] и др.); анализ информационных структур алгоритмов (В.В. Воеводин [110], Вл.В. Воеводин [111] и др.). Диссертация посвящена исследованию информационных структур алгоритмов обработки данных. Это дает методическую основу использования технологий многозадачных вычислений для решения прикладных задач обработки данных и поэтому является актуальным.

Таким образом целью диссертационного исследования является развитие методов организации эффективных вычислений с использованием гибридных облачных систем в задачах попарной обработки элементов массивов данных.

Для достижения поставленной цели в диссертации решены следующие задачи исследования.

1. Анализ методов, моделей и программных средств, применяемых для глобально распределенной обработки данных.

2. Разработка метода синтеза алгоритмов попарной обработки элементов массивов данных с фиксированной структурой графа зависимостей задач.

3. Анализ алгоритмов попарной обработки элементов массивов данных и определение аналитических оценок ускорений для полученных алгоритмов.

4. Разработка алгоритмической модели многозадачного вычислительного процесса.

5. Применение алгоритмической модели многозадачного вычислительного процесса для реализации различных вариантов попарной обработки элементов массивов данных.

6. Экспериментальное исследование эффективности программ, построенных на основе алгоритмической модели многозадачного вычислительного процесса, при решении задачи попарной обработки элементов массивов данных в разнотипных вычислительных средах.

7. Разработка программной инфраструктуры для выполнения обработки элементов массивов данных с использованием гибридной облачной среды. Научная новизна диссертационной работы. В диссертации получены

следующие новые результаты.

1. В области разработки методов и алгоритмов для глобально распределенной обработки данных: метод синтеза параллельных алгоритмов для попарной обработки элементов массивов данных, отличающийся возможностью синтеза алгоритмов с требуемыми свойствами при условии неизменяемости графа зависимостей задач в процессе вычислений; исследована вычислительная

сложность трех алгоритмов типа «асинхронный круговой турнир» с использованием предложенного метода.

2. В области моделей создания программ и программных систем для параллельной и распределенной обработки данных: алгоритмическая модель многозадачного вычислительного процесса, отличающаяся новой интерпретацией известных моделей акторов и алгоритмических скелетов; впервые рассмотрены различные способы спецификации процессов типа «асинхронный круговой турнир» и их информационных структур с использованием предложенной модели.

3. В области разработки программной инфраструктуры для глобально распределенной обработки данных: предложена новая программная инфраструктура гибридного облака для многозадачной попарной обработки элементов массивов данных, позволяющая эффективно использовать собственные простаивающие и общедоступные внешние вычислительные ресурсы и легко адаптироваться для решения различных задач обработки данных.

Теоретическая и практическая значимость работы. Теоретическая значимость работы состоит в том, что на основе исследования взаимосвязей модели акторов Хьюитта [45,46,47], модели алгоритмических скелетов Коула [25] и концепции многозадачных вычислений [76] предложена новая модель многозадачного вычислительного процесса. Достоинством модели является спецификация многозадачного вычислительного процесса в виде последовательного алгоритма специальной структуры и возможность графического представления данной структуры. Это позволяет строить программные системы, эффективно реализующие вычисления и обработку данных на базе современных средств вычислительной техники. В качестве иллюстрации применения модели вычислительного процесса рассмотрен общий подход синтеза параллельных алгоритмов обработки данных типа «асинхронный круговой турнир».

Практическая значимость работы состоит в разработке программной инфраструктуры гибридного облака для многозадачной попарной обработки

элементов массивов данных. Предложенная инфраструктура позволяет легко адаптировать программную систему для выполнения сортировки, частотного анализа, попарного сопоставления элементов неструктурированных данных. Практическим преимуществом программной инфраструктуры является возможность использования произвольных простаивающих вычислительных ресурсов (рабочих станций, персональных компьютеров, виртуальных машин гибридного облака) для снижения себестоимости обработки данных.

Прикладное значение также имеют результаты тестирования программных реализаций алгоритмов типа «асинхронный круговой турнир» при исполнении в различных вычислительных средах (многоядерном компьютере, высокопроизводительной кластерной системе, кластере рабочих станций, кластере виртуальных машин гибридного облака), показывающие возможность эффективного применения предложенных методов создания программных систем многозадачных вычислений на практике.

Соответствие научной специальности. Работа соответствует следующим областям исследования научной специальности: модели и методы создания программ и программных систем для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования; модели, методы, алгоритмы, облачные технологии и программная инфраструктура организации глобально распределенной обработки данных.

Реализация результатов работы. Результаты диссертационного исследования получены и использованы при разработке программных систем и проведении вычислительных экспериментов на базе ресурсов облачной среды Самарского университета в проекте «Разработка фундаментальных основ аналитического синтеза регулярных и хаотических процессов в динамике космических аппаратов» (Госзадание № 9.1616.2017/4.6); для распределенной обработки данных в АО «РКЦ «Прогресс»; при проведении лабораторных практикумов по дисциплине «Архитектура современных распределенных систем» на кафедре информационных систем и технологий Самарского университета. Реализация результатов работы подтверждена актами о внедрении.

Методы исследований. В диссертационной работе используются элементы теории алгоритмов и теории графов, включая методы анализа сложности алгоритмов, методы параллельной обработки данных, формальные модели представления алгоритмов и информационных процессов на основе модели акторов Хьюитта и модели алгоритмических скелетов Коула.

Апробация работы. Основные результаты работы были представлены на следующих всероссийских и международных конференциях: V Всероссийской научно-технической конференции с международным участием «Актуальные проблемы ракетно-космической техники» («V Козловские чтения») (Самара, 2017); IV Международной конференции и молодежной школе «Информационные технологии и нанотехнологии» (ИТНТ-2018) (Самара, 2018); Международной научно-технической конференции «Перспективные информационные технологии» (ПИТ-2018) (Самара, 2018); XXI Всероссийском семинаре по управлению движением и навигации летательных аппаратов (Самара, 2018); 8-ой Международной конференции «Распределенные вычисления и ГРИД технологии в науке и образовании» (Дубна, ОИЯИ, 2018); International Conference on Wireless Sensor Networks, Ubiquitous Computing and Applications (ICWSNUCA-2018) (Hyderabad, Gokaraju Rangaraju Institute of Engineering and Technology, 2018); V Международной конференции и молодежной школе «Информационные технологии и нанотехнологии» (ИТНТ-2019) (Самара, 2019); Международной конференции «Суперкомпьютерные дни в России» (Russian Supercomputing Days 2019) (Москва, 2019); Международной молодёжной научной конференции «XV Королёвские чтения», посвящённой 100-летию со дня рождения Д.И. Козлова (Самара, 2019); Международной научно-технической конференции «Перспективные информационные технологии» (ПИТ-2019) (Самара, 2019); VI Международной конференции и молодежной школе «Информационные технологии и нанотехнологии» (ИТНТ-2020) (Самара, 2020); Международной научной конференции «Конвергентные когнитивно-информационные технологии» (Москва, 2020).

Авторский вклад. Все результаты, изложенные в диссертации и выносимые на защиту, получены автором лично. В работах, выполненных совместно, автору принадлежат части, относящиеся к моделированию информационных структур, синтезу и анализу алгоритмов обработки данных. Автор лично осуществлял проведение вычислительных экспериментов, обработку и интерпретацию полученных результатов.

Достоверность результатов работы. Достоверность полученных в работе оценок вычислительной сложности алгоритмов попарной обработки информационных массивов подтверждается корректными математическими выкладками и сопоставлением аналитических оценок вычислительной сложности с оценками, полученными в имитационных экспериментах. Эффективность алгоритмов, построенных с использованием предложенного метода и модели информационной структуры, подтверждена результатами нагрузочного тестирования их программных реализаций в различных вычислительных средах. Основные положения, выносимые на защиту.

1. Метод синтеза параллельных алгоритмов для попарной обработки элементов массивов данных; результаты его применения для разработки алгоритмов типа «асинхронный круговой турнир» и анализа их ускорения.

2. Алгоритмическая модель многозадачного вычислительного процесса; результаты её применения для спецификации и программной реализации алгоритмов обработки данных типа «асинхронный круговой турнир».

3. Программная инфраструктура гибридного облака для многозадачной попарной обработки элементов массивов данных.

Публикации по теме диссертации. Публикации по теме диссертации. По

теме диссертации опубликовано 17 работ, в том числе 2 статьи в журналах, рекомендованных ВАК РФ, 6 статей в рецензируемых изданиях, включённых в международную наукометрическую базу Scopus, одно свидетельство о регистрации программы для ЭВМ, 8 работ в материалах и трудах международных и всероссийских научных конференций.

1 АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ ОРГАНИЗАЦИИ ИНФОРМАЦИОННЫХ ПРОЦЕССОВ В ГИБРИДНОМ ОБЛАКЕ

Первая глава посвящена анализу предметной области вычислений и обработки данных в гибридном облаке. Рассматриваются основные методы организации вычислений: грид-вычисления, облачные вычисления, многозадачные вычисления. Представлены модели соответствующих приложений: модель акторов, модель «портфель задач» и алгоритмические скелеты. Даются примеры некоторых прикладных задач, характерных для каждого из перечисленных направлений, с указанием причин, по которым использование распределенной обработки в глобальной сети позволяет решить задачу эффективно. Рассмотрены научные проблемы, возникающие при организации вычислений в гибридном облаке. Выделены проблемы, относящиеся к поиску и разработке новых алгоритмов для вычислений в глобальной сети, спецификации и моделированию информационных структур алгоритмов. Определены перспективные направления решения данных проблем, развиваемые в следующих главах диссертации.

Основные результаты приведенного в главе 1 анализа методов и моделей обработки данных в сети Интернет опубликованы в работах [93,113,115,122].

1.1 Организация распределенных вычислений посредством грид-систем

По мере развития информационных технологий происходит усложнение задач, которые требуют все больше ресурсов для их выполнения, но не все организации имеют возможность расширять свою информационную инфраструктуру для их эффективного решения. Проблемой является сложность и дороговизна дальнейшего наращивания технических мощностей, например,

увеличение количества процессорных ядер. Эффективно использовать все имеющиеся вычислительные устройства организации для её возрастающих потребностей возможно с применением распределенных вычислений. Наиболее адаптивной концепцией данного вида являются грид-вычисления [137].

Родоначальниками идеи грид-систем и набора инструментов Globus Toolkit являются Йан Фостер, Карл Кессельман и Стив Тики [35,36]. Согласно их теории, грид-вычисления представляют собой технологию, которая позволяет контролируемое и скоординированное использование ресурсов динамических масштабируемых неоднородных вычислительных систем. За счет своих возможностей они решают поставленные задачи значительно быстрее, задействовав только неиспользуемые в данный момент устройства. Грид-технологии не ограничены одной определенной сферой деятельности и одинаково эффективно могут применяться в промышленности, торговле, науке и образовании [2,4,22]. Также для них не имеют никакого значения технические характеристики вычислительного устройства или его операционная система. Хорошим примером использования является Европейская организация по ядерным исследованиям (CERN), которая задействовала компьютеры многочисленных лабораторий, находящихся в разных странах, для обработки результатов исследований. В данном примере неразрешимость задачи стандартными методами заключалась в огромном объеме данных, исчисляемых петабайтами и невозможности их обработки при помощи сетевых инфраструктур одной лаборатории.

Грид-архитектура имеет пять основных уровней [23]. Первый уровень -уровень ресурсов, состоящий из различных вычислительных устройств, доступ между которыми осуществляется посредством грид-протоколов. На этом уровне в основном реализуются локальные специфичные для этого устройства операции, полученные с более высоких уровней. Второй уровень состоит из протоколов связи, которые обеспечивают авторизацию и аутентификацию. Основными характеристиками этого уровня являются: единая точка входа, делегирование, интеграция с локальными правилами безопасности. Третий уровень позволяет

совместно использовать доступные ресурсы и предназначен для инициирования, контроля и учета совместных операций. Четвертый уровень за счет протоколов и служб обеспечивает глобальное управление задачами и охватывает взаимодействие между ресурсами. Пятым уровнем являются приложения, которые создаются с использованием специальных API и SDK.

Основными отличительными чертами грид-систем от других систем, реализующих распределенные вычисления [138], являются следующие критерии

[41].

• Грид-системы не имеют централизованного управления ресурсами.

• Для создания таких систем используются универсальные протоколы и сервисы.

• Такие системы позволяют получить высокие сетевые показатели, они доступны и надежны.

• Грид-системы масштабируемы.

Все существующие грид-системы можно разделить на 3 типа.

1. Добровольные грид-системы - это гетерогенные грид-системы, создаваемые из вычислительных ресурсов различных пользователей, согласных предоставлять эти ресурсы на добровольной основе. Такие грид-системы могут использоваться для решения любых задач. Большая часть ресурсов - персональные компьютеры пользователей.

2. Научные грид-системы составляют большинство существующих грид-систем. Они имеют в своем составе более мощное оборудование и используются исключительно в научных целях [103].

3. Коммерческие грид-системы включают вычислительные ресурсы и выполняют задачи организации, в интересах которой создаются.

Важной особенностью грид-технологии является то, что она не заменяет, а дополняет другие используемые технологии. Например, они не являются альтернативой Интернету, но позволяют производить вычисления с применением протоколов и сервисов, основанных на интернет-протоколах и интернет-сервисах [50]. Такое взаимодействие привело к возникновению архитектуры Open Grid

Services Architecture (OGSA), определяющей стандартные механизмы создания и взаимодействия грид-сервисов, обеспечивающей прозрачность локаций и описывающей семантику представления служб. В процессе разработки архитектуры были учтены такие требования, как удаленный доступ и оптимизация ресурсов, возможность удаленного запуска заданий, снижение стоимости сетевой инфраструктуры, её масштабируемость, надежность, качество и безопасность. Благодаря перечисленным факторам Open Grid Services Architecture является наиболее предпочитаемым подходом для построения распределенных систем, однако, существуют и другие, также нашедшие свое применение.

Основой для всех дальнейших архитектур стала service-oriented architecture (SOA), которая позволяет строить надежные распределенные системы с использованием принципа слабой связи. Эта архитектура предполагает создание модульных сервисов, предназначенных для пользователей. Принцип слабой связи подразумевает под собой, что взаимодействующие компоненты получают информацию друг о друге непосредственно перед самим взаимодействием. Такая методика позволяет добиваться гибкой, масштабируемой и отказоустойчивой системы. Принцип слабой связи предполагает наличие сервисов, имеющих и не имеющих состояние. Сервис, имеющий состояние, отличается тем, что позволяет клиенту обратиться к нему повторно.

Разработка стандартов для грид ведется в рамках Global Grid Forum, которые взяли за основу инструмент Globus Toolkit. Globus Toolkit представляет собой инструментарий для грид-вычислений с открытым кодом, разработанный компанией Globus и относится к промежуточному программному обеспечению (middleware). Данный инструмент реализует функции безопасности, взаимодействия и распределения ресурсов. Этот проект долгое время применялся по всему миру, но в 2018 году компания Globus прекратила его поддержку.

Существуют и другие реализации грид-систем. Также разрабатывается промежуточное программное обеспечение, такое как Legion, HTCondor [81], Unicore, ARC, gLite, XtremWeb [33], OurGrid [11]. Некоторые из них

объединились для создания Европейской инициативы по созданию промежуточного программного обеспечения (European Middleware Initiative, EMI). Активно развиваются и проекты по созданию масштабных грид-структур, наиболее значимыми из них можно назвать EGEE (Enabling Grids for E-sciencE) и WLCG (Worldwide LHC Computing GRID).

EGEE создавалась в целях создания глобальной грид-системы для решения научных задач [32]. Участниками проекта были более 140 организаций из стран Европы, Азии и США. Система поддерживала выполнение более 12 000 000 заданий в месяц от ученых из областей медицины, физики, химии, археологии и других. В 2010 году на смену ему пришла Европейская грид-инфраструктура (European Grid Infrastructure, EGI), которая состоит из 21 облачного провайдера и сотен центров обработки данных по всему миру, готовых сотрудничать с различными бизнес-структурами. Проект WLCG создавался для обработки данных Большого адронного коллайдера.

Наиболее популярным промежуточным программным обеспечением является BOINC, разработанный университетом Беркли [10]. Первым на этой платформе в 1999 году был запущен научный эксперимент SETI@home, целью которого является поиск внеземного разума. В настоящий момент в проекте участвует более миллиона добровольцев, что позволяет достигать высокой производительности (более 70 терафлопов) при обработке данных, полученных от радиотелескопов. Проект BOINC имеет открытый исходный код, а его цель заключается в продвижении парадигмы общедоступных грид-вычислений. Он имеет архитектуру клиент-сервер, где серверная часть отвечает за распределение заданий, а клиентская часть за их выполнение. BOINC является кроссплатформенным, что позволяет задействовать все доступные устройства участников. Это значительно повышает возможности реализации различных научных и добровольных проектов, где возможные для использования аппаратные ресурсы ограничены. А также помогает решить проблемы неоднородности, масштабируемости, безопасности и др., присущие таким системам. Но BOINC используется и для нужд коммерческих организаций,

позволяя задействовать простаивающее оборудования в решении различных задач

[49].

Все проекты BOINC автономны и не зависимы друг от друга [121]. Каждый проект управляет выделенными ему ресурсами. Пользователь может участвовать в нескольких проектах, выделяя свои доступные ресурсы. Чем больше аппаратных ресурсов имеет проект, тем выше его производительность и бесперебойность. Также в системе имеется возможность учета внесенных вычислений и поощрения. Установка и настройка клиента BOINC не занимает много времени и не требует специальных знаний и навыков. Вся необходимая информация предоставляется с установочным пакетом. Благодаря активному развитию и использованию BOINC многие научные проекты получили возможность реализации, а пользователи персональных компьютеров смогли им в этом помочь.

С появлением и развитием веб-сервисов грид-системы получили новый виток развития, что позволило им соответствовать современным тенденциям и покрывать потребность в ресурсах для научных и производственных задач, которые трудно решить даже на суперкомпьютерах [34].

Примером такого синтеза является облачная платформа для распределенных вычислений Everest [86], реализующая модель вычислений «платформа как услуга». Система имеет веб-интерфейс, что обеспечивает её кроссплатформенность для пользователей. Платформа Everest имеет серверную и клиентскую части. Серверная часть состоит из веб-интерфейса, Everest-приложений и вычислительного ядра, а клиентская часть представлена агентами [136] вычислительных ресурсов. Разработчики задействовали для создания своего проекта стиль REST, построенный на самых популярных и используемых интернет-стандартах. Он был разработан специально для реализации распределенных приложений через Интернет или Интранет. Платформа позволяет задействовать доступные пользователю вычислительные ресурсы для запуска задач с использованием Everest-приложений, которые могут исполняться на различных вычислительных ресурсах в сети Интернет. Помимо ресурсов,

зарегистрированных пользователями отдельных компьютеров, платформа Everest имеет широкие возможности интеграции, например, с European Grid Infrastructure - крупнейшей мировой грид-инфраструктурой. На данный момент система активно развивается и приобретает всё больше возможностей для масштабных вычислений.

Список литературы диссертационного исследования кандидат наук Бобылева Ирина Владимировна, 2022 год

СПИСОК ЛИТЕРАТУРЫ

1. Abbassi, A. A Comparison of the Declarative Modelling Languages B, Dash, and TLA+ / A. Abbassi, A. Bandali, N. Day, J. Serna // 2018 IEEE 8th International Model-Driven Requirements Engineering Workshop (MoDRE). - 2018. - C. 1120.

2. Simko, T. REANA: A System for Reusable Research Data Analyses / T. Simko, L. Heinrich, H. Hirvonsalo, D. Kousidis, D. Rodriguez // EPJ web of conferences. - 2019. - Т. 214. - C. 06034.

3. Afanasiev, A. P. Concept of a multitask grid system with a flexible allocation of idle computational resources of supercomputers / A. P. Afanasiev, I. V. Bychkov, O. S. Zaikin, M. O. Manzyuk, M. A. Posypkin, A. A. Semenov // Journal of Computer and Systems Sciences International. - 2017. - Т. 56. - №. 4. - С. 701707.

4. Afanasyev, A. P. Increasing the computing power of distributed systems with the help of grid systems from personal computers / A. P. Afanasyev, R. Lovas // Proceedings of the Conference "Parallel Computational Technologies (PCT 2011). - 2011. - С. 6-14.

5. Agha, G. A. Actors: A model of concurrent computation in distributed systems / G. A. Agha. - Massachusetts Inst of Tech Cambridge Artificial Intelligence Lab, 1985. - 144 c.

6. Agmon Ben-Yehuda, O. Deconstructing Amazon EC2 spot instance pricing / O. Agmon Ben-Yehuda, M. Ben-Yehuda, A. Schuster, D. Tsafrir //ACM Transactions on Economics and Computation (TEAC). - 2013. - Т. 1. - №. 3. -С.1-20.

7. Akka Java Documentation. Release 2.5.1 [Электронный ресурс]. - Режим доступа: http://akka.io/docs/.

8. Akka Platform and Serverless [Электронный ресурс] - Режим доступа: https://www.lightbend.com/.

9. Altschul, S. F. Basic local alignment search tool / S. F. Altschul, W. Gish, W. Miller, E. W. Myers, D. J. Lipman // Journal of molecular biology. - 1990. - Т. 215. - №. 3. - С. 403-410.

10. Anderson, D. P. Boinc: A system for public-resource computing and storage/ D. P. Anderson // proceedings of the 5th IEEE/ACM International Workshop on Grid Computing. - 2004. - С. 4-10.

11. Andrade, N. OurGrid: An approach to easily assemble grids with equitable resource sharing / N. Andrade, W. Cirne, F. Brasileiro, P. Roisenberg // Workshop on Job Scheduling Strategies for Parallel Processing. - Springer, Berlin, Heidelberg, 2003. - С. 61-86.

12. Antonopoulos, N. Cloud computing: principles, systems and applications / N. Antonopoulos, L. Gillam. - Springer, 2017. - 410 c.

13. Apache Airflow Documentation [Электронный ресурс]. - Режим доступа: https://airflow.apache.org/docs/stable/.

14. Armbrust, M. A view of cloud computing / M. Armbrust , A. Fox, R. Griffith, A. Joseph, R. Katz, A. Konwinski, G. Lee, D. Patterson, A. Rabkin, I. Stoica // Communications of the ACM. - 2010. - Т. 53. - №. 4. - С. 50-58.

15. Ayguade, E. The design of OpenMP tasks / E. Ayguade, N. Copty, A. Duran, J. Hoeflinger, Y. Lin, F. Massaioli, X. Teruel, P. Unnikrishnan, G. Zhang // IEEE Transactions on Parallel and Distributed Systems. - 2008. - Т. 20. - №. 3. - С. 404-418.

16. Bagheri, M. Coordinated actor model of self-adaptive track-based traffic control systems / M. Bagheri, M. Sirjani, E. Khamespanah, N. Khakpour, I. A. Movaghar, E. A. Lee // Journal of Systems and Software. - 2018. - Т. 143. - С. 116-139.

17. Benet J. Ipfs-content addressed, versioned, p2p file system [Электронный ресурс]. - Режим доступа: https://arxiv.org/abs/1407.3561.

18. Bequet, H. G. V. Many task computing with message passing interface / H. G. V. Bequet, R. E. Stogner, E. J. Yang, Q. Gong // заяв. пат. 16708179 США. - 2020.

19. Borthakur, D. The hadoop distributed file system: Architecture and design / D. Borthakur // Hadoop Project Website. - 2007. - Т. 11. - №. 2007. - С. 21.

20. Boukerche, A. Algorithms and Protocols for Wireless Sensor Networks/ A. Boukerche // Wiley-IEEE Press, 2008. - 546 c.

21. Buyya, R. Mastering cloud computing: foundations and applications programming / R. Buyya, C. Vecchiola, S. T. Selvi. - Newnes, 2013. - 439 с.

22. Cérin, C. Desktop grid computing / C. Cérin, G. Fedak. - CRC Press, 2012. - 388 c.

23. Choi, S. J. Characterizing and classifying desktop grid / S. J. Choi, H. S. Kim, E. J. Byun, M. S. Baik, S. S. Kim, C. Y. Park, C. S. Hwang // Seventh IEEE International Symposium on Cluster Computing and the Grid (CCGrid'07). -2007. - С. 743-748.

24. Cole, M. Bringing skeletons out of the closet: a pragmatic manifesto for skeletal parallel programming / M. Cole // Parallel computing. - 2004. - Т. 30. - №. 3. -С. 389-406.

25. Cole, M. I. Algorithmic skeletons: structured management of parallel computation / M. I. Cole. - London: Pitman, 1989. - 137 с.

26. Collier, M. Microsoft Azure Essentials-Fundamentals of Azure / M. Collier, R. Shahan. - Microsoft Press, 2015.

27. Cromwell [Электронный ресурс]. - Режим доступа: https://github.com/broadinstitute/cromwell.

28. De Koster, J. 43 years of actors: a taxonomy of actor models and their key properties / J. De Koster, T. Van Cutsem, W. De Meuter // Proceedings of the 6th International Workshop on Programming Based on Actors, Agents, and Decentralized Control. - 2016. - С. 31-40.

29. De, K. The future of PanDA in ATLAS distributed computing / K. De, A. Klimentov, T. Maeno, P. Nilsson, D. Oleynik, S. Panitkin, A. Petrosyan, J.

Schovancova, A. Vaniachine, T. Wenaus // Journal of Physics: Conference Series. - 2015. - Т. 664. - № 6. - C. 062035.

30. Dean, J. MapReduce: simplified data processing on large clusters / J. Dean, S. Ghemawat // Communications of the ACM. - 2008. - Т. 51. - №. 1. - С. 107113.

31. Dragoni, N. Microservices: yesterday, today, and tomorrow / N. Dragoni, S. Giallorenzo, A. L. Lafuente, M. Mazzara, F. Montesi, R. Mustafin, L. Safina // Present and ulterior software engineering. - 2017. - С. 195-216.

32. Farkas, Z. Interoperability of BOINC and EGEE / Z. Farkas, P. Kacsuk, Z. Balaton, G. Gombás // Future Generation Computer Systems. - 2010. - Т. 26. -№. 8. - С. 1092-1103.

33. Fedak, G. Xtremweb: A generic global computing system / G. Fedak, C. Germain, V. Neri, F. Cappello // Proceedings First IEEE/ACM International Symposium on Cluster Computing and the Grid. - 2001. - С. 582-587.

34. Foster, I. Cloud computing and grid computing 360-degree compared / I. Foster, Y. Zhao, I. Raicu, S. Lu // 2008 grid computing environments workshop. - 2008. - С. 1-10.

35. Foster, I. The anatomy of the grid / I. Foster, C. Kesselman, S. Tuecke // Lecture Notes in Computer Science. - 2001. - Т. 2150. - №. 2001. - С. 1-28.

36. Foster, I. The physiology of the grid / I. Foster, C. Kesselman, J. M. Nick, S. Tuecke // Grid computing: making the global infrastructure a reality. - 2003. - С. 217-249.

37. Getakka [Электронный ресурс] - Режим доступа: https://www.getakka.net/.

38. González-Vélez, H. A survey of algorithmic skeleton frameworks: high-level structured parallel programming enablers / H. González-Vélez, M. Leyton // Software: Practice and Experience. - 2010. - Т. 40. - №. 12. - С. 1135-1160.

39. Goyal, S. Public vs private vs hybrid vs community-cloud computing: a critical review / S. Goyal // International Journal of Computer Network and Information Security. - 2014. - Т. 6. - №. 3. - С. 20.

40. Grossman, M. OpenMP as a high-level specification language for parallelism / M. Grossman, J. Shirako, V. Sarkar // International Workshop on OpenMP. -Springer, Cham, 2016. - С. 141-155.

41. Guharoy, R. A theoretical and detail approach on grid computing a review on grid computing applications / R. Guharoy, S. Sur, S. Rakshit, S. Kumar, A. Ahmed, S. Chakborty, S. Dutta, M. Srivastava // 2017 8th Annual Industrial Automation and Electromechanical Engineering Conference (IEMECON). - 2017. - С. 142146.

42. Guidi, C. Microservices: a language-based approach / C. Guidi, I. Lanese, M. Mazzara, F. Montesi // Present and Ulterior Software Engineering. - 2017. - С. 217-225.

43. Gupta M. Akka essentials / M. Gupta. - Packt Publishing Ltd, 2012. - 334 c.

44. Gustafson, J. L. Reevaluating Amdahl's law / J. L. Gustafson // Communications of the ACM. - 1988. - Т. 31. - №. 5. - С. 532-533.

45. Hewitt, C. A universal modular actor formalism for artificial intelligence / C. Hewitt, P. Bishop, R. Steiger // Proceedings of the 3rd international joint conference on Artificial intelligence. - 1973. - С. 235-245.

46. Hewitt, C. Actor model of computation: scalable robust information systems [Электронный ресурс] / C. Hewitt // arXiv preprint arXiv:1008.1459. - Режим доступа: https://arxiv.org/abs/1008.1459.

47. Hewitt, C. What is computation? Actor model versus Turing's model / C. Hewitt // A Computable Universe: Understanding and Exploring Nature as Computation. - 2013. - С. 159-185.

48. Hkube [Электронный ресурс]. - Режим доступа: http://hkube.io/.

49. Ivashko, E. A survey of desktop grid scheduling / E. Ivashko, I. Chernov, N. Nikitina // IEEE Transactions on Parallel and Distributed Systems. - 2018. - Т. 29. - №. 12. - С. 2882-2895.

50. Ivashko, E. E. Enterprise Desktop Grids / E. E. Ivashko // Program Systems: Theory and Applications. - 2014. - Т. 5. - №. 1. - С. 183-190.

51. Jupyter, P. Binder 2.0-Reproducible, interactive, sharable environments for science at scale / P. Jupyter, M. Bussonnier, J. Forde et al. // Proceedings of the 17th Python in Science Conference. - 2018. - С. 113-120.

52. JupyterLab: The next-generation Jupyter frontend [Электронный ресурс]. -Режим доступа: https://bids.berkeley.edu/events/jupyterlab-next-generation-jupyter-frontend.

53. Kholod, I. Cloud for distributed data analysis based on the actor model / I. Kholod, I. Petukhov, A. Shorov // Scientific Programming. - 2016. - Т. 2016. -С. 1.

54. Kim, J. S.Moha: Many-task computing meets the big data platform / J. S. Kim, C. Nguyen, S. Hwang // 2016 IEEE 12th International Conference on e-Science (e-Science). - IEEE, 2016. - С. 193-202.

55. Lamport L. Specifying systems: the TLA+ language and tools for hardware and software engineers / L. Lamport. - Addison-Wesley Longman Publishing Co. -2002. - 364 c.

56. Lamport, L. If You're Not Writing a Program, Don't Use a Programming Language / L. Lamport // Bulletin of EATCS. - 2018. - Т. 2. - №. 125.

57. Lazarev, I. On Development of Workflow Management Service for Distributed Computations / I. Lazarev, O. Sukhoroslov // Proceedings of the 3rd International Conference" Distributed Computing and Grid-technologies in Science and Education", GRID. - 2008.

58. Lewis, J. Microservices [Электронный ресурс] / J. Lewis, M. Fowler. - Режим доступа: martinfowler.com.

59. Li, R. MapReduce parallel programming model: a state-of-the-art survey / R. Li, H. Hu, H. Li, Y. Wu, J. Yang // International Journal of Parallel Programming. -2016. - Т. 44. - №. 4. - С. 832-866.

60. Liang, Y. Building Energy Consumption Data Index Method in Cloud Computing Environment / Y. Liang, H. Cheng, W. Chen // International Journal of Performability Engineering. - 2020. - Т. 16. - №. 5.

61. Lin, C. C. A fast and low idle time method for mining frequent patterns in distributed and many-task computing environments / C. C. Lin, S. H. Chung, J. C. Chen, Y. T. Yu, K. W. Lin // Distributed and Parallel Databases. - 2018. - T. 36. - №. 4. - C. 613-641.

62. Lin, K. W. A novel parallel algorithm for frequent pattern mining with privacy preserved in cloud computing environments / K. W. Lin, D. J. Deng // International Journal of Ad Hoc and Ubiquitous Computing. - 2010. - T. 6. - №. 4. - C. 205-215.

63. Lin, K. W. Efficient algorithms for frequent pattern mining in many-task computing environments / K. W. Lin, Y. C. Lo // Knowledge-Based Systems. -2013. - T. 49. - C. 10-21.

64. Lucas, E. Les jeux de demoiselles / E. Lucas // Récréations Mathématiques (in French)/. - Paris: Gauthier-Villars, 1883. - C. 161-197.

65. Mazalov, V. V. Task scheduling in a desktop grid to minimize the server load / V. V. Mazalov, N. N. Nikitina, E. E. Ivashko // International Conference on Parallel Computing Technologies. - 2015. - C. 273-278.

66. McCool, M. Structured parallel programming: patterns for efficient computation /M. McCool, J. Reinders, A. Robison. - Elsevier, 2012.

67. Memeti, S. Benchmarking OpenCL, OpenACC, OpenMP, and CUDA: programming productivity, performance, and energy consumption / S. Memeti, L. Li, S. Pllana, J. Kolodziej, C. Kessler // Proceedings of the 2017 Workshop on Adaptive Resource Management and Scheduling for Cloud Computing. - 2017. -C. 1-6.

68. Merkel, D. Docker: lightweight linux containers for consistent development and deployment / D. Merkel // Linux Journal. - 2014. - T. 2014. - №. 239. - C. 2.

69. Moretti, C. All-pairs: An abstraction for data-intensive cloud computing / C. Moretti, J. Bulosan, D. Thain, P. J. Flynn // 2008 IEEE International Symposium on Parallel and Distributed Processing. - 2008. - C. 1-11.

70. Murray, K. Microsoft Office 365: Connect and collaborate virtually anywhere, anytime / K. Murray. - Microsoft Press, 2011.

71. Navale, V. Cloud computing applications for biomedical science: A perspective/ V. Navale, P.E. Bourne // PLoS computational biology. - 2018. - Т. 14. - №. 6. -С. e1006144.

72. Nicoletti, B. Cloud computing and procurement / B. Nicoletti // Proceedings of the International Conference on Internet of things and Cloud Computing. - 2016. - С. 1-7.

73. Ogasawara, E. Exploring many task computing in scientific workflows / E. Ogasawara, D. de Oliveira, F. Chirigati, C. E. Barbosa, R. Elias, V. Braganholo, A. Coutinho, M. Mattoso // Proceeding of the 2nd Workshop on Many-Task Computing on Grids and Supercomputers. - 2009. - С. 1-10.

74. Popov, S. N. Distributed block sort: A sample application for data processing in mobile ad hoc networks / S. N. Popov, I. V. Kazakova, S. V. Vostokin // International Journal of Innovative Technology and Exploring Engineering. -2019. - Т. 8. - №. 7. - С. 565-568.

75. Raicu, I. Falkon: a Fast and Light-weight tasK executiON framework / I. Raicu, Y. Zhao, C. Dumitrescu, I. Foster, M. Wilde // Proceedings of the 2007 ACM/IEEE conference on Supercomputing. - 2007. - С. 1-12.

76. Raicu, I. Many-task computing for grids and supercomputers / I. Raicu, I. T. Foster, Y. Zhao // 2008 workshop on many-task computing on grids and supercomputers. - 2008. - С. 1-11.

77. Raicu, I. Many-task computing: bridging the gap between high-throughput computing and high-performance computing / I. Raicu. - The University of Chicago, 2009.

78. Reana (CWL) [Электронный ресурс]. - Режим доступа: http://reanahub.io/.

79. Regin, J. C. Embarrassingly parallel search / J. C. Regin, M. Rezgui, A. Malapert // International Conference on Principles and Practice of Constraint Programming. - 2013. - С. 596-610.

80. Robison, A. D. Composable parallel patterns with intel cilk plus / A. D. Robison // Computing in Science & Engineering. - 2013. - Т. 15. - №. 2. - С. 66-71, 87.

81. Schlinker, B. Condor: Better topologies through declarative design / B. Schlinker, R. N. Mysore, S. Smith, J. C. Mogul, A. Vahdat, M. Yu, E. Katz-Bassett, M. Rubin // ACM SIGCOMM Computer Communication Review. - 2015. - Т. 45. -№. 4. - С. 449-463.

82. Senge, H. Bounds on the scalability of bag-of-tasks applications running on master-slave platforms / H. Senger, F. A. B. da Silva // Parallel Processing Letters. - 2012. - Т. 22. - №. 02.

83. Stepanov, A. A. From Mathematics to Generic Programming / A. A. Stepanov, D. E. Rose. - Addison-Wesley Professional, 2014. - 320 c.

84. Sukhoroslov, O. A web-based platform for publication and distributed execution of computing applications / O. Sukhoroslov, S. Volkov, A. Afanasiev // 2015 14th International Symposium on Parallel and Distributed Computing. - IEEE, 2015. - С. 175-184.

85. Sukhoroslov, O. An experimental study of scheduling algorithms for many-task applications / O. Sukhoroslov, A. Nazarenko, R. Aleksandrov // The Journal of Supercomputing. - 2019. - Т. 75. - №. 12. - С. 7857-7871.

86. Sukhoroslov, O. Supporting Efficient Execution of Workflows on Everest Platform / O. Sukhoroslov // Russian Supercomputing Days. - Springer, Cham, 2019. - C. 713-724.

87. Suksompong W. Scheduling asynchronous round-robin tournaments / W. Suksompong // Operations Research Letters. - 2016. - Т. 44. - №. 1. - С. 96100.

88. Templet on GitHub [Электронный ресурс]. - Режим доступа: https://github.com/Templet-language/newtemplet//.

89. Thain, D. Distributed computing in practice: the Condor experience / D. Thain, T. Tannenbaum, M. Livny // Concurrency and computation: practice and experience. - 2005. - Т. 17. - №. 2-4. - С. 323-356.

90. Thoman, P. A taxonomy of task-based parallel programming technologies for high-performance computing / P. Thoman, K. Dichev, T. Heller, R. Iakymchuk, X. Aguilar, K. Hasanov, P. Gschwandtner, P. Lemarinier, S. Markidis, H. Jordan,

T. Fahringer, K. Katrinis, E. Laure, D. S. Nikolopoulos // The Journal of Supercomputing. - 2018. - Т. 74. - №. 4. - С. 1422-1434.

91. Tsaregorodtsev, A. DIRAC Distributed Computing Services / A. Tsaregorodtsev // Journal of Physics: Conference Series. - 2014. - T. 513. - № 3. - C. 032096.

92. Volkov, S. Y. Running Parameter Sweep applications on Everest cloud platform / S. Y. Volkov, O. V. Sukhoroslov // Компьютерные исследования и моделирование. - 2015. - Т. 7. - №. 3. - С. 601-606.

93. Vostokin, S. Building an Algorithmic Skeleton for Block Data Processing on Enterprise Desktop Grids / S. Vostokin, I. Bobyleva // Russian Supercomputing Days. - Springer, Cham, 2019. - С. 678-689.

94. Vostokin, S. Implementation of frequency analysis of Twitter microblogging in a hybrid cloud based on the Binder, Everest platform and the Samara University virtual desktop service / S. Vostokin, I. Bobyleva // CEUR Workshop Proceedings. - 2020. - Т. 2667. - С. 162-165.

95. Vostokin, S. Templet Web: the experimental use of volunteer computing approach in scientific Platform-as-a-Service implementation / S. Vostokin, Y. Artamonov, D. Tsarev // Proceedings of the Third International Conference BOINC-based High Performance Computing: Fundamental Research and Development (Petrozavodsk, Russia, August 28-September 01). - 2017. - Т. 2017. - С. 129.

96. Vostokin, S. Templet Web: the use of volunteer computing approach in PaaS-style cloud / S. Vostokin, Y. Artamonov, D. Tsarev //Open Engineering. - 2018.

- Т. 8. - №. 1. - С. 50-56.

97. Vostokin, S. V. Implementation of stream processing using the actor formalism for simulation of distributed insertion sort / S. V. Vostokin, I. V. Kazakova // Journal of Physics: Conference Series. - 2018. - Т. 1096. - №. 1.

98. Vostokin, S. V. Implementing computations with dynamic task dependencies in the desktop grid environment using Everest and Templet Web / S. V. Vostokin, O. V. Sukhoroslov, I. V. Bobyleva, S. N. Popov //CEUR Workshop Proceedings.

- 2018. - Т. 2267. - С. 271-275.

99. Vostokin, S. V. The templet parallel computing system: specification, implementation, applications / S. V. Vostokin // Procedia engineering. - 2017. -Т. 201. - С. 684-689.

100. Vostokin, S. V. Using the bag-of-tasks model with centralized storage for distributed sorting of large data array / S. V. Vostokin, I. V. Bobyleva // CEUR Workshop Proceedings. - 2019. - Т. 2416. - С. 199-203.

101. Yi, S. Toward real-time, many-task applications on large distributed systems / S. Yi, D. Kondo, D. P. Anderson // European Conference on Parallel Processing. -2010. - С. 355-366.

102. Yoo, A. B. Slurm: Simple linux utility for resource management / A. B. Yoo, M. A. Jette, M. Grondona // Workshop on Job Scheduling Strategies for Parallel Processing. - Springer, Berlin, Heidelberg, 2003. - С. 44-60.

103. Yu, J. A taxonomy of scientific workflow systems for grid computing / J. Yu, R. Buyya // ACM Sigmod Record. - 2005. - Т. 34. - №. 3. - C. 44-49.

104. Zahariev, A. Google app engine /A. Zahariev // Helsinki University of Technology. - 2009. - С. 1-5.

105. Zandifar, M. Composing algorithmic skeletons to express high-performance scientific applications / M. Zandifar, M. A. Jabbar, A. Majidi, D. Keyes, N. M. Amato, L. Rauchwerger // Proceedings of the 29th ACM on International Conference on Supercomputing. - 2015. - С. 415-424.

106. Афанасьев, А. П. Увеличение вычислительной мощности распределенных систем с помощью грид-систем из персональных компьютеров / А. П. Афанасьев, В. В. Волошинов, М. А. Посыпкин, О.В. Сухорослов, Н.П. Храпов // Параллельные вычислительные технологии (ПаВТ'2011). - 2011. -С. 6-14.

107. Бобылева, И. В. Реализация параллельного алгоритма блочной сортировки на основе графа зависимостей задач / И. В. Бобылева, С. В. Востокин // Международная молодёжная научная конференция «XV Королёвские чтения», посвящённая 100-летию со дня рождения Д.И. Козлова. - 2019. -С. 466-467.

108. Бобылева, И. В. Алгоритмический каркас для блочной обработки данных по принципу кругового турнира / И. В. Бобылева, С. В. Востокин // Перспективные информационные технологии (ПИТ 2019). - 2019. - С. 323325.

109. Бухановский, А. В. Интеллектуальные высокопроизводительные программные комплексы моделирования сложных систем: концепция, архитектура и примеры реализации / А.В. Бухановский, В. Н. Васильев, В. Н. Виноградов, Д. Ю. Смирнов, С. А. Сухоруков, Т. Г. Яппаров // Изв. вузов. Приборостроение. - 2009. - Т. 52. - №. 10. - С. 5-24.

110. Воеводин, В. В. Параллельные вычисления / В. В. Воеводин // БХВ-Петербург. - 2004. - 608 с.

111. Воеводин, В. В. Эволюция системы метакомпьютинга X-Com / Вл. В. Воеводин, Ю. А. Жолудев, С. И. Соболев, К. С. Стефанов // Вестник Нижегородского университета им. НИ Лобачевского. - 2009. - №. 4. - С. 157-164.

112. Воробьев, Д. А. Автоматизированная система прогнозирования поведения валютного рынка с применением анализа эмоциональной окраски сообщений в социальных сетях / Д. А. Воробьев, В. Г. Литвинов // Перспективные информационные технологии (ПИТ 2018). - 2018. - С. 416419.

113. Востокин, С. В. Алгоритмы асинхронных круговых турниров для многозадачных приложений обработки данных / С. В. Востокин, И. В. Бобылева // International Journal of Open Information Technologies. - 2020. -Т. 8. - №. 4. -- С. 45-53.

114. Востокин, С. В. Метод построения композитных приложений для моделирования динамических систем / С. В. Востокин, И. В. Казакова, С. Н. Попов // Управление движением и навигация летательных аппаратов. -2019. - С. 83-85.

115. Востокин, С. В. Применение алгоритмических скелетов для проектирования параллельных алгоритмов акторного типа / С. В. Востокин, И. В. Бобылева

// Международный научный журнал «Современные информационные технологии и ИТ-образование». - 2020. - Т.16. - №1.

116. Востокин, С. В. Применение модели bag-of-tasks с централизованным хранилищем для распределенной сортировки большого массива данных / С. В. Востокин, И.В. Бобылева // Сборник трудов ИТНТ-2019. - 2019. - С. 9396.

117. Востокин, С. В. Применение предметных языков и акторной модели для автоматизации высокопроизводительных вычислений / С. В. Востокин, Е. Г. Скорюпина, Д. М. Наширванов // Известия Самарского научного центра Российской академии наук. - 2016. - Т. 18. - №. 4. - С. 694-699.

118. Востокин, С. В. Реализация потоковых вычислений с использованием формализма акторов для моделирования распределённой сортировки вставками / С. В. Востокин, И. В. Казакова // Информационные технологии и нанотехнологии (ИТНТ). - 2018. - №. 2018. - С. 2356.

119. Востокин, С. В. Реализация частотного анализа микроблога Twitter в гибридном облаке на базе Binder, платформы Everest и сервиса виртуальных рабочих столов Самарского университета / С. В. Востокин, И.В. Бобылева // Сборник трудов ИТНТ-2020. - 2020. - С. 64-68.

120. Гергель, В. П. Основы параллельных вычислений для многопроцессорных вычислительных систем / В.П. Гергель, Р.Г. Стронгин. - Изд-во Нижегор. гос. ун-та им. НИ Лобачевского, 2003.

121. Заикин, О. С. Опыт организации добровольных вычислений на примере проектов OPTIMA@ home и SAT@ home / О. С. Заикин, М. А. Посыпкин, А. А. Семенов, Н. П. Храпов // Вестник Нижегородского университета им. НИ Лобачевского. - 2012. - №. 5-2. - С. 157-166.

122. Казакова, И. В. Автоматизация производственных процессов на базе формализма акторов / И. В. Казакова, С. В. Востокин // Материалы V Всероссийской научно-технической конференции «Актуальные проблемы ракетно-космической техники» (V Козловские чтения) (11-15 сентября 2017 года, г.Самара). - 2017. - С. 261-264.

123. Казакова, И. В. Микросервисное приложение для распределенной обработки данных на примере задачи блочной сортировки / И. В. Казакова, С. Н. Попов, С. В. Востокин // Перспективные информационные технологии (ПИТ 2018). - 2018. - С. 641-643.

124. Кнут, Д. Э. Искусство программирования. Том 3. Сортировка и поиск / Д. Е. Кнут. - Москва: Вильямс, 2000. - С. 832.

125. Кондратьев, А. О. Технология взаимодействия ALIEN и суперкомпьютера Titan / А. О. Кондратьев // Современные информационные технологии и ИТ-образование. - 2018. - Т. 14. - № 2.

126. Лазарев, И. В. Использование workflow-методологии для описания процесса распределенных вычислений / И. В. Лазарев, О. В. Сухорослов // Труды Института системного анализа Российской академии наук. - 2005. - Т. 14. -С. 26-70.

127. Манзюк, М. О. CluBORun: программный комплекс для использования свободных ресурсов вычислительных кластеров в BOINC-расчетах / М. О. Манзюк, О. С. Заикин, М. А. Посыпкин // Информационные технологии и вычислительные системы. - 2014. - № 4. - С. 3-11.

128. Марчук, Г. И. Математическое моделирование в проблеме окружающей среды / Г. И. Марчук // М.: Наука. - 1982. - 319 с.

129. Меньшикова, Л. Математические модели параллельных вычислений / Л. Меньшикова // Технологии и средства связи. - 2012. - №. 5. - С. 42-45.

130. Москвичев, В. В. Информационная система территориального управления рисками развития и безопасностью / В. В. Москвичев, И. В. Бычков, В. П. Потапов, О. В. Тасейко, Ю. И. Шокин // Вестник Российской академии наук. - 2017. - №. 8. - С. 696-705.

131. Суперкомпьютерный центр Самарского университета [Электронный ресурс]. - Режим доступа: http://hpc.ssau.ru/node/22.

132. Сухорослов, О. В. Сравнительная оценка методов планирования приложений в распределенных вычислительных средах / О. В. Сухорослов,

А. М. Назаренко // Программные системы: теория и приложения. - 2017. -Т. 8. - №. 1 (28).

133. Топорков, В. В. Модели распределенных вычислений / В. В. Топорков // Физматлит. - 2011. - 320 с.

134. Федотов И. Е. Модели параллельного программирования / И. Е. Федотов. -Москва: Солон-Пресс, 2012. - С. 384.

135. ЦПОИ «Самара» [Электронный ресурс] // АО «РКЦ «Прогресс». - Режим доступа: https://www.samspace.ru/products/services/tspoi/.

136. Швецов, А. Н. Агентно-ориентированные системы: от формальных моделей к промышленным приложениям / А. Н. Швецов // Всероссийский конкурсный отбор обзорно-аналитических статей по приоритетному направлению «Информационно-телекоммуникационные системы. - 2008.

137. Шпаковский, Г. И. Реализация параллельных вычислений: кластеры, грид, многоядерные процессоры, квантовые компьютеры / Г. И. Шпаковский // Минск: БГУ. - 2010.

138. Эндрюс, Г. Р. Основы многопоточного, параллельного и распределенного программирования / Г. Р. Эндрюс // М.: Вильямс. - 2003. - С. 512.

Приложение А. Свидетельство о регистрации программы

Приложение Б. Результаты вычислительных экспериментов

Используемые вычислительные устройства:

lenovo-ideapc winsat features Operating System: 10,0 Build - 17134 Processor: Intel(R) Core(TM) i3 - 3220T CPU @ 2,80GHz Number of Processors: 1 Number of Cores: 2 Number of CPUs: 4 Number of Cores per Processor: 2 Number of CPUs Per Core: 2 L1 Cache and line Size: 32768 64 L2 Cache and line Size: 262144 64 L3 Cache and line Size: 3145728 64 Total physical mem available to the OS: 3, 95 GB(4 250 701 824 bytes) Disk: Seagate Desktop HDD 500 GB ST500DM002 SATA

PC-WIN10 winsat features Operating System: 10,0 Build-17134 Processor: AMD FX-8370 Eight-Core Processor Number of Processors: 1 Number of Cores: 4 Number of CPUs: 8 Number of Cores per Processor: 4 Number of CPUs Per Core: 2 L1 Cache and line Size: 16384 64 L2 Cache and line Size: 2097152 64 L3 Cache and line Size: 8388608 64 Total physical mem available to the OS: 11,9 TE (12 843 720 704 bytes) Disk: WDC WD5000AAKX-001CA0 500 T6 HDD SATA III

sk-cluster The total number of processors / cores: 360/1992; Total number of graphics processors / cores: 5/4216; Total Memory: 5018 GB; System network: QLogic / Voltaire InfiniBand DDR, QDR; Type of control support network: Gigabit Ethernet.

Эксперимент 1

lenovo-ideapc

num blocks block size (mil) exec time(sec)

SEQUENTIAL, WITH UPLOAD AND DOWNLOAD TO DISK, ARRAY SIZE=189 millions integer 22,255

1 189 22,3179

22,4649

SEQUENTIAL, TRADE OFF GROWTH, ARRAY_SIZE=189 millions integer PARALLEL, OPTIMIZED=TRUE PARALLEL, OPTIMIZED=FALSE

num blocks block size (mil) exec time(sec) num blocks block size (mil) exec time(sec) num blocks block size (mil) exec time(sec)

15,0998 20,2217 19,6588

1 189 15,0107 1 189 19,5313 1 189 20,1924

14,9195 20,0971 19,6409

16,7501 11,9826 11,6874

2 94,5 16,6995 2 94,5 11,818 2 94,5 11,6844

16,5521 11,4623 11,8267

17,5475 9,85094 9,51469

3 63 17,589 3 63 9,72903 3 63 9,72396

17,2839 9,80959 9,67414

18,6674 8,37548 9,34233

4 47,25 18,5433 4 47,25 8,65487 4 47,25 9,28514

18,6177 8,68405 9,10382

19,6047 11,611 12,643

5 37,8 19,8322 5 37,8 11,8918 5 37,8 12,8201

19,9 11,7622 13,0018

20,6637 11,6101 12,3258

6 31,5 20,7208 6 31,5 11,7384 6 31,5 12,1069

20,7523 11,5244 12,0181

21,6094 10,8467 11,8888

7 27 21,7008 7 27 10,7995 7 27 11,8871

21,5395 10,6294 11,9024

22,945 12,3503 11,9713

8 23,625 23,1205 8 23,625 12,0563 8 23,625 11,1504

23,1422 12,0396 11,5068

24,0407 12,0218 13,9285

9 21 23,8579 9 21 12,5137 9 21 13,6542

23,8866 12,5099 13,677

24,7655 12,188 13,7017

10 18,9 25,08 10 18,9 12,5541 10 18,9 13,3103

25,1544 12,4729 13,8214

PC-WIN10

num blocks block size (mil) exec time(sec)

SEQUENTIAL, WITH UPLOAD AND DOWNLOAD TO DISK, ARRAY SIZE=189 millions integer 11,7651

1 189 11,6857

11,6009

PARALLEL, OPTIMIZED=TRUE PARALLEL, OPTIMIZED=FALSE

num blocks block size (mil) exec time(sec) num blocks block size (mil) exec time(sec)

14,6679 14,6356

1 189 14,5081 1 189 14,8308

14,744 14,5936

8,35567 8,238

2 94,5 8,42128 2 94,5 8,37629

8,33795 8,48323

6,92054 6,90683

3 63 6,9418 3 63 7,10138

7,09702 6,93297

6,40388 6,693

4 47,25 6,37974 4 47,25 6,71672

6,19536 6,65839

6,53988 6,65408

5 37,8 6,38579 5 37,8 6,66948

6,36326 6,65332

6,5527 6,71079

6 31,5 6,4117 6 31,5 6,76857

6,38599 6,61245

6,45661 6,95727

7 27 6,46197 7 27 7,1434

6,43136 7,42426

6,75203 7,37017

8 23,625 6,67576 8 23,625 7,32687

6,9503 7,3228

7,74598 9,22809

9 21 7,58288 9 21 9,15512

7,60487 9,2734

7,90154 9,55023

10 18,9 7,95646 10 18,9 9,43498

7,88498 9,35601

Эксперимент 2

PARALLEL, ARRAY_SIZE=189 millions integer

lenovo-ideapc PC-WIN10

num blocks block size (mil) exec time(sec) num blocks block size (mil) exec time(sec)

20,0322 14,8622

1 189 19,7826 1 189 14,56

19,7881 14,5475

11,9142 8,53963

2 94,5 12,4085 2 94,5 8,29758

12,1832 8,31424

10,3147 7,00308

3 63 10,2369 3 63 6,96831

10,1551 6,94974

10,0905 6,93654

4 47,25 9,88203 4 47,25 7,05438

10,1859 7,72665

13,8271 7,00761

5 37,8 13,8471 5 37,8 6,93087

13,6452 7,20979

13,3969 7,15435

6 31,5 13,2024 6 31,5 7,11947

13,2434 7,19793

13,07 7,60066

7 27 13,1794 7 27 7,49936

13,0105 7,54383

12,9924 7,83094

8 23,625 12,8872 8 23,625 7,95402

12,8353 7,82593

14,9304 9,74956

9 21 15,1601 9 21 9,70665

14,9182 9,73191

15,0899 10,2145

10 18,9 14,7962 10 18,9 10,0129

14,9173 9,98614

Эксперимент 3

Эксперимент производился на виртуальных машинах BLOCK SIZE = 75,600,000 int

num files num VMs sorting time,s ave sorting time, s speedup

65,1617

2 1 65,0738 61,55 1

54,4152

num files num VMs sorting time,s ave sorting time, s speedup

60,88l3

2 local fs 53,5177 54,31 + 8 -1

48,5122

38,7715

2 2 37,8453 39,31 1,57

41,3146

105,837

3 1 103,801 105,1 1

105,685

100,544

3 local fs 98,6096 101,65 + 16 -1

105,796

88,4142

3 3 106,702 100,46 1,05

106,255

167,932

4 1 165,193 164,8 1

161,282

167,236

4 local fs 169,224 164,52 + 18 -1

157,085

139,64

4 4 127,878 134,35 1,22

135,522

268,507

5 1 251,606 263,75 1

271,142

265,612

5 local fs 264,12 262,91 + 22 -1

259,002

188,766

5 5 198,246 193,23 1,36

192,679

407,229

б 1 388,665 385,44 1

360,426

368,305

б local fs 355,317 358,11 + 24 -1

350,698

258,825

б б 241,517 252,41 1,53

256,878

472,002

l 1 480,629 474,78 1

471,722

num files num VMs sorting time,s ave sorting time, s speedup

465,257

7 local fs 462,744 468,08 + 29 -1

476,238

330,245

7 7 318,394 324,45 1,46

324,701

622,343

8 1 599,568 610,68 1

610,119

681,804

8 local fs 680,042 671,10 + 34 -1

654,153

394,536

8 8 383,773 389,26 1,56

389,463

775,326

9 1 785,027 779,46 1

778,025

592,434

9 local fs 691,995 640,20 + 35 -1

636,177

407,516

9 9 450,714 451,27 1,73

495,588

932,683

10 1 939,012 936,27 1

937,125

746,148

10 local fs 797,936 763,16 + 41 -1

745,389

580,776

10 10 582,72 589,45 1,59

604,864

Экспернмент 4

lenovo-ideapc

PARALLEL, OPTIMIZED, ARRAY_SIZE=189 millions integer PARALLEL, NOT OPTIMIZED, ARRAY_SIZE=189 millions integer

num blocks block size (mil) exec time(sec) num blocks block size (mil) exec time(sec)

1 189 20,1181 1 189 20,1097

20,2449 20,1416

20,2775 19,9429

2 94,5 11,923 2 94,5 11,7578

PARALLEL, OPTIMIZED, ARRAY_SIZE=189 millions integer PARALLEL, NOT OPTIMIZED, ARRAY_SIZE=189 millions integer

num blocks block size (mil) exec time(sec) num blocks block size (mil) exec time(sec)

11,9279 11,8142

11,8891 11,6965

10,0153 9,98585

3 63 10,0613 3 63 10,0993

9,99146 9,94568

8,96359 9,63063

4 47,25 8,77179 4 47,25 9,41968

8,75318 9,47475

12,4178 10,8609

5 37,8 12,4784 5 37,8 11,2522

12,32 11,2021

11,3279 10,7076

6 31,5 11,2881 6 31,5 10,5638

11,6882 10,8363

10,9542 10,5983

7 27 10,9349 7 27 10,5038

10,8259 10,5545

10,8005 11,6325

8 23,625 10,8348 8 23,625 11,4568

10,8083 11,6828

13,1209 11,8823

9 21 12,9475 9 21 11,8087

13,0455 11,8792

12,5815 12,0144

10 18,9 12,4042 10 18,9 11,9426

12,5657 12,111

PC-WIN10

PARALLEL, OPTIMIZED, ARRAY_SIZE= 189 millions integer PARALLEL, NOT OPTIMIZED, ARRAY_SIZE=189 millions integer

num blocks block size (mil) exec time(sec) num blocks block size (mil) exec time(sec)

1 189 14,7723 1 189 14,9103

14,7535 15,0979

14,8469 14,7234

2 94,5 8,18844 2 94,5 8,80954

8,33786 8,30336

8,2256 8,704

3 63 7,13502 3 63 7,41488

7,03624 7,36848

7,20117 7,34777

4 47,25 6,50545 4 47,25 6,96266

PARALLEL, OPTIMIZED, ARRAY_SIZE=189 millions integer PARALLEL, NOT OPTIMIZED, ARRAY_SIZE=189 millions integer

num blocks block size (mil) exec time(sec) num blocks block size (mil) exec time(sec)

6,28372 6,81874

6,54933 6,95842

5 37,8 6,70734 5 37,8 7,1004