Технология интеллектуальной организации процесса выполнения неоднородных композитных приложений в распределенной вычислительной среде тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Мельник Михаил Алексеевич

• Мельник Михаил Алексеевич
• кандидат наук
• 2019

Оглавление диссертации кандидат наук Мельник Михаил Алексеевич

ОГЛАВЛЕНИЕ

РЕФЕРАТ

SYNOPSIS

ВВЕДЕНИЕ

1 Аналитический обзор технологии планирования распределённых вычислений

1.1 Технологии планирования пакетных композитных приложений

1.2 Технологии планирования распределенных приложений обработки потоковых данных

1.3 Технологии планирования итеративных распределенных приложений

1.4 Выводы к главе

2 Методы и алгоритмы оптимизации выполнения неоднородных композитных приложений

2.1 Метод динамического планирования композитных приложений на основе обучения с подкреплением

2.2 Методы динамического планирования потоковой обработки больших данных

2.2.1 Постановка задачи планирования распределенных потоковых приложений

2.2.2 Эволюционный алгоритм для планирования распределенных потоковых приложений SSGA

2.3 Методы планирования итеративных распределенных приложений IMSGA

2.4 Обобщенный алгоритм планирования неоднородных композитных приложений

2.5 Выводы к главе

3 Информационная технология организации вычислений неоднородных композитных приложений

3.2 Технология адаптивных вычислений в условиях неполного управления ресурсами

3.3 Подсистема планирования композитных приложений на основе обучения с подкреплением

3.4 Подсистема планирования потоковой обработки данных

3.5 Подсистема планирования итеративных распределенных приложений

3.6 Выводы к главе

4 Экспериментальные исследования оптимизации неоднородных композитных приложений

4.1 Экспериментальные исследования планирования высокопроизводительных композитных приложений на основе обучения с подкреплением

4.2 Экспериментальные исследования метода оптимизации потоковых вычислений на примере сенсорных данных турбин

4.2.1 Профилирование приложений для потоковой обработки данных сенсоров турбин

4.2.2 Оптимизация выполнения потоковой обработки данных сенсоров турбин

4.3 Экспериментальные исследования планирования итеративно-блочных приложений на пример городской мобильности

4.3.1 Профилирование итеративно-блочных приложений городской мобильности

4.3.2 Оптимизация выполнения итеративно-блочного распределенного приложения городской мобильности

4.4 Выводы к главе

ЗАКЛЮЧЕНИЕ

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Введение диссертации (часть автореферата) на тему «Технология интеллектуальной организации процесса выполнения неоднородных композитных приложений в распределенной вычислительной среде»

РЕФЕРАТ

Актуальность темы исследования связана с интенсивным ростом производительности вычислительных систем (ВС) для научных и промышленных вычислений вкупе с одновременным усложнением и расширением области применения вычислительных приложений в исследованиях. В настоящее время всё больше обсуждается вопрос внедрения ВС экзафлопсной производительности к 2024 году, что приводит не только к увеличению числа расчётных элементов, но и к усложнению организации архитектуры подобных платформ. Эффективное использование такого рода комплексных ВС осложняется необходимостью организовывать глобальное взаимодействие между разнородными режимами вычислений и обработки данных (пакетный, потоковый, итеративно-блочный) в рамках решения одной или нескольких прикладных задач. В таких условиях вычислительные приложения становятся композитными приложениями, которые состоят из определенного набора логически взаимосвязанных вычислительных блоков, способных выполняться распределено или автономно на вычислительном узле. Сложность организации вычислений также обуславливается необходимостью использовать специализированные ресурсы, такие как: графические процессоры, суперкомпьютеры, элементы, позволяющие выполнять расчёты с динамически изменяемой нагрузкой отдельных частей композитного приложения (КП).

Для эффективной организации вычислительного процесса и достижения возможности перехода к ВС с производительностью экзафлопсного диапазона, необходима разработка и интеграция в ВС соответствующих алгоритмов и технологий. В России данное направление представлено в работах научных школ А.П. Афанасьева, О.В. Сухорослова, В.П. Гергеля, В.В. Коренькова, Б.Я. Штейнберга и других исследователей. К основным зарубежным исследователям по направлению можно отнести Р. Буйя, Е. Дилман и Я. Фостер. Одним из важных компонентов для оптимизации работы КП является планировщик. Эффективное планирование способно уменьшить объёмы передаваемых данных, оптимально организовать выполнение вычислительных пакетов на соответствующих их требованиям ресурсах, тем самым уменьшив время выполнения распределенного приложения. В большинстве мировых работ отражены разработанные методы планирования пакетных КП со слабосвязанными блоками, допускающими естественное распараллеливание. Потоковому планированию и выполнению КП посвящен ряд работ, характерных для одноуровневой простой организации распределенных вычислений. Однако многоуровневые ВС, включающие в себя, например, суперкомпьютеры гибридной архитектуры в едином коммуникационном пространстве с

облачными и кластерными ресурсами, допускают создание более сложных КП (неоднородных КП), которые совмещают в себе как пакетные, так и потоковые методы, а также могут быть итеративными. Это приводит к возможности реализации неоднородных КП, но эффективные методы планирования при этом отсутствуют, что делает крайне актуальной тему данной диссертационной работы.

Предметом исследования являются методы и алгоритмы планирования неоднородных КП в глобальной распределенной вычислительной среде.

Целью исследования является повышение эффективности выполнения неоднородных композитных приложений, совмещающих пакетный, потоковый и итеративный режимы исполнения, в глобальных распределенных вычислительных средах.

Для достижения цели в ходе диссертационного исследования решаются следующие задачи:

- анализ существующих решений для оптимизации планирования неоднородных КП с целью определения требований к объектам исследования и разработки;

- формализация задачи планирования неоднородных КП в распределенной вычислительной среде;

- разработка и программная реализация алгоритмов планирования вычислительной нагрузки в пакетном, потоковом и итеративном режимах;

- экспериментальные исследования разработанных алгоритмов для оценки их работоспособности, а также сравнения с аналогами;

- разработка технологии интеллектуальной организации процесса совместного выполнения неоднородных КП на основе каскада разработанных методов оптимизации.

Методы исследования включают в себя методы теории алгоритмов, дискретной математики, эволюционных вычислений, машинного обучения, теории вероятностей и математической статистики, имитационного моделирования, инженерии программного обеспечения и анализа программного обеспечения.

Научная новизна обусловлена тем, что в работе предложен метод планирования КП на основе принципа обучения с подкреплением, который позволяет проводить динамическое планирование на уровне анализа структуры вычислительной нагрузки и инфраструктуры и улучшать со временем предлагаемые варианты решения; предложено семейство алгоритмов оптимизации выполнения потоковой обработки данных, обеспечивающее гибкость и масштабируемость вычислений за счёт оценки потребности вычислительных ресурсов; предложено семейство алгоритмов оптимизации выполнения итеративных приложений на суперкомпьютерах.

Теоретическая значимость работы заключается в развитии подходов к созданию методов планирования вычислений на распределенных системах высокой производительности, учитывающих неоднородность решаемых задач, неопределенность и изменчивость поступающих данных, а также различные режимы работы КП.

Практическую значимость работы составляют следующие программные системы:

1. программный комплекс WFWrapper, предназначенный для автоматизированного выполнения распределенных итеративных приложений в интегрированной среде суперкомпьютера;

2. программный модуль выполнения потоковой обработки данных на основе технологий Apache Spark и Apache Flink;

3. программа имитационного моделирования потокового выполнения композитных приложений с гибкой схемой настройки встроенных алгоритмов планирования сценариев вычислительной среды;

4. программная подсистема планирования выполнения композитных приложений в облачной платформе CLAVIRE.

Разработанные результаты внедрены в проектную деятельность ООО "Сименс" и использованы при выполнении экспериментальных исследований в международном проекте COMPAT.

На защиту выносятся:

— метод динамической оптимизации КП в распределенной вычислительной среде на основе обучения с подкреплением, обеспечивающий непрерывное улучшение ускоренной генерации планируемого решения;

— семейство алгоритмов динамической оптимизации КП на основе методов машинного обучения с учетом различных режимов выполнения расчетных задач в неоднородной вычислительной среде;

— информационная технология, обеспечивающая совместное выполнение разнородных КП на основе каскада разработанных методов оптимизации.

Внедрение результатов работы. Результаты диссертационного исследования были использованы в рамках проектов Национального центра когнитивных разработок (центра компетенций НТИ), а также при выполнении следующих проектов: соглашение № 14.578.21.0077 от 24.11.2014 г. «Исследования и разработка быстродействующей кластерной системы хранения и обработки сверхбольших объемов данных»; соглашение № 14.587.21.0024 от 18.11.2015 г. «Вычислительные шаблоны для высокопроизводительных многомасштабных вычислений»; соглашение № 14.575.21.0161 от 26.09.2017 г.

«Технология выработки персонифицированных рекомендаций для пациентов с хроническими заболеваниями на основе гибридного моделирования жизненных процессов»; соглашение № 18-37-00416 от 28.04.2018 г. «Методы и алгоритмы планирования композитных приложений для потоковой обработки данных в реальном времени на основе технологий облачных вычислений»; грантовое соглашение № 671564 программы исследований и инноваций Европейского Союза Horizon 2020 проект «ComPat».

Степень достоверности и апробация результатов. Степень достоверности подтверждается корректным использованием методов исследования, обоснованием постановок задач и экспериментальными исследованиями разработанных алгоритмов, в том числе при сравнительном анализе с существующими подходами. Основные результаты были изложены на следующих научных и научно-практических конференциях: 7th International Conference on Evolutionary Computation Theory and Applications (ECTA15), Лиссабон, Португалия, 2015; International Young Scientists Conference 2015 (YSC 2015), Афины, Греция, 2015; The International Conference on Computational Science (ICCS 2016) "Data through the Computational Lens", Сан-Диего, США, 2016; 11th International Conference on Soft Computing Models in Industrial and Environmental Applications (SOCO 2016), Сан-Себастьян, Испания, 2016; International Young Scientists Conference 2016 (YSC 2016), Краков, Польша, 2016; The International Conference on Computational Science (ICCS 2017) "The Art of Computational Science. Bridging Gaps - Forming Alloys", Цюрих, Швейцария, 2017; 10th International Joint Conference on Computational Intelligence (IJCCI2018), Севилья, Испания, 2018; International Young Scientists Conference 2019 (YSC 2019), Ираклион, Греция, 2019.

По результатам, представленным в диссертации, было получено 3 свидетельства о регистрации программ для ЭВМ и опубликовано 15 статей в рецензируемых научных журналах, входящих в международные реферативные базы данных и системы цитирования Scopus и Web of Science, и 1 статья в журнале, входящем в перечень российских рецензируемых журналов.

Научные издания, входящие в международные реферативные базы данных и системы цитирования:

1. Chirkin A.M. [и др.]. Execution time estimation for workflow scheduling // Future Generation Computer Systems. 2017. (75). C. 376-387.

2. Melnik M., Nasonov D. Workflow scheduling using Neural Networks and Reinforcement Learning // Procedia Computer Science. 2019. (156). C. 29-36.

3. Melnik M., Nasonov D., Butakov N. Scheduling of streaming data processing with overload of resources using genetic algorithm // IJCCI 2018 - Proceedings of the 10th International Joint Conference on Computational Intelligence. 2018. C. 232-241.

4. Melnik M., Trofimenko T. Polyrhythmic Harmony Search for Workflow Scheduling // Procedia Computer Science. 2015. (66). C. 468-476.

5. Nasonov D. [и др.]. Metaheuristic coevolution workflow scheduling in cloud environment // IJCCI 2015 - Proceedings of the 7th International Joint Conference on Computational Intelligence. 2015. (1). C. 252-260.

6. Nasonov D. [и др.]. Hybrid evolutionary workflow scheduling algorithm for dynamic heterogeneous distributed computational environment // Journal of Applied Logic. 2017. (24). C. 50-61.

7. Nasonov D. [и др.]. The multi-level adaptive approach for efficient execution of multi-scale distributed applications with dynamic workload // Communications in Computer and Information Science. 2019. (965). C. 675-686.

8. Nasonov D., Melnik M., Radice A. Coevolutionary workflow scheduling in a dynamic cloud environment // Advances in Intelligent Systems and Computing. 2017. (527). C. 189-200.

9. Petrov M. [и др.]. Adaptive performance model for dynamic scaling Apache Spark Streaming // Procedia Computer Science. 2018. (136). C. 109-117.

10. Smirnov P., Melnik M., Nasonov D. Performance-aware scheduling of streaming applications using genetic algorithm // Procedia Computer Science. 2017. (108). C. 22402249.

11. Visheratin A. [и др.]. Hard-deadline Constrained Workflows Scheduling Using Metaheuristic Algorithms // Procedia Computer Science. 2015. (66). C. 506-514.

12. Visheratin A.A. [и др.]. Hybrid scheduling algorithm in early warning systems // Future Generation Computer Systems. 2018. (79). C. 630-642.

13. Visheratin A.A., Melnik M., Nasonov D. Automatic Workflow Scheduling Tuning for Distributed Processing Systems // Procedia Computer Science. 2016. (101). C. 388-397.

14. Visheratin A.A., Melnik M., Nasonov D. Workflow scheduling algorithms for hard-deadline constrained cloud environments // Procedia Computer Science. 2016. (80). C. 2098-2106.

15. Visheratin A.A., Melnik M., Nasonov D. Dynamic resources configuration for coevolutionary scheduling of scientific workflows in cloud environment // Advances in Intelligent Systems and Computing. 2018. (649). C. 13-23

Научные издания, входящие в перечень российских рецензируемых журналов:

16. Бутаков Н. А. и др. Гибридные методы планирования экстренных композитных приложений //Труды Международной научной конференции СРТ2015. - 2016. - С. 182-185

Публикации, которые приравниваются к рецензируемым научным изданиям:

17. Программный комплекс автоматической оптимизации выполнения композитных приложений в распределенных вычислительных системах (WFAutoOpt) / Насонов Д.А., Бухановский А.В., Разумовский А.В., Спивак А.И., Мельник М.А. Св-во о гос. регистрации программы для ЭВМ № 2017611166 от 24.01.2017 г.

18. Программный комплекс оптимизации процесса выполнения многомасштабных композитных приложений в облачных вычислительных средах / Вишератин А.А., Мельник М.А., Бухановский А.В., Насонов Д. Св-во о гос. регистрации программы для ЭВМ № 2017619259 от 18.08.2017 г.

19. Ядро распределенной платформы выполнения многомасштабного моделирования сложных систем СотраЮоге / Насонов Д., Вишератин А.А., Смирнов П.А., Бухановский А.В., Бутаков Н.А., Мельник М.А. Св-во о гос. регистрации программы для ЭВМ № 2017619262 от 18.08.2017 г.

Личный вклад автора в работах, выполненных в соавторстве, заключается в обосновании требований к оптимизации планирования неоднородных композитных приложений; разработке интеллектуального алгоритма планирования на основе обучения с подкреплением; разработке алгоритмов оптимизации выполнения потоковой обработки данных в облачной вычислительной среде; разработке алгоритма оптимизации выполнения итеративных приложений на суперкомпьютере; проработке архитектуры в целом и отдельных модулей, платформ запуска неоднородных композитных приложений; формирования сценариев проведения экспериментальных исследований, их проведении и интерпретации результатов.

Бухановский А.В. во всех работах, выполненных в соавторстве, осуществлял научное формирование выдвигаемых идей и вырабатывал рекомендации по критическим улучшениям содержательных частей статей.

Насонов Д.А. во всех работах, выполненных в соавторстве, осуществлял постановку научных задач, проводил консультации при написании статей и предоставлял доступ вычислительным ресурсам платформы CLAVIRE. Также, в работе [79] был выполнен обзор литературы и произведено взаимодействие с коллегами из ННГУ (Линёв А.В.) и МГУ (Швец П.А. и Соболев С.И.) для получения доступа к ресурсам суперкомпьютеров Лобачевский и Ломоносов. В работах [73, 85] предоставил доступ к облачным ресурсам

платформы Amazon EC2. В работах [77, 113] разрабатывал архитектуру коэволюционных алгоритмов.

Вишератин А.А. во всех работах, выполненных в соавторстве, производил систематизацию данных экспериментов, осуществлял постановку задачи планирования с ограничением по срокам выполнения. В работе [111] разработал алгоритм символьной регрессии для настройки параметров модели.

Бутаков Н.А. во всех работах, выполненных в соавторстве, проводил консультации при разработке программных компонентов и алгоритмов. В работах [78, 110] участвовал в проведении литературного обзора и постановке задачи динамического планирования.

Смирнов П.А. в работе [97] производил интеграцию разработанного алгоритма с фрэймворком Apache Storm, а также проводил запуски подготовленных сценариев экспериментальных исследований.

Чиркин А., Беллоум А., Ковальчук С.В., Маккес М. в работе [37] предоставили модель оценки времени выполнения композитных приложений для проведения экспериментальных исследований.

Шиндяпина Н., Трофименко Т. и Рэдис А. в соответствующих работах [74, 77, 80] проводили настройку параметров разработанных алгоритмов.

Структура и объем диссертации. Диссертация состоит из перечня используемых сокращений, введения, четырёх глав, заключения и списка литературы, включающего 133 источника, содержит 157 страниц текста, включая 58 рисунков и 11 таблиц.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Мельник Михаил Алексеевич

ЗАКЛЮЧЕНИЕ

В диссертационном исследовании выполнен анализ технологий планирования неоднородных вычислений, включающих пакетную и потоковую обработку данных, а также технологии организации вычислений в суперкомпьютерных инфраструктурах. Рассмотрены особенности выполнения распределенных приложений и технологий интеграции с вычислительными системами. Сформированы модели неоднородных вычислений и поставлена задача планирования. Разработаны схема организации выполнения неоднородных КП и семейства алгоритмов для оптимизации процесса выполнения. Получены следующие результаты:

- на основе проведенного аналитического обзора сформулированы и обоснованы требования к математическому и программному обеспечению для планирования неоднородных композитных приложений;

- разработаны математические модели, описывающие распределенную среду, процессы выполнения композитных приложений, включая пакетный, потоковый и итеративный режим;

- разработаны алгоритмы NNS, S SGA, IMSGA, позволяющие проводить оптимизацию планирования выполнения композитных приложений в пакетном, потоковом и итеративном режимах соответственно;

- разработана интеллектуальная технология планирования разнородных вычислений на базе CLAVIRE и полученных семейств алгоритмов.

Результаты экспериментальных исследований показывают прирост производительности до 110, 60 и 55 % для алгоритмов NNS, SSGA и IMSGA соответственно и подтверждают их эффективность.

Развитие темы диссертационного исследования возможно в: дальнейшем более глубоком исследовании структур нейронной сети и параметров состояния системы для семейства алгоритма NNS с целью улучшения качества генерируемых решений; модификации и разработке семейства алгоритма потоковой обработки данных SSGA для таких платформ, как Apache Flink или Apache S4 на базе облачной платформы AWS; расширении семейства алгоритмов оптимизации выполнения итеративных распределенных приложений IMSGA, в том числе интегрирования алгоритма для различных научных прикладных задач, основанных на высокопроизводительных вычислениях.

Список литературы диссертационного исследования кандидат наук Мельник Михаил Алексеевич, 2019 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Афанасьев А.П. [и др.]. Программный комплекс для решения задач дискретной оптимизации на распределенных вычислительных системах // Труды Института системного анализа Российской академии наук. 2006. (25). C. 5-17.

2. Афанасьев А.П. [и др.]. Увеличение вычислительной мощности распределенных систем с помощью грид-систем из персональных компьютеров // Параллельные вычислительные технологии. 2011. C. 6-14.

3. Багинян А.С., Долбилов А.Г., Кореньков В.В. Архитектура сетевого сегмента ЦОД уровня rier 1 эксперимента CMS в Объединенном институте ядерных исследований // T-Comm-Телекоммуникации и Транспорт. 2016. № 1 (10).

4. Брестер К.Ю. [и др.]. О применении эволюционных алгоритмов при анализе больших данных // Искусственный интеллект и принятие решений. 2017. (3). C. 82-93.

5. Васильев В.Н. [и др.]. CLAVIRE: облачная платформа для обработки данных больших объемов // Информационно-измерительные и управляющие системы. 2012. № 11 (10). C. 7-16.

6. Вишератин А.А. Семантические технологии больших данных для многомасштабного моделирования в распределенных вычислительных средах 2017.

7. Гергель В.П. ОБОБЩЕННЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СХЕМЫ ПАРАЛЛЕЛЬНЫХ АЛГОРИТМОВ ДЛЯ ВЫЧИСЛИТЕЛЬНО-ТРУДОЕМКИХ ЗАДАЧ ГЛОБАЛЬНОЙ ОПТИМИЗАЦИИ // Информационный бюллетень Омского научно-образовательного центра ОмГТУ и ИМ СО РАН в области математики и информатики. 2018. C. 14-14.

8. Князьков К.В., Ковальчук С.В., Бухановский А.В. Интерактивные композитные приложения: технология для разработки информационно-измерительных и управляющих систем в распределенных средах // Информационно-измерительные и управляющие системы. 2012. № 11 (10). C. 40-46.

9. Козинов Е.А., Гергель В.П. Параллельные вычисления на графических процессорах в задачах многокритериальной оптимизации // Москва. 2018. (24). C. 25.

10. Насонов Д.А. Эволюционные алгоритмы распределения больших данных в вычислительно-интенсивных задачах 2016.

11. Сухорослов О.В., Назаренко А.М. Сравнительная оценка методов планирования приложений в распределенных вычислительных средах // Программные системы: теория и приложения. 2017. № 1 (8).

12. Разработка композитных приложений: Модульное тестирование [Электронный ресурс]. URL: https://www.ibm.com/developerworks/ru/library/ls-notes8-unit-test/index.html.

13. Суперкомпьютер Ломоносов [Электронный ресурс]. URL: https://parallel.ru/cluster /.

14. Суперкомпьютер Лобачевский [Электронный ресурс]. URL: http://www.itmm.unn.ru/ob-institute/oborudovanie/.

15. SAP documentation [Электронный ресурс]. URL: https://help.sap.com/doc/saphelp_erp2005/6.0/en-US/90/420f3d03e2457c92fd0e7b35c82c14/frameset.htm.

16. Apache Storm [Электронный ресурс]. URL: https://storm.apache.org/index.html.

17. Apache Spark Streaming [Электронный ресурс]. URL: https://spark.apache.org/streaming/.

18. Apache Flink [Электронный ресурс]. URL: https://flink.apache.org.

19. Apache S4 [Электронный ресурс]. URL: http://incubator.apache.org/proj ects/s4.html.

20. Agarwalla B. [и др.]. Streamline: a scheduling heuristic for streaming applications on the grid // Multimedia Computing and Networking 2006. 2006. (6071). C. 607107.

21. Alkaff H., Gupta I., Leslie L.M. Cross-layer scheduling in cloud systems // Proceedings

- 2015 IEEE International Conference on Cloud Engineering, IC2E 2015. 2015. C. 236-245.

22. Andreadis G. [и др.]. A reference architecture for datacenter scheduling: Design, validation, and experiments // Proceedings - International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 478-492.

23. Aniello L., Baldoni R., Querzoni L. Adaptive online scheduling in storm // DEBS 2013

- Proceedings of the 7th ACM International Conference on Distributed Event-Based Systems. 2013. C. 207-218.

24. Arabnejad H., Barbosa J.G. List scheduling algorithm for heterogeneous systems by an optimistic cost table // IEEE Transactions on Parallel and Distributed Systems. 2014. № 3 (25). C. 682-694.

25. Austel P.K. [и др.]. Release and management of composite applications on PaaS //

2017.

26. Backman N., Fonseca R., £etintemel U. Managing parallelism for stream processing in the cloud // Proceedings of the Workshop on Hot Topics in Cloud Data Processing, HotCDP'12. 2012.

27. Balis B. HyperFlow: A model of computation, programming approach and enactment engine for complex distributed workflows // Future Generation Computer Systems. 2016. (55). C. 147-162.

28. Belgacem M. Ben, Chopard B. MUSCLE-HPC: A new high performance API to couple

multiscale parallel applications // Future Generation Computer Systems. 2017. (67). C. 72-82.

29. Bittencourt L.F., Sakellariou R., Madeira E.R.M. DAG scheduling using a lookahead variant of the heterogeneous earliest finish time algorithm // Proceedings of the 18th Euromicro Conference on Parallel, Distributed and Network-Based Processing, PDP 2010. 2010. C. 27-34.

30. Bochenina K., Butakov N., Boukhanovsky A. Static scheduling of multiple workflows with soft deadlines in non-dedicated heterogeneous environments // Future Generation Computer Systems. 2016. (55). C. 51-61.

31. Borgdorff J. [h gp.]. Performance of distributed multiscale simulations // Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 2014. № 2021 (372).

32. Cai X. [h gp.]. A decomposition-based coevolutionary multiobjective local search for combinatorial multiobjective optimization // Swarm and Evolutionary Computation. 2019. (49). C. 178-193.

33. Carbone P. [h gp.]. Apache FlinkTM: Stream and Batch Processing in a Single Engine

2015.

34. Chen H. [h gp.]. EONS: Minimizing Energy Consumption for Executing Real-Time Workflows in Virtualized Cloud Data Centers // Proceedings of the International Conference on Parallel Processing Workshops. 2016. (2016-Septe). C. 385-392.

35. Chen H., Maheswaran M. Distributed dynamic scheduling of composite tasks on grid computing systems // Proceedings - International Parallel and Distributed Processing Symposium, IPDPS 2002. 2002. C. 88-97.

36. Cheng D. [h gp.]. Adaptive scheduling parallel jobs with dynamic batching in spark streaming // IEEE Transactions on Parallel and Distributed Systems. 2018. № 12 (29). C. 26722685.

37. Chirkin A.M. [h gp.]. Execution time estimation for workflow scheduling // Future Generation Computer Systems. 2017. (75). C. 376-387.

38. Choudhary A. [h gp.]. A GSA based hybrid algorithm for bi-objective workflow scheduling in cloud computing // Future Generation Computer Systems. 2018. (83). C. 14-26.

39. Cui D. [h gp.]. Multiple DAGs workflow scheduling algorithm based on reinforcement learning in cloud computing // Communications in Computer and Information Science. 2016. (575). C. 305-311.

40. Deelman E. [h gp.]. Pegasus, a workflow management system for science automation // Future Generation Computer Systems. 2015. (46). C. 17-35.

41. Dixit A., Choudhary J., Singh D P. Survey of Apache Storm Scheduler // SSRN Electronic Journal. 2018.

42. Dongarra J., Gottlieb S., Kramer W.T.C. Race to Exascale // Computing in Science and Engineering. 2019. № 1 (21). C. 4-5.

43. Durillo J.J., Fard H.M., Prodan R. MOHEFT: A multi-objective list-based method for workflow scheduling // CloudCom 2012 - Proceedings: 2012 4th IEEE International Conference on Cloud Computing Technology and Science. 2012. C. 185-192.

44. Dwarakanathan S. S-Flink: Schedule for QoS in Flink Using SDN // Proceedings -International Computer Software and Applications Conference. 2016. (2). C. 620-621.

45. Ferreira da Silva R. [h gp.]. A characterization of workflow management systems for extreme-scale applications // Future Generation Computer Systems. 2017. (75). C. 228-238.

46. Foster I., Kesselman C. The grid 2: Blueprint for a new computing infrastructure // Morgan Kauffman. 2004. C. 748.

47. Gergel V., Kozinov E. Parallel computing for time-consuming multicriterial optimization problems // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2017. (10421 LNCS). C. 446-458.

48. Ghorbannia Delavar A., Aryan Y. HSGA: A hybrid heuristic algorithm for workflow scheduling in cloud systems // Cluster Computing. 2014. № 1 (17). C. 129-137.

49. Gil Y. [h gp.]. Wings: Intelligent workflow-based design of computational experiments // IEEE Intelligent Systems. 2011. № 1 (26). C. 62-72.

50. Gill S.S., Buyya R. Bio-Inspired Algorithms for Big Data Analytics: A Survey, Taxonomy, and Open Challenges // Big Data Analytics for Intelligent Healthcare Management. 2019. C. 1 -17.

51. Hagras, Tarek and Janecek J. A simple scheduling heuristic for heterogeneous computing environments // Proceedings of the Second international conference on Parallel and distributed computing. 2003. C. 104-110.

52. Hirzel M. [h gp.]. A catalog of stream processing optimizations // ACM Computing Surveys. 2014. № 4 (46).

53. Hoekstra A.G. [h gp.]. Multiscale computing for science and engineering in the era of exascale performance // Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 2019. № 2142 (377).

54. Hussain A. [h gp.]. A Survey on ANN Based Task Scheduling Strategies in Heterogeneous Distributed Computing Systems // Nepal Journal of Science and Technology. 2016. № 1 (16). C. 69-78.

55. Ilavarasan E. T.P.M.R. High performance task scheduling algorithm for heterogeneous computing system // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2005. (3719 LNCS). C. 193-203.

56. Ismayilov G., Topcuoglu H.R. Neural network based multi-objective evolutionary algorithm for dynamic workflow scheduling in cloud computing // Future Generation Computer Systems. 2020. (102). C. 307-322.

57. Jiao B., Chen Q., Yan S. A cooperative co-evolution PSO for flow shop scheduling problem with uncertainty // Journal of Computers. 2011. № 9 (6). C. 1955-1961.

58. Kintsakis A.M., Psomopoulos F.E., Mitkas P.A. Reinforcement Learning based scheduling in a workflow management system // Engineering Applications of Artificial Intelligence. 2019. (81). C. 94-106.

59. Knyazkov K. V. [h gp.]. CLAVIRE: e-Science infrastructure for data-driven computing // Journal of Computational Science. 2012. № 6 (3). C. 504-510.

60. Kouidri S., Yagoubi B. Dynamic Data Replication Based on Tasks scheduling for Cloud Computing Environment // International Journal of Strategic Information Technology and Applications. 2018. № 4 (8). C. 40-51.

61. Kremer-Herman N., Tovar B., Thain D. A lightweight model for right-sizing master-worker applications // Proceedings - International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 504-516.

62. Kurth T. [h gp.]. Exascale deep learning for climate analytics // Proceedings -International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 649-660.

63. Liu F. [h gp.]. Dynamically negotiating capacity between on-demand and batch clusters // Proceedings - International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 493-503.

64. Liu L. [h gp.]. Deadline-constrained coevolutionary genetic algorithm for scientific workflow scheduling in cloud computing // Concurrency Computation . 2017. № 5 (29).

65. Liu Y., Shi X., Jin H. Runtime-aware adaptive scheduling in stream processing // Concurrency Computation . 2016. № 14 (28). C. 3830-3843.

66. Lu S. [h gp.]. A framework for cloud-based large-scale data analytics and visualization: Case study on multiscale climate data // Proceedings - 2011 3rd IEEE International Conference on Cloud Computing Technology and Science, CloudCom 2011. 2011. C. 618-622.

67. Luo J. [h gp.]. GPU based parallel genetic algorithm for solving an energy efficient dynamic flexible flow shop scheduling problem // Journal of Parallel and Distributed Computing. 2018.

68. Malakar P. [h gp.]. Topology-aware space-shared co-analysis of large-scale molecular dynamics simulations // Proceedings - International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 305-319.

69. Martinasso M. [h gp.]. RM-replay: A high-fidelity tuning, optimization and exploration tool for resource management // Proceedings - International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 320-332.

70. Masdari M. [h gp.]. A Survey of PSO-Based Scheduling Algorithms in Cloud Computing // Journal of Network and Systems Management. 2017. № 1 (25). C. 122-158.

71. Melnik M. Coevolution metaheuristic algorithms for workflow scheduling in distributed computing environment. Master thesis. 2016.

72. Melnik M., Nasonov D. Workflow scheduling using Neural Networks and Reinforcement Learning // Procedia Computer Science. 2019. (156). C. 29-36.

73. Melnik M., Nasonov D., Butakov N. Scheduling of streaming data processing with overload of resources using genetic algorithm // IJCCI 2018 - Proceedings of the 10th International Joint Conference on Computational Intelligence. 2018. C. 232-241.

74. Melnik M., Trofimenko T. Polyrhythmic Harmony Search for Workflow Scheduling // Procedia Computer Science. 2015. (66). C. 468-476.

75. Miguel Antonio L., Coello Coello C.A. Coevolutionary Multiobjective Evolutionary Algorithms: Survey of the State-of-the-Art // IEEE Transactions on Evolutionary Computation. 2018. № 6 (22). C. 851-865.

76. Nagar R., Gupta D.K., Singh R.M. Time Effective Workflow Scheduling using Genetic Algorithm in Cloud Computing // International Journal of Information Technology and Computer Science. 2018. № 1 (10). C. 68-75.

77. Nasonov D. [h gp.]. Metaheuristic coevolution workflow scheduling in cloud environment // IJCCI 2015 - Proceedings of the 7th International Joint Conference on Computational Intelligence. 2015. (1). C. 252-260.

78. Nasonov D. [h gp.]. Hybrid evolutionary workflow scheduling algorithm for dynamic heterogeneous distributed computational environment // Journal of Applied Logic. 2017. (24). C. 50-61.

79. Nasonov D. [h gp.]. The multi-level adaptive approach for efficient execution of multi-scale distributed applications with dynamic workload // Communications in Computer and Information Science. 2019. (965). C. 675-686.

80. Nasonov D., Melnik M., Radice A. Coevolutionary workflow scheduling in a dynamic cloud environment // Advances in Intelligent Systems and Computing. 2017. (527). C. 189-200.

81. Orhean A.I., Pop F., Raicu I. New scheduling approach using reinforcement learning for heterogeneous distributed systems // Journal of Parallel and Distributed Computing. 2018. (117). C. 292-302.

82. Padmaveni K., Aravindhar D.J. Hybrid Memetic and Particle Swarm Optimization for

Multi Objective Scientific Workflows in Cloud // Proceedings - 2016 IEEE International Conference on Cloud Computing in Emerging Markets, CCEM 2016. 2017. C. 66-72.

83. Palacios J.J. [h gp.]. Coevolutionary makespan optimisation through different ranking methods for the fuzzy flexible job shop // Fuzzy Sets and Systems. 2015. (278). C. 81-97.

84. Peng B. [h gp.]. R-storm: Resource-aware scheduling in storm // Middleware 2015 -Proceedings of the 16th Annual Middleware Conference. 2015. C. 149-161.

85. Petrov M. [h gp.]. Adaptive performance model for dynamic scaling Apache Spark Streaming // Procedia Computer Science. 2018. (136). C. 109-117.

86. Pollard S.D. [h gp.]. Evaluation of an interference-free node allocation policy on fat-tree clusters // Proceedings - International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 333-345.

87. R.Srinivasan T., Shanmugalakshmi R. Neural Approach for Resource Selection with PSO for Grid Scheduling // International Journal of Computer Applications. 2012. № 11 (53). C. 37-41.

88. Rahman M. [h gp.]. Adaptive workflow scheduling for dynamic grid and cloud computing environment // Concurrency Computation Practice and Experience. 2013. № 13 (25). C.1816-1842.

89. Ran L., Shi X., Shang M. SLAs-Aware Online Task Scheduling Based on Deep Reinforcement Learning Method in Cloud Environment 2019. C. 1518-1525.

90. Rashmi S., Basu A. Q learning based workflow scheduling in hadoop // International Journal of Applied Engineering Research. 2017. № 12 (12). C. 3311-3317.

91. Rimal B.P., Choi E., Lumb I. A taxonomy and survey of cloud computing systems // NCM 2009 - 5th International Joint Conference on INC, IMS, and IDC. 2009. C. 44-51.

92. Rodriguez M.A., Buyya R. A taxonomy and survey on scheduling algorithms for scientific workflows in IaaS cloud computing environments // Concurrency Computation . 2017. № 8 (29).

93. Samadi Y., Zbakh M., Tadonki C. E-HEFT: Enhancement heterogeneous earliest finish time algorithm for task scheduling based on load balancing in cloud computing // Proceedings -2018 International Conference on High Performance Computing and Simulation, HPCS 2018. 2018. C. 601-609.

94. Shen X.N., Yao X. Mathematical modeling and multi-objective evolutionary algorithms applied to dynamic flexible job shop scheduling problems // Information Sciences. 2015. (298). C. 198-224.

95. Singh L., Singh S. A Survey of Workflow Scheduling Algorithms and Research Issues // International Journal of Computer Applications. 2013. № 15 (74). C. 21-28.

96. Smanchat S., Viriyapant K. Taxonomies of workflow scheduling problem and techniques in the cloud // Future Generation Computer Systems. 2015. (52). C. 1-12.

97. Smirnov P., Melnik M., Nasonov D. Performance-aware scheduling of streaming applications using genetic algorithm // Procedia Computer Science. 2017. (108). C. 2240-2249.

98. Smith S.A. [h gp.]. Mitigating inter-job interference using adaptive flow-aware routing // Proceedings - International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 346-360.

99. Song G. [h gp.]. A game theory based mapreduce scheduling algorithm // Lecture Notes in Electrical Engineering. 2013. (236 LNEE). C. 287-296.

100. Sopov E. Multi-strategy genetic algorithm for multimodal optimization // IJCCI 2015 - Proceedings of the 7th International Joint Conference on Computational Intelligence. 2015. (1). C. 55-63.

101. Subedi P. [h gp.]. Stacker: An autonomic data movement engine for extreme-scale data staging-based in-situ workflows // Proceedings - International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 920-930.

102. Sun T. [h gp.]. An Improved Budget-Deadline Constrained Workflow Scheduling Algorithm on Heterogeneous Resources // Proceedings - 4th IEEE International Conference on Cyber Security and Cloud Computing, CSCloud 2017 and 3rd IEEE International Conference of Scalable and Smart Cloud, SSC 2017. 2017. C. 40-45.

103. Tang M., Yusoh Z.I.M. A parallel cooperative co-evolutionary genetic algorithm for the composite SaaS placement problem in cloud computing // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. № PART 2 (7492 LNCS). C. 225-234.

104. Tong Z. [h gp.]. QL-HEFT: a novel machine learning scheduling scheme base on cloud computing environment // Neural Computing and Applications. 2019.

105. Tong Z. [h gp.]. A scheduling scheme in the cloud computing environment using deep Q-learning // Information Sciences. 2019.

106. Topcuoglu H., Hariri S., Wu M.Y. Performance-effective and low-complexity task scheduling for heterogeneous computing // IEEE Transactions on Parallel and Distributed Systems. 2002. № 3 (13). C. 260-274.

107. Vasile M.A. [h gp.]. Resource-aware hybrid scheduling algorithm in heterogeneous distributed computing // Future Generation Computer Systems. 2015. (51). C. 61-71.

108. Vay J.L. [h gp.]. Warp-X: A new exascale computing platform for beam-plasma simulations // Nuclear Instruments and Methods in Physics Research, Section A: Accelerators, Spectrometers, Detectors and Associated Equipment. 2018. (909). C. 476-479.

109. Visheratin A. [h gp.]. Hard-deadline Constrained Workflows Scheduling Using Metaheuristic Algorithms // Procedia Computer Science. 2015. (66). C. 506-514.

110. Visheratin A.A. [h gp.]. Hybrid scheduling algorithm in early warning systems // Future Generation Computer Systems. 2018. (79). C. 630-642.

111. Visheratin A.A., Melnik M., Nasonov D. Automatic Workflow Scheduling Tuning for Distributed Processing Systems // Procedia Computer Science. 2016. (101). C. 388-397.

112. Visheratin A.A., Melnik M., Nasonov D. Workflow scheduling algorithms for hard-deadline constrained cloud environments // Procedia Computer Science. 2016. (80). C. 2098-2106.

113. Visheratin A.A., Melnik M., Nasonov D. Dynamic resources configuration for coevolutionary scheduling of scientific workflows in cloud environment // Advances in Intelligent Systems and Computing. 2018. (649). C. 13-23.

114. Vukmirovic S. [h gp.]. Optimal workflow scheduling in critical infrastructure systems with neural networks // Journal of Applied Research and Technology. 2012. № 2 (10). C. 114121.

115. Wang H. [h gp.]. Large-scale and adaptive service composition using deep reinforcement learning // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2017. (10601 LNCS). C. 383-391.

116. Wang H. [h gp.]. Adaptive and large-scale service composition based on deep reinforcement learning // Knowledge-Based Systems. 2019. (180). C. 75-90.

117. Wang Y. [h gp.]. Multi-objective workflow scheduling with deep-Q-network-based multi-agent reinforcement learning // IEEE Access. 2019. (7). C. 39974-39982.

118. Wang Y., Shi W., Kent K B. On Optimal Scheduling Algorithms for Well-Structured Workows in the Cloud with Budget and Deadline Constraints // Parallel Processing Letters. 2016. № 2 (26).

119. Wolstencroft K. [h gp.]. The Taverna workflow suite: designing and executing workflows of Web Services on the desktop, web or in the cloud. // Nucleic acids research. 2013. № Web Server issue (41).

120. Wu F., Wu Q., Tan Y. Workflow scheduling in cloud: a survey // Journal of Supercomputing. 2015. № 9 (71). C. 3373-3418.

121. Xiao Z. [h gp.]. Self-adaptation and mutual adaptation for distributed scheduling in benevolent clouds // Concurrency Computation . 2017. № 5 (29).

122. Xie G. [h gp.]. High performance real-time scheduling of multiple mixed-criticality functions in heterogeneous distributed embedded systems // Journal of Systems Architecture. 2016. (70). C. 3-14.

123. Xu J. [h gp.]. T-storm: Traffic-aware online scheduling in storm // Proceedings -

International Conference on Distributed Computing Systems. 2014. C. 535-544.

124. Yan H. [h gp.]. DEFT: Dynamic Fault-Tolerant Elastic scheduling for tasks with uncertain runtime in cloud // Information Sciences. 2019. (477). C. 30-46.

125. Yao J., Tham C.K., Ng K.Y. Decentralized dynamic workflow scheduling for grid computing using reinforcement learning // Proceedings - 2006 IEEE International Conference on Networks, ICON 2006 - Networking-Challenges and Frontiers. 2006. (1). C. 90-95.

126. Zeng B., Wei J., Liu H.Q. Dynamic Grid resource scheduling model using learning agent // Proceedings - 2009 IEEE International Conference on Networking, Architecture, and Storage, NAS 2009. 2009. C. 67-73.

127. Zenmyo T., Iijima S., Fukuda I. Managing a complicated workflow based on dataflow-based workflow scheduler // Proceedings - 2016 IEEE International Conference on Big Data, Big Data 2016. 2016. C. 1658-1663.

128. Zhang Q. [h gp.]. Energy-Efficient Scheduling for Real-Time Systems Based on Deep Q-Learning Model // IEEE Transactions on Sustainable Computing. 2017. № 1 (4). C. 132-141.

129. Zhang Y., Yao J., Guan H. Intelligent Cloud Resource Management with Deep Reinforcement Learning // IEEE Cloud Computing. 2017. № 6 (4). C. 60-69.

130. Zhang Z. [h gp.]. Data Integration in Bioinformatics: Current Efforts and Challenges // Bioinformatics - Trends and Methodologies. 2011.

131. Zhou N. [h gp.]. A list scheduling algorithm for heterogeneous systems based on a critical node cost table and pessimistic cost table // Concurrency Computation . 2017. № 5 (29).

132. Zimmer C. [h gp.]. GPU age-aware scheduling to improve the reliability of leadership jobs on titan // Proceedings - International Conference for High Performance Computing, Networking, Storage, and Analysis, SC 2018. 2019. C. 83-93.

133. Zitzlsberger G., Jansik B., Martinovic J. Feasibility analysis of using the maui scheduler for job simulation of large-scale pbs based clusters // Iadis International Journal on Computer Science and Information Systems. 2018. № 2 (13). C. 47-61.