Семантические технологии больших данных для многомасштабного моделирования в распределенных вычислительных средах тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Вишератин Александр Александрович

• Вишератин Александр Александрович
• кандидат наук
• 2017

Оглавление диссертации кандидат наук Вишератин Александр Александрович

Введение

1 Технологии больших данных для выполнения композитных приложений

1.1 Технологии выполнения композитных приложений

1.2 Технологии организации хранения больших данных

1.3 Методы планирования выполнения высокопроизводительных приложений

1.4 Методы оптимизации хранения научных данных

1.5 ВЫВОДЫ к главе

2 Технология организации многомасштабных вычислений на основе шаблонов в неоднородной вычислительной среде

2.1 Современные методы многомасштабного моделирования

2.2 Программные инструменты организации многомасштабных вычислений

2.3 Шаблоны распределенных вычислений для многомасштабного моделирования

2.4 Параметрические модели производительности приложений многомасштабных моделей

2.5 Схем а оптимизации многомасштабного моделирования

2.6 Экспериментальные исследования алгоритма оптимизации многомасштабного

моделирования

2.7 ВЫВОДЫ к главе

3 Технология хранения больших данных с применением семантической модели предметной области

3.1 Семантическая модель предметной области

3.2 Технология хранения и обработки данных на основе семантической модели

3.3 Адаптация хранилища для сценариев использования

3.4 Выводы к главе

4 Разработка технологии организации многомасштабного моделирования с применением семантической модели предметной области

4.1 Архитектура DMMEngine

4.2 Гидрометеорологическое приложение

4.3 Урбанистическое приложение

4.5 Экспериментальные исследования DMMEngine

4.6 Выводы к главе

Заключение

Список литературы

ПРИЛОЖЕНИЕ

Введение диссертации (часть автореферата) на тему «Семантические технологии больших данных для многомасштабного моделирования в распределенных вычислительных средах»

ВВЕДЕНИЕ

Актуальность темы исследования обусловлена интенсивным проникновением технологий распределенных вычислений и систем в различные области науки и технологий через инструментарий еБаепсе и еЕп§теепп§. В силу разнообразия требований самих предметных областей и решаемых ими задач необходимо создавать методы и средства для автоматизации процессов построения и исполнения пользовательских приложений в распределенных вычислительных средах. В России данное направление представлено в работах научных школ А.П.Афанасьева, В.П.Иванникова, В.А.Ильина, В.В. Коренькова и других исследователей. В отличие от классических суперкомпьютерных задач, допускающих масштабируемую декомпозицию с использованием несложных методов статической или динамической балансировки нагрузки, в распределенных средах актуальной является организация многомасштабных вычислений. Это подразумевает наличие набора взаимосвязанных моделей и источников данных на различных узлах распределенной среды, априори не подчиняющихся единой схеме декомпозиции. Как следствие, ключевой задачей становится организация условий исполнения приложения в распределенной среде таким образом, чтобы обеспечить наибольшую вычислительную эффективность за счет согласования условий параллельного исполнения отдельных модулей и компонентов с учетом обменов данных между ними. В настоящее время такая задача часто решается вручную, что может быть оправдано для промышленных приложений, используемых на идентичных наборах данных, но теряет смысл для исследовательских расчетов. Как следствие, необходимо создавать методы и технологии, автоматизирующие процесс исполнения таких приложений за счет использования априорных сведений о внутренней организации вычисления моделей и о структуре самих данных.

Целью диссертационной работы является разработка математического, алгоритмического и программного обеспечения для оптимизации исполнения многомасштабных вычислительных приложений при выполнении расчетов в распределенных вычислительных средах с учетом особенностей организации данных и вычислений.

Для достижения поставленной цели решаются следующие задачи:

определение требований к объекту исследований на основе обзора технологий организации многомасштабных приложений, хранения и обработки больших данных, а также методов планирования в облачной среде;

формализация общего подхода к управлению исполнением многомасштабных приложений в логике кодизайна, с учетом вида вычислительного шаблона и семантической структуры данных, а также разработка реализующих его алгоритмов;

разработка информационной технологии организации и исполнения многомасштабных композитных приложений в распределенной вычислительной среде, использующей разработанные алгоритмы;

экспериментальное исследование эффективности предложенных алгоритмов и информационной технологии на характерных задачах многомасштабного моделирования, сопоставление с известными аналогами.

Научная новизна исследования заключается в том, что предложенные алгоритмы и технологии оптимизации исполнения многомасштабных приложений основаны на принципах кодизайна, обеспечивающих одновременное управление условиями распределения задач и данных и характеристиками самой вычислительной среды за счет использования априорных знаний о семантических особенностях структур данных и логике организации вычислений в форме параметрических моделей производительности. На защиту выносятся:

семейство алгоритмов семантической оптимизации вычислительного процесса на основе априорных знаний об организации многомасштабных приложений, формализованных в форме вычислительных шаблонов;

информационная технология организации и исполнения многомасштабных приложений в распределенной облачной среде с интегрированными алгоритмами семантической оптимизации вычислений, а также семантическими технологиями работы с большими данными.

Содержание работы. В первой главе диссертационной работы выполнен аналитический обзор: технологий организации композитных приложений, ориентированных на моделирование и обработку значительного объема данных; технологий хранения и обработки больших данных; методов планирования в облачной

среде. Во второй главе приведено описание вычислительных шаблонов многомасштабного моделирования, представлены модели производительности с экспериментальными исследованиями и описаны как теоретические аспекты разработанной схемы оптимизации вычислений, так и практические её исследования. В третьей главе представлена концепция унифицированной семантической модели предметной области, и на её основе создана технология хранения и обработки данных. Также в главе представлены исследования адаптации хранилища для сценариев использования. В четвертой главе продемонстрирована реализация технологии создания и выполнения многомасштабных моделей, с примерами из различных областей науки, а также приведены экспериментальные исследования, подтверждающие эффективность семантической адаптации системы как со стороны самой модели расчета, так и со стороны хранения и обработки больших данных.

Методы исследования включают в себя методы теории алгоритмов, эволюционных вычислений, дискретной математики, теории вероятностей и математической статистики, имитационного моделирования, инженерии программного обеспечения и анализа программного обеспечения.

Ценность результатов исследования диссертационной работы заключается в создании технологического решения, включающего в себя эффективную работу с практически значимыми задачами, представимыми в виде многомасштабных вычислительных приложений. Технологическое решение в рамках задачи оптимизации использует семантические особенности организации расчетного процесса многомасштабной модели и семантику используемых при этом больших данных. Технологическое решение является расширением облачной платформы CLAVIRE

Степень достоверности и апробация результатов. Степень достоверности подтверждается корректным использованием методов исследования, обоснованием постановки задач и экспериментальными исследованиями разработанных технологий и алгоритмов оптимизации. Основные результаты были представлены на международных и всероссийских конференциях, семинарах, симпозиумах, наличием 3 свидетельств о государственной регистрации программ для ЭВМ и 18 статей (все в рецензируемых научных журналах и изданиях, индексируемых международными системами научного цитирования Scopus или Web of Science).

1 Технологии больших данных для выполнения композитных

приложений

1.1 Технологии выполнения композитных приложений

Быстрые темпы технологического развития науки обусловливают острую потребность в вычислительных ресурсах для решения современных задач. Однако вместе с вычислительными потребностями растет и математическая, структурная сложность самой задачи. Быстрый рост производительности вычислительных систем в течение последних десятилетий существенно повлиял на развитие метода научного исследования. Математическое моделирование в современном понимании вычислительного эксперимента не просто дополнило натурные и аналитические методы исследования, но заместило собой их объект. Современный научный метод представляет математическую модель не как количественное описание эмпирически наблюдаемых явлений, а как систему, исследование которой позволяет получить знания о реальной системе. Это сделало возможным изучение систем, для которых прямое наблюдение или натурный эксперимент сложноосуществимы, они присущи астрономии, гидрометеорологии, социальному моделированию, где невозможен управляемый эксперимент [1,2]. Математическое моделирование на основе методов квантовой химии и молекулярной динамики позволило предсказывать свойства молекул и материалов, получение которых на текущий момент технически затруднено [3]. Аналогичные исследования проводятся в области оптических метаматериалов [4]. Математическое моделирование в области биомедицины привело к возникновению термина in silico (наряду с in vivo и in vitro), обозначающего компьютерную модель некоторого биологического процесса [5].

Особенность модели, представляющей собой объект исследования, - высокая подробность. Требование достоверности делает необходимым учет всех процессов, имеющих место в данном приближении. В физике это приводит к возникновению понятия первопринципной модели (классической или квантовой, в зависимости от задачи). Достоверная модель in silico также подразумевает учет всех механизмов, которые могут быть связаны исследуемым биологическим процессом (например, рестенозом стентированной артерии), хотя целью исследования часто является выделение главного из них и доказательство незначительности прочих [6]. Иными словами, чтобы используемые

математические модели давали достоверные результаты, необходимы вычислительные эксперименты с очень большой степенью подробности. Это значительно увеличивает как время решения задачи, так и требования к ресурсам. Возникают задачи, принципиальное решение которых возможно только при использовании систем максимальной производительности. Так формируются задачи класса Grand Challenge.

Программа развития проектов класса Grand Challenge была впервые объявлена правительством США в 1987 г. [7]. Примерно в эти же годы нобелевский лауреат Kenneth G. Wilson в статье [8] осветил эту проблематику: был рассмотрен небольшой круг задач квантово-химического моделирования (потенциал применения методов математического моделирования в других областях на тот момент не вполне был раскрыт). В 2011 г. Advisory Committee for Cyberinfrastructure National Science Foundation выпустил доклад Task Force on Grand Challenges [9], обновленный список задач Grand Challenge включил также все перечисленные ранее.

Максимальных вычислительных ресурсов требуют задачи, отмеченные премией Гордона Белла (ACM Gordon Bell Prize). Данная премия вручается ежегодно начиная с 1987 г. за выдающиеся достижения в области высокопроизводительных вычислений. В последние годы премия вручалась за решение задач из следующих областей [10]: гидродинамика (2015 и 2013 гг.), молекулярная динамика (2014 и 2009 гг.), астрофизика (2012 и 2009 гг.), нанотехнологии (2011 и 2010 гг.), биомедицина (2010 г.).

В рамках широко известной программы Министерства энергетики США Innovative and Novel Computational Impact on Theory and Experiment program (INCITE) [11] сотни миллионов процессорочасов суперкомпьютерного времени выделяются наиболее важным исследовательским проектам. В 2014 г. поддержаны проекты [12] из следующих областей науки: атомистические модели (12 проектов - расчеты из первых принципов, 11 -молекулярная динамика), модели в рамках механики сплошных сред (17), астрофизические модели (4), физика плазмы (7), квантовая хромодинамика (2), физика ядра (1), computer science (4).

Начиная с 2010 г. аналогичная по масштабу европейская программа Partnership for Advanced Computing in Europe (PRACE) [13], поддерживаемая Еврокомиссией, регулярно распределяет суперкомпьютерное время между исследовательскими проектами.

Хорошие примеры сложных вычислительных задач, решаемых российскими исследователями, можно найти в ежегодно выпускаемых сборниках [14].

Использование композитных приложений - исполняемого представления шагов, необходимых для генерации результатов, - для моделирования является одним из наиболее мощных методов снижения вычислительной сложности задач класса Grand Challenge. Стоит отметить, что данный подход применим только для задач моделирования так называемых сложных систем, характеризующихся иерархией временных и пространственных масштабов. Например, задача фолдинга белка (формирования пространственной структуры) имеет одномасштабную структуру, так как процесс целиком относится к неравновесному состоянию, он может быть смоделирован только на основе метода молекулярной динамики.

Однако, даже с наличием концепции композитного приложения для моделирования сложных процессов важным вопросом становится создание удобной многофункциональной платформы, способной организовывать выполнение подобных приложений. На сегодняшний день существует огромное число различных решений, используемых как в научном мире, так и в индустрии [15].

В таблице 1.1 представлены наиболее известные системы, ориентированные на моделирование сложных задач и предоставляющие не только широкий спектр функциональных возможностей создания композитных приложений, но и различные механизмы работы с большими данными. С другой стороны, учитывая рост сложности решаемых задач и объем обрабатываемой информации, важными критериями становятся используемые методы оптимизации расчетов. В таблицу не включена платформа CLAVIRE, разработанная в НИИ наукоемких компьютерных технологий, поскольку данное решение обладает всеми максимальными показателями, за исключением расширенных возможностей создания композитных приложений (условных операторов, под-WF). Однако в данной работе далее будет продемонстрирована разработанная технология на основе платформы CLAVIRE, реализующая данные возможности.

Таблица 1.1- Технологии организации и выполнения композитных приложений

Крит ерий Airavata/ Xbaya Askalon Galaxy Java CoG Kit/ Karajan Kepler / Ptolemy Moteur Pegasus Taverna Triana Wings WS-VLAM Trident Swift

Модель DAG DCG DCG DCG DCG DAG DAG DAG, DCG DAG DAG DAG DCG

Тип интерфейса Eclipse BPEL Designer GUI GUI Web Textual GUI Via PGrade GUI Textual GUI Workbench GUI Textual GUI Textual Textual

Нотация BPEL 2.0, Apache ODE, SCUFL, DAGMA N, Jython UML, AGWL Template XML, Swift, Java, Python MoML (XML) SCUFL, Gwendia DAX SCUFL, SCUFL2, Ruby, Java XML, BPEL4 WS XML XML XML, C# XDTM SwfitScript

Условный оператор + + + + + + + + +

ta £ а + + + + + + +

Работа с данными HDD, DFS RAM, HDD, DFS HDD, DFS HDD, DFS HDD, DFS HDD, DFS RAM, HDD, DFS HDD, DFS HDD, DFS HDD, DFS HDD, DFS HDD, DFS RAM, HDD, DFS

Нативная интеграция с Большими Данными + + + /- + +/- +/-

Поддержка оптимизации Статика Динамика ,гибрид Динамика Статика, динамика Динамика Динамика Динам ика Статика Динамика

Ресурсы Grid Globus, clouds Clusters, clouds, Torque Globus Toolkit, Condor Globus, GridFTP GridRPC PBS, LSF, Condor, individual Grid, Cluster, local GridLa b GAT, GRMS, GRAM or Condor DagMan Grid WCF, Window s, GrayWol f cluster Grid, cluster

Области применения Общая Общая Анилиз генома Общая Биология, экология, геология, астрофиз ика, химия Общая Общая Анилиз генома Общая Общая Общая Общая Общая

Apache Airavata [16] представляет собой программную среду, которая позволяет объединять, выполнять многомасштабные приложения на распределенных вычислительных ресурсах (локальных кластерах, суперкомпьютерах, вычислительных Грид-системах и облачных системах), а также управлять ими. Airavata основывается на общих концепциях сервисно-ориентированных вычислений, распределенной передачи сообщений и композиции рабочих процессов. Airavata связывает серверный пакет с программным интерфейсом приложения (application programming interface, API), комплектами для разработки клиентских программ и графическим интерфейсом общего назначения ХВауа [17] для регистрации приложений, построения рабочего процесса и мониторинга. ХВауа обеспечивает простой в использовании графический пользовательский интерфейс для составления рабочих процессов из web-служб, описанных специализированным языком (Web Services Description Language).

Askalon [18] - это вычислительная среда для упрощения разработки и выполнения приложений на Грид-системах. Архитектура Askalon сосредоточена вокруг набора высокоуровневых сервисов для прозрачного и эффективного доступа к сетям (включая Scheduler для оптимизации сопоставления рабочих процессов на Грид-системах; Enactment Engine - для обеспечения надежности выполнения приложений; Resource Manager, охватывающий как компьютеры, так и компоненты приложения; Performance Prédiction, основанный на обучении и статистических методах). Усовершенствованный интерфейс программирования на основе языка разметки XML скрывает от пользователя информацию о программном обеспечении системы и позволяет создавать высокоуровневые композиции приложений рабочего процесса. Askalon используется для разработки научных приложений в проекте Austrian Grid.

Galaxy [19] - широко используемая web-платформа для интеграции и анализа данных в области биоинформатики. Galaxy доступна в виде бесплатного сервера, а также в виде программного обеспечения с открытым исходным кодом, которое может быть установлено локально и развернуто в облачной системе. С помощью Galaxy возможно проводить анализ больших и разнообразных наборов данных, характерных для биомедицинских исследований. Galaxy обладает надежным механизмом, который автоматически записывает все операции с данными, метаданными и процесс их анализа,

позволяя выполнять шаги анализа повторно и запускать процесс снова с использованием тех же или разных данных.

Java CoG Kit / Karajan [20] представляет многофункциональную систему, которая помогает в управлении процессами для различных вычислительных сред. Процессы в Java CoG Kit управляются с использованием Java API, предоставляющего наборы задач, очереди и направленные ациклические графы (DAG). Альтернативным способом является использование расширяемого языка сценариев с синтаксисом XML. Решение Java CoG Kit предоставляет библиотеку для абстрактных, высокоинтенсивных, асинхронных задач, которая объединяет общие задачи для вычислений на Грид-системах: отправка задачи, передача файлов, файловые операции.

Kepler/Ptolemy [21] разработан с целью помощи ученым, аналитикам и программистам, чтобы создавать модели для широкого круга научных и инженерных дисциплин и делиться ими. Kepler работает с данными, хранящимися в различных форматах, локально и через Интернет, и является эффективной средой для интеграции разрозненных программных компонентов, написанных на разных языках, и для облегчения удаленного, распределенного выполнения моделей. Используя графический пользовательский интерфейс Kepler, пользователи выбирают соответствующие аналитические компоненты и источники данных и соединяют их с целью создания «научного композитного приложения». Программное обеспечение Kepler помогает пользователям совместно использовать (в том числе повторно) данные, приложения и компоненты, разработанные научным сообществом для удовлетворения общих потребностей.

MOTEUR [22] - это диспетчер приложений на основе сервисов, предназначенный для эффективной обработки приложений с интенсивным использованием данных на Грид-инфраструктурах. Он использует несколько уровней параллелизма и может группировать службы для сокращения времени выполнения рабочего процесса. Кроме того, MOTEUR применяет общую обертку web-сервисов, чтобы упростить использование устаревших или не обслуживаемых кодов. MOTEUR позволяет работать с динамическими потоками данных и поддерживает несколько стратегий для объединения данных и оптимизации вычислительного процесса. MOTEUR позволяет определять точную семантику потоков данных для комплексных приложений с интенсивным использованием данных.

Pegasus [23] - это система для отображения сложных научных приложений на распределенные ресурсы. Pegasus позволяет пользователям представлять композитные приложения на абстрактном уровне, не беспокоясь о конкретных деталях систем исполнения. Pegasus используется в ряде приложений различных научных областей, таких как физика гравитационных волн, физика высоких энергий, биология. Pegasus позволяет пользователю запускать приложения через несколько гетерогенных ресурсов, распределенных в широкой области, в то же время скрывая от него особенности конкретной системы. С точки зрения производительности основные преимущества Pegasus относятся к описанию, отображению и исполнению приложений. В случае выхода из строя некоторых ресурсов или добавления новых Pegasus использует знания о структуре приложения для оптимизации. Для сокращения накладных расходов Pegasus объединяет некоторые задачи.

Taverna [24] - это независимая система управления композитными приложениями, это набор инструментов, используемых для разработки и выполнения научных приложений. Taverna написана на языке Java и включает в себя движок Taverna Engine (используется для создания композитных приложений), который включает в себя Taverna Workbench (настольное клиентское приложение) и Taverna Server (выполняет удаленные приложения). Taverna также доступна в виде инструмента командной строки для быстрого выполнения задач с терминала без накладных расходов графического интерфейса. Taverna автоматизирует экспериментальные методы за счет использования ряда различных (локальных или удаленных) сервисов из разнообразного набора областей - от биологии, химии и медицины до музыки, метеорологии и социальных наук. Фактически Taverna техническими ресурсами и поддержкой позволяет ученому, имеющему знания лишь в области вычислений, выполнять очень сложный анализ данных и вычислительных ресурсов.

Triana [25] - это разработанная в Университете Кардиффа среда разработки с открытым исходным кодом для решения задач. Triana сочетает в себе интуитивно понятный визуальный интерфейс с мощными инструментами анализа данных для обработки сигналов, текста и изображений. Triana содержит большую библиотеку инструментов анализа и включает в себя возможности для пользователей легко интегрировать собственные инструменты. Первоначально Triana была разработана, чтобы

помочь ученым, изучающим гравитационным волны, создавать и запускать алгоритмы анализа данных. Объектно-ориентированный подход на основе компонентов позволяет ученым легко создавать алгоритмы, которые соответствуют определенному согласованному набору типов данных и могут адаптироваться к различным внутренним параметрам (размер, разрешение и т. д.).

WINGS [26] - это семантическая система, которая помогает ученым в разработке вычислительных экспериментов. Вычислительный эксперимент определяет, как выбранные наборы данных должны обрабатываться рядом программных компонентов в конкретной конфигурации. Ученые используют вычислительные эксперименты, например, для оценки сейсмической опасности путем моделирования прогнозов землетрясений. Уникальной особенностью WINGS является то, что представления рабочего процесса включают семантические ограничения в отношении наборов данных и компонентов рабочего процесса. WINGS объясняет свойства и ограничения компонентов с целью создания и проверки рабочих процессов и создания метаданных для новых продуктов данных. WINGS использует Pegasus или Apache Object Oriented Data Technology в качестве механизма выполнения широкомасштабного распределенного композитного приложения.

WS-VLAM [27] - это система управления композитными приложениями, ориентированная на поддержку эффективного и масштабируемого выполнения больших рабочих приложений на Грид-системах. Ядро WS-VLAM использует возможности, предоставляемые промежуточным программным обеспечением, например, делегирование или диспетчеризацию ресурсов Грида. Композитное приложение создается путем отправки описания рабочего процесса для службы Engine Factory. Для каждого представленного приложения Engine Factory создает отдельный экземпляр WS-VLAM Engine Instance Service, который отправляет приложение на соответствующие ресурсы и контролирует его выполнение. Взаимодействие между клиентом и WS-VLAM обеспечивается с помощью основанного на End Point Reference стандартного механизма, определенного в спецификации, для идентификации и контроля различных экземпляров WS-VLAM и связанных с ними работ, потоков.

Trident [28] - это набор основанных на Windows Workflow Foundation инструментов для гибкого и мощного анализа больших и разнообразных наборов данных.

Он включает графические инструменты для создания, запуска, управления и совместного использования рабочих процессов. Trident Workflow Composer предоставляет графические инструменты для создания рабочих процессов. Для больших наборов данных Trident может одновременно запускать несколько рабочих процессов в кластере Windows НРС Server 2008. Модель безопасности Trident поддерживает пользователей и роли, которые позволяют ученым контролировать права доступа к своим рабочим потокам. Trident поддерживает библиотеки композитных приложений, версии приложений и связанных с ними данных; каждый пользователь может иметь личную библиотеку приложения. Project Trident предоставляет инфраструктуру для добавления исполняемых сервисов и поставляется с такими сервисами для публикации и подписки на данные рабочей среды приложения. Разработчики могут расширять Trident, внедряя пользовательские компоненты для обработки специализированных требований к обработке с целью сбора, анализа и визуализации данных. С 2013 года проект заморожен.

Swift - система [29] предназначена для параллельных или распределенных многомасштабных ресурсоемких вычислений пользователями, не обладающими соответствующим опытом. Язык сценариев SwiftScript обеспечивает высокоуровневую спецификацию рабочих процессов, которые вызывают различные прикладные программы на потенциально большом количестве данных. Swift обеспечивает эффективное выполнение этих рабочих процессов на последовательности компьютеров, параллельно организованных компьютерах и/или распределенных сетях, которые объединяют вычислительные ресурсы. Swift отслеживает операции с важными функциями, которые часто вызывают трудности при вычислениях. Swift использует программное обеспечение Globus для таких функций, как аутентификация, передача данных и удаленный вызов задачи. Другие возможности Swift позволяют пользователю возобновить рабочий процесс после любого сбоя, сгруппировать кратковременные приложения для более эффективного удаленного выполнения и визуализировать ход выполнения рабочего процесса.

Список литературы диссертационного исследования кандидат наук Вишератин Александр Александрович, 2017 год

Список литературы

1. Bousquet F., Le Page С. Multi-agent simulations and ecosystem management: A review // Ecol. Modell. Elsevier, 2004. Vol. 176, № 3-4. P. 313-332.

2. Fosalba P. et al. The MICE grand challenge light-cone simulation - III. Galaxy lensing mocks from all-sky lensing maps // Mon. Not. R. Astron. Soc. Oxford University Press, 2015. Vol. 447, № 2. P. 1319-1332.

3. Page A.J. et al. Insights into carbon nanotube and graphene formation mechanisms from molecular simulations: a review // Reports Prog. Phys. IOP Publishing, 2015. Vol. 78, № 3. P. 36501.

4. O'Brien K. et al. Predicting nonlinear properties of metamaterials from the linear response //Nat. Mater. 2015. Vol. 14, № 4. P. 379-383.

5. Tubic M. et al. In silico modeling of non-linear drug absorption for the P-gp substrate talinolol and of consequences for the resulting pharmacodynamic effect // Pharm. Res. Springer US, 2006. Vol. 23, № 8. P. 1712-1720.

6. Sloot P.M. A., Hoekstra A.G. Multi-scale modelling in computational biomedicine // Brief. Bioinform. Oxford University Press, 2010. Vol. 11, № 1. P. 142-152.

7. Sawyer M., Parsons M. A Strategy for Research and Innovation through High Performance Computing. 2011.

8. Wilson K.G. Grand challenges to computational science // Futur. Gener. Comput. Syst. North-Holland, 1989. Vol. 5, № 2-3. P. 171-189.

9. Oden J.T. et al. National Science Foundation Advisory Committee for Cyberinfrastructure Task Force on Grand Challenges. 2011. 91 p.

10. ACM Gordon Bell Prize. Innovations in applying high-performance computing to science, engineering, and large-scale data analytics [Electronic resource] // ACM, Inc. URL: http://awards.acm.org/bell/award-winners (accessed: 12.10.2017).

11. INCITE LEADERSHIP COMPUTING [Electronic resource] // DOE LEADERSHIP COMPUTING. URL: http://www.doeleadershipcomputing.org/(accessed: 12.10.2017).

12. Стегайлов В.В., Норман Е.Э. Проблемы развития суперкомпьютерной отрасли в России: взгляд пользователя высокопроизводительных систем // Программные системы теория и приложения. 2014. Vol. 5, № 1. Р. 111-152.

13. PRACE [Electronic resource], URL: http://www.prace-ri.eu/ (accessed: 09.10.2017).

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

Суперкомпьютерные технологии в науке, образовании и промышленности: Альманах / ed. Садовничего В.А., Савина Г.И., Воеводина В.В. Москва: Изд-во Московского ун-та, 2014. 216 р.

Sukhoroslov О., Volkov S., Afanasiev A. A web-based platform for publication and distributed execution of computing applications // Parallel and Distributed Computing (ISPDC), 2015 14th International Symposium on. 2015. P. 175-184. Apache Airavata [Electronic resource] // The Apache Software Foundation. URL: http://airavata.apache.org/ (accessed: 13.10.2017).

Shirasuna S. XBaya. A Graphical Workflow Composer for Web Services [Electronic resource], URL: http://www.extreme.indiana.edu/xbaya/ (accessed: 13.10.2017). Fahringer Т. et al. ASKALON: A grid application development and computing environment//Proc. 6th IEEE/ACM Int. Work. Grid Comput. 2005. P. 122-131. Giardine B. et al. Galaxy: A platform for interactive large-scale genome analysis // Genome Res. Cold Spring Harbor Laboratory Press, 2005. Vol. 15, № 10. P. 1451-1455. Von Laszewski G., Hategan M., Kodeboyina D. Java CoG Kit Workflow. The Kepler Project [Electronic resource], URL: https://kepler-project.org/ (accessed: 13.10.2017).

Glatard T. et al. MOTEUR: a data-intensive service-based workflow manager. 2006. P. 37.

Deelman E. et al. Pegasus: a Framework for Mapping Complex Scientific Workflows onto Distributed Systems.

Apache Taverna [Electronic resource] // The Apache Software Foundation. URL: https://taverna.incubator.apache.org/introduction/ (accessed: 13.10.2017). Triana [Electronic resource] // Cardiff University. 2012. URL: http://www.trianacode.org/index.php (accessed: 13.10.2017).

Wings [Electronic resource], URL: http://www.wings-workflows.org/about (accessed: 13.10.2017).

Korkhov V. et al. WS-VLAM: Towards a Scalable Workflow System on the Grid // Computer. 2007. P. 63-68.

Project Trident: A Scientific Workflow Workbench [Electronic resource], URL: https://tridentworkflow.codeplex.com/ (accessed: 13.10.2017).

29. Stef-Praun T. et al. Accelerating medical research using the swift workflow system. // Stud. Health Technol. Inform. NM Public Access, 2007. Vol. 126. P. 207-216.

30. Apache Cassandra Documentation v4.0 [Electronic resource] // The Apache Software Foundation. URL: http://cassandra.apache.org/doc/latest/ (accessed: 29.09.2017).

31. PostgreSQL Documentation [Electronic resource] // The PostgreSQL Global Development Group. URL: https://www.postgresql.org/docs/ (accessed: 29.09.2017).

32. SAP HANA [Electronic resource], URL: https://www.sap.com/products/hana.html (accessed: 29.09.2017).

33. SciDB Documentation 15.12 [Electronic resource] // Paradigm4 Inc. URL: https://paradigm4.atlassian.net/wiki/spaces/ESD/overview (accessed: 29.09.2017).

34. Introducing Apache Kudu [Electronic resource] // The Apache Software Foundation. URL: https://kudu.apache.org/docs/ (accessed: 29.09.2017).

35. DataStax Docs Home [Electronic resource] // DataStax, Inc. URL: http://docs.datastax.com/en/landing_page/doc/landing_page/current.html (accessed: 29.09.2017).

36. Aerospike Documentation [Electronic resource] // Aerospike Inc. URL: http://www.aerospike.com/docs/ (accessed: 29.09.2017).

37. Microsoft SQL Server Technical Documentation [Electronic resource], URL: https://docs.microsoft.com/en-us/sql/sql-server/sql-server-technical-documentation (accessed: 29.09.2017).

38. About RRDtool [Electronic resource] // Tobias Oetiker | OETIKER+PARTNER AG. URL: https://oss.oetiker.ch/rrdtool/ (accessed: 29.09.2017).

39. Sky [Electronic resource], URL: https://github.com/Shopify/sky (accessed: 29.09.2017).

40. Netflix Atlas [Electronic resource], URL: https://github.com/Netflix/atlas/wiki (accessed: 29.09.2017).

41. The Warp 10 Platform [Electronic resource] // Cityzen Data. URL: http://www.warplO.io/ (accessed: 29.09.2017).

42. Earnest J. The Kerf Programming Language [Electronic resource], URL: https://github.com/kevinlawler/kerf/blob/master/manual/refmanual.pdf (accessed: 29.09.2017).

43. MonetDB. Documentations [Electronic resource] // MonetDB B.V. URL:

44

45

46

47

48

49

50

51

52

53

54

55

56

57

https://www.monetdb.org/Documentation (accessed: 29.09.2017).

Getting Started with DalmatinerDB [Electronic resource], URL: https://dalmatiner.readme.io/docs (accessed: 29.09.2017).

Leong S.H., Frank A., Kranzlmüller D. Leveraging e-infrastructures for urgent computing // Procedia Computer Science. Elsevier, 2013. Vol. 18. P. 2177-2186. PRACE [Electronic resource].

Towns J. et al. Accelerating Scientific Discovery // Comput. Sei. Eng. 2014. Vol. 16, № October. P. 62-74.

Bubak M., Kitowski J., Wiatr K. eScience on Distributed Computing Infrastructure -Achievements of PLGrid Plus Domain-Specific Services and Tools. 2014. Vol. 8500. XSEDE. XSEDE Metascheduling [Electronic resource], URL: https://www.xsede.org/metascheduling. (accessed: 09.10.2017).

Amazon. Amazon EC2 instance types [Electronic resource], URL:

https://aws.amazon.com/ru/ec2/instance-types/ (accessed: 09.10.2017).

Beckman P. et al. SPRUCE: A System for Supporting Urgent High-Performance

Computing.

Catlett C. et al. TeraGrid: Analysis of Organization, System Architecture, and Middleware

Enabling New Types of Applications // Grandinetti. IOS Press, 2008.

Leong S.H., Frank A., Kranzlmüller D. Leveraging e-infrastructures for urgent computing

// Procedia Computer Science. Elsevier, 2013. Vol. 18. P. 2177-2186.

Sukhoroslov O.V., Nazarenko A.M. Comparative study of scheduling algorithms for

distributed computing environments // Progr. Syst. Theory Appl. Program Systems

Institute of the Russian Academy of Sciences, Pereslavl'-Zalesskii, 2017. Vol. 8, № 1. P.

63-81.

Ramakrishnan L. et al. VGrADS: Enabling e-Science Workflows on Grids and Clouds with Fault Tolerance.

Calheiros R.N., Buyya R. Meeting Deadlines of Scientific Workflows in Public Clouds with Tasks Replication // IEEE Trans. Parallel Distrib. Syst. 2014. Vol. 25, № 7. P. 1787-1796.

Rahman M. et al. Adaptive workflow scheduling for dynamic grid and cloud computing environment// Concurr. Comput. Pr. Exper. 2013. Vol. 25. P. 1816-1842.

58. Fard H.M. et al. A Multi-objective Approach for Workflow Scheduling in Heterogeneous Environments // 2012 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (ccgrid 2012). IEEE, 2012. P. 300-309.

59. Durillo J.J., Prodan R. Workflow Scheduling in Amazon EC2 // Work. Large Scale Distrib. Virtual Environ. Clouds P2P. 2013. № February. P. 374-383.

60. Shi Z., Dongarra J.J. Scheduling workflow applications on processors with different capabilities // Futur. Gener. Comput. Syst. North-Holland, 2006. Vol. 22, № 6. P. 665-675.

61. Mao M., Humphrey M. Auto-scaling to minimize cost and meet application deadlines in cloud workflows // Proceedings of 2011 International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '11. 2011. P. 1.

62. Abrishami S., Naghibzadeh M., Epema D. Cost-driven Scheduling of Grid Workflows Using Partial Critical Paths // IEEE/ACM International Workshop on Grid Computing. 2010. P. 25-28.

63. Abrishami S., Naghibzadeh M., Epema D.H.J. Deadline-constrained workflow scheduling algorithms for Infrastructure as a Service Clouds // Futur. Gener. Comput. Syst. 2013. Vol. 29, № 1. P. 158-169.

64. Wieczorek M., Hoheisel A., Prodan R. Towards a general model of the multi-criteria workflow scheduling on the grid // Futur. Gener. Comput. Syst. 2009. Vol. 25, № 3. P. 237-256.

65. Sakellariou R., Zhao H. A hybrid heuristic for DAG scheduling on heterogeneous systems //Parallel Distrib. Process. Symp. 2004. Proceedings. 18th Int. 2004. P. 111-123.

66. Yu Z., Shi W. An adaptive rescheduling strategy for grid workflow applications // Proceedings - 21st International Parallel and Distributed Processing Symposium, IPDPS 2007; Abstracts and CD-ROM. 2007.

67. Sakellariou R., Zhao H. A hybrid heuristic for DAG scheduling on heterogeneous systems //Parallel Distrib. Process. Symp. 2004. Proceedings. 18th Int. 2004. P. 111-123.

68. Yu Z., Shi W. An adaptive rescheduling strategy for grid workflow applications // Proceedings - 21st International Parallel and Distributed Processing Symposium, IPDPS 2007; Abstracts and CD-ROM. 2007.

69. Liu L. et al. Deadline-constrained coevolutionary genetic algorithm for scientific

workflow scheduling in cloud computing; Deadline-constrained revolutionary genetic algorithm for scientific workflow scheduling in cloud computing // Concurr. Comput. Pr. Exper. 2016. P. 1-12.

70. Zhou N. et al. A list scheduling algorithm for heterogeneous systems based on a critical node cost table and pessimistic cost table // Concurr. Comput. Pract. Exp. 2017. Vol. 29, № 5. P. e3944.

71. Abdulhamid S.M. et al. Secure Scientific Applications Scheduling Technique for Cloud Computing Environment Using Global League Championship Algorithm // PLoS One. 2016. Vol. 11, № 7. P. e0158102.

72. Chen H. et al. EONS: Minimizing Energy Consumption for Executing Real-Time Workflows in Virtualized Cloud Data Centers // Proc. Int. Conf. Parallel Process. Work. 2016. Vol. 2016-Septe, № February 2017. P. 385-392.

73. Stonebraker M. The architecture of SciDB // Scientific and Statistical Database Management. 2011. P. 1-16.

74. Soroush E. et al. Efficient iterative processing in the SciDB parallel array engine // Proceedings of the 27th International Conference on Scientific and Statistical Database Management - SSDBM '15. 2015. № 2. P. 1-6.

75. Samsi S. et al. Benchmarking SciDB data import on HPC systems // 2016 IEEE High Performance Extreme Computing Conference, HPEC 2016. 2016.

76. Liu H. et al. Managing Large Multidimensional Array Hydrologic Datasets: A Case Study Comparing NetCDF and SciDB //Procedia Engineering. 2016. Vol. 154. P. 207-214.

77. Palamuttam R. et al. SciSpark: Applying in-memory distributed computing to weather event detection and tracking // Proceedings - 2015 IEEE International Conference on Big Data, IEEE Big Data 2015. 2015. P. 2020-2026.

78. Buck J.B. et al. SciHadoop: Array-based Query Processing in Hadoop // Proc. 2011 Int. Conf. High Perform. Comput. Networking, Storage Anal. - SC '11. 2011. P. 1.

79. Schnase J.L. et al. MERRA Analytic Services: Meeting the Big Data challenges of climate science through cloud-enabled Climate Analytics-as-a-Service // Comput. Environ. Urban Syst. 2017. Vol. 61. P. 198-211.

80. Malensek M., Lee Pallickara S., Pallickara S. Exploiting geospatial and chronological characteristics in data streams to enable efficient storage and retrievals // Futur. Gener.

Comput. Syst. 2013. Vol. 29, № 4. P. 1049-1061.

81. Antunes M., Gomes D., Aguiar R. Scalable Semantic Aware Context Storage // Futur. Gener. Comput. Syst. 2016. Vol. 56. P. 675-683.

82. Mokbel M.F., Aref W.G., Kamel I. Analysis of Multi-Dimensional Space-Filling Curves // Geoinformatica. 2003. Vol. 73, № 179.

83. Lawder J.K., King P.J.H. Using space-filling curves for multi-dimensional indexing // Lect. notes Comput. Sei. Springer, Berlin, Heidelberg, 2000. Vol. 1832. P. 20-35.

84. Hilbert D. Ueber die stetige Abbildung einer Linie auf ein Flaechenstueck // Math. Ann. 1891. Vol. 38, № 3. P. 459-460.

85. Morton G.M. A computer oriented geodetic data base and a new technique in the file sequencing. New York : International Business Machines Company, 1966. P. 20.

86. Denes B. Using space-filling curves for multi- dimensional indexing [Electronic resource], 2014. URL: https://pdfs.semanticscholar.org/32el/d2b395538bb9af876580374aa86915c659ß.pdf (accessed: 12.10.2017).

87. Fox A. et al. Spatio-temporal Indexing in Non-relational Distributed Databases // 2013 IEEE Int. Conf. Big Data. 2013. P. 291-299.

88. Li S. et al. Pyro: A Spatial-Temporal Big-Data Storage System // Proceedings of the 2015 USENIX Conference on Usenix Annual Technical Conference. Santa Clara, CA: USENIX Association, 2015. P. 97-109.

89. Tadmor E.B., Ortiz M., Phillips R. Quasicontinuum analysis of defects in solids // Philos. Mag. A Phys. Condens. Matter, Struct. Defects Mech. Prop. Taylor & Francis Group, 1996. Vol. 73, № 6. P. 1529-1563.

90. Weinan E. Principles of Multiscale Modeling. New York: Cambridge University Press,

2011. 466 p.

91. Horstemeyer M.F. Multiscale modeling: A review // Practical Aspects of Computational Chemistry: Methods, Concepts and Applications. Dordrecht: Springer Netherlands, 2010. P. 87-135.

92. Horstemeyer M.F. Integrated Computational Materials Engineering (ICME) for Metals: Using Multiscale Modeling to Invigorate Engineering Design with Science. TMS-Wiley,

2012.

93. Богданов А.В., Дегтярев А.Б., Храмушнн В.Н. Высокопроизводительные вычисления на гибридных системах: будут ли решены «задачи большого вызова»? // Компьютерные исследования и моделирование. 2015. Vol. 7, № 3. Р. 429-437.

94. Baeurle S.A. Multiscale modeling of polymer materials using field-theoretic methodologies: A survey about recent developments // J. Math. Chem. Springer Netherlands, 2009. Vol. 46, № 2. P. 363-426.

95. Voronina E.N. Multiscale simulation of polymer nanocomposites // Phys. At. Nucl. 2011. Vol. 74, № 11. P. 1623-1643.

96. Куксин А.Ю. et al. Зачем и какие нужны суперкомпьютеры эксафлопсного класса? Предсказательное моделирование свойств и многомасштабных процессов в материаловедении // Программные системы теория и приложения. 2014. № 19. Р. 191-244.

97. Ковалев В.Л., Крупнов А.А., Погосбекян М.Ю., Якунчиков А.Н. Многомасштабное моделирование взаимодействия газа с поверхностью // Вестник Нижегородского университета им. Н.И. Лобачевского, т. 4. № 2. с. 465-467.

98. Adamson, S.; Astapenko, V.; Chernysheva, I.; Chorkov, V.; Deminsky, M.; Demchenko, G.; Demura, A.; Demyanov, A.; et al. (2007). Multiscale multiphysics nonempirical approach to calculation of light emission properties of chemically active nonequilibrium p.

99. Дымников В., Лыкосов В., Володин Е. Моделирование климата и его изменений: современные проблемы // Вестник Российской академии наук. 2012. Т. 82, № 3. С. 227-236.

100. Andrew J. Majda. Multiscale Models with Moisture and Systematic Strategies for Superparameterization // J. Atmos. Sci., 64, 2726-2734.

101. Tao W.K., Chern J.D., Atlas R. et al. A multiscale modeling system // Bull. Amer. Met. Soc. 2009. V. 90.

102. A. Arakawaa, J.-H. Jung. Multiscale modeling of the moist-convective atmosphere A review // Atmospheric Research. Vol. 102, Iss. 3. November 2011. P. 263-285.

103. Ковальчук С.В. Высокопроизводительный программный комплекс моделирования экстремальных гидрометеорологических явлений. Диссертация на соискание ученой степени кандидата технических наук. Санкт-Петербург 2008.

104. Cristiani Е., Piccoli В., Tosin A. Multiscale Modeling of Pedestrian Dynamics. 2014.

105. J.Cheng, I.Masser. Modelling urban growth patterns: A multiscale perspective. Environment and Planning, 35,679-704. 2003.

106. Baklanov, A. A. and Nuterman, R. B.: Multi-scale atmospheric environment modelling for urban areas, Adv. Sci. Res. 2009, 3, 53-57.

107. URBAN CENTER FOR COMPUTATION AND DATA [Electronic resource], URL: http://www.urbanccd.org/ (accessed: 12.10.2017).

108. Grinberg L., Insley J.A., Fedosov D., Morozov V., Papka M.E., Karniadakis G.E. Tightly coupled atomistic-continuum simulations of brain blood flow on petaflop supercomputers // Computing in Science and Engineering. 2012. V.14. N6. P.58-67.

109. Sloot P.M. A., Hoekstra A.G. Multi-scale modelling in computational biomedicine // Brief. Bioinform. Oxford University Press, 2010. Vol. 11, № 1. P. 142-152.

110. Warshel A., Levitt M. Theoretical studies of enzymic reactions: Dielectric, electrostatic and steric stabilization of the carbonium ion in the reaction of lysozyme // J. Mol. Biol. Academic Press, 1976. Vol. 103, № 2. P. 227-249.

111. Sun G., Zhao Y., Liang W. Z. Aggregation-induced emission mechanism of dimethoxy-tetraphenylethylene in water solution: Molecular dynamics and QM/MM investigations //Journal of Chemical Theory and Computation. 2015. T. 11. № 5. P. 2257-2267.

112. Kumar R. P. et al. Docking, molecular dynamics and QM/MM studies to delineate the mode of binding of CucurbitacinE to F-actin //Journal of Molecular Graphics and Modelling. 2016. Vol. 63. P. 29-37.

113. Dubey K.D., Wang B., Shaik S. Molecular Dynamics and QM/MM Calculations Predict the Substrate-Induced Gating of Cytochrome P450 BM3 and the Regio- and Stereoselectivity of Fatty Acid Hydroxylation // J. Am. Chem. Soc. American Chemical Society, 2016. Vol. 138, № 3. P. 837-845.

114. Konda Reddy K., Kumar Singh S. Insight into the Binding Mode between N-Methyl Pyrimidones and Prototype Foamy Virus Integrase-DNA Complex by QM-Polarized Ligand Docking and Molecular Dynamics Simulations //Current topics in medicinal chemistry. 2015. Vol.

115. Borg M.K., Nicholls W.D., Reese J.M. Hybrid molecular dynamics and Navier-Stokes method in complex nanoflow geometries.

116. Liu J., Nie X. A hybrid continuum-atomistic simulation of heat transfer in micro flow //

Am. Phys. Soc. 58th Annu. Meet. Div. Fluid Dyn. Novemb. 20-22, 2005, Abstr. #KC.005. 2005.

117. Wang J. et al. Domain-decomposition method for parallel lattice Boltzmann simulation of incompressible flow in porous media // Phys. Rev. E. American Physical Society, 2005. Vol. 72, № 1. P. 16706.

118. Lee Y., Basaran C. A multiscale modeling technique for bridging molecular dynamics with finite element method //Journal of Computational Physics. 2013. Vol. 253. P. 64-85.

119. Krause D., Fackeldey K., Krause R. A parallel multiscale simulation toolbox for coupling molecular dynamics and finite elements //Singular Phenomena and Scaling in Mathematical Models. Springer International Publishing, 2014. P. 327-346.

120. Weinan E. et al. Heterogeneous Multiscale Methods : A Review // Physics (College. Park. Md). 2007. Vol. 2, № 3. P. 367-450.

121. Asproulis N., Kalweit M., Drikakis D. A hybrid molecular continuum method using point wise coupling //Advances in Engineering Software. 2012. Vol. 46. № 1. P. 85-92.

122. Borg M. K., Lockerby D. A., Reese J. M. Fluid simulations with atomistic resolution: a hybrid multiscale method with field-wise coupling //Journal of Computational Physics. 2013. Vol. 255. P. 149-165.

123. Pleunis Z. Shear-Induced Transport of Platelets in a Red Blood Cell Suspension. 2014.

124. Svitenkov A. I. et al. Fluid Simulations with Atomistic Resolution: Multiscale Model with Account of Nonlocal Momentum Transfer//Procedia Computer Science. 2015. Vol. 51. P. 1108-1117.

125. Cubero D., Yaliraki S.N. Inhomogeneous multiscale dynamics in harmonic lattices // J. Chem. Phys. American Institute of Physics, 2005. Vol. 122, № 3. P. 34108.

126. Hijon C. et al. Mori-Zwanzig formalism as a practical computational tool //Faraday discussions. 2010. Vol. 144. P. 301-322.

127. Li S., Sheng N., Liu X. A non-equilibrium multiscale simulation paradigm //Chemical Physics Letters. 2008. Vol. 451. № 4. P. 293-300.

128. Zeng Q. H., Yu A. B., Lu G. Q. Multiscale modeling and simulation of polymer nanocomposites //Progress in Polymer Science. 2008. Vol. 33. № 2. P. 191-269.

129. Tsai J. L., Tzeng S. H., Chiu Y. T. Characterizing elastic properties of carbon nanotubes/polyimide nanocomposites using multi-scale simulation //Composites Part B:

Engineering. 2010. Vol. 41. № 1. P. 106-115.

130. Tinsley Oden J. et al. Multiscale modeling of physical phenomena: Adaptive control of models //SIAM Journal on Scientific Computing. 2006. Vol. 28. № 6. P. 2359-2389.

131. Caiazzo A. et al. Error investigations in complex automata models for reaction-diffusion systems //Cellular Automata. Springer Berlin Heidelberg, 2008. P. 260-267.

132. Wright E.T., Thomas E. Bayesian learning methods for potential energy parameter inference in coarse-grained models of atomistic systems. 2015.

133. Sokkar P. et al. Hybrid Quantum Mechanics/Molecular Mechanics/Coarse Grained Modeling: A Triple-Resolution Approach for Biomolecular Systems //Journal of Chemical Theory and Computation. 2015. Vol. 11. № 4. P. 1809-1818.

134. Zun P., Svitenkov A. Modelling of ion convection during electrochemical oxidation of aluminium // J. Phys. Conf. Ser. IOP Publishing, 2014. Vol. 541, № 1. P. 12025.

135. Wang J. et al. Domain-decomposition method for parallel lattice Boltzmann simulation of incompressible flow in porous media // Phys. Rev. E. American Physical Society, 2005. Vol. 72, № 1. P. 16706.

136. Hoekstra A. G. et al. Multi-scale modeling with cellular automata: The complex automata approach//Cellular automata. Springer Berlin Heidelberg, 2008. P. 192-199.

137. Kevrekidis I.G., Samaey G. Equation-Free Multiscale Computation: Algorithms and Applications // Annu. Rev. Phys. Chem. Annual Reviews, 2009. Vol. 60, № l.P. 321-344.

138. Springel V. The cosmological simulation code GADGET-2 // Monthly Notices of the Royal Astronomical Society. Oxford University Press, 2005. Vol. 364, № 4. P. 1105-1134.

139. Portegies Zwart S. et al. A parallel gravitational N-body kernel // New Astron. North-Holland, 2008. Vol. 13, № 5. P. 285-295.

140. Halfst S. et al. A hybrid N-body code incorporating algorithmic regularization and post-Newtonian forces // Mon. Not. R. Astron. Soc. Oxford University Press, 2008. Vol. 389, № 1. P. 2-12.

141. Röpke F.K., Bruckschen R. Thermonuclear Supernovae: A multi-scale astrophysical problem challenging numerical simulations and visualization // New J. Phys. IOP Publishing, 2008. Vol. 10, № 12. P. 125009.

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

Toth G. et al. Space weather modeling framework: A new tool for the space science

community // J. Geophys. Res. Sp. Phys. 2005. Vol. 110, № A12. P. A12226.

SWMF - Space Weather Modeling Framework [Electronic resource] // Regents of the

University of Michigan. URL: http://csem.engin.umich.edu/tools/swmf (accessed:

12.10.2017).

Cactus code [Electronic resource], URL: http://cactuscode.org/ (accessed: 12.10.2017). Goodale T. et al. The Cactus Framework and Toolkit: Design and Applications. Springer, Berlin, Heidelberg, 2003. P. 197-227.

AMUSE project [Electronic resource], URL: www.amusecode.org (accessed: 12.10.2017).

Portegies Zwart S.F. et al. Multi-physics simulations using a hierarchical interchangeable software interface // Comput. Phys. Commun. North-Holland, 2013. Vol. 184, № 3. P. 456-468.

Fryxell B. et al. FLASH: An Adaptive Mesh Hydrodynamics Code for Modeling Astrophysical Thermonuclear Flashes // Astrophys. J. Suppl. Ser. IOP Publishing, 2000. Vol. 131, № 1. P. 273-334.

GridSpace [Electronic resource] // ACC Cyfronet AGH. URL: http://dice.cyfronet.pl/products/gridspace (accessed: 12.10.2017).

MUSCLE 2 [Electronic resource], URL: http://www.qoscosgrid.org/trac/muscle (accessed: 12.10.2017).

Mission of Coast [Electronic resource], 2010. URL: http://www.complex-automata.org (accessed: 12.10.2017).

Hill D.J. Nuclear energy for the future // Commentary. 2008. Vol. 7, № 9.

Manduchi G. et al. A universal access layer for the Integrated Tokamak Modelling Task

Force // Fusion Eng. Des. North-Holland, 2008. Vol. 83, № 2-3. P. 462-466.

Wilde M. et al. Parallel scripting for applications at the petascale and beyond // Computer

(Long. Beach. Calif). 2009. Vol. 42, № 11. P. 50-60.

Lucia A. Multi-scale methods and complex processes: A survey and look ahead // Comput. Chem. Eng. Pergamon, 2010. Vol. 34, № 9. P. 1467-1475. Li J., Kwauk M. Exploring complex systems in chemical engineering - The multi-scale methodology // Chem. Eng. Sei. Pergamon, 2003. Vol. 58, № 3-6. P. 521-535.

157. Detached Eddy Simulation for Industrial Aerodynamics [Electronic resource] // DESider. URL: http://cfd.mace.manchester.ac.uk/desider/index2.html (accessed: 12.10.2017).

158. Flow Physics Modelling An Integrated Approach [Electronic resource] // FLOMANIA Project. URL: http://cfd.mace.manchester.ac.uk/flomania/index2.html (accessed: 12.10.2017).

159. Martin D.F. et al. Adaptive mesh refinement for multiscale nonequilibrium physics // Comput. Sci. Eng. 2005. Vol. 7, № 3. P. 24-31.

160. Cueto E., Laso M., Chinesta F. MESHLESS STOCHASTIC SIMULATION OF MICRO-MACRO KINETIC THEORY MODELS // J. Multiscale Comput. Eng. Begel House Inc., 2011. Vol. 9, № 1. P. 1-16.

161. Symeonidis V., Em Kamiadakis G., Caswell B. A seamless approach to multiscale complex fluid simulation // Comput. Sci. Eng. 2005. Vol. 7, № 3. P. 39-46.

162. Wijesinghe H.S., Hadjiconstantinou N.G. Hybrid atomistic-continuum methods for multiscale hydrodynamics // Int. J. Multiscale Comput. Eng. Begel House Inc., 2003. Vol. 2, №2. P. 23.

163. Mahadevan V.S. CouPE (Coupled Physics Environment) [Electronic resource], URL: sites.google.com/site/coupempf (accessed: 12.10.2017).

164. van Thang P. et al. Study of the ID lattice Boltzmann shallow water equation and its coupling to build a canal network // J. Comput. Phys. Academic Press, 2010. Vol. 229, № 19. P. 7373-7400.

165. Plale B. et al. CASA and LEAD: Adaptive cyberinfrastructure for real-time multiscale weather forecasting // Computer (Long. Beach. Calif). 2006. Vol. 39, № 11. P. 56-64.

166. Winglee R.M., Harnett E., Kidder A. Relative timing of substorm processes as derived from multifluid/multiscale simulations: Internally driven substorms // J. Geophys. Res. Sp. Phys. 2009. Vol. 114, № 9. P. n/a-n/a.

167. Jones P., Drake J. SciDAC Collaborative Design and Development of Commiunity Climate System Model [Electronic resource], URL: http://www.scidac.gov/CCSM/ (accessed: 12.10.2017).

168. Ana C., Caia Y. The effect of beach slope on the tsunami run-up induced by thrust fault earthquakes//Procedia Computer Science. Elsevier, 2010. Vol. 1, № 1. P. 645-654.

169. Larson J., Jacob R., Ong E. The Model Coupling Toolkit: A New Fortran90 Toolkit for

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

Building Multiphysics Parallel Coupled Models // Int. J. High Perform. Comput. Appl. Sage PublicationsSage CA: Thousand Oaks, CA, 2005. Vol. 19, № 3. P. 277-292. The Model Coupling Toolkit [Electronic resource] // Office of Science, U. S. Department of Energy. URL: www.mcs.anl.gov/mct (accessed: 12.10.2017).

OpenPALM [Electronic resource], 2012. URL: http://www.cerfacs.fr/globc/PALM WEB/ (accessed: 05.03.2016).

Redler R., Valcke S., Ritzdorf H. OASIS4 - a coupling software for next generation earth system modelling // Geosci. Model Dev. Discuss. 2009. Vol. 2, № 2. P. 797-843. The OASIS Coupler [Electronic resource] //ENES Portal. 2011. URL: verc.enes.org/oasis (accessed: 12.10.2017).

Gregersen J.B., Gijsbers P.J.A., Westen S.J.P. OpenMI: Open modelling interface // J. Hydroinformatics. IWA Publishing, 2007. Vol. 9, № 3. P. 175.

OpenMI [Electronic resource] // OpenMI Association. 2015. URL: http://www.openmi.org (accessed: 12.10.2017).

Butakov N. et al. The multi-agent simulation-based framework for optimization of detectors layout in public crowded places // Procedia Computer Science. 2015. Vol. 51, № 1. P. 522-531.

Khazaei H., Misic J., Misic V. A fine-grained performance model of cloud computing

centers // Parallel Distrib. Syst.....2013. Vol. 24, № 12. P. 2429-2438.

Aniello L., Baldoni R., Querzoni L. Adaptive online scheduling in storm // DEBS 2013 -

Proc. 7th ACM Int. Conf. Distrib. Event-Based Syst. 2013. P. 207-218.

Lamport L. et al. In Search of an Understandable Consensus Algorithm // Proc. USENIX

ATC '14 2014 USENIX Annu. Tech. Conf. 2014. Vol. 22, № 2. P. 305-320.

Lamport L. Paxos Made Simple // ACM SIGACT News. 2001. Vol. 32, № 4. P. 51-58.

Sagan H. Space-filling curves. Springer New York, 2012. 194 p.

Morton G.M. A computer oriented geodetic data base and a new technique in the file sequencing. New York : International Business Machines Company, 1966. P. 20. Gregory J. The CF metadata standard // CLIVAR Exch. 2003. Vol. 8, № 4. P. 4. Spivak A. et al. Evolutionary replicative data reorganization with prioritization for efficient workload processing // Procedia Computer Science. 2015. Vol. 51, № 1. P. 2357-2366.

185. Баркалов К.A. et al. Решение задач глобальной оптимизации на гетерогенных кластерных системах // Суп ер компьютерные дни в России. 2015.

186. Sukhoroslov O.V., Rubtsov А.О., Volkov S.Y. Development of distributed computing applications and services with Everest cloud platform // Компьютерные исследования и моделирование. 2015. Vol. 7, № 3. P. 593-599.

187. NEMO [Electronic resource], URL: http://www.nemo-ocean.eu (accessed: 30.05.2016).

188. SWAN [Electronic resource], URL: http://swanmodel.sourceforge.net (accessed: 30.05.2016).

ПРИЛОЖЕНИЕ

Свидетельство о регистрации программного комплекса автоматической оптимизации выполнения композитных приложений в распределенных вычислительных системах (\yFAutoOpt).

ВШШШЖАЖ ФВДШИРАШЩШ

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2017611166

Программный комплекс автоматической оптимизации выполнения композитных приложений в распределенных вычислительных системах (\VFAutoOpt)

Правообладатель: федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики»

(чи)

Авторы: см. на обороте

Заявка № 2016662305

Дата поступления 14 Ноября 2016 Г.

Дата государственной регистрации

в Реестре программ для ЭВМ 24 января 201 7 г.

Руководитель Федеральной службы по интеллектуальной собственности

Г.П. Ивлиев

ЖЖЖЖЖЖЖЖЖЖЖЖйЖйЖййЖЖЖЖЖЖЖЖЕ1ЖЖЖЖ^

Свидетельство о регистрации программы моделирования распространения информации в мобильных телефонных сетях (CallSim)

ш

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2017611469

Программа моделирования распространения информации в мобильных телефонных сетях (Са1181т)

Правообладатель: федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики»

(М)

Автор: Вишератин Александр Александрович (RU)

Заявка № 2016662244

Дата поступления 14 ноября 2016 Г.

Дата государственной регистрации

в Реестре программ для ЭВМ 03 февраля 2017 г.

Руководитель Федеральной службы по интеллектуальной собственности

Г.П. Ивлиев

и

Свидетельство о регистрации программного комплекса для моделирования синтетических циклонов

теШЕПШ'ШАЩ ФЕДЕРАЦИЯ

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2017616937

Программный комплекс для моделировании синтетических

циклонов

Правообладатель: федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики»

(яи)

Авторы: Никитин Николай Олегович (ЯП), Вшиератин Александр Александрович (ЯП), Бухановский Александр Валерьевич (1Ш), Спирин Даниил Сергеевич (ЯП), Калюжном Анна Владимировна

(Я С)

Заявка № 2017613801

Дата посту пления 25 апреля 2017 Г.

Дата государственной регистрации в Реестре программ для ЭВМ 20 11ЮНМ 201 7 г.

Руководитель Федеральной службы по интеллектуальной собственности

Г.П. Ивлиев

З^ЖЖЖЖЖЖЖЖЖЖЖЖЖЖйЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖ