Разработка системного программного обеспечения для развертывания предметно-ориентированных WEB-лабораторий тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Самоваров, Олег Ильгисович

• Самоваров, Олег Ильгисович
• кандидат наук
• 2015

Оглавление диссертации кандидат наук Самоваров, Олег Ильгисович

Оглавление

Оглавление

Введение

Глава 1 Платформы научного моделирования

1.1 Платформа НиВгего

1.2 Платформа СВЯАШ

1.3 Сервис коллективной разработки программ Кос1т§

1.4 Выводы к первой главе

Глава 2 Архитектура шеЬ-лабораторий

2.1 Требования

2.2 Модель \¥еЬ-лаборатории

2.3 Укрупненные варианты использования

2.4 Выводы ко второй главе

Глава 3 Платформа развертывания шеЬ-лабораторий ишНиВ

3.1 Используемые методы

3.2 Реализованные сервисы уровня унифицированной аппаратуры

3.2.1 Вычислительный кластер по запросу

3.2.2 Разделяемое хранилище данных

3.3 Выводы к третьей главе

Глава 4 Разработанные производственно-исследовательские \¥еЬ-лаборатории

4.1 Распределенная вычислительная инфраструктура программы "Университетский кластер"

4.2 Испытательный стенд проекта ОрепСЛггш

4.3 \¥еЬ-лаборатория решения задач механики сплошной среды

4.4 Выводы к четвертой главе

Заключение

Список литературы

Приложение А. Пример 18(Ж-шаблона развертывания платформы состоящей из двух виртуальных серверов

Введение диссертации (часть автореферата) на тему «Разработка системного программного обеспечения для развертывания предметно-ориентированных WEB-лабораторий»

Введение

Актуальность темы исследования. В настоящее время, в естественных науках и их приложениях к технике при проведении исследований или решении практических инженерных задач широко используются компьютерные модели, что позволяет не только значительно снизить общую стоимость работ, но и существенно повысить их эффективность. При таком подходе большая часть натурных экспериментов заменяется численными. Однако постановка численного эксперимента связана со многими техническими и организационными трудностями, так как численный эксперимент, как правило, не сводится к выполнению одной или нескольких программ соответствующего прикладного пакета, а состоит из нескольких фаз (например, фаза предобработки, одна, чаще несколько фаз расчета, фаза постобработки, фазы визуализации результатов), выполнение которых связано с использованием различного аппаратного и программного обеспечения.

Одной из основных причин этого является то, что численные эксперименты все чаще выполняются в рамках больших комплексных научных исследований, выполнение которых осуществляется коллективами специалистов в различных областях («междисциплинарными»), что связано с требованием учета как можно большего числа параметров исследуемого явления. Кроме того, многочисленность версий системного и прикладного программного обеспечения (ПО) приводит к тому, что во многих случаях не удается выполнить даже все расчетные фазы численного эксперимента на одной программно-аппаратной платформе.

В ходе выполнения таких исследований могут быть получены новые фундаментальные научные результаты, разработаны новые методы проектирования, новые технологии. Возникает сотрудничество исследователей с коллективами проектировщиков, технологов, работающих в промышленности. Не вызывает сомнения, что новые результаты должны внедряться не только в промышленности, но и в образовании в самых различных формах: от

университетского образования в виде специальных и общих курсов лекций, сопровождаемых практическими занятиями и лабораторными работами, выполнения курсовых и дипломных работ различных уровней, до различных форм повышения квалификации специалистов, работающих в индустрии.

Таким образом, возможность решать сложные, наукоемкие задачи силами междисциплинарных команд напрямую связана с проблемой эффективной организации их работы и обеспечения взаимодействия с образованием и индустрией.

Одним из перспективных подходов к решению этой проблемы является концепция \уеЬ-лаборатории [1]. Под термином м'еЬ-лаборатория понимается программно-аппаратная инфраструктура, которая поддерживает в рамках единой шеЬ-среды индивидуальные и коллективные научные исследования сотрудников лаборатории, в том числе - проведение численных экспериментов с использованием численных моделей предметных областей, исследуемых сотрудниками лаборатории, составление отчетов, подготовка статей, обсуждение результатов на семинарах и совещаниях, планирование деятельности лаборатории, поддержка учебного процесса (проведение учебных курсов, практических занятий, лабораторных работ, практикумов и т.п.) студентов и аспирантов. Доступ к перечисленным возможностям \уеЬ-лаборатории предоставляются пользователям через \veb-6pay3ep.

Однако существующие реализации \уеЬ-лабораторий не обеспечивают поддержку численных экспериментов, выполняемых с использованием высокопроизводительной вычислительной техники (суперкомпьютеров, кластеров, ускорителей параллельных вычислений).

На основе анализа задач, которые стоят перед пользователями '^уеЬ-лаборатории и существующими проектами по реализации подобных платформ, в данной работе был предложен необходимый функционал шеЬ-лаборатории. Полнофункциональная \уеЬ-лаборатория должна обеспечивать:

1) разработку и проведение численных экспериментов с использованием численных моделей предметных областей;

2) интеграцию в состав web-лаборатории и использование пакетов прикладных программ, реализующих числительные модели для выполнения комплексных расчетов (например, расчет, включающий создание геометрической модели, генерацию расчетной сетки, выполнение вычислений и визуализацию результатов);

3) интеграцию в состав web-лаборатории аппаратных средств (серверы, высокопроизводительные кластеры, в том числе с ускорителями вычислений, системы хранения и обработки больших данных), поддерживающих выполнение прикладных пакетов программ;

4) хранение и доступ к данным сотрудников web-лаборатории;

5) совместную работу с численными экспериментами, прикладными пакетами, аппаратными средствами, отчетами, статьями, данными;

6) создание ресурсов в формате Web 2.0: каталогов, цитат, библиотек (монографий, учебных пособий, статей, справочных материалов, отчетов и других публикаций по тематике web-лаборатории, а также архивных материалов) и календарей;

7) интеллектуальный поиск материалов web-лаборатории;

8) организацию "он-лайн" и "офф-лайн" обсуждений: web-конференции, форумы;

9) организацию процесса обучения студентов и аспирантов, специализирующихся по тематике лаборатории.

Для обеспечения информационной безопасности должны быть разработаны:

1) разделение прав доступа к разделам и функциям web-лаборатории;

2) защита от несанкционированного доступа.

Таким образом, актуальна проблема разработки системного ПО,

поддерживающего развертывание \уеЬ-лабораторий.

Цель диссертационной работы: Целью работы является исследование и разработка архитектуры системного программного обеспечения, позволяющего разворачивать проблемно-ориентированные у/еЬ-лаборатории, удовлетворяющие сформулированным требованиям, в том числе, использующие высокопроизводительные вычислительные системы.

Научная Новизна. Предложенная архитектура системного программного обеспечения позволяет разворачивать полнофункциональные предметно-ориентированные шеЬ-лаборатории, ориентированные на проведение научных исследований с использованием методов математического моделирования. В отличие от существующих аналогов, предлагаемый подход к организации \veb-лаборатории позволяет обеспечить доступ исследователей в рамках единой \veb-среды к вычислительным ресурсам (серверам, высокопроизводительным кластерным системам, системам хранения и обработки больших данных, системам визуализации результатов расчетов), прикладным пакетам (в том числе требующим отображение в реальном масштабе времени ЗО графических объектов), реализующим вычислительные методы.

\УеЬ-лаборатория основана на концепции облачных вычислений [2], когда разные уровни системного программного обеспечения реализуются как сервисы разных моделей обслуживания: 1аа8 - инфраструктура как сервис, РааБ -платформа как сервис, БааБ - приложение как сервис. Это позволяет обеспечить возможность гибкого использования аппаратуры, масштабируемость, высокую доступность, простоту администрирования.

Такой подход к построению проблемно ориентированных \уеЬ-лабораторий рассматривается впервые.

Теоретическая и практическая значимость. Практическая значимость работы подтверждается применением разработанного системного программного обеспечения, с использованием которого созданы: вычислительная инфраструктура

программы "Университетский кластер"; испытательный стенд международного проекта OpenCirrus; проблемно ориентированная web-лаборатория решения задач механики сплошной среды UniCFD [3]; web-лаборатория рационального природопользования GeoLab; лаборатория решения задач хранения и анализа больших данных BigDataOpenLab. В web-лаборатории UniCFD был выполнен ряд научно-исследовательских и практических работ междисциплинарным коллективом специалистов из следующих организаций: МГТУ им. Н.Э.Баумана, НИЦ «Курчатовский институт», НИИ механики МГУ, СПбГМТУ, ИСП РАН. Можно отметить следующие работы: "Исследование вихревых нестационарных течений вязкого газа при дозвуковом обтекании летательных аппаратов", "Исследование нестационарных турбулентных течений в задаче обтекания грузов-контейнеров на внешней подвеске вертолета" и др. Подробное описание результатов выполненных проектов можно найти на сайте web-лаборатории UniCFD (http://unicfd.ru).

На базе web-лаборатории UniCFD разработаны и проводятся учебные курсы [4] по следующим темам: «Основы использования свободных пакетов SALOME, OpenFOAM и ParaView при решении задач МСС»; «Расширенные возможности пакета OpenFOAM»; Учебный трек «Пакет OpenFOAM - платформа для решения задач МСС»; «Использование свободных пакетов для создания расчётных сеток в задачах МСС». Учебные курсы включают лекционные материалы, а также практические и лабораторные работы. Описание и материалы учебных курсов находятся в свободном доступе в Интернет по адресу: http://unicfd.ru. Также данной web-лабораторией поддерживается образовательный процесс обучения студентов МГТУ им. Н.Э.Баумана кафедр ФН2, СМ2, СМЗ. По данным курсам в 2011-2014 годах прошли обучение более 250 слушателей из более 70 образовательных и научно-исследовательских учреждений и промышленных предприятий.

Также с использованием сервисов web-лаборатории UniCFD был реализован ряд проектов в рамках ФЦП «Исследования и разработки по приоритетным

направлениям развития научно-технологического комплекса России на 2007-2013 годы» и ФЦП «Научные и научно-педагогические кадры инновационной России».

В настоящее время выполняется проект в рамках целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 - 2020 годы» по теме «Разработка комплекса научно-технических решений, предназначенных для хранения и обработки сверхбольших объемов данных в задачах механики сплошной среды».

С использованием разработанных сервисов в рамках CUDA Research Center [5], совместно с компанией NVIDIA проводятся на постоянной основе учебные курсы по технологиям программирования для графических ускорителей.

Технологическая платформа находится в открытом доступе для выполнения некоммерческих, научно-исследовательских или образовательных проектов (http://unihub.ru).

Положения, выносимые на защиту. В работе получены следующие основные результаты, обладающие научной новизной:

1) Разработана архитектура web-лаборатории, ориентированной на поддержку совместной образовательной, научно-исследовательской и производственной деятельности распределенных научных коллективов.

2) Предложены методы автоматизированной интеграции распределенных вычислительных ресурсов в единую вычислительную инфраструктуру.

На основе разработанной архитектуры и методов интеграции ресурсов создано системное ПО, позволяющее разворачивать на конкретной аппаратуре проблемно-ориентированные web-лаборатории, в том числе использующие высокопроизводительные вычисления.

Разработана и реализована технологическая платформа программы "Университетский кластер", в том числе, испытательный стенд международного

проекта "OpenCirrus" и web-лаборатория, ориентированная на решение задач механики сплошной среды на основе промышленных свободно-распространяемых прикладных пакетов Salome [6], OpenFoam [7], ParaView [8].

Степень достоверности и апробация результатов. Основные результаты диссертации докладывались на всероссийских и международных конференциях и семинарах: Международная конференция «Облачные вычисления. Образование. Исследования. Разработка», Москва, 2010; Международная конференция «Облачные вычисления. Образование. Исследования. Разработка», Москва, 2011; Международная конференция «Облачные вычисления. Образование. Исследования. Разработка», Москва, 2012; Международная конференция «Облачные вычисления. Образование. Исследования. Разработка», Москва, 2013; Международная конференция «The 2012 HP Catalyst Summit», Пекин 11-14 апреля 2012; Международная конференция «Open Cirrus Summit», Саннивейл, Калифорния, США, 28-29 января 2010 г; Международная суперкомпьютерная конференция «Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность» (Новороссийск 2009); Международная суперкомпыотерная конференция «Научный сервис в сети Интернет: суперкомпыотерные центры и задачи», (Новороссийск 2010); Международная суперкомпьютерная конференция «Научный сервис в сети Интернет: экзафлопсное будущее (Новороссийск 2011); Всероссийская конференция «Свободное программное обеспечение-2010» (г. Санкт-Петербург, 2010); Научная школа "Компьютерное моделирование новых материалов", Москва, 26 сентября 2012; Научно-технический семинар «Платформа UniHUB. Интеграция образования, науки и индустрии», Саранск, 17-19 апреля 2012; Семинар «Облачные сервисы», Москва 15 марта 2011 год; Летняя Суперкомпыотерная Академия МГУ имени М. В. Ломоносова, Москва, 25 июня по 7 июля 2012; Всероссийская конференция «XXXVII Академические чтения по космонавтике», Москва, 2013

Публикации. Материалы диссертации опубликованы в 10 печатных работах, из них 4 статьи в рецензируемых журналах в изданиях, рекомендованных ВАК РФ

[2,9,40,49], 6 статей в сборниках трудов конференций [3,19,50-53]. По результатам работы получен патент на полезную модель RUS 122505 25.07.2012А.Г., , 2012 [41].

Личный вклад автора. Все представленные в диссертации результаты получены лично автором.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав, заключения и библиографии. Общий объем диссертации 109 страниц, из них 99 страниц текста, включая 28 рисунков. Библиография включает 53 наименования на 6 страницах.

Глава 1

Платформы научного моделирования

При реализации наукоемких проектов наряду с натурными экспериментами используются компьютерные модели, что позволяет не только значительно снизить общую стоимость работ, но и существенно повысить их эффективность.

Однако, постановка численного эксперимента связана со многими, как техническими, так и организационными трудностями. Как правило, численный эксперимент состоит из нескольких фаз (например, фаза предобработки, одна, чаще несколько фаз расчета, фаза постобработки, фазы визуализации результатов), выполнение которых связано с использованием различного аппаратного оборудования и ПО. Многочисленность версий используемого системного и прикладного ПО приводит к тому, что во многих случаях не удается выполнить все расчетные фазы численного эксперимента на одной программно-аппаратной платформе. Кроме того, такие проекты выполняются в рамках комплексных научных исследований, выполнение которых осуществляется междисциплинарными коллективами специалистов различных областей, успешное функционирование которых напрямую связано с проблемой эффективной организации их работы и обеспечения взаимодействия с образованием и индустрией.

Перспективным подходом к решению описанной проблемы является концепция \уеЬ-лаборатории, в рамках которой поддерживаются индивидуальные и коллективные научные исследования сотрудников лаборатории, в том числе проведение численных экспериментов с использованием численных моделей предметных областей, исследуемых сотрудниками лаборатории, составление отчетов, подготовка статей, обсуждение результатов на семинарах и совещаниях, планирование деятельности лаборатории, поддержка учебного процесса.

Можно отметить существовавшую в нашей стране, близкую по рассматриваемой тематике, концепцию Автоматизированных Систем Научных Исследований (АСНИ), сформулированную к 1979 году [10,11]. Автоматизированная система научных исследований - это концепция по созданию программно-аппаратного комплекса на базе средств вычислительной техники, предназначенного для проведения научных исследований на основе получения и использования моделей исследуемых объектов, явлений и процессов. Программно-аппаратный комплекс АСНИ состоит из средств методического, программного, технического, информационного и организационно-правового обеспечения. Взаимодействие исследуемого объекта, явления или процесса с АСНИ осуществляется через аппаратуру сопряжения, входящую в состав программно-аппаратного комплекса. Данные могут поступать в АСНИ от различного рода экспериментальных установок или измерительных приборов, на основе их анализа обеспечивается обнаружение новых эффектов и закономерностей. Взаимодействие подразделений научно-исследовательской организации или предприятия с АСНИ регламентируется средствами организационно-правового обеспечения системы.

АСНИ получили широкое распространение в молекулярной химии, минералогии, биохимии, физике элементарных частиц и многих других науках.

На современном этапе, с развитием компьютерной техники, широким распространением кластерных вычислительных систем на базе аппаратных компонент общего назначения, развитием сетевых технологий, распространением высокоскоростных каналов связи, появлением и широким внедрением открытого программного обеспечения, данный подход получил новый уровень реализации.

За последние 5 лет появилось большое число проектов по созданию платформ, ориентированных на поддержку совместного проведения научных исследований, реализации образовательных проектов и т.д. Во всех случаях данные платформы либо предлагают возможности, применимые только для узких прикладных областей и не имеют возможностей позволяющих их использовать для решения

комплексных практических задач, либо являются закрытыми. Рассмотрим наиболее популярные из них.

1.1 Платформа HUBzero

Ближе всего к решению описанной задачи приблизились авторы платформы HUBzero [12].

Платформа HUBzero была разработана в университете Purdue University (США) с целью предоставить исследователям простой доступ к средствам научного моделирования, а так же к средствам демонстрации полученных результатов. Платформа HUBZero была создана, прежде всего, для того, чтобы поддержать сетевое сообщество nanoHUB [13], направленное на решение вычислительных задач нанотехнологий, финансируемое Национальным фондом по науке США и имеющее целью связать теоретиков, разрабатывающих средства моделирования, с экспериментаторами и преподавателями, которые могли бы использовать данные технологии.

С 2007 г. на базе платформы HUBZero, кроме nanoHUB.org создано несколько web-лабораторий в областях фармацевтики (pharmaHUB.org), передачи тепла (thermalHUB.org), микроэлектромеханических систем (memsHUB.org), здравоохранения (IndianaCTSI.org), лечения рака (cceHUB.org) и преподавания инженерных дисциплин (globalHUB.org).

В 2008 г. примерно 6700 пользователей запустили более 380 ООО задач моделирования, используя 129 инструментов, доступных тогда на nanoHUB.org.

Несмотря на то, что данные web-лаборатории обеспечивают поддержку разных тематических сообществ, технологически они могут решать вопросы совместной работы и способствовать распространению научных моделей. Опишем возможности платформы более подробно.

Платформа HUBzero обеспечивает возможность запуска приложений и предоставления к ним доступа через окно браузера. Для этого используется

13

разработанный Java-апплет, который позволяет транслировать рабочее окно приложений через VNC [14] протокол. В качестве ядра платформы используется CMS Joomla. Сессии запущенных приложений выполняются в легковесных контейнерах, реализованных на базе OpenVZ [15].

Кроме возможности запускать приложения, пользователи получают некоторые возможности социальных сетей, чтобы выполнять работы совместно. Платформа включает возможности организации групп пользователей, wiki, форумы.

Сложность применения данной платформы для решения поставленных задач связана с существующими ограничениями масштабируемости предлагаемых сервисов, которые обусловлены архитектурными решениями. Решения по организации графического вывода запускаемых приложений серьезно ограничивают возможности выполнения пакетов, требующих вывода сложных 2D и тем более 3D графических объектов. Фактически, данная платформа позволяет выполнять только модельные задачи с незначительными требованиями к вычислительным ресурсам.

1.2 Платформа CBRAIN

Проект CBRAIN [16] представляет собой многоуровневую платформу, состоящую из трех слоев (рис. 1):

1) пользовательский уровень, доступный через стандартный браузер для конечных пользователей и через RESTful API [17] для приложений или других платформ;

2) уровень сервисов, который обеспечивает функционирование сервисов, запрашиваемых через пользовательский уровень. База метаданных, в которой хранится информация обо всех пользователях, правах доступа и ресурсах, данные управляющих сервисов (запросы пользователей, адреса для загрузки и выгрузки данных, загрузка компьютеров, выполняемые задачи и т.д.);

3) инфраструктурный уровень, содержащий распределенные по сети репозитории данных и вычислительные ресурсы. Сосуществование произвольного числа сервисов по хранению данных, вычислительных центров и сайтов с развернутой платформой СВЯАГЫ обеспечивается общей базой метаданных -центральным элементом инфраструктуры.

Rieh Web Browser Client

RESTful Services API

ф if> 3

с О

ш с

о о о

OÖ

(я ф

о

Е ф

сл

(л Ol

о

L-

3

о

ф

СЕ

ф

•t-f о

Е

ф

СП

Compute Resources

Authentication Г-

О Authorization ш

ш 5Г Job s V)

X о Processing

s К Logging & Reporting A

Workers

Рис.1 — Архитектура платформы CBRAIN

Был разработан специальный механизм обмена данными в Grid [18,19], учитывающий состояние каналов обмена, что позволяет исключить возникновение узких мест (bottlenecks) во время передачи данных, обеспечивая тем самым масштабируемость. Передача данных производится непосредственно от поставщика данных к обрабатывающему серверу помимо центрального сервера платформы, гарантируя тем самым отсутствие его перегрузки во время выполнения данной операции. Визуализация данных будет обрабатываться непосредственно на

сервере портала CBRAIN. Это основной сервис, который требует передачи данных на центральный сервер.

Серверы, НРС кластеры подключаются к платформе CBRAIN с использованием легких серверных приложений. Серверные приложения обрабатывают запросы на выполнение заданий и, взаимодействуя с локальными системами планирования, ставят их на исполнение. Платформа поддерживает следующие системы планирования заданий: SGE, PBS, Torque, МОАВ. Централизованное распределение заданий обеспечивает мета-планировщик SCIR . Мета-планировщик реализован на языке Ruby [20] и выполняет основные функции по организации очередей, запуска и управления заданиями.

Использование Grid подхода к построению вычислительной инфраструктуры сильно затрудняет решение вопросов, связанных с установкой новых расчетных программ и необходимого для этого системного окружения. Открытыми остаются вопросы выполнения приложений, требующих графического вывода и интерактивного взаимодействия.

1.3 Сервис коллективной разработки программ Koding

Сервис Koding [21] предоставляет возможность разработки на языках PHP [22], Python, Ruby, Perl [23] и др. в окне браузера. Проект задумывался также как социальная платформа для разработчиков: обмен сообщениями, подписка на ленту по интересующим темам.

Для пользователя Koding предоставляет собственный суб-домен (*.kd.io), собственный VPS и некоторые встроенные веб-приложения для управления новыми ресурсами. Через панель администратора у пользователя есть возможность создавать другие суб-домены и запускать дополнительные сервера VPS. Интерфейс удобен в использовании.

В отличие от других подобных сервисов Koding дает доступ к мощным, многопроцессорным виртуальным машинам с несколькими гигабайтами памяти.

Это дает возможность запускать практически любое приложение. Также могут быть запущены несколько серверов, объединённых в кластер.

Данные виртуальные серверы в большинстве случаев будут мощнее, чем рабочая станция пользователя, и определенно удобнее, чем использование локальной виртуальной машины.

Таким образом, сервис Koding пытается расширить возможности разработчиков, дать им возможность экспериментировать и просто попробовать то, что они не обязательно хотят делать локально на своей рабочей станции, или просто не имеют ресурсов для этого. Виртуальные машины запускаются очень быстро, и если пользователь сделал ошибку в настройках, то сервер можно создать заново, не потеряв измененные файлы в домашней директории.

Немаловажной деталью является предоставление root доступа ко всем серверам.

Виртуальные машины используют ОС Ubuntu и включают поддержку большого числа языков программирования, включая: PHP, GO, Node.js, Ruby, Perl, Haskell.

Работая с Koding, пользователь получает виртуальные машины, на которых можно запустить все, что угодно. В дополнение к этому предоставляется набор веб приложений, которые работают в самой системе Koding, и через них можно управлять всеми своими ресурсами.

Базовый набор приложений включает (рис. 2):

1) редактор баз данных,

2) панели управления CMS системами,

3) редактор кода и изображений.

Редактором кода по умолчанию является Асе для обычной разработки или Firepad для совместной работы.

This ts your Development Area

4<MI клпчтщ» <r\n t н>%м с« Ар»" «кмт ы IA* ih» tr* viujAMJ

Arfd Д domain

Oom»ins

| (•brtaOmtnrHtoMI«« I Arrr-e («Ьгч1пч»"с»1 M lo

h i

Рис.2 — Окно настройки среды разработчика

Помимо этих приложений есть возможность создать свое приложение. Приложения пишутся на JavaScript (CoffeScript) с использованием API "KD framework", предоставляемого Koding.

В целом, Koding - это своего рода облачная "операционная система", где у вас есть виртуальные машины как ресурсы, которые вы можете настроить самостоятельно. Это означает, например, что если ваша компания имеет некие шаблонные установки, вы можете создать приложение, которое будет настраивать новую виртуальную машину с необходимыми файлами и программным обеспечением (рис. 3).

Список литературы диссертационного исследования кандидат наук Самоваров, Олег Ильгисович, 2015 год

Список литературы

1. G. Klimeck, М. McLennan, S.P. Brophy, G.B. Adams III, M.S. Lundstrom, "NanoHUB.org: Advancing Education and Research in Nanotechnology", Computing in Science and Engineering, 2008, 10(5), pp. 17-23.,Cloud Computing

2. М.Д. Калугин, О.И. Самоваров, C.B. Стрижак, А.В. Лушников, Е.Н. Каштанова, "Решение оптимизационных задач газовой динамики с использованием облачных и параллельных вычислений", ЕСТЕСТВЕННЫЕ H ТЕХНИЧЕСКИЕ НАУКИ, стр. 518-520 Издательство: ООО "Издательство "Спутник+", Москва, 2012

3. О. Самоваров, М. Крапошин, С. Стрижак, «Web лаборатория UniHUB в рамках программы 'Университетский кластер», Proceedings of the Workshop "Multiphysical Modelling in OpenFOAM", Латвийский Университет. Рига. 20.10.2011-21.10.2011

4. Учебные курсы web-лаборатории UniCFD. [Электронный ресурс] = Страница web-лаборатории UniCFD — Электрон, дан. — Россия, [?]. — Режим доступа: http://www.unicfd.ru/ —Загл. с экрана. — Русский.

5. CUDA Centers. [Электронный ресурс] = CUDA Centers — Электрон, дан. — США, [?]. — Режим доступа:

https://developer.nvidia.com/academia/centers/institute-system-programming-russian-academy-sciences-cuda-research-center — Загл. с экрана. — Англ.

6. HIMANSHU KAPOOR Open Source Mesh Generation and CFD Simulations for Francis Turbine, Division of Fluid Dynamics Chalmers University of Technology, ISSN 1652-8557, Sweden, 2014

7. Jasak Hrvoje, Jemcov Aleksandar, Tukovic, Zeljko, OpenFOAM: A С++ library for complex physics simulations, Proceedings of the International Workshop on Coupled Methods in Numerical Dynamics, IUC, Dubrovnik, Croatia, September 19th-21st 2007

8. Fabian, N., Moreland, K. , Thompson, D. , Bauer, A.C. , Marion, P. , Geveci, В., Rasquin, M. , Jansen, K.E., «The ParaView Coprocessing Library: A scalable, general purpose in situ visualization library, Large Data Analysis and Visualization», Proceedings of the LDAV, 2011 IEEE Symposium on, DOI: 10.1109/LDAV.2011.6092322, Publication Year: 2011, Page(s): 89 - 96

9. А. Аветисян, О. Самоваров, С. Гайсарян, Э. Хашба, «OpenCirrus, российский сегмент», «Открытые системы», № 05, 2011, стр. 39-43

10. Д. А. Кузьмичев, И. А. Радкевич, А.Д. Смирнов, «Автоматизация экспериментальных исследований», М.:Наука, 1983. 392 с.

11. Н.А. Виноградова, А.А. Есюткин, Г.Ф. Филаретов, «Научно-методические основы построения АСНИ», М.:МЭИ, 1989. 84 с.

12. McLennan, М., Kennell, R. HUBzero, «А Platform for Dissemination and Collaboration in Computational Science and Engineering», Computing in Science & Engineering, Volume: 12, Issue: 2, DOI: 10.1109/MCSE.2010.41, Publication Year: 2010 ,Page(s): 48 - 53

13. Farnsworth V.A., Lundstro, M.S., Datta, S., Reifenberger, R., Raman A., Fisher Т., Strachan, A., McLennan M., Shivarajapura S., Zentner L. K., Madhavan K., Klimeck G., Proceedings of the 13th IEEE Conference on, Nanotechnology (IEEE-NANO), DOI: 10.1109/NAN0.2013.6721012, Publication Year: 2013 , Page(s): 217- 220

14. Richardson Т., Stafford-Fraser Q., Wood, K.R., Hopper A., «Internet Computing», IEEE, Volume: 2, Issue: 1, DOI: 10.1109/4236.656066, Publication Year: 1998 , Page(s): 33 - 38

15. Ahrenholz, J., «Comparison of CORE network emulation platforms», Proceedings of the MILITARY COMMUNICATIONS CONFERENCE, 2010 -MILCOM 2010, Oct. 31 2010-Nov. 3 2010, 166- 171 pp., ISSN : 2155-7578, IEEE

16. Sherif Т., Rioux P., Rousseau M.E., Kassis N., Beck N., Adalat R., Das S., Glatard Т., Evans A.C., «CBRAIN: a web-based, distributed computing platform for collaborative neuroimaging research», Front Neuroinform. eCollection, 2014, doi: 10.3389/fninf.2014.00054

17. Ruppen, A., Pasquier, J., Hurlimann, Т., «А RESTful Architecture for Integrating Decomposable Delayed Services within the Web of Things Parallel and Distributed Systems», Proceedings of the 17th International Conference on ICPADS, DOI: 10.1109/ICPADS.2011.10, IEEE, Publication Year: 2011, Page(s): 860 - 865

18. Foster & Kesselman, «The Grid 2», 2nd Edition, Blueprint for a New Computing Infrastructure eBook ISBN :9780080521534, Pages 748, 2003

19. О.И. Самоваров, H.H. Кузюрин, Д.А. Грушин, А.И. Аветисян, Г.М. Михайлов, Ю.П. Рогов, «Проблемы моделирования GRID-систем и их реализации», Труды международной суперкомпыотерной конференции с элементами научной школы для молодежи Научный сервис в сети Итернет:решение больших задач:», стр.83-88, - М.: Изд-во МГУ, 2008

20. Wedekind J., Amavasai В.P., Dutton К., Boissenin M, «А machine vision extension for the Ruby programming language», Information and Automation, 2008. ICIA 2008, International Conference on DOI: 10.1109/ICINFA.2008.4608143 Publication Year: 2008 , Page(s): 991 - 996

21. Koding Package Manager (kpm), . [Электронный ресурс] = Страница Koding Package Manager (kpm) — Электрон, дан. — CIF, [?].— Режим доступа: https://koding.com// — Загл. с экрана. — Англ.

22. Nixon R, «Learning PHP, MySQL, JavaScript, and CSS: A step-by-step guide to creating dynamic websites», O'Reilly Media, Inc.", 2012.

23. Lutz M, Ascher D, Willison F, «Learning python», (Vol. 2). O'Reilly. 22. Perl, 1999

24. Andersen P. «What is Web 2.0?: ideas, technologies and implications for education», Bristol, UK : JISC, 2007. - Т. 1. - №. 1.

25. Diaz J. et al. «Abstract image management and universal image registration for cloud and hpc infrastructures», Cloud Computing (CLOUD), 2012 IEEE 5th International Conference on. - IEEE, 2012. - C. 463-470.

26. Tsai W. T, Sun X, Balasooriya J, «Service-oriented cloud computing architecture», Information Technology: New Generations (ITNG), 2010 Seventh

International Conference on. - IEEE, 2010. - C. 684-689.

102

27. Sefraoui O, Aissaoui M, Eleuldj M, «OpenStack: toward an open-source solution for cloud computing», International Journal of Computer Applications. - 2012. -T. 55.- №. 3.-C. 38-42.

28. Che J. et al, «Performance measuring and comparing of virtual machine monitors», Embedded and Ubiquitous Computing, 2008. EUC'08. IEEE/IFIP International Conference on. - IEEE, 2008.-T. 2.-C. 381-386.

29. Turnbull J, «The Docker Book: Containerization is the new virtualization», James Turnbull, 2014.

30. Marsh G. et al, «Scaling Advanced Message Queuing Protocol (AMQP) Architecture with Broker Federation and InfiniBand», Technical report, 2010.

31. Foster I, «Globus toolkit version 4: Software for service-oriented systems», Network and parallel computing. Springer Berlin Heidelberg, 2005. - C. 2-13.

32. Llorente I. M. et al, «A grid infrastructure for utility computing», Enabling Technologies: Infrastructure for Collaborative Enterprises, 2006. WETICE'06. 15th IEEE International Workshops on. - IEEE, 2006. - C. 163-168.

33. Pordes R. et al. «The open science grid», Journal of Physics: Conference Series. - IOP Publishing, 2007. - T. 78. - №. 1. - C. 012057.

34. Charlie Catlett, William E. Allcock, Phil Andrews, Ruth Aydt, Ray Bair, Natasha Balac, Bryan Banister, Trish Barker, «TeraGrid: Analysis of Organization, System Architecture, and Middleware Enabling New Types of Applications», Argonne National Laboratory, Advances in Parallel Computing, Volume 16: High Performance Computing and Grids in Action, Pages 225 - 249, IOS ,2012

35. Kabir M. J, «Apache Server Bible», IDG Books Worldwide, Inc., 1998.

36. Carter G. «LDAP system administration», O'Reilly Media, Inc., 2003.

37. Videla A, Williams J, «RabbitMQ in action: distributed messaging for everyone», Manning, 2012.

38. Chodorow K, «MongoDB: the definitive guide», O'Reilly Media, Inc., 2013.

39. Pappano L, «The Year of the MOOC», The New York Times. - 2012. - T. 2. -№. 12.-C. 2012.

40. Самоваров О.И, Гайсарян С.С, «Архитектура и особенности реализации платформы UniHUB в модели облачных вычислений на базе открытого пакета OpenStack», Труды Института системного программирования РАН, том 26, 2014 г. Выпуск 1. ISSN 2220-6426 (Online), ISSN 2079-8156 (Print)

41. Самоваров О.И, Грушин Д.А, Калугин М.Д, Рыжов А.Г, Федосин М.Е, «Аппаратно-вычислительный комплекс для предоставления доступа к программному обеспечению в концепции облачных вычислений», Патент на полезную модель RUS 122505 25.07.2012А.Г, ,2012

42. Крапошин М.В, Самоваров О.И, Стрижак С.В, «Опыт использования СПО для проведения расчетов пространственной гидродинамики промышленного масштаба», Тр. конф. Свободное программное обеспечение, СПб: Изд-во СПБГПУ, 2010.44-46.

43. Crockford, Douglas, «Introducing JSON»,. json.org. Retrieved July 3, 2009.

44. Gibson G. A, Van Meter R, «Network attached storage architecture», Communications of the ACM. - 2000. - T. 43. - №. 11. - C. 37-45.

45. Rodeh O, Teperman A, «zFS-а scalable distributed file system using object disks», Mass Storage Systems and Technologies, Proceedings. 20th IEEE/11th NASA Goddard Conference on. - IEEE, 2003. - C. 207-218.

47. Davies A, Orsaria A. «Scale out with GlusterFS», Linux Journal. - 2013. - T. 2013.-№. 235.-С. 1

48. Martini B, Choo K, «Cloud storage forensics: ownCloud as a case study», Digital Investigation. - 2013. - T. 10. - №. 4. - C. 287-299.

49. А. Аветисян, В. Иванников, О. Самоваров, С. Гайсарян, «Университетский кластер»: интеграция образования, науки и индустрии», «Открытые системы» №05, 2010, стр.46-49.

50. А.И. Аветисян, С.С. Гайсарян, О.И. Самоваров, «Университетский кластер» - инфраструктура исследований, разработок и образования в области параллельных и распределенных вычислений», Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность: Труды Всероссийской

суперкомпьютерной конференции (21-26 сентября 2009 г, г. Новороссийск). - М.: Изд-воМГУ, 2009, ISBN 978-5-211-05697-8, стр. 431-433

51. А.И. Аветисян, С.С. Гайсарян, О.И. Самоваров, Э.В. Хашба, «Организация предметно-ориентированных исследовательских центров в рамках программы «Университетский кластер»», Труды Международной суперкомпьютерной конференции «Научный сервис в сети Интернет: суперкомпьютерные центры и задачи», Электронное издание, Изд-во МГУ, 2010, ISBN 978-5-211-05916-0, стр. 213-215

52. М.1, О.Самоваров, С.Стрижак, «Особенности реализации Web-лаборатории механики сплошной среды на базе технологической платформы программы «Университетский Кластер»», Труды международной суперкомпьютерной конференции с элементами научной школы для молодежи Научный сервис в сети Интернет: экзафлопсное будущее», Изд-во МГУ, 2011

53. Крапошин М.В, Самоваров О.И, Стрижак С.В, «Опыт использования СПО для проведения расчетов пространственной гидродинамики промышленного масштаба», Тр. конф. Свободное программное обеспечение. СПб, Изд-во СПБГПУ, 2010.44-46.

Приложение А. Пример JSON-шаблона развертывания платформы состоящей из двух виртуальных серверов

i t

"Parameters": { "ImageName": {

"Description": "Name of image to use for servers ", "Type": "String"

>

I 5

"InstanceType": {

о "AllowedValues": [

"ml.tiny", "ml.small", "ml .medium", "ml.large"

о J,

о "Default": "ml.small",

о "Description": "Flavor to use for servers ",

о "Type": "String"

»

) 5

"KeyNamc": {

"Description": "Name of keypair to assign to servers ", "Type": "String"

\ ) '

"PrivateNetld": {

"Description": "ID of private network into which servers get deployed ", "Type": "String"

ь

"PrivateSubnetld": {

"Description": "ID of private sub network into which servers get deployed ", "Type": "String"

"PublicNetld": {

"Description": "ID of public network for which floating IP addresses will be allocated ", "Type": "String"

>

"Resources": { "Server 1": {

"Properties": {

"flavor": {

"Ref: "InstanceType" "image": |

"Ref': "ImageName"

"key_name": { "Ref: "KeyName" h

"networks": [ {

"port": [

"Ref: "Server 1 Port"

} } ]

\

) 5

"Type": " OS:: N ova:: Sender"

"Serverl FloatinglP": { "Properties": {

"floating_network__id": {

"Ref: "PublicNetld" t

I 5

"port_id": {

"Ref: "ServerlPort"

t r

1

/1

"Type": "OS::Neutron::FloatingIP"

"Server 1 Port": {

"Properties": {

"fixed_ips": [

i

\

"subnetjd": {

"Ref: "PrivateSubnetld"

i i

],

"network_id": { "Ref: "PrivateNetld" i

v

f 5

"Type": "OS::Neutron::Port"

"Server2": {

"Properties": { "flavor": {

"Ref": "InstanceType"

) 5

"image": {

"Ref: "ImageName"

t > >

"key_name": { "Ref: "KeyName"

I

"networks": [ »

"port": {

"Ref: "Server2Port"

i )

t

) ]

"Type": "OS::Nova::Server"

(■>

"Server2FloatingIP": {

"Properties": {

"floating_network_id": { "Ref: "PublicNetld"

"port_id": {

"Ref*: "Scrver2Port"

t <

t » >

"Type": "OS::Neutron::FloatingiP"

) 5

"Server2Port": {

"Properties": {

"f]xed_ips": [ »

"subnetjd": (

"Ref: "PrivateSubnetld"

i

I

"nctwork_id": { "Ref": "PrivateNetld"

"Type": "OS"Neutron::Port"

i i

i i

i t