Проектирование и разработка предметно-ориентированных композитных приложений в распределенных облачных средах на основе виртуальных моделирующих объектов тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Смирнов, Павел Андреевич

• Смирнов, Павел Андреевич
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Смирнов, Павел Андреевич

Содержание

Основные обозначения и сокращения

Введение

Глава 1. Аналитический обзор и обоснование постановки задачи

1.1. Интерфейсы человеко-компьютерного взаимодействия для разработки и исполнения композитных приложений

1.2. Методы построения композитных приложений с использованием высокопроизводительных вычислительных ресурсов

1.3. Подходы, методы и технологии интеллектуальной поддержки при построении композитных приложений в распределенных вычислительных средах

1.4. Подходы, методы и технологии формализации и использования экспертных знаний при построении композитных приложений в распределенных вычислительных средах

1.4.1. Формализация знаний об эксперименте в целом

1.4.2. Формализация абстрактных шаблонов экспериментов

1.4.3. Формализация и анализ профилей исполнения

Выводы по главе 1

Глава 2. Технология виртуальных моделирующих объектов

2.1. Концепция и информационная модель УБО

2.1.1. Описание сущностей структуры У80

2.1.2. Описание информационных процессов УБО

2.1.3. Интерпретация УБО на основе процесса логического вывода

2.2. Математическая модель виртуального моделирующего объекта

2.2.1. Базовая математическая модель виртуального объекта

2.2.2. Расширенная математическая модель

2.3. Методы интерпретации виртуального моделирующего объекта

2.3.1. Метод агрегации параметров

2.3.2. Метод поиска семантически связных элементов в пределах одного уровня абстракции41

2.3.3. Метод трансляции связности на верхние уровни абстракции

2.3.4. Метод сравнения альтернативных конфигураций системы

2.3.5. Метод интерпретации У80 в исполнимое КП

2.4. Формализация и хранение знаний в рамках технологии УЭО

Выводы по главе 2

Глава 3. Проектирование и разработка экспериментального образца программного комплекса для работы с виртуальными моделирующими объектами

3.1. Общая архитектура программного комплекса на основе СЬАУШЕ

3.1.1. Программная библиотека структур сущностей виртуальных объектов

3.1.2. Программная библиотека построения графического интерфейса

3.1.3. Программная библиотека конвертации триплетов

3.1.4. Сервис концептуальной интерпретации виртуальных объектов

3.2. Среда разработки образов УБО

3.3. Среда построения КП в форме виртуальных объектов

3.4. Мультиагентная система планирования исполнения композитных приложений, получаемых из виртуальных моделирующих объектов

Выводы по главе 3

Глава 4. Виртуальные моделирующие объекты для решения прикладных задач

4.1. Экспериментальная задача моделирования городской транспортной инфраструктуры

4.2. Проектирование виртуальных объектов для моделирования городской транспортной инфраструктуры

4.3. Разработка и использование композитных приложений для моделирования городской транспортной инфраструктуры на основе виртуальных моделирующих объектов

4.4. Разработка и использование композитных приложений для анализа экстремальных гидрометеорологических явлений на основе виртуальных моделирующих объектов

Выводы по главе 4

Заключение

Список литературы

ПРИЛОЖЕНИЕ А

ПРИЛОЖЕНИЕ Б

124

Основные обозначения и сокращения

• AaaS - Application as a Service - приложение как услуга

• API - Application Programming Interface - программный интерфейс приложения

• AWF - Abstract Workflow - абстрактный WF

• CWF - Concrete Workflow - конкретный WF

• eScience - Электронная наука

• iPSE - Intelligent PSE - интеллектуальная проблемно-ориентированная среда

• ОРМ - Open Provenance Model - модель публикации provenance

• OWL - Web Ontology Language - язык описания онтологий

• Provenance - журналирование процесса исполнения

• RDF - Resource Description Framework - язык описания ресурсов

• REST - REpresentational State Transfer - «передача состояния представления»

• RO - Research Object - объект исследования

• SaaS - Software as a Service - программное обеспечение как услуга

• SOA - Service-Oriented Architecture - Сервисно-Ориентированная Архитектура

• UML - Unified Modeling Language - унифицированный язык моделирования

• VSO - Virtual Simulation Objects - виртуальный моделирующий объект

• WCF - windows communication foundation - технология обмена данными

• WF - workflow - поток задач

• WFMS - Workflow Management System - система управления исполнением КП

• XML - Extensible Markup Language - расширяемый язык разметки

• БЗ - База Знаний

• ИП - Интеллектуальная Поддержка

• КП — Композитное Приложение

• МОА - Модельно-Ориентированная Архитектура

• ООП - Объекто-Ориентированное Программирование

• ОТ - Общественный Транспорт

• ПО - Программное Обеспечение

• ПОИ - Предметно-Ориентированный Интерфейс

• СЦ - Ситуационный Центр

• 4KB - Человеко-Компьютерное Взаимодействие

• ЧС - Чрезвычайная Ситуация

Введение диссертации (часть автореферата) на тему «Проектирование и разработка предметно-ориентированных композитных приложений в распределенных облачных средах на основе виртуальных моделирующих объектов»

Введение

Концепция «электронной науки» (еЗЫепсе) включает в себя проведение коллаборативных вычислительных экспериментов в распределенных вычислительных средах [1]. Участники таких экспериментов объединяются в так называемые виртуальные организации, продуктом деятельности которых являются композитные приложения (КП) -наборы взаимодействующих сервисов распределенной среды, решающих общую прикладную задачу.

Первые системы построения КП появились в 2000-х гг., когда активно развивались Грид-технологии и специализированное управляющее ПО, позволяющее строить и запускать последовательности взаимосвязанных задач на распределенных ресурсах. Разработчик должен был самостоятельно решать проблемы формирования приложений, планирования ресурсов и поддержки исполнения в распределенной среде. Однако такие действия требуют большого опыта и знания архитектуры самой распределенной среды. Внедрение с 20072008 гг. в еБаепсе принципов и технологий облачных вычислений определило необходимость автоматизации процессов построения и использования КП таким образом, чтобы сделать их доступными широкому кругу пользователей-предметников. В настоящее время используются различные интеллектуальные технологии на основе формализованных экспертных знаний, развитие таких подходов обусловлено не только стремлением упростить процесс построения КП, но (в большей мере) потребностью научных сообществ в обмене и повторном использовании предметных знаний, заключенных в разработанных ранее КП. Базы знаний (БЗ), интегрированные в системы построения КП, — основа для автоматизации наиболее рутинных процессов подготовки КП, оказания интеллектуальной поддержки пользователям при их построении, а также размещении уже формализованных знаний в открытом доступе. В целом такой подход должен обеспечивать концептуальный уровень абстракции, т.е. пользователю даже не нужно знать, какие именно вычислительные сервисы будут входить в КП. Композиция приложения происходит с помощью высокоуровневых сущностей, которые благодаря скрытой от пользователя метаинформации транслируются в низкоуровневую реализацию КП для конкретной распределенной среды.

Несмотря на общую перспективность, на практике возможности такого подхода сильно ограничены и в основном применяются в двух направлениях:

- хорошо формализованные инженерные задачи с ограниченным количеством опций для выполнения расчетов;

- исследовательские задачи на основе КП, составленном из априори согласуемых между собой сервисов (например, заранее разработанных одним производителем в рамках общей модели использования).

В общем случае, для коллаборативных КП, решающих исследовательские задачи с использованием, в ряде случаев, экспериментального ПО, данные подходы к настоящему времени не сформированы, что и определяет актуальность темы диссертации.

Целью настоящей работы является создание интеллектуальной технологии для проектирования и разработки КП на основе формализованных сущностей предметной области, обеспечивающей автоматизацию его преобразования к форме, исполнимой в глобальных средах распределенных вычислений в рамках облачной модели AaaS (Application as a Service).

Задачами настоящей работы являются:

- обоснование требований к интеллектуальной технологии исходя из анализа существующего научно-технического задела в части автоматизации вычислительного эксперимента в глобальных распределенных средах;

- разработка информационных и математических моделей абстрактного представления КП с использованием априорных знаний предметной области, формализуемых в виде виртуальных моделирующих объектов (VSO, Virtual Simulation Object);

- разработка интеллектуальных методов, включая метод интерпретации абстрактного представления КП в виде VSO в исполнимую форму на основе логического вывода по базе знаний, характеризующей основные сущности процесса;

- создание экспериментального образца программного комплекса, обеспечивающего проектирование, разработку и исполнение VSO в глобальных средах распределенных вычислений, для выполнения экспериментальных исследований;

- экспериментальные исследования технологии проектирования и разработки КП на основе VSO, включая апробацию на прикладных задачах (в том числе анализ экстремальных гидрометеорологических явлений, моделирование городской транспортной инфраструктуры).

Научная новизна определяется новым способом абстрактного представления предметно-ориентированных КП в форме VSO исходя из терминов описания предметной области в форме взаимосвязанных математических моделей, с возможностью их эквивалентного преобразования к виду исполнимого приложения для различных распределенных сред в рамках облачной модели AaaS.

Практическую значимость работы определяют:

- программные компоненты для конструирования и использования VSO, интегрированные в облачную платформу CLAVIRE;

- набор экспериментальных VSO для анализа экстремальных гидрометеорологических явлений и городской транспортной инфраструктуры.

На защиту выносятся'.

- модель КП в форме VSO и метод его интерпретации к форме потока задач (workflow, WF), исполнимого в распределенных облачных средах в рамках модели AaaS;

- интеллектуальная технология проектирования и разработки КП в форме VSO на основе знаний предметной области, формализованных в виде онтологии.

Достоверность научных результатов обусловлена строгостью теоретической постановки задачи с использованием дескрипционной, пропозиционной логики, а также логики предикатов, обоснованностью применения математического аппарата, результатами тестирования алгоритмов и программного обеспечения, экспериментальными исследованиями на реальных приложениях, а также практическим внедрением (опытной эксплуатацией) разработанных программных средств в составе облачной платформы CLAVIRE.

Диссертация состоит из четырех глав. Первая глава посвящена исследованию текущего состояния проблематики предметной области, а именно анализу концепций построения КП в распределенных средах, подходов, методов и технологий формализации экспертных знаний, использования формализованных знаний и оказания интеллектуальной поддержки пользователей при построении композитных приложений. Сравниваются основные системы построения КП по критериям реализуемых подходов и методов построения КП, раскрываются преимущества применения интеллектуальных технологий на основе формализованных априорных знаний предметной области.

Во второй главе приведены теоретические основы технологии VSO, представлены информационные и математические модели основных сущностей, а также описан метод интерпретации на основе логического вывода по базе знаний предметной области. В частности, приведены доказательства формальных утверждений эквивалентности связи элементов VSO на разных уровнях абстракции, а также утверждения следования связности программных пакетов на основе семантической эквивалентности их входных и выходных параметров.

В третьей главе представлена архитектура программного комплекса, обеспечивающего полный цикл операций по проектированию и разработке, подготовке к запуску, хранению и повторному использованию разработанных КП. Описана клиентская часть программного комплекса, состоящая из двух приложений, имеющих интерактивные

графические интерфейсы для непосредственной работы пользователей. Также приведено описание серверной части разработанного программного комплекса, осуществляющей обработку и хранение образов УБО и КП. Рассмотрены структура и назначение разработанных программных библиотек, интегрированных в серверную и клиентскую части программного комплекса.

В четвертой главе приведены описания экспериментальных исследований предложенной модели композитного приложения в формате УБО. Эксперименты проводились в течение всего времени выполнения диссертационной работы, поэтому функциональные возможности экспериментального прототипа постоянно пополнялись. В частности, продемонстрированы КП с использованием композитных У80, объектов с наследованием структуры, а также описан эксперимент с пакетной обработкой онтологических сущностей, полученных из внешнего источника открытых данных. В качестве предметных задач рассматривалось моделирование экстремальных гидрометеорологических явлений и городской транспортной инфраструктуры.

Глава 1. Аналитический обзор и обоснование постановки задачи

Концепция электронной науки (eScience), сформулированная в конце 1990-х гг., предполагает решение междисциплинарных научных задач за счет взаимодействия географически удаленных групп ученых [1]. Такое взаимодействие стало возможным благодаря использованию глобальной инфраструктуры распределенных вычислений, включающей множество программных и аппаратных ресурсов, связь между которыми осуществляется по сети Интернет. Пользовательские приложения, разработанные путем агрегации существующих в распределенной среде программных ресурсов (как отдельных сервисов распределенной среды), получили название композитных приложений (КП) [2]. Традиционно задача построения КП решается на основе формализма WF [3], обеспечивающего интеграцию и поддержку взаимодействия существующих сервисов.

В параграфе 1.1 рассматриваются различные интерфейсы взаимодействия пользователя при разработке и использовании КП, в частности, WFMS (workflow management system) [4]. Параграф 1.2 посвящен обзору существующих методов проектирования и разработки КП. В параграфе 1.3 представлены подходы, методы и технологии формализации экспертных знаний, направленные на обеспечение функций интеллектуальной поддержки пользователя в процессе построения КП (см. параграф 1.4).

1.1. Интерфейсы человеко-компыотерного взаимодействия для разработки и исполнения композитных приложений

Для решения задач моделирования и обработки больших объемов данных с использованием распределенной вычислительной инфраструктуры необходимо обеспечить интеграцию аппаратных, программных и информационных ресурсов, необходимых для исполнения КП. Однако специфика решений определяет необходимость разработки специализированных подходов к организации человеко-компыотерного взаимодействия (ЧКВ) с учетом особенностей решаемой задачи компьютерного моделирования. В данном случае типовой пользователь — специалист предметной области, решающий задачу моделирования некоторой предметной системы. Вследствие структурной сложности моделируемой системы пользователь сталкивается с необходимостью настройки и интеграции разнородных программных средств, использования различных информационных источников, что требует знания специфики использования этих ресурсов [5].

Идея применения для решения задачи интеллектуальных технологий, основанных на использовании априорных знаний предметной области, заложена в рамках концепции iPSE (Intelligent Problem Solving Environment) [6]. Эта задача решается путем формализации и

использования экспертных знаний для интеллектуальной и информационной поддержки пользователя, а также автоматизации процессов планирования и исполнения КП в неоднородных вычислительных средах. При этом использование унифицированных проблемно-ориентированных средств [7] позволяет выстраивать диалог с пользователем в рамках унифицированной терминологии предметной области. Таким образом, пользователь изолируется от специфики работы с программными и аппаратными ресурсами, задействованными в КП, а реализация пользовательских интерфейсов приобретает специфические особенности, связанные с применением знаний в целях обеспечения поддержки пользователя в процессе использования облачных сред для компьютерного моделирования.

В наиболее общем случае интерфейсы взаимодействия пользователя с информационной системой, обеспечивающей разработку и исполнение КП, можно разделить на три класса.

1) Текстовые (консольные, программные) интерфейсы — наиболее примитивный способ взаимодействия пользователя с компьютерной системой, предполагающий непосредственное задание логики КП пользователем. Текстовые интерфейсы, как правило, ориентированы на использование администраторами системы, а также пользователями с уровнем компетенции, достаточным для разработки высокоуровневых программных приложений, интегрирующих в себе функции вызова других приложений посредством текстовых интерфейсов. Текстовые интерфейсы наиболее удобны при выполнении рутинных операций, не требующих частого изменения конфигурации приложения (например, организация тестов, пакетная обработка и т.д.). В зависимости от уровня абстракции текстовые интерфейсы способны принимать к обработке команды и данные в:

- простой текстовой форме (консольный интерфейс). Наиболее популярным способом формализации приложений являются последовательности команд (например, bash- и shell-скрипты);

- форме конструкции с некоторой заранее определенной внутренней структурой (например, сервисы SOA и REST). Наиболее популярной формой задания приложения являются XML-разметка, а также различные языки на ее основе (например, WSDL, BPEL, UDDI, UML [8]);

- форме нотации предметно-ориентированного языка, требующего предварительной обработки интерпретатором. Как правило, эти интерфейсы (наряду с графическими) реализуются в виде порталов на базе некоторой WFMS.

В случае текстовых интерфейсов интеллектуальные технологии применяются преимущественно на стадии интерпретации высокоуровневых текстовых описаний, проверки

корректности КП и оказания поддержки пользователю при написании кода программ. В частности, применение интеллектуальных технологий можно увидеть в различных средах разработки (IDE) как общего [9], так и специального назначения. Например, пользовательский интерфейс Ginger [10] платформы CLAVIRE, ориентированный на разработку КП в формате абстрактных WF, в реальном времени выполняет синтаксический разбор и анализ конструкций КП на соответствие грамматике предметно-ориентированного языка EasyFlow [7], а также проверку корректности спецификации входных и выходных параметров используемых программных пакетов (рис. 1.1).

^ Запустить Упрощенное представление WF Скрипт) Визуальный редактор

is step s3 run3 bsm s after s2 ( 16 inHirlam=sl.Result.Outputs.output, 1? inMeasurement=Measurement level, is 3tartCalcDate="Ci9.01.2007 [')• expected 1 is ); 1--— 20 21 //Spectrum parazietnzation 22 step s4 runs sdss s after s3 ( 23 input folder=s3.Result.Outputs.points 21 ); - Скрипт распознан с ошибками')' expected. ¡<

i ►

Список ошибок

17 27 ')' expected.

Рисунок 1.1. Применение интеллектуальных технологий для синтаксического анализа КП в

нотации предметно-ориентированного языка

2) Графические интерфейсы, как правило, являются облегчающими взаимодействие пользователей с программной системой надстройками над текстовыми интерфейсами. Использование графических интерфейсов избавляет пользователей от необходимости разбираться в синтаксисе используемого предметно-ориентированного языка [8].

Наиболее распространенной формой задания КП в графическом интерфейсе является построение приложения в форме графа в большинстве соответствующих систем (Taverna [11], Triana [12], Kepler [13], Pegasus [14], WS-VLAM [15] и т.д.). В зависимости от уровня абстракции графического интерфейса пользователю предлагается построение графа как в форме конечных вычислительных операций, так и в форме высокоуровневых абстракций, отделенных от конечной вычислительной инфраструктуры (см. параграф 1.2).

Другой формой взаимодействия пользователя с графическим интерфейсом информационной системы является диалог. В частности, применение интеллектуальных технологий породило интерфейс взаимодействия, называемый интеллектуальным инструктором [10]. Этот интерфейс предназначен для сравнительного анализа различных вариантов реализации и запуска КП, решающих поставленную задачу компьютерного

моделирования. Интеллектуальный инструктор предоставляет пользователю возможность обоснованного выбора решений; он работает на уровне моделей, ввиду того что сравнительный анализ способов решения задачи начинается с выбора модели, представляющей исследуемую систему. Модель в данном случае является «отправной точкой» работы интеллектуального инструктора, анализирующего допустимые способы исследования выбранной модели (методов), которые также являются КП, формируемыми на более низких уровнях. Актуальность применения интеллектуального инструктора обусловлена, в первую очередь, возможностью использования формализованного опыта экспертов в части решения задач компьютерного моделирования. Востребованы знания, необходимые для построения качественного (с точки зрения предметной области) решения, знания, связанные с использованием доступных программно-аппаратных ресурсов, а также знания о способах построения композитных решений. Таким образом, при сравнительном анализе интеллектуальный инструктор должен использовать набор знаний, обеспечивающий возможность оценки отдельных частей и целых КП в соответствии с различными критериями качества. При этом оценки могут быть ассоциированы с различными уровнями построения КП (от сервисов до моделей). В ходе анализа следует опираться на совокупность критериев качества, включающую оценки решения с точки зрения как предметной области (например, обеспечение наибольшей точности результата), так и технологии реализации (например, обеспечение наиболее высокой производительности). Ввиду того что информация, предоставляемая интеллектуальным инструктором, построена с применением экспертных знаний, целесообразно использовать его не только при компьютерном моделировании непосредственно, но и в ходе изучения методов и средств решения задач компьютерного моделирования в избранной предметной области.

Еще одной разновидностью класса графических пользовательских интерфейсов являются проблемно-ориентированные интерфейсы (ПОИ), они позволяют пользователю формировать вычислительные задания в терминах предметной области для дальнейшего выполнения с использованием прикладных программных пакетов в облачной инфраструктуре. ПОИ ориентированы в первую очередь на специалистов предметной области, решающих типовые, не требующие конструирования и детальной конфигурации задачи, ограничиваясь заданием необходимых параметров предметной области. В частности, в работе [10] ПОИ формируется автоматически на базе формализованного описания прикладных пакетов, доступных в облачной среде. При этом результаты вычислений должны предоставляться пользователю с учетом требований, аналогичных требованиям к параметрам запуска.

Динамически генерируемые ПОИ довольно широко применяются при построении информационных систем ситуационных центров (СЦ) оперативного реагирования и ситуационного моделирования чрезвычайных ситуаций (ЧС). В частности, в работе [16] предлагается подход к генерации динамических интерфейсов на основе моделей задач, описанных экспертами в базе знаний. В качестве примера рассмотрен динамически сгенерированный интерфейс системы мониторинга и планирования полицейского патрулирования, позволяющий распределять на карте города имеющиеся экипажи полиции по наиболее опасным перекресткам. При возникновении чрезвычайной ситуации потоки информации, поступающей в СЦ, многократно возрастают, что увеличивает когнитивную нагрузку на операторов-экспертов, ответственных за принятие решений. Отображение наиболее важной и релевантной информации зачастую применяется в графических интерфейсах, это весьма актуально для систем принятия решений и геоинформационных систем мониторинга.

3) Мулытшодальные интерфейсы информационных систем, в отличие от унимодальных (использующих только клавиатуру и мышь), поддерживают управление жестами, речью, набором движений как одного, так и нескольких операторов. В частности, система DAVE-G (Dialogue-Assisted Visual Environment for Geoinformation) [17] на основе диалога с пользователем распознает задаваемые ей вопросы и отображает на экране необходимую информацию. Управление экраном осуществляется также с помощью распознавания технических средств захвата и распознавания жестов.

1.2. Методы построения композитных приложений с использованием высокопроизводительных вычислительных ресурсов

Традиционно построение КП осуществлялось за счет агрегации сервис-ориентированных программных компонентов [18] посредством жесткого связывания элементов между собой:

1) Композиция web-cepeucoe с минимальными описаниями [19-21], согласно такому подходу, пользователю предлагаются программные и аппаратные ресурсы в их исходном виде, т.е. без каких-либо абстракций. Композиция этим способом подразумевает непосредственное написание кода КП и требует от пользователя знаний форматов описаний сервисов, например, WSDL, BPEL, UDDI и др. Поскольку разработка данным способом не подразумевает механизмов абстракции, то процесс их построения зачастую неразрывно связан с процессами подготовки планов для менеджера исполнения, таких как Pegasus [14], Condor DAGMan [22], SLURM [23], и др.

2. Композиция семантически аннотированных сервисов [24-28]. Появление и развитие семантических технологий широко отразилось на подходах к построению КП, в результате на следующей стадии построение КП стало выполняться посредством оперирования семантически аннотированными сервисами. Семантическое аннотирование сервисов привнесло элементы абстракции - вычислительные операции перестали зависеть от реализации на конечных ресурсах, а конкретный низкоуровневый WF начал генерироваться автоматически. Широкое применение семантически аннотированных сервисов породило понятие «семантический Грид» (Semantic Grid) [29-32].

3) Композиция на основе шаблонов типовых WF. Интенсивное развитие технологий распределенных вычислений и, в частности, широкое применение семантических технологий для аннотирования vveb-ссрвисов определило новый тренд в построении композиции и развитии способов композиции, а именно: построение КП переходит на уровень оперирования абстрактными операциями предметной области, а также разделения операций на функциональные и вспомогательные. Функциональные операции предметной области представляют собой высокоуровневые шаблоны, реализация которых может содержать множество последовательных вызовов абстрактных программных ресурсов и осуществляется автоматически. Одной из проблем, ставших очевидными с развитием данного метода, является смешивание предметных, функциональных и нефункциональных операций [33]. Например, для неопытных пользователей наукоемкие вычислительные алгоритмы, различные операции (конвертации форматов данных, журналирования и визуализации) могут выглядеть операциями одного порядка, несмотря на то что они заключают в себе разные типы экспертного знания (предметное, функциональное и нефункциональное соответственно).

Позднее, с появлением парадигмы eScience [1], сформировалось понятие научно-ориентированного WF [34-35], отличающегося принципами построения и требованиями к производительности, хранению данных, безопасности, надежности и т.д. [3, 33]. Идея построения научно-ориентированных WF является предметом исследований, породивших появление нового класса систем и потоко-ориентированных языков [36]. Обособленное существование данных типов WF обусловлено базированием на двух различных подходах к построению [13].

1. Подход, основанный на управлении (Control-Driven Approach), характерен для потоков задач, описывающих логику бизнес-процессов. Модель WF-приложения описывается последовательностью низкоуровневых управляющих конструкций (например, условия и циклы), которые формируют логику обработки данных. Однако в научных кругах

этот подход был постепенно замещен подходом с ориентацией по данным, в частности, модельно-ориентированным с интеграцией знаний (см. п. 1.2.3).

2. Подход, основанный на данных (Data-Driven Approach), характерен для организации моделирующих научных экспериментов, где модель приложения формируется абстрактными правилами обработки данных, участвующих в расчете [37]. Иными словами, характер и параметры обработки определяются в зависимости от данных, а все необходимые последовательности низкоуровневых операций генерируются автоматически и скрыты от пользователя [13].

Для систем проектирования и организации научно-ориентированных вычислительных экспериментов характерна реализация по принципу модельно-ориентированной архитектуры (MOA, от англ. Model Driven Architecture) - одной из парадигм, применяемых в проектировании и разработке ПО [38]. Модельно-ориентированный подход подразумевает отделение логики приложения от его реализации, предлагая оперирование высокоуровневыми моделями, скрывающими информацию о конечной программной реализации и вычислительной инфраструктуре. Адаптация данного подхода к процессу построения научных моделирующих экспериментов породила несколько условных уровней абстракции WF:

1. Конкретный WF (Concrete WF, CWF; в ряде работ назван исполняемым WF [39-40]) исторически является первым способом композиции WF и, согласно MOA, реализует платформенно-зависимую модель приложения. Применяемый, в частности в рамках моделыю-ориентированного подхода, данный уровень базируется на принципах, заимствованных из подхода к описанию логики бизнес-процессов. Модель КП в формате конкретного WF образует последовательность элементарных действий, предписанных к выполнению на конечной вычислительной инфраструктуре. Например, вызовы конечных web-ссрвисов, взаимодействие по конкретным протоколам, ip-адресам, номерам портов и т.д, - все это представляет собой модель приложения в формате CWF. В конечном итоге, данная модель полностью зависит от среды исполнения, что делает ее непригодной для быстрой адаптации на другие платформы и как следствие - практически невозможной для использования пользователями других платформ. Разработка CWF осложняется неоднородностью ресурсов по различным критериям (например, тип операционной системы, производительность узлов, различные форматы данных и т.д.). К тому же отладка взаимодействий между сервисами, порядок их вызова, маршруты передачи данных и т.д. -все эти задачи ложатся на пользователя-разработчика и, помимо знаний предметной области, требуют от него знаний технических особенностей вычислительной инфраструктуры. Для

Список литературы диссертационного исследования кандидат наук Смирнов, Павел Андреевич, 2014 год

Список литературы

[1] Hey Т., Trefethen A. e-Science and its implications //Philosophical Transactions of the Royal Society of London. Series A: Mathematical, Physical and Engineering Sciences. - 2003. - T. 361.-№. 1809.-C. 1809-1825.

[2] Nori A. K., Jain R. Composite applications: Process based application development //Technologies for E-Services. - Springer Berlin Heidelberg, 2002. - C. 48-53.

[3] Gil Y. et al. Examining the Challenges of Scientific Workflows // IEEE Computer. -2007. -Vol. 40. - Issue 12. - P. 24-32.

[4] Krauter K., Buyya R., Maheswaran M. A taxonomy and survey of grid resource management systems for distributed computing //Software: Practice and Experience. - 2002. - T. 32. - №. 2.-C. 135-164.

[5] McPhillips T. et al. Scientific workflow design for mere mortals //Future Generation Computer Systems. - 2009. - Т. 25.-№. 5.-C. 541-551.

[6] Бухановский А. В., Ковальчук С. В., Марьин С. В. Интеллектуальные высокопроизводительные программные комплексы моделирования сложных систем: концепция, архитектура и примеры реализации // Известия вузов. Приборостроение. 2009. № 10. С. 5-24.

[7] Князьков К. В., Ларченко А. В. Предметно-ориентированные технологии разработки приложений в распределенных средах //Изв. вузов. Приборостроение. - 2011. - Т. 54. -№. 10.-С. 36-43.

[8] Rahman М., Ranjan R., Buyya R. A taxonomy of autonomic application management in grids //Parallel and Distributed Systems (ICPADS), 2010 IEEE 16th International Conference on. -IEEE, 2010.-C. 189-196.

[9] Использование технологии IntelliSense [Электронный ресурс]. - Режим доступа: http://msdn.microsoft.com/ru-ru/library/hcwls69b.aspx

[10] С. В. Ковальчук, К. В. Князьков, Т. Н. Чуров, П. А. Смирнов, А. В. Бухановский, "Организация человеко-компьютерного взаимодействия в средах компьютерного моделирования на базе облачной инфраструктуры" // Прикладная информатика №5(41),

2012, с.89-102.

[11] Hull D. et al Taverna: a tool for building and running workflows of services //Nucleic acids research. - 2006. - T. 34. - №. suppl 2. - С. W729-W732.

[\2]Majithia S. et al. Triana: A graphical web service composition and execution toolkit //Web Services, 2004. Proceedings. IEEE International Conference on. - IEEE, 2004. - C. 514-521.

[13] Ludàscher B. et al. Scientific workflow management and the Kepler system //Concurrency and Computation: Practice and Experience. - 2006. - T. 18.-№. 10.-C. 1039-1065.

[14] Deelman E. et al. Pegasus: A framework for mapping complex scientific workflows onto distributed systems //Scientific Programming. - 2005. - T. 13. - №. 3. - C. 219-237

[15] Korkhov V. et al. WS-VLAM: towards a scalable workflow system on the grid //Proceedings of the 2nd workshop on Workflows in support of large-scale science. - ACM, 2007. - C. 63-68.

[16] Libôrio A. et al, "Interface design through knowledge-based systems: an approach centered on explanations from problem-solving models," //Proceedings of the 4th international workshop on Task models and diagrams. - ACM, 2005. - C. 127-134.

[17] Fuhrmann S. et al. Collaborative emergency management with multimodal GIS. - 2003

[18] Papazoglou M. P. Service-oriented computing: Concepts, characteristics and directions IIWeb Information Systems Engineering, 2003. WISE 2003. Proceedings of the Fourth International Conference on. - IEEE, 2003. - C. 3-12.

[19]Agarwal V. et al. Understanding approaches for web service composition and execution //Proceedings of the 1st Bangalore annual Compute conference. - ACM, 2008. - С. 1.

[20] Rao J., Su X. A survey of automated web service composition methods //Semantic Web Services and Web Process Composition. - Springer Berlin Heidelberg, 2005. - C. 43-54

[21 ] Bunting D. et al. Web services composite application framework (ws-caf) verl. 0 //Arjuna Technologies Limited, Fujitsu Software, IONA Technologies PLC, Oracle Corp and Sun Microsystems, Tech. Rep. - 2003.

[22] Team C. DAGMan: A Directed Acyclic Graph Manager //See website at http://www. cs. wise.

edu/condor/dagman. - 2005.

[23] Yoo A. B., Jette M. A., Grondona M. SLURM: Simple linux utility for resource management //Job Scheduling Strategies for Parallel Processing. - Springer Berlin Heidelberg, 2003. - C. 44-60.

[24] Zeshan F., Mohamad R. Semantic web service composition approaches: Overview and limitations //International Journal of New Computer Architectures and their Applications (IJNCAA). - 2011. - T. 1. - №. 3. - C. 640-651.

[25] Ngu A. H. H. et al. Semantic-based mashup of composite applications //Services Computing, IEEE Transactions on.-2010.-T. 3.-№. 1. -C. 2-15.

[26] Majithia S., Walker D. W., Gray W. A. Automated web service composition using semantic web technologies //Autonomic Computing, 2004. Proceedings. International Conference on. -IEEE, 2004.-C. 306-307.

[27] Karakoc E., Senkul P. Composing semantic Web services under constraints //Expert Systems with Applications. - 2009. - T. 36.-№. 8.-C. 11021-11029.

[28] Wilkinson M. D. et al. The Semantic Automated Discovery and Integration (SADI) Web service Design-Pattern, API and Reference Implementation Hi. Biomedical Semantics. - 2011. -T. 2.-C. 8.

[29] De Roure D., Sure Y. Semantic Grid-The convergence of technologies //Journal of Web Semantics. - 2006. - T. 4. - №. 2. - C. 82-83.

[30] Cannataro M., Talia D. Semantics and knowledge grids: building the next-generation grid //Intelligent Systems, IEEE. - 2004. - T. 19.-№. l.-C. 56-63.

[31] Corcho O. et al. An overview of S-OGSA: A reference semantic grid architecture //Web Semantics: Science, Services and Agents on the World Wide Web. - 2006. - T. 4. - №. 2. - C. 102-115.

[32] Gubala T. et al. Semantic-based grid workflow composition //Parallel Processing and Applied Mathematics. - Springer Berlin Heidelberg, 2006. - C. 651-658.

[33] Cerezo N.. Montagnat J., Blay-Fornarino M. Computer-Assisted Scientific Workflow Design

//Journal of grid computing. - 2013. - T. 11. - №. 3. - C. 585-612.

[34] Yu J., Buyya R. A Taxonomy of Workflow Management Systems for Grid Computing // Journal of Grid Computing. - 2005. - Vol. 3. -Numbers 3-4. - P. 171-200.

[35] Ludascher B. et al. Scientific process automation and workflow management //Scientific Data Management: Challenges, Existing Technology, and Deployment, Computational Science Series. - 2009. - C. 476-508.

[36] Johnston W. M., Hanna J. R., Millar R. J. Advances in dataflow programming languages //ACM Computing Surveys (CSUR). - 2004. - T. 36. - №. 1. - C. 1-34.

[37] Glotzer S. et al. International assessment of research and development in simulation-based engineering and science //World Technology Evaluation Center, Maryland. - 2009.

[38] Soley R. et al. Model driven architecture //OMG white paper. - 2000. - T. 308. - C. 308.

[39] Gil Y. et al. Wings: Intelligent workflow-based design of computational experiments //IEEE Intelligent Systems. - 2010. - C. 62-72.

[40] Kim J., Spraragen M, Gil Y. An intelligent assistant for interactive workflow composition //Proceedings of the 9th international conference on Intelligent user interfaces. - ACM, 2004. -C. 125-131.

[41] Kim J., Gil Y., Spraragen M. Principles for interactive acquisition and validation of workflows //Journal of Experimental and Theoretical Artificial Intelligence. - 2010. - T. 22. - №. 2. - C. 103-134.

[42] Missier P. et al. Functional units: Abstractions for web service annotations //Services (SERVICES-1), 2010 6th World Congress on. - IEEE, 2010. -C. 306-313.

[43] García-Jiménez B., Wilkinson M. D. Automatic annotation of bioinformatics workflows with biomedical ontologies //arXiv preprint arXiv: 1407.0165. - 2014.

[44] Belhajjame K. et al. Automatic annotation of web services based on workflow definitions //ACM Transactions on the Web (TWEB). - 2008. - T. 2. - №. 2. - C. 11.

[45] Gil Y. et al. Wings for pegasus: Creating large-scale scientific applications using semantic representations of computational workflows //Proceedings of the National Conference on

Artificial Intelligence. -2007. - Т. 22. - №. 2. - С. 1767.

[46] Kovalchuk S., Larchenko A., Boukhanovsky A. Knowledge-based resource management for distributed problem solving //Knowledge Engineering and Management. - Springer Berlin Heidelberg, 2011. - C. 121-128.

[47] Belloum A. et al. Collaborative e-science experiments and scientific workflows //Internet Computing, IEEE. - 2011. - T. 15. - №. 4. - C. 39-47.

[48] Нечаев Ю. И. Искусственный интеллект: концепции и приложения //Нечаев ЮИ-Санкт-Петербург: ГМТУ. - 2002, 230 с.

[49] Berners-Lee Т. et al. The semantic web //Scientific american. - 2001. - Т. 284. - №. 5. - С. 28-37.

[50] В. Шепелев Ахиллесова пята Семантического Веба // Раздел: Из журнала "Компьютерра", http://old.computerra.ru/magazine/362912/, 2008.

[51] Corcho Ó. et al. Workflow-centric research objects: First class citizens in scholarly discourse. -2012.

[52] Belhajjame K. et al. The research object suite of ontologies: Sharing and exchanging research data and methods on the open web //arXiv preprint arXiv: 1401.4307. - 2014.

[53] Tran V. X., Tsuji H. Owl-t: A task ontology language for automatic service composition //Web Services, 2007. ICWS 2007. IEEE International Conference on. - IEEE, 2007. - С. 1164-1167.

[54] Wroe C. et al. A suite of DAML+ OIL ontologies to describe bioinformatics web services and data //International Journal of Cooperative Information Systems. - 2003. - T. 12. - №. 02. - C. 197-224.

[55] Модель обмена и повторного использования объектов [Электронный ресурс]. - Режим доступа: http://www.openarchives.org/ore/LO/toc.html

[56] Онтология аннотирования (Annotation ontology) [Электронный ресурс]. — Режим доступа: http://eode.google.eom/p/annotation-ontology

[57] The open source ISA metadata tracking tools [Электронный ресурс]. - Режим доступа:

http://www.isa-tools.org

[58] Dublic core metadata initiative [Электронный ресурс]. - Режим доступа: http://dublincore.org

[59] Bechhofer S. et al. Research objects: Towards exchange and reuse of digital knowledge //The Future of the Web for Collaborative Science. - 2010.

[60] Page K. et al. From workflows to Research Objects: an architecture for preserving the semantics of science //Proceedings of the 2nd International Workshop on Linked Science. -2012.

[61] Garijo D., Gil Y. A new approach for publishing workflows: abstractions, standards, and linked data //Proceedings of the 6th workshop on Workflows in support of large-scale science. -ACM, 2011.-C. 47-56.

[62] Da Silva L. M., Braga R., Campos F. Composer-Science: A semantic service based framework for workflow composition in e-Science projects //Information Sciences. - 2012. - T. 186. - №. l.-C. 186-208.

[63] Afsarmanesh H. et al. VLAM-G: A Grid-based virtual laboratory //Scientific Programming. -2002.-T. 10. -№. 2.-C. 173-181.

[64] Wolstencroft K. et al. The my Grid ontology: bioinformatics service discovery //International journal of bioinformatics research and applications. - 2007. - T. 3. - №. 3. - C. 303-325.

[65] G. Kahn and D. B. MacQueen. Coroutines and Networks of Parallel Processes. In B. Gilchrist, editor, Proc. of the IFIP Congress 77, pp. 993-998, 1977.

[66] Moreau L. et al. The open provenance model core specification (vl. 1) //Future Generation Computer Systems. - 2011. - T. 27. - №. 6. - C. 743-756.

[67] Klyne G., Carroll J. J. Resource description framework (RDF): Concepts and abstract syntax. -2006.

[68] Prud'Hommeaux E. et al. SPARQL query language for RDF //W3C recommendation. - 2008. -T. 15.

[69] Е. Золин Дескрипционная логика (лекции) // http://lpcs.math.msu.su/~zolin/dl/

[70] Б.Конев. Онтология и представление знаний. Лекции, 2010 [Электронный ресурс]. -Режим доступа: http://logic.pdmi.ras.ru/csclub/courses/ontology

[71] Suggested Upper Merged Ontology (SUMO) [Электронный ресурс]. - Режим доступа: http://www.ontologyportal.org

[72] К. V. Knyazkov et al. CLAVIRE: e-Science infrastructure for data-driven computing //Journal of Computational Science. - 2012. - T. 3.-№. 6.-C. 504-510.

[73] Программная библиотека GraphLight. Исходные коды и документация [Электронный ресурс]. - Режим доступа: http://graphlight.codeplex.com/

[74] Программная библиотека Liquid. Исходные коды и документация [Электронный ресурс]. - Режим доступа: http://www.vectorlight.net/silverlight/controls.aspx

[75] Программная библиотека OWLDotNetAPI [Электронный ресурс]. - Режим Aocxyna:https://code.google.com/p/owldotnetapi/

[76] Программная библиотека DotNetRDF. Исходный код и документация. [Электронный ресурс]. - Режим доступа: http://www.dotnetrdf.org/

[77] Редактор семантических онтологий Protégé [Электронный ресурс]. - Режим доступа: http://protege.stanford.edu/

[78] Технология Windows Communication Foundation [Электронный ресурс]. - Режим доступа: http://msdn.microsoft.com/ru-ru/libraiy/dd456779(v=vs. 110).aspx

[79] Prud'Hommeaux Е. et al. SPARQL query language for RDF //W3C recommendation. - 2008. -T. 15.

[80] Сервер хранения триплетов Jena [Электронный ресурс]. — Режим доступа: http://jena.apache.org/

[81] Чуров Т.Н. и др. Технологии экстренных вычислений в задачах планирования и диспетчеризации маршрутов наземного общественного транспорта // Научно-технический вестник информационных технологий, механики и оптики. 2013. №5 (87).

С. 173-175.

[82] Веб-карты на основе данных OSM [Электронный ресурс]. - Режим доступа: http://openstreetmap.ru

[83] Network Common Data Form (NetCDF) [Электронный ресурс]. - Режим доступа: http://www.unidata.ucar.edu/software/netcdf/

[84] The NCEP/NCAR Reanalysis Project [Электронный ресурс]. - Режим доступа: http://www.esrl.noaa.gov/psd/data/reanalysis/reanalysis.shtml

[85] The Akima Interpolation [Электронный ресурс]. - Режим доступа: http://www.iue.tuwien.ac.at/phd/rottinger/node60.html

[86] Gnupot homepage [Электронный ресурс]. - Режим доступа: http://www.gnuplot.info/

[87] The Linking Open Data cloud diagram [Электронный ресурс]. - Режим доступа: http://lod-cloud.net/

[88] DBpedia Faceted Search & Find service vl. 13.61 [Электронный ресурс]. - Режим доступа: http://dbpedia.org/fct

[89] DBpedia.org, Category "European windstorms "[Электронный ресурс]. - Режим доступа: http://dbpedia.0rg/data/Categ0ry:Eur0pean_windst0rms.rdf

[90] The official SWAN Home Page [Электронный ресурс]. - Режим ;iocTyna:http://www. swan, tudelft.nl/

[91] Безгодов А.А., Бухановский A.B. Виртуальный полигон для исследования экстремальной динамики морских объектов на нерегулярном волнении // Известия высших учебных заведений. Приборостроение. 2011. №5. С. 98-100.