Использование распределённых вычислительных систем для сбора, обработки и представления геофизических данных тема диссертации и автореферата по ВАК РФ 25.00.10, кандидат наук Холодков, Кирилл Игоревич

• Холодков, Кирилл Игоревич
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Холодков, Кирилл Игоревич

Содержание

Введение

1 Применение систем распределённых вычислений для решения обратных задач геофизики

1.1 Обзор ключевых принципов работы высокопроизводительных систем

1.2 Особенности высокопроизводительных систем, созданных в рамках этой работы

1.2.1 Доступ к данным в высокопроизводительных системах, созданных в рамках этой работы

1.2.2 ПО для организации распределённых вычислений

1.2.3 Программная архитектура используемых вычислительных ресурсов

1.2.4 Программная архитектура платформы интеграции и проблемно-специфических приложений

1.3 Применение разработанного ПО для решения задачи определения параметров анизотропии по волновым формам

1.3.1 Описание задачи

1.3.2 Программное решение

1.3.3 Использование реляционной СУБД

1.3.4 Анализ и визуализация результатов

1.4 Выводы

2 Создание элементов автономного оперативного регистратора сейсмических данных и данных ГНСС

2.1 Введение

2.2 Опыт создания портативной автономной сейсмологической станции, работающей по протоколу реального времени

2.3 Создание пункта сбора данных и оперативного мониторинга ГНСС

2.4 Использование технологий виртуальных частных сетей для

сбора данных оперативных систем геофизических наблюдений

2.5 Заключение

Заключение

Глоссарий

Список рисунков

Список таблиц

Список литературы

Введение диссертации (часть автореферата) на тему «Использование распределённых вычислительных систем для сбора, обработки и представления геофизических данных»

Введение

Краткий обзор

Данная работа посвящена трём аспектам применения информационных технологий в геофизике. Современные научные исследования часто связаны со сложными вычислениями и использованием высокопроизводительных вычислительных систем. Возможность повторно использовать существующие вычислительные программные инструменты является одним из важных факторов влияющих на эффективность исследований. Однако зачастую такие программные инструменты требуют специальных умений для того, что бы развернуть, настроить и запустить их. В рамках данной работы рассмотрена эта проблема и предложено её решение на примере обратных задач геофизики. Первой, в частности, рассмотрена обратная задача определения параметров анизотропии коры и верней мантии по данным телесейсмических наблюдений. Далее рассмотрен опыт создания автономного энергоэффективного регистратора геофизических данных. Завершается работа описанием разработки средства визуализации данных высокорбитальной радиотомографии ионосферы.

Распределённые вычислительные системы

Основой распределенных вычислительных систем являются программные продукты, называемые промежуточным программным обеспечением

(англ. middleware), в задачи которого входит организация многопользовательской работы в распределенных системах при максимальной защите от несанкционированного использования предоставляемых ресурсов. Распределенные системы, использующие промежуточное программное обеспечение для разделяемого использования вычислительных ресурсов, называются грид-системами, или просто грид.

В большинстве реализаций программного обеспечения можно выделить пять основных компонентов: механизм безопасности, инструментарий для запуска задач или программные интерфейсы, планировщик задач, средства доставки данных и средства мониторинга. Перечисленные компоненты не являются обязательными, могут различаться по функциональности и сложности, частично привлекать сторонние компоненты. В целом, состав промежуточного программного обеспечения диктуется спецификой решаемых задач, аппаратной организацией, политикой доступа и другими обстоятельствами.

Для многих программ этого класса характерным является архитектура обеспечения аутентификации и авторизации пользователей, работа которой основана на инфраструктуре открытого ключа в соответствии со стандартом Х.509[ 1 ]. Для доступа к ресурсам грид пользователь должен получить цифровой сертификат от удостоверяющего центра. Затем при запуске своей программы в грид необходимо также иметь так называемый сертификат-посредник (англ. proxy certificate), который будет использоваться при всех дальнейших операциях в системе. Описание всего хода исполнения задания (порядок выполнения вычислений, входные параметры, пересылка входных данных и пр.) требует использование специфичных для каждого конкретного промежуточного программного обеспечения набора средств. Так, в изначально выбранной нами системе Globus Toolkit применяется язык описания задач (англ. Job Description Language, JDL), который

предназначен для задания параметров запуска вычислительного кода, доставки исходных данных и других действий. Подобные языки нередко бывают плохо документированы, а также имеют тенденцию меняться со сменой версии промежуточного программного обеспечения. Таким образом, использование грид нельзя назвать простым ввиду необходимости свободного владения набором специфических приемов взаимодействия с распределенной вычислительной системой. Существует ряд программных решений, которые упрощают взаимодействие пользователя и грид: как инструментарии для создания грид-приложений [>,], так и интерфейсы для решения конкретных ресурсоёмких задач в грид. В качестве примера приведем портал QuakeSimp], где организован доступ к коллекции веб-служб для доступа к источникам данных, вычислительных программ, средств визуализации и создания карт. Естественно, что такой способ использования грид-систем не допускает каких бы то ни было модификаций со стороны пользователей. Тем не менее, именно этот подход, по нашему мнению, предоставляет максимально удобный способ взаимодействия пользователя и грид. Значительным этапом формализации принципов и стандартов ПО для грид стало применение [- ] концепции сервис-ориентированной архитектуры. Сервис-ориентированная архитектура (англ. SOA - Service-oriented architecture) - термин, пришедший из сферы создания приложений для предприятий и своим появлением обязан растущими требованиями к гибкости приложений. По сути SOA не является революционной идеей, а является неким обобщением лучших практик создания информационной инфраструктуры. Принципы SOA, используемые в ПО для грид - это принципы модульного подхода к разработке, использование слабо-связанных компонентов, использование стандартизованных интерфейсов и протоколов. Модульный подход и слабая связанность - важные архитектурные принципы при создании сервис-ориентированного ПО. Благодаря этим

принципам значительно облегчается внесение изменений в функциональность ПО поскольку изменения не затрагивают систему в целом, что даёт возможность динамически подключать новые компоненты. В 2005 году Фостером предложена «адаптация» всё более и более ориентированной на задачи крупного бизнеса SOA к научному применению - Service-Oriented Science [5]. Реализация концепции «сервис-ориентированной науки» осложнена рядом технологических проблем:

• необходимость унификации компонентов на уровне протоколов, интерфейсов и форматов данных

• снижение технологического барьера для потенциальных разработчиков компонентов за счёт предоставления более доступных программных интерфейсов

• снижение технологического барьера для потенциальных пользователей путём реализации проблемно-ориентированных интерфейсов

Соблюдая основные принципы SOA, равно как и Service-Oriented Science, при создании ПО для грид можно получить очень гибкую и доступную систему, а растущие требования к такому ПО не вынудят его разработчиков перерабатывать большие участки кода. Типичными примерами SOA как промежуточного ПО для грид могут послужить: Mathcloud[ <], Everest[/], GEMLCA[8], Opal2[],

Таким образом, в рамках данной работы разработана программная платформа для грид-приложений и грид приложение. Вместе они обеспечивают возможность решения определённого класса задач без «экспонирования» большей части технологических особенностей вычислений в грид. Грид-приложение состоит из веб-интерфейса и проблемно-специфического модуля для платформы интеграции. Веб-интерфейс предоставляет возможность редактировать параметры вычислений, оценить время выполнения задания, отслеживать его выполнения, а также предоставляет возможность

проанализировать полученные данных. Помимо удобств, использование веб-интерфейса обеспечивает дополнительную безопасность ввиду невозможности выполнения произвольного кода пользователем. Это позволило отказаться от аутентификации пользователей мерами промежуточного программного обеспечения для грид и скрыть от пользователя детали запуска вычислений в грид.

Обратная задача

Данная работа рассматривает использование распределенных вычислительных систем на примере геофизических обратных задач. Традиционно обратная задача - это поиск параметров модели явления или процесса по данным наблюдений за явлением или процессом. Обратная задача в геофизике возникает естественным образом в результате попытки объяснить те или иные физические свойства веществ, структур или процессов внутри Земли по данным, которые можно получить на поверхности. Эти данные формально можно представить как некое множество X) = {(¡¡}. Что бы описать данные наблюдений мы должны сделать некоторые предположения относительно физических свойств веществ, явлений, процессов, описав их при помощи математической модели, которая отображает существенную часть свойств этих веществ, процессов или явлений. Модель характеризуется некоторым набором параметров из М элементов. Совокупность всех значений параметров образует М-мерное пространство. Определённая комбинация параметров {/??,•} может быть описана с помощью вектора т = {/и15 т2,... тм}. В свою очередь, наличие математической модели означает, что существует некоторая функция, которая позволяет по задан-

ным параметрам предсказать данные наблюдений. Обозначим данные, полученные в результате моделирования {s(}, которое образует, так же как и данные наблюдений, множество S = {st}. Таким образом, обратная задача может быть поставлена как поиск таких значений параметров модели, которые наиболее адекватно описывают наблюдённые данные.

В качестве меры того, насколько хорошо выбранная комбинация параметров модели описывает данные наблюдений можно рассмотреть расстояние ||D, .S'il между синтетическими данными S(m) и наблюдёнными данными D.

Расстояние может быть определено различными способами. Выбор той или иной формулы определяется спецификой задачи. Мы использовали наиболее простое и распространённое выражение - стандартное отклонение:

Мы можем использовать введённое расстояние в качестве целевой функции или целевого функционала С = С(т) = С(2), ^(т)). Тогда задачу определения параметров (обратную задачу) мы можем сформулировать так: Найти такое т0, что целевая функция, зависящая от наблюдённых данных и синтетических данных, вычисленных при помощи комбинации параметров т0, примет минимальное значение.

В идеальном случае решением задачи является единственная комбинация параметров т = т0. Даже отвлекаясь от рассмотрения традиционных проблем обратных задач, в частности, доказательства единственности решения и проблемы устойчивости решения, такую формулировку нельзя

п

(1)

щ = arg min mC(D, S (m))

(2)

считать удовлетворительной. Отметим, что данные наблюдений не могут быть получены точно и в результатах их измерений содержится погрешность. Кроме этого, выбранная модель, являясь приближением, не может полностью объяснить данные наблюдений. Это означает, что синтетические данные St содержат некоторые неадекватности.

Установить ошибку для каждого измерения не представляется возможным, так же как и оценить неадекватность используемой модели. В дальнейшем мы будем характеризовать неопределённости одной величиной е. Абсолютная величина е определяется спецификой задачи. В таком случае вместо поиска минимального значения целевой функции имеет смысл переформулировать задачу в виде: Найти все значения , при которых целевая функция удовлетворяет условию:

С( A Sdm))) < е

Таким образом, решением задачи будут являться одна или несколько областей в пространстве параметров, т.е. континуум комбинаций параметров. Возникает проблема интерпретации полученного ответа. Другими словами, следует определить правила анализа такого рода решения: выбор «средних» значений параметров, определения их разрешающей способности (погрешности в определении параметров) и других характеристик.

Одним из методов решения проблемы является применение аппарата апостериорной функции распределения вероятности. В этом подходе обратная задача формулируется следующим образом [ 11 ]: определить вероятность того, что параметры имеют заданное значение при условии, что данные наблюдений имеют значение D.

Можно показать, что, используя функцию правдоподобия (англ. likelihood function), искомое распределение вероятности может быть

выражено формулой:

аф, т) = Ap(m)p(D)e-—^ (3)

Где А - нормировочная константа, р(т) - априорное распределение. p(D) -плотность вероятности, характеризующая разброс данных наблюдения.

Если нас интересует распределение вероятности параметров модели для всех возможных значений данных мы должны проинтегрировать формулу 3 по D:

a(ih) = / Ap(m)p(D)e~ aDfm>) J D

В рассматриваемой нами задаче мы имеем уникальный набор данных, при этом отсутствует возможность оценки разброса этих данных, поэтому мы полагаем, что p(D) есть дельта-функции Дирака. Тогда из предыдущей формулы:

а(т) = Ар(т)е~С{ Ъ

Теперь, когда имеем дело с плотностью распределения вероятности, мы можем использовать методы статистического анализа для определения интересующих нас свойств: средних значений параметров:

г / м \ м

(т() = I т,ет (т, D) dm« I ^ т;сг(т;, D) I Дшг

J \ 1=0 / i=l

дисперсии:

// м \ м

mf(7 (in, D) dm « | ^ D) J J^J Ami

\ i=0 J /=1

и других моментов. Кроме того мы можем построить маргинальные распределения для выбранных параметров, а также другие интересующие нас величины.

Следует подчеркнуть, что для проведения подобного анализа необходимо вычислить значения функции для всех точек т. Численное решение этой задачи сводится к табулированию этой функции, например на прямоугольной решётке.

Даже при относительно небольшом числе параметров эта процедура может занимать значительное время, что делает задачу практически невыполнимой без привлечения значительных вычислительных мощностей. Использование большой вычислительной мощности существенно расширяет круг задач, допускающих точное численное решение. На текущий момент исследователям доступны такие мощности в виде суперкомпьютеров и распределённых вычислительных систем (см. обзор технологий в главе 1). Однако не каждая задача может быть эффективно решена при помощи распределённых вычислительных систем из-за ограничений на взаимодействие параллельных процессов, к части таких задач применимы методы основанные на задачах обучения [И]. Необходимо заметить, что значение функции для каждой комбинации параметров вычисляется независимо, поэтому при её вычислении не возникает необходимости во взаимодействии между параллельными вычислительными процессами. Этот факт снимает ограничение на выполнение в распределённых вычислительных системах, или грид.

Данный метод был применён в задаче определения параметров анизотропии коры и верхней мантии по данным телесейсмических наблюдений.

Анизотропия коры и верхней мантии

Примером использования распределённых вычислительных систем для решения обратных геофизических задач в этой работе является задача опре-

деления параметров анизотропии коры и верхней мантии по данным телесейсмических наблюдений.

Существуют однородные среды, в которых скорость распространения упругих волн различна в зависимости от направления их распространения. В таком случае говорят об анизотропии среды. Упругая анизотропная среда в линейном приближении может быть охарактеризована тензором упругости, который, связывает напряжение и деформацию. Тензор упругости в общем случае представляет собой 21 независимый компонент. Однако при наличии симметрии, количество независимых компонент сокращается. В частности, для изотропной среды их 2.

Гексагональная анизотропия имеет одну ось симметрии и характеризуется пятью независимыми компонентами. Такую среду называют также поперечно-изотропной. Матрица упругих модулей для этой среды имеет вид:

Л + 2/л Л /I ООО

Л Л + 2р Л ООО

Л Л Л + 2р О О О

О 0 0/^00

0 0 0 0 /^0

О О 0 0 0 ^

(4)

А А- 2ЛГ ^ 0 0 0

А-2И А Г 0 0 0

В

^ с о о о

о

о о ь о о

о

о о о ь о

о

0 0 0 0 ^

Обозначение параметров A,N,F,C,L взяты из работы [I >]. В рамках данной работы для описания анизотропии мы используем гексагональную симметрию как наиболее удобную и простую [ ]. На наличие анизотропии внутри Земли указывает ряд наблюдений: различные времена пробега продольных сейсмических волн, приходящих с разных азимутов [! I], явление разделения поперечной волны (англ. shear wave splitting, SWS)[ ], [ ] и ряд других явлений и наблюдений. В модель PREM[ ] введены анизотропные слои. Анизотропия в Земле наблюдается на различных глубинах, различны также причины её образования. Ниже мы ограничимся рассмотрением анизотропии верхней части мантии. В статье [ ] описаны азимутальные вариации скорости распространения Р-волн в океанической верхней мантии. Позже было показано существование азимутальной анизотропии и в континентальной верхней мантии [ 1]. это явление приобрело название азимутальной анизотропии. Считается, что верхняя мантия состоит, в основном, из кристаллов оливина, пироксенов и прочих анизотропных материалов Монокристаллы минералов сильно анизотропны, однако, в естественном состоянии они имеют поликристаллическую структуру, в которой оси симметрии кристаллитов ориентированы хаотически. Это означает, что в общем случае мантия должна быть изотропной. Одним из возможных причин [. '] возникновения азимутальной анизотропии мантии называют микроскопическими процессами в кристаллах, вызванных макроскопической деформацией среды. Такая деформация может вызвать динамическую рекристаллизацию [ ], что приведёт возникновению преимущественной ориентации кристаллов, и, следовательно, появлению анизотропных свойств среды. Если деформация среды обусловлена тектоническими движениями, например, при движении плиты, то, возникающее направление совпадает с направлением движения плиты [22]. Таким образом, наблюдение анизотропии позволяет определить направление

движение плиты. По мере остывания плиты возникшая в результате её движения анизотропия окажется «вмороженной» в литосферу. То есть она не изменится при смене направления движения плиты, в отличии от разогретого материала астеносферы. Поэтому распределение анизотропии с глубиной содержит информацию об исторических движениях плит. Для исследования анизотропии удобно применить модель среды с гексагональной симметрией, предложенной для этого в [ = 8]. В упомянутой работе гексагональная симметрия приведена как достаточная для описания эффектов, возникающих в анизотропной среде. Изотропные компоненты модели описываются скоростями Ур,Ух и плотностью р. В изотропной среде компоненты матрицы в формуле 4 можно выразить: Л = рУр — 2рУ$, /< = рУАнизотропные компоненты выражаются через значения -рЛ, ц и два угла - а и ф, определяющие наклон оси симметрии, которая в форме 5 подразумевается совпадающей с осью Z. 8УР и 5У3 - разница в скоростях при параллельном симметрии прохождении соответствующими волнами среды и перпендикулярном, а г} регулирует скорости для углов, промежуточных между параллельной симметрии осью и перпендикулярной. Эти параметры связаны с пятью упругими компонентами в матрице 5.

Для удобства заменим: аР = = -рД. Таким образом, для описания ани-

зотропной среды необходимо определить 5 параметров: аР, и;/, угол а и угол ф. Эти углы представляют особый интерес, так как именно они, во многом, определяют азимутальную анизотропию.

Эффекты анизотропии зачастую очень слабы и, если не распознаются как таковые, они часто моделируются как неоднородности, например как на-

слоения или градиенты. Наиболее очевидными проявлениями анизотропии являются двойное преломление Б-волн, циклическая зависимость от азимута времени прихода или скорости Р-волн, несоответствие в волновых формах волн Лява и волн Релея. В рамках данной работы применяются метод обменных волн и метод расщепления Б-волн, т.е. их двойное преломление. Метод основан на явлении расщепления Б-волны при прохождении границы анизотропного слоя [23] [24]. При падении на границу анизотропного слоя вертикально-поляризованная ,5у-волна преломляется и образует дополнительную, ^-волну. При регистрации волновых форм на сейсмостанции по (часто) опережению ^-волны относительно можно судить о силе анизотропии и толщине слоя. Метод обменных волн использует явление перехода Р-волны в Б-волну и рассматривает фазовый сдвиг по нескольким азимутам для получения информации об анизотропии.

Так, для определения параметров анизотропии, основываясь на работах [' "О» [ !)]> мы применили распределённые вычислительные системы.

Элементы автономного оперативного регистратора геофизических данных

Сбор геофизических данных в современном его понимании - это комплексная работа на всех уровнях - от установки прибора в полевых условиях - до организации оперативной обработки поступающих от множества регистраторов данных. Регистраторы в составе станций сбора данных занимают одно из ключевых мест в системе оперативного геофизического мониторинга. От их параметров зависят как качество получаемых данных, так и стоимость эксплуатации. Под стоимостью эксплуатации понимается объем

вмешательства специалиста в процессы установки и обслуживания, а также стоимость расходных материалов и услуг - батарей или услуг по электроснабжению и услуг передачи данных. Во второй главе описаны основные требования к регистраторам, работающим под управлением операционных систем Linux и Windows, с точки зрения ПО и аппаратуры.

Описывая требования к ПО регистратора необходимо обозначить два разных типа данных, с которыми работают регистраторы. Первый тип данных - временные ряды. Такие данные производят сейсмометры, акселерометры, магнитометры и другие приборы, применяемые в геофизике. Основными характеристиками таких данных является частота дискретизации (англ. sampling rate), количество каналов, разрядность получаемых значений. В современных дата-центрах сбор таких данных осуществляется по общепринятым протоколам реального времени. Если вновь устанавливаемая станция поддерживает такие стандарты, то их легко включить в существующую систему обработки информации в центрах без дополнительной загрузки персонала этих центров. Помимо этого, такой подход позволяет существенно снизить затраты при разворачивании густой сети станций в зонах афтершо-ковой активности после крупных землетрясений, и делать это в максимально сжатые сроки. Наконец, при отсутствии широкополосных каналов при организации интернет-соединения становится существенной загрузка канала, вызванная использованием сетевых служб высокого уровня. Поэтому актуальной задачей развития стало создание программных средств, которые позволят реализовать сейсмические протоколы реального времени для передачи данных в портативной телеметрической сейсмической станции.

На текущий момент используются в той или иной мере следующие протоколы: SeedLink[:?7], Earthworm[28], Antelope[29], LISS, SCREAM, CD-l.l, ComServ.

Seedlink - это протокол для «надежной» передачи данных посредством TCP/IP. «Надежность» протокола заключается в том, что клиенты могут терять и восстанавливать соединения без потерь данных. Seedlink устойчив к разрывам связи за счет использования кольцевого буфера, который хранит некоторый объем данных, и разорванное соединение сможет «догнать» реальное время. Программная архитектура серверной части позволяет передавать данные нескольких станций и нескольких каналов в одном потоке данных, причем позволяет это делать выборочно для каждого подключения. Данные внутри потока данных Seedlink представляют собой 512-байтные записи miniSEED[30]. Протокол используется в сейсмических сетях ERIS[3î] Геологической службы США и сетях системы GEOFON Научно-исследовательского центра наук о Земле GFZ Potsdam['v]. Доступны программные интерфейсы для C/C++, Python, Java и некоторых других программных платформ.

Проект Earthworm был начат в 1993 как ответ на растущие потребности региональных сейсмических сетей. Система позиционируется как центральное звено для обработки сейсмических данных. Для передачи используется формат Waveform[33] внутри датаграмм UDP или, в современных версиях WaveServer - компонента для передачи данных через Интернет - посредством TCP. Встроенные механизмы позволяют минимизировать потери данных при разрывах или нестабильной связи.

Antelope Realtime System - коммерческая мультиплатформенная гибкая система, создававшаяся для осуществления полного цикла сейсмических наблюдений в реальном времени - от сбора данных с нескольких регистраторов до автоматического определения параметров событий. Antilope не вынуждает пользователя использовать какой-либо определённый формат, так как внутри протокола передачи данных ORB, используемом в Antilope, могут быть любые форматы: SEED, mSEED, netCDF и прочие. Система может быть

использована как ядро центра сбора геофизических данных, собирая данные по протоколу ORB с нескольких регистраторов и выполняя автоматический анализ, но последнее требует разработки под конкретные задачи с помощью программных интерфейсов Antelope.

LISS (англ. Live Internet Seismic Server) - протокол передачи данных, разработанный в USGS. Изначально протокол использовался как для получения данных с регистраторов, так и для распространения от центров данных к потребителям. Позже для протокола осталась только последняя роль. На сегодняшний момент практически вышел из употребления и вытеснен SeedLink'oM.

CD-1.1 (англ. Continuous Data) предоставляет способ надежной передачи непрерывного потока данных. Назначением разрабатываемого в рамках подготовительной комиссии организации договора о всеобъемлющем запрещении ядерных испытаний с 1995 года протокола являлось стандартизация всего программного обеспечения в международном центре обработки данных (англ. International Data Center, IDA) и национальных центрах обработки данных (англ. National Data Center, NDA).

Решения производителей оборудования (SCREAM, ComServ и пр.) зачастую являются устройство-зависимыми либо имеют недостаточную поддержку в распространенных программных решениях и, иногда, закрытыми, поэтому в рамках данной работы не рассматриваются.

Второй тип данных, на котором специализируются регистраторы - это сложные типы данных, например, данные измерений систем Глобальных Навигационных Спутниковых Систем. В таких данных получаемые со спутника сигналы представляют собой набор сообщений, содержащих самую разную информацию (характеристики эмитируемого сигнала, положение спутника, информация о состоянии приёмника) и имеющих нетривиальную лексическую структуру. Такая организация данных не может быть

Список литературы диссертационного исследования кандидат наук Холодков, Кирилл Игоревич, 2014 год

Список литературы

1. Internet X. 509 public key infrastructure (PKI) proxy certificate profile : Rep. / RFC 3820 (Proposed Standard); Executor: Steven Tuecke, Von Welch, Doug En-gert et al. : 2004.

2. The grid application toolkit: toward generic and easy application programming interfaces for the grid / Gabrielle Allen, Kelly Davis, Tom Goodale et al. // Proceedings of the IEEE. - 2005. - Vol. 93, no. 3. - P. 534-550.

3. QuakeSim, A collaboration between the Jet Propulsion Laboratory, University of Southern California, Indiana University, UC Davis, and UC Irvine. — USA, 2014. — URL: http://ww>\\).quakesim.org.

4. Middleware for the next generation Grid infrastructure : Rep. / CERN; Executor: Erwin Laure, A Edlund, F Pacini et al.: 2004.

5. Foster Ian. Service-oriented science // Science. — 2005. — Vol. 308, no. 5723. — P. 814-817.

6. Лазарев ИВ, Сухорослов OB. Реализация распределенных вычислительных сценариев в среде MathCloud // Проблемы вычислений в распределенной среде/Под ред. СВ Емельянова, АП Афанасьева. Труды ИСА РАН. — 2009. - Vol. 46. - Р. 6-23.

7. Sukhoroslov О. Everest: A Cloud Platform for Computational Web Services // 4th International Conference on Cloud Computing and Services Science (CLOSER 2014). - 2014.

8. Grid Execution Management for Legacy Code Architecture. — URL: http-J/dev. globus.org/wiki/Incubator/GEMLCA.

9. Design and evaluation of opal2: A toolkit for scientific software as a service / Sriram Krishnan, Luca Clementi, Jingyuan Ren et al. // Services-I, 2009 World Conference on / IEEE. - 2009. - P. 709-716.

10. Tarantola A. Inverse Problem Theory and Methods for Model Parameter Estimation. — Society for Industrial and Applied Mathematics (SIAM, 3600 Market Street, Floor 6, Philadelphia, PA 19104), 2005. - ISBN: 9780898717921. - URL: http://books.google.ru/books?id=qLSv6fpeMo\vC.

11. Gvishiani Alexej, Dubois Jacques O. Artificial intelligence and dynamic systems for geophysical applications. — Springer, 2002.

12. Love A.E.H. A Treatise on the Mathematical Theory of Elasticity. Dover Books on Engineering Series. — Dover Publications, 1944. — ISBN: 9780486601748. — URL: h ttp://books.google. ru/books ?id= ViebCriF-ssC.

13. Babuska V., Cara M. Seismic Anisotropy in the Earth. European Consortium for Mathematics in Industry. — Springer Netherlands, 1991. — ISBN: 9780792313212. - URL: htlp://books.google.rii/books?id=uLbSTr3csBYC.

14. Hess H. H. Seismic anisotropy of the uppermost mantle under oceans // Nature. — 1964.

15. Observations of dilatancy-induced polarization anomalies and earthquake prediction / Stuart Crampin, Russ Evans, Balamir 0?er et al. // Nature. — 1980. — Vol. 286, no. 5776. - P. 874-877.

16. Crampin Stuart. A review of wave motion in anisotropic and cracked elastic-media // Wave motion. - 1981. — Vol. 3, no. 4. — P. 343-391.

17. Dziewonski Adam M, Anderson Don L. Preliminary reference Earth model // Physics of the earth and planetary interiors. — 1981. — Vol. 25, no. 4. — P. 297356.

18. Bamford David. Pn velocity anisotropy in a continental upper mantle // Geophysical Journal of the Royal Astronomical Society. — 1977. — Vol. 49, no. 1. — P. 29-48.

19. Green DH, Ringwood AE. Mineral assemblages in a model mantle composition //Journal of Geophysical Research. — 1963. — Vol. 68, no. 3. — P. 937-945.

20. Nicolas Adolphe, Christensen Nikolas I. Formation of anisotropy in upper mantle peridotites: A review // Geodynamics Series. — 1987. — Vol. 16. — P. Ill— 123.

21. Kaminski Edouard, Ribe Neil M, Browaeys Jules T. D-Rex, a program for calculation of seismic anisotropy due to crystal lattice preferred orientation in the convective upper mantle // Geophysical Journal International. — 2004. — Vol. 158, no. 2. - P. 744-752.

22. Ribe Neil M. Seismic anisotropy and mantle flow // Journal of Geophysical Research: Solid Earth (1978-2012). - 1989. - Vol. 94, no. B4. - P. 4213-4223.

23. Винник ЛП, Косарев ГЛ. Определение параметров коры по наблюдениям телесейсмических объемных волн // Докл. АН СССР. — Vol. 261. — 1981. — Р. 1091-1095.

24. Винник ЛП, Косарев ГЛ, Макеева ЛИ. Анизотропия в литосфере по наблюдениям SKS и SKKS // Докл. АН СССР. - Vol. 278. - 1984. - Р. 13351339.

25. Use of distributed computing systems in seismic wave form inversion / I. M. Aleshin, M. N. Zhizhin, V. N. Koryagin et al. // Russian Journal of Earth Sciences. — 2009. — Nov. — Vol. 11, no. 1. — P. 1-9.

26. Применение распределенных вычислительных систем при определении параметров сейсмической анизотропии коры и верхней мантии / ИМ Алешин, Дмитрий Юрьевич Мишин, Михаил Николаевич Жижин et al. // Геофизические исследования. — 2009. — Vol. 10, по. 4. — Р. 34-47.

27. SeedLink Design Notes and Configuration Tips. — URL: http://geofon. gfz-potsda m. de/geofm//seisco mp/seedlin k.html.

28. Earthworm: A flexible approach to seismic network processing / Carl E Johnson, Alex Bittenbinder, Barbara Bogaert et al. // Iris newsletter. — 1995. — Vol. 14, no. 2. - P. 1-4.

29. Data Flow Within Antelope.— 2005.— URL: http://www.brtt.com/docs/ dalaflow.pdf.

30. Platforms Enterprise, Division Services. — Standard for the Exchange of Earthquake Data. — Incorporated Research Institutions for Seismology, SEED Format Version 2.4 edition, 2012. — 8.

31. Incorporated Research Institutions for Seismology. — URL: http://iris.edu.

32. GEOFON Program. — URL: http://geofon.gfz-potsdam.de/.

33. Lindquist Kent, Hansen Roger. — Waveform Format. — Geophysical Institute University of Alaska, Fairbanks, 1999. — 1. — URL: http://folkworm.ceri. memph is. edu/ew- doc/PROGRAMMER/waveform_form at. him I.

34. Gurtner Werner, Estey Lou. — The Receiver Independent Exchange Format. — Astronomical Institute University of Bern, UNAVCO Boulder Co., 3.01 edition, 2009. — 6. — URL: http://igscb.jpl.nasa.gov/igscb/data/format/rinex301.pdf.

35. Lenz Elmar et al. Networked transport of RTCM via internet protocol (NTRIP)-application and benefit in modern surveying systems // FIG Working Week. —

2004. - P. 22-27.

36. Космическая инфраструктура, ОАО «Газпром космические системы». — 2014. — URL: hltp://ww\\>.gazprom-spacesystems.ru/ru/infrastructure/space/ index.php.

37. Тарифы на двусторонний спутниковый интернет от компании Радуга-Интернет, ООО «Биллинговые решения».— ул. Орджоникидзе, д.11, стр.1/2, оф. 10-16, Москва, Россия, 2014. — URL: http://www.radugainternet. ги/service-plans.

38. National Weather Service Space Weather Prediction Center. — URL: htlp:// www.swpc.noaa.gov//.

39. NASA Jet Propulsion Laboratory. — URL: http://iono.jpl.nasa.gov/.

40. The Australian Government Bureau of Meteorology. — URL: http://www.ips.gov. аа/.

41. Space Weather Application Center - Ionosphere. — URL: http://swaciweb.dlr. de/.

42. TEC models and their use in ionosphere monitoring / N. Jakowski, C. Mayer, M.M. Hoque, V. Wilken // Radio Sci. - 2011. - Vol. 46.

43. Куницын Вячеслав Евгеньевич, Нестеров Иван Александрович, Шалимов С JI. Мегаземлетрясение в Японии 11 марта 2011 г.: регистрация ионосферных возмущений по данным GPS // Письма в Журнал экспериментальной и теоретической физики. — 2011. — Vol. 94, по. 8. — Р. 657-661.

44. Перевалова Н. П. Оценка характеристик наземной сети приемников GPS/ГЛОНАСС, предназначенной для мониторинга ионосферных возмущений естественного и техногенного происхождения // Солнечно-земная физика. — 2011. — по. 19. — Р. 124-133.

45. Опыт создания Росгидрометом сети радиотомографии для исследования и мониторинга ионосферы / В. В. Алпатов, В. Е. Куницын, Лапшин В. Б. et al. // Гелиогеофизические исследования. — 2012. — Р. 60-71.

46. Flynn Michael. Some computer organizations and their effectiveness // Computers, IEEE Transactions on. — 1972. — Vol. 100, no. 9. — P. 948-960.

47. Mechanisms for high throughput computing / Miron Livny, Jim Basney, Ra-jesh Raman, Todd Tannenbaum // SPEEDUP journal. — 1997. — Vol. 11, no. 1. —

P. 36-40.

48. Raicu loan, Foster Ian T, Zhao Yong. Many-task computing for grids and supercomputers // Many-Task Computing on Grids and Supercomputers, 2008. MTAGS 2008. Workshop on / IEEE. - 2008. - P. 1-11.

49. Platforms Enterprise, Division Services. — Intel Modular Server System. Technical Product Specification. — Intel Corporation, 1.7 edition, 2011. — 3.

50. Society IEEE Computer. — IEEE Standard for Local and metropolitan area networks - Media Access Control (MAC) Bridges and Virtual Bridge Local Area Networks. - IEEE, 3 Park Avenue, New York, NY 10016-5997, CIIIA, 2011 edition, 2011.— 8.

51. Jones M Tim. Discover the linux kernel virtual machine. — 2007. — Apr. — URL: http://w\\>\\Kibmxom/developerworks/linux/library/l-linitx-kvm/.

52. NetApp. NetApp High-Performance Computing Solution for Lustre. Solution Brief. — Technical bulletin, 2012. — URL: http-J/wwnwnetapp.com/us/media/ ds-3243.pdf.

53. Wang Feiyi, Oral Sarp, Shipman Galen et al. Understanding Lustre filesystem internals. — 2009. — URL: http://wiki.lustre.Org/images/d/da/Understanding_ L uslre_Filesystem_ In ternals.pdf.

54. The Gluster web site, GlusterFS Developers. — 2008. — URL: http://www.gluster. org/'.

55. Ramamurthy B. — Hadoop File System.

56. Hlawatschek Mark, Grimme Marc. Data sharing with a GFS storage cluster, ATIX GmbH. — Munich, Germany, 2005. — 04. — URL: http://www.redhat.com/ magcizine/02 ljul06/features/gfs_update/.

57. Dake Steven C, Caulfield Christine, Beekhof Andrew. The corosync cluster engine // Linux Symposium. — Vol. 85. — 2008.

58. Ellenberg Lars. DRBD 8.0. x and beyond: shared-disk semantics on a shared-nothing cluster // LinuxConf Europe. — 2007.

59. Anderson David P. Boinc: A system for public-resource computing and storage // Grid Computing, 2004. Proceedings. Fifth IEEE/ACM International Workshop on / IEEE. - 2004. — P. 4-10.

60. Lagarias Jeffrey C. The 3x+ 1 problem and its generalizations // American Mathematical Monthly. — 1985. - P. 3-23.

61. SETI@ home: an experiment in public-resource computing / David P Anderson, Jeff Cobb, Eric Korpela et al. // Communications of the ACM. — 2002. — Vol. 45, no. 11. - P. 56-61.

62. A comparison between two grid scheduling philosophies: EGEE WMS and Grid Way / José Luis Vázquez-Poletti, Eduardo Huedo, Rubén S Montero, Ignacio Martín Llórente // Multiagent and Grid Systems. — 2007. — Vol. 3, no. 4. — P. 429-439.

63. Computing Adaptive, Computing Green. Torque resource manager. — 2012.

64. Almeida Sérgio. An Introduction to High Performance Computing // International Journal of Modern Physics A. — 2013. — Vol. 28, no. 22n23.

65. WRF4G project: Adaptation of WRF Model to Distributed Computing Infrastructures / Antonio S Cofino, Valvanuz Fernández Quinielas, Markel Garcia Diez et al. // EGU General Assembly Conference Abstracts. — Vol. 15. — 2013. - P. 7162.

66. Konyukhov Ilya. Tank Auth. — URL: http://konyukhov.com/soft/tank_anth/.

67. Bellman Richard. Dynamic programming and Lagrange multipliers // Proceedings of the National Academy of Sciences of the United States of America. — 1956. - Vol. 42, no. 10. - P. 767.

68. High Performance MySQL: Optimization, Backups, Replication, and More / P. Zaitsev, V. Tkachenko, J.D. Zawodny et al. — O'Reilly Media, 2008. -ISBN: 9780596554750. - URL: hltp://hooks.google. ru/books7id=BL0NNoFPuAQC.

69. Опыт создания портативной автономной сейсмологической станции, работающей по протоколу реального времени / Д.А. Ильинский, И.М. Алешин, Бургучев С.С. et al. // Сейсмические приборы.— 2011..— Vol. 47, no. 1. - Р. 52-67.

70. SEismic and tsunami risk Assessment and mitigation scenarios in the western HELLenic ARC Workgroup. — 2006. — URL: http://www.seahellarc.gr/.

71. Sedis V + VI I GeoPro, GeoPro GmbH. - D-20539 Billhorner Rôhrendamm 8, Hamburg, Germany, 2014. — URL: http://www.geopro.com/instrumentation/ sedis-v-vi.html.

72. Dawes Beman, Abrahams David, Rivera Rene. Boost С++ Libraries. — 2014. — URL: hLtp://ww>\\>.boost.org/.

73. Куницын BE, Терещенко ЕД, Андреева ЕС. Радиотомография ионосферы. — Физматлит М., 2007.

74. Спутниковое радиозондирование и радиотомография ионосферы / Вячеслав Евгеньевич Куницын, ЕД Терещенко, ЕС Андреева, Нестеров ИА // Успехи физических наук. — 2010. — Vol. 180, по. 5. — Р. 548-553.

75. Оперативная служба мониторинга ионосферы по данным станций глобальных навигационных спутниковых систем / И.М. Алешин, В.В. Алпатов, А.Е. Васильев et al. // Геомагнетизм и аэрономия. — 2014. — Vol. 54, по. 4. - Р. 496-502.

76. Kirch О. Linux: Network Administrator's Guide. O'Reilly Series. — O'Reilly Vlg. GmbH & Company, 1995. - ISBN: 9781565920873. - URL: hltp://books.google. rit/books ?id=xL RQA А А А МАЛ].

77. Implementation of a real-time portable automatic seismological station / D. A. Il'inskii, I. M. Aleshin, S. S. Burguchev et al. // Seismic Instruments. — 2012. -Jan. - Vol. 48, no. 1. - P. 34-44.

78. Yonan James. OpenVPN. — URL: http://openvpn.org/.

79. Avoiding congestion collapse on the Internet using TCP tunnels / Boon Peng Lee, Rajesh Krishna Balan, Lillykutty Jacob et al. // Computer Networks. - 2002. - Vol. 39, no. 2. - P. 207-219.

80. Understanding TCP over TCP: effects of TCP tunneling on end-to-end throughput and latency / Osamu Honda, Hiroyuki Ohsaki, Makoto Imase et al. // Optics East 2005 / International Society for Optics and Photonics. — 2005. — P. 60110H-60110H.

81. Carbone Marta, Rizzo Luigi. Dummynet revisited // ACM SIGCOMM Computer Communication Review. — 2010. — Vol. 40, no. 2. — P. 12-20.

82. Benko Peter, Malicsko Gabor, Veres Andras. A large-scale, passive analysis of end-to-end TCP performance over GPRS // INFOCOM 2004. Twenty-third An-nualjoint Conference of the IEEE Computer and Communications Societies / IEEE. - Vol. 3. - 2004. - P. 1882-1892.