Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры тема диссертации и автореферата по ВАК РФ 05.13.01, доктор технических наук Кореньков, Владимир Васильевич

• Кореньков, Владимир Васильевич
• доктор технических наук
• 2012

Оглавление диссертации доктор технических наук Кореньков, Владимир Васильевич

ОГЛАВЛЕНИЕ

Введение

Глава

Архитектура и структурная схема построения научного информационно-вычислительного комплекса ОИЯИ, являющего ресурсным центром грид-инфраструктуры

1.1. Этапы развития компьютерной инфраструктуры ОИЯИ

1.2. Грид-технологии

1.2.1. Основные подсистемы промежуточного программного обеспечения

1.2.2. Взаимодействие компонентов глобальной

грид-инфраструктуры

1.3. Создание российской грид-инфраструктуры и ее развитие в рамках европейских проектов

1.4. Требования к научному вычислительному комплексу и анализ классов решаемых задач

1.5. Особенности алгоритмов планирования заданий для разных групп пользователей

1.6. Оценка параметров вычислительного кластера в разных конфигурациях

1.7. Распределение потоков данных и задач

1.7.1. Организация пакетной обработки (batch)

1.7.2. Алгоритм работы планировщика Maui

1.8. Выбор базовой системы хранения данных ресурсного центра грид-инфраструктуры

1.8.1. Система DPM (Disk Pool Manager)

1.8.2. Программное обеспечение CASTOR

1.8.3. Система хранения данных EOS

1.8.4. Основные возможности Xrootd

1.8.5. Система хранения dCache

1.9. Взаимодействие компонентов многоуровневой системы ресурсного центра в составе грид-инфраструктуры

1.10. Методы повышения эффективности и надежности функционирования научного вычислительного комплекса

1.11. Структурная схема функционирования Центрального информационно-вычислительного комплекса (ЦИВК) ОИЯИ

1.11.1. Сетевая инфраструктура ЦИВК ОИЯИ

1.11.2. Система локального мониторинга ЦИВК ОИЯИ

1.11.3. Структурная и функциональная схема ЦИВК ОИЯИ

Глава

Развитие модели компьютинга экспериментов на Большом адронном коллайдере

2.1. Модель компьютинга для экспериментов на БАК в проекте MONARC

2.2. Этапы развития компьютинга экспериментов на БАК в ОИЯИ и интеграция грид-сайта ОИЯИ в глобальную грид-инфраструктуру

WLCG

2.2.1. Создание в ОИЯИ ресурсного центра уровня Тіег2 для проекта CMS

2.2.1.1. Организация компьютинга коллаборации RDMS CMS

2.2.1.2. Создание в ОИЯИ грид-сайта для эксперимента CMS

2.2.1.3. Требования к ресурсным центрам уровня Tier2 эксперимента CMS

2.2.1.4. Проблемы стабильности передачи данных при использовании системы Phedex

2.2.1.5. Надежность функционирования грид-сайта CMS T2_RU_JINR в ОИЯИ

2.2.2. Потоки данных в экспериментах на БАК на примере ATLAS.. 102 2.2.2.1. Реализация системы распределенного компьютинга для эксперимента ATLAS

і

2.2.2.2. Модель данных эксперимента ATLAS

2.2.2.3. Система управления распределенными данными DDM (Distributed Data Management)

2.2.2.4. Развитие системы управления распределенными данными эксперимента ATLAS

2.3. Эволюция модели компьютинга экспериментов на БАК

2.3.1. Концепция нового инфраструктурного уровня Tier3 в модели компьютинга экспериментов на БАК

2.3.2. Тестовая среда на базе виртуальных кластеров для исследования разных конфигураций центров уровня Tier3

Глава

Базовая модель распределенной инфраструктуры

ускорительного комплекса НИКА

3.1. Схема обработки информации ускорительного комплекса НИКА

3.2. Выбор платформы для моделирования

3.3. Моделирование работы грид-системы в рамках пакета Опс^т

3.4. Задачи моделирования грид-системы

3.5. Построение имитационной модели грид-системы

3.6. Результаты работы модели грид-системы

3.7. Анализ полученных результатов

Глава

Интегральная оценка эффективности функционирования ресурсных центров

в составе распределенной грид-инфраструктуры

4.1. Показатели надежности и доступности грид-сайтов инфраструктуры \VLCG

4.2. Анализ информации портала статистического учета работы грид-сайтов

4.3. Базовый вариант интегрированной оценки эффективности грид-сайтов инфраструктуры WLCG

4.4. Анализ интегрированной оценки эффективности работы ресурсных центров

Глава

Архитектурные принципы, методы и средства для реализации мониторинга распределенных вычислительных систем

5.1. Требования к системе мониторинга и выбор параметров

5.2. Архитектура и компоненты системы мониторинга

5.3. Уровни системы мониторинга

5.4. Функции мониторинга распределенных систем

5.5. Выбор программной платформы для построения систем мониторинга

5.6. Методы и программные средства реализации мониторинга распределенных систем

5.6.1. Методы и механизмы сбора данных об объектах мониторинга

5.6.2. Организация хранения данных мониторинга

5.6.3. Алгоритмы и методы анализа полученных данных для прогнозирования поведения системы

5.6.4. Подсистема вывода и визуализации информации мониторинга

5.7. Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG

5.8. Примеры созданных систем мониторинга и учета на основе разработанной архитектуры, методов и программных средств

Заключение

Перечень принятых сокращений и наименований

Список литературы

Введение диссертации (часть автореферата) на тему «Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры»

Введение

Интенсивное использование информационных и вычислительных технологий существенно изменило методику получения знаний и привело к тому, что информационно-вычислительное обеспечение стало важнейшей составляющей научной инфраструктуры.

Возникшие на базе компьютерных сетей нового поколения современные распределенные информационно-вычислительные системы открыли принципиально новые возможности организации научной деятельности.

Взятый курс на модернизацию и технологическое развитие экономики России требует существенно более активного использования информационно-коммуникационных технологий. Одним из наиболее интенсивно развивающихся направлений являются технологии распределенных и параллельных вычислений, охватывающие широкий спектр применений: от научных комплексов высокопроизводительных вычислений до систем производства высокотехнологичной и конкурентоспособной продукции. В классической монографии Э.Таненбаума и М. ван Стеен представлен обзор принципов и парадигм распределенных систем [1]. В монографии В.В. Воеводина и В л.В.Воеводина [2] выполнен качественный анализ технологий, архитектур и алгоритмов параллельных вычислений.

Развитие исследований в физике высоких энергий, астрофизике, биологии, науках о Земле и других научных отраслях требует совместной работы многих организаций по обработке большого объема данных в относительно короткие сроки. Для этого необходимы географически распределенные вычислительные системы, способные передавать и

принимать данные порядка сотен терабайт в сутки, одновременно обрабатывать сотни тысяч задач и долговременно хранить сотни петабайт данных. Развитие технологий обработки данных в физике высоких энергий от кластеров до грид-технологий представлены в классических обзорах Рене Брана [3] и Леса Робертсона [4].

Грид - географически распределенная инфраструктура, предназначенная для обеспечения надежного, устойчивого, повсеместного и недорогого доступа к компьютерным ресурсам разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), на основе их скоординированного разделения. Грид предполагает коллективный разделяемый режим доступа к ресурсам и связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы. В каждой виртуальной организации имеется своя собственная политика поведения ее участников, которые должны соблюдать установленные правила.

Современные грид-инфраструктуры обеспечивают интеграцию аппаратных и программных ресурсов, находящихся в разных организациях в масштабах стран, регионов, континентов в единую вычислительную среду, позволяющую решать задачи по обработке сверхбольших объемов данных, чего в настоящее время невозможно достичь в локальных вычислительных центрах. Наиболее впечатляющие результаты по организации глобальной инфраструктуры распределенных вычислений получены в проекте WLCG (Worldwide LHC Computing Grid или Всемирный грид для Большого адронного коллайдера http://wlcg.web.cern.ch/) в Европейской организации ядерных исследований (ЦЕРН, http://www.cern.ch/) при обработке данных с экспериментов на LHC (Large Hadron Collider) или БАК (Большой адронный коллайдер). На семинаре 4 июля 2012 года, посвященном наблюдению частицы, похожей на бозон Хиггса, директор ЦЕРН Р. Хойер дал высокую оценку грид-технологиям и их значимости для мировой науки. Грид-

инфраструктура на БАК позволила обрабатывать и хранить колоссальный объем данных, поступающих от экспериментов на коллайдере, и, следовательно, совершать научные открытия. В настоящее время ни один крупный научный проект не осуществим без использования распределенной инфраструктуры для обработки и хранения данных. Результаты по наблюдению новой частицы, полученные на экспериментальных установках CMS и ATLAS, опубликованы в статьях [5, 6], а роль распределенной компьютерной инфраструктуры в открытии новой частицы отмечена в работе А. Климентова и В. Коренькова [7].

Первым шагом по развитию грид-технологий стал проект Globus (http://www.globus.org/), который выполнялся в середине 90-х годов в Аргонской национальной лаборатории США под руководством Яна Фостера и Карла Кесельмана, которые по праву считаются основателями грид. Значительным результатом этой деятельности было создание версии пакета Globus Toolkit, который стал важнейшим инструментарием для построения грид-инфраструктуры. Данный инструментарий охватывает вопросы обнаружения и защиты информации, управления данными и ресурсами, вопросы коммуникаций и обнаружения ошибок и т.д. Соответствующие механизмы оформлены как службы, которые выполняют различные операции в грид - приложениях. Книга, написанная Яном Фостером и Карлом Кесельманом «GRID: a Blueprint to the New Computing Infrastructure» [8] в 1999 году положила начало распространению грид-технологий в мире. Во многих последующих работах они развивали эти идеи, принципы, архитектурные подходы, наиболее значимые из которых представлены в публикациях [9, 10, 11, 12, 13].

В 1998 году в рамках проекта MONARC (Models of Networked Analysis at Regional Centres for LHC Experiments http://monarc.web.cern.ch/MONARC), большим коллективом разработчиков разрабатывалась модель компьютинга для экспериментов на БАК [14] и специальный пакет для симуляции этой модели [15]. Под компьютингом понимается применение средств

il >',11 «'' ' *>N \ 1 ' Ч\ i " ' • i! 'и Ч 1 h'„ 1 '' '' if ''»i » ' 1 't. I ' ■ I I

■Aiv'.A'К'..!' .■,'■ ■■ ■ .>■' ■■' r '"■!',.' v.. i..'.;.'.' ! -w.'>■■ ■:.г ;vr .■■■*;"■'■;, ; : ';.ii'lni1' Ч«"/':'' ."'.l'.v-'Vi!;.''!,;:: ;i'I.."''■•..: . ¡v/i. ,J•'^'l^'í¡^,,"î:i.'.'¡SiV' 'i'':,'1 ■ '' . J1 ; •' .,-".-'''■ ■■

вычислительной техники и систем связи для организации сбора, хранения и обработки информации в научных исследованиях. Задача организации компьютинга была очень сложной, поскольку требовалось:

• обеспечить быстрый доступ к массивам данных колоссального объема;

• обеспечить прозрачный доступ к географически распределенным ресурсам;

• создать протяженную надежную сетевую инфраструктуру в гетерогенной среде.

В рамках проекта МСЖАЛС была разработана базовая модель компьютинга для экспериментов на БАК как иерархическая централизованная структура региональных центров, включающая в себя центры нескольких уровней.

Экспериментальные данные записываются и хранятся в ЦЕРН, а потом передаются для хранения и обработки в региональные центры различного уровня, что дает возможность более эффективно использовать распределенные ресурсы и обеспечивать физикам доступ к данным в различных странах. Возникла проблема разработки базовых моделей вычислений, включая стратегию, приоритеты и политику для эффективного анализа данных международными сообществами.

Применение грид - технологий позволяет существенно расширить возможности этой модели, а также повысить эффективность использования ресурсов региональных центров, надежность хранения информации путем хранения копий баз данных в различных региональных центрах.

Одним из первых масштабных проектов по развитию грид-технологий в Европе был проект ЕЭС (с 2001 по 2003 годы), в котором участвовали крупные научные центры из 14 европейских стран (в том числе из России) с целью разработки архитектуры и создания прототипа глобальной инфраструктуры нового поколения для обработки огромных массивов информации. Первые статьи о необходимости создания грид-инфраструктуры в России [16, 17, 18] вызвали большой интерес к этой

проблеме у научной общественности. Первые шаги построения тестовой грид-среды и первые результаты участия России в проекте EDG были представлены наряде конференций [19, 20, 21].

С 2002 года распределенная компьютерная инфраструктура для экспериментов на БАК реализуется в проекте "LHC Computing GRID" (LCG) [24], который с 2007 года называется "Worldwide LHC Computing GRID" (WLCG). В самом названии проекта подчеркивается особая роль грид-технологий. В проекте WLCG можно выделить два направления: ресурсы и программное обеспечение. К первому направлению относятся вопросы архитектуры системы региональных центров, соответствующие принятой распределенной иерархической модели. Ко второму направлению относятся вопросы интеграции региональных центров на основе промежуточного программного обеспечения с предоставлением базовых и прикладных сервисов для эффективной поддержки виртуальных организаций и пользователей. С 2003 года российские интституты и ОИЯИ включились в работу по проекту WLCG [25].

В 2004 году начался масштабный европейский проект развертывания грид-систем для научных исследований - EGEE (Enabling Grids for E-science in Europe, http://www.eu-egee.org). Главная цель проекта EGEE - создание, координация и эксплуатация международной грид-инфраструктуры промышленного уровня, предназначенной для работы пользователей, представляющих самые разные направления деятельности. Эта инфраструктура объединяет существующие национальные, региональные и тематические инициативы в области грид-технологий для интеграции ресурсов и сервисов.

Такая инфраструктура, основанная на грид-технологиях, упрощает сотрудничество между географически распределёнными сообществами и позволяет им совместно пользоваться компьютерными ресурсами и данными.

Созданная глобальная грид-инфраструктура используется многими виртуальными организациями, для деятельности которых требуется

оперативный доступ, хранение и обработка больших и сверхбольших объемов информации в таких областях, как физика высоких энергий, биоинформатика, медицина, науки о Земле, астрофизика, нанотехнологии, мульмедиа, бизнес-приложения и т.д. В сборнике статей известных специалистов «The Fourth Paradigm; Data-Intensive Scientific Discovery» под редакцией Т. Хей, С. Танслей и К.Толл [26] дается широкий обзор применений грид-технологий для научных приложений, а статья В. Беднякова и В. Коренькова посвящена перспективам использования грид-технологий в промышленности и бизнесе [27].

В 2010 году проект EGEE завершился и развитие грид-технологий в Европе продолжается в рамках проекта EGI (Европейская грид инициатива, European Grid Initiative - http://www.egi.eu.), основой которого является координация и интеграция развития национальных грид инициатив National Grid Initiatives (NGI).

Для обеспечения полномасштабного участия России в европейском проекте EGEE был образован консорциум РДИГ (Российский грид для интенсивных операций с данными - Russian Data Intensive Grid, RDIG -http://www.egee-rdig.ru), в рамках которого было организовано выполнение работ по этому проекту. Это способствовало созданию и развитию российского сегмента грид-инфраструктуры EGEE, который стал пионерским проектом в развитии грид-технологий в России [28, 29].

К этой деятельности активно подключились многие российские центры, в первую очередь участники экспериментов на БАК: ОИЯИ (Дубна), РНЦ «Курчатовский институт», НИИЯФ МГУ, ИТЭФ (Москва), ИФВЭ (Протвино), ПИЯФ (Гатчина), ИЛИ (Троицк), ФИАН (Москва). Также большую роль в становлении российской грид-инфраструктуры сыграл ИПМ им. Келдыша. В работах сотрудников ИПМ под руководством Д.А. Корягина и В.Н. Коваленко [30, 31, 32, 33, 34] выполнен комплекс пионерских работ в области развития системы управления заданиями в распределенной

»•* » t

I »

»

Hl t

t I Л1

Ч ' i

M (i

вычислительной среде, в том числе был разработан «Метадиспетчер» [35,36].

В решение проблемы применения грид-технологий в области вычислительной химии большой вклад внесла группа сотрудников из ИПХФ (Черноголовка) во главе с В.М. Волоховым [37].

В развитие концепции распределенных вычислительных сред и приложений большой вклад внес коллектив Института системного анализа РАН во главе с А.П. Афанасьевым [38, 39]. Коллектив НИВЦ МГУ во главе с Вл.В. Воеводиным развивает параллельные вычисления и методы повышения эффективности функционирования крупных суперкомпьютерных центров, а также проблемы интеграции суперкомпьютерных центров [2, 40, 41]. В Межведомственном суперкомпьютерном центре РАН под руководством Г.И. Савина ведутся работы по развитию грид-инфраструктуры суперкомпьютерных центров для параллельных приложений [198].

Проблемы выбора архитектуры построения распределенных гетерогенных систем, методы планирования заданий в распределенных системах, оценки эффективности функционирования вычислительных комплексов отражены в работах известных российских специалистов

A.B. Богданова [42], В.В. Топоркова [43], А.О. Лациса [44],

B.В. Корнеева [45] и многих других.

Работы по развитию облачных вычислений для научных приложений выполняются в крупных научных центрах (например, в Fermilab [196] или GSI [195]) , а в России в этом направлении активно работают коллективы под руководством В.П. Иванникова [199], A.B. Богданова [193].

Большую роль в этих масштабных проектах играют информационно-вычислительные комплексы институтов и университетов разных стран, которые являются ресурсными центрами (грид-сайтами) глобальной системы распределенных вычислений. В географически распределенной системе вопросы эффективности и надежности всей инфраструктуры тесно связаны с

: <, V ) V I - , 1 , 1 '•> ' 'И I ; ) ' и f-'/'i iu м ,1< ¡1» 1 ^ 1 1 * '' ' 1,1

качеством функционирования каждого ресурсного центра, входящего в эту систему. Технологии разработки программного обеспечения и управления программными проектами представлены в классических монографиях Э.Брауди [200], Р.Фатрепп [201], Л.Басс [202].

Информационно-вычислительная инфраструктура Объединенного института ядерных исследований (ОИЯИ) прошла в своем развитии много этапов [47, 48, 49], а в настоящее время является крупнейшим в России (РДИГ) ресурсным центром в составе глобальной грид-инфраструктуры ХУЪСО/ЕСЕЕ/ЕО!, который обеспечивает поддержку виртуальных организаций крупнейших международных проектов, в том числе экспериментов на БАК [50, 51, 52, 53, 54].

Основные направления развития грид-технологий в ОИЯИ представлены на портале grid.jinr.ru [192].

Кроме экспериментов на БАК сотрудники ОИЯИ участвуют в экспериментах на базовых установках ОИЯИ и в других научных центрах мира [46]. Полным ходом идет подготовка проекта создания ускорительного комплекса НИКА (http://nica.jinr.ru).

Все вышеперечисленные направления исследований требуют организации компьютинга для полноценного участия специалистов института и других стран в физических экспериментах ОИЯИ и международных коллаборациях. Поэтому сетевая и информационно-вычислительная инфраструктура ОИЯИ должна удовлетворять требованиям научно-исследовательской программы Института, быть базовым сегментом российской и мировой системы распределенных вычислений и единого информационного пространства институтов стран-участниц ОИЯИ.

Компьютерная инфраструктура ОИЯИ прошла в своем развитии несколько этапов и представляет собой сложную программно-аппаратную систему, в которой используется большое разнообразие архитектур, платформ, операционных систем, сетевых протоколов и программных продуктов. Это накладывает противоречивые требования на

интероперабельность, унификацию пользовательского интерфейса, адаптацию и оптимизацию потоков данных и задач, решаемых в рамках физических экспериментов.

Функциональные требования к вычислительному комплексу отличаются для разных экспериментов и групп пользователей в силу различия моделей компьютинга, потребностей в ресурсах, специфики решаемых задач, специализации программного обеспечения и т.д.

Алгоритмы планирования и управления потоком заданий на локальных кластерах и суперкомпьютерах достаточно хорошо исследованы и апробированы. А вопросы эффективного управления потоком заданий и данных на ресурсном центре в составе грид-инфраструктуры пока еще находятся в стадии исследований.

Существуют методы оценки эффективности и надежности функционирования локального вычислительного комплекса или ресурсного центра (грид-сайта) в составе распределенной грид-инфраструктуре, но пока нет общепринятой интегральной оценки эффективности грид-сайта.

В созданной иерархической инфраструктуре ресурсных центров разного уровня \VLCG для экспериментов на БАК постоянно растут потоки передаваемых данных и количество заданий пользователей, что приводит к замедлению анализа данных. Это приводит к необходимости совершенствования модели компьютинга в соответствии с требованиями со стороны виртуальных организаций и пользователей экспериментов на БАК.

Для новых крупных научных проектов необходимо совершенствовать модели компьютинга при проектировании распределенной компьютерной инфраструктуры (например, для экспериментов на ускорительном комплексе НИКА).

Высокопроизводительные вычисления, выполняемые для получения практического результата, связаны с хранением и обработкой большого количества информации. По прогнозам, общее количество данных будет расти быстрее, чем указывает закон Мура, и вырастет в 75 раз в следующем

десятилетии. Так, например, объемы данных обрабатываемых для экспериментов на БАК за первые два года работы уже превышают сто пятьдесят петабайтов (РВ) и насчитывают сотни миллионов файлов. Объемы хранилищ данных будут расти очень быстро, и это может создать узкое место в разработках, когда потребности в информации будут ограничены возможностью её хранения и предоставления доступа к ней.

Наборы данных экзабайтного масштаба уже сейчас планируются для основных перспективных научных проектов. Их анализ и визуализация являются ограничивающими факторами в достижении понимания результатов обработки и моделирования. Увеличивающиеся масштаб и сложность, как моделирования, так и наборов данных, которые при этом возникают, станут ключевым фактором программы исследований в сфере анализа данных и их визуализации. Это требует новых подходов к интеграции вычислений, анализу (включая интерактивный) и визуализации сверхбольших наборов данных.

Постоянно растущие объёмы научных данных ставят новые задачи перед технологиями распределённых вычислений и Грид [55]. Набирающая размах революция Больших Данных (Big Data) ведёт к открытиям в самых различных областях науки, включая нанотехнологии, астрофизику, физику высоких энергий, биологию и медицину. Новые проекты и разработки преображают исследования, основанные на данных, расширяя границы применения Больших Данных и требуя массивной обработки данных новыми методами [56].

Таким образом, задача совершенствования системы управления сверхбольшими хранилищами данных в гетерогенной распределенной вычислительной среде приобретает все более высокую актуальность [57]. На начальных этапах внедрения грид-систем этой проблеме не уделялось достаточного внимания, в результате чего были разработаны и внедрены только отдельные ее компоненты (системы передачи данных, различные модели каталогов).

V ' М и' ml ,), \ >• t' I | U '

lv i I JI - W ' V >• « I «

Практическое использование грид-систем показало недостаточность разработанных компонент, возник целый ряд нерешенных задач: отсутствие систем автоматической репликации данных, отсутствие или усложнённые системы учета и мониторинга.

Таким образом, возникает актуальная проблема, связанная с необходимостью разработки методологии функционирования и развития ресурсных центров глобальной грид-инфраструктуры, для повышения их эффективности при постоянном увеличении потоков задач и управления сверхбольшими объемами данных.

Цель диссертационного исследования

Целью диссертационной работы является разработка методологии развития научного информационно - вычислительного комплекса в составе глобальной грид-инфраструктуры для повышения эффективности и надежности его функционирования с учетом требований проектов, связанных с обработкой и хранением больших и сверхбольших объемов информации.

Основными задачами, решаемыми в работе, являются:

1. Обоснование концепции организации научно-исследовательского информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры.

2. Разработка архитектуры, структурной схемы построения крупного информационно-вычислительного комплекса, являющего ресурсным центром глобальной грид-инфраструктуры.

3. Развитие модели компьютинга крупных научных проектов, связанных с хранением и обработкой больших объемов информации (БАК, НИКА).

4. Разработка интегральной оценки эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры с учетом основных показателей качества работы.

«о

5. Разработка универсальной архитектуры системы мониторинга и статистического учета ресурсов, сервисов, задач, пользователей, виртуальных организаций для повышения эффективности и надежности функционирования глобальной грид-инфраструктуры и ресурсных центров.

Научная новизна работы

1. Разработаны концепция, архитектура, структурная схема научно-исследовательского высокопроизводительного вычислительного комплекса, который является ресурсным центром глобальной грид-инфраструктуры и сочетает новые возможности для локальных пользователей и пользователей виртуальных организаций различных грид-сред.

2. В рамках эволюции модели компьютинга для экспериментов на Большом адронном коллайдере проработана архитектура нового инфраструктурного слоя Т1егЗ, который расширяет возможности для анализа данных пользователям крупных коллабораций.

3. Создана базовая модель компьютинга экспериментов на коллайдере НИКА, позволяющая осуществлять различные стратегии управления потоками данных и задач.

4. Разработана интегральная оценка эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры.

5. Впервые разработана многоуровневая система грид-мониторинга ресурсов, сервисов, задач, виртуальных организаций и пользователей, представляющая инструментальные средства для повышения эффективности, качества и надежности распределенных систем.

Защищаемые положения

1. Разработанные концепция, архитектура, структурная схема научного вычислительного комплекса снимают противоречия в требованиях разных групп пользователей, улучшают функциональные характеристики комплекса.

2. Развитая модель компьютинга Большого адронного коллайдера с введением нового инфраструктурного слоя Tier3 расширяют возможности для анализа данных пользователями крупных коллабораций

3. Базовая модель компьютинга проекта НИКА позволяет выполнить анализ различных сценариев и выбрать наиболее эффективное решение для построения распределенной системы обработки и хранения информации экспериментов на коллайдере НИКА.

4. Разработанная интегрированная оценка эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры позволяет повысить объективность принятия решений по устранению недостатков в работе ресурсного центра и его развитию.

5. Разработанная архитектура и созданная на ее основе комплексная система грид-мониторинга (ресурсов, сервисов, задач, виртуальных организаций, пользователей) повышают эффективность и надежность функционирования грид-инфраструктур и служит основой для прогнозирования их развития.

Практическая значимость

1. На основе разработанной в диссертации концепции, архитектуры, структурной схемы научно-исследовательского высокопроизводительного вычислительного комплекса создан ресурсный центр в составе грид-инфраструктуры, активно востребованный пользователями грид: только за 8 месяцев 2012 года в ОИЯИ было выполнено более 5 миллионов задач, а потребление процессорного времени при этом составило более 100 миллионов часов в единицах HEPSpec06.

2. Развитая модель компьютинга БАК использована в ОИЯИ при создании программно-аппаратной среды для пользователей экспериментов ATLAS, CMS и ALICE, что обеспечило участие специалистов в работах по массовому моделированию физических событий, обработке и анализу реальных данных с действующих установок БАК.

| i у > ,

W

С I

\ Y

' ¡1

и

Л »

M

»ill.

J'V-

M i'1

f'hl "il

y>

pW ,4

3. На базе разработанной архитектуры создан комплекс систем грид-мониторинга и статистического учета (ресурсов, сервисов, задач, виртуальных организаций, пользователей), включающий:

• мониторинг и учет ресурсов Российской грид-инфраструктуры РДИГ;

• мониторинг сервиса передачи файлов (FTS);

• мониторинг вычислительного комплекса ОИЯИ;

• мониторинг функционирования глобальной инфраструктуры WLCG в реальном масштабе времени с применением интерфейса Google Earth;

• мониторинг и учет национальной нанотехнологической сети ГридННС;

• мониторинг ресурсов проекта «СКИФ-ГРИД»;

• мониторинг и учет ресурсов Российской грид-сети (РГС);

• мониторинг центров анализа информации уровня Tier3 в модели компьютинга БАК;

• мониторинг передачи данных в инфраструктуре проекта WLCG.

Реализация результатов работы

Результаты диссертации были получены под руководством и личном участии соискателя в следующих международных проектах: EDG (проект Европейской DataGrid-инфраструктуры), WLCG: проект грид для Большого адронного коллайдера (Worldwide LHC Computing Grid), EGEE: развертывание грид-систем для научных исследований (The Enabling Grids for E-sciencE), СКИФ-Грид (программа развития высокопроизводительных вычислений союзного государства Россия - Беларусь), EGI-InSPARE (проект развития европейской грид-инфраструктуры).

Автор диссертации внес определяющий вклад при выполнении ряда национальных российских проектов, из которых как наиболее значительные можно выделить: «Разработка компьютинговой системы для развития грид-комплекса ЯиТ1ег2/РДИГ для проведения российскими институтами

распределенного анализа данных экспериментов на Большом адронном коллайдере ЦЕРН в составе глобальной грид-системы WLCG/EGEE» (НИР), «Создание прототипа центра базовых грид-сервисов нового поколения для интенсивных операций с распределенными данными в федеральном масштабе» (ОКР), «ГридННС - инфраструктура региональных центров программы развития нанотехнологий и наноиндустрии» (ОКР).

Основные направления работ по созданию и развитию информационно-вычислительного комплекса ОИЯИ и глобальной системы распределенных вычислений были поддержаны в период с 1995 года по 2012 год девятнадцатью грантами РФФИ. В настоящее время автор является руководителем двух международных проектов РФФИ: «Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG» и «Обработка данных в Т2-центрах ЛИТ ОИЯИ и ННЦ ХФТИ грид-инфраструктуры эксперимента CMS в условиях быстрого увеличения светимости Большого адронного коллайдера».

Базовая модель компьютинга НИКА реализуется в проекте «Модель распределенной системы коллективного пользования для сбора, передачи и обработки сверхбольших объемов информации на основе технологии грид для ускорительного комплекса НИКА», а развитие модели компьютинга для экспериментов на БАК - в проекте «Создание автоматизированной системы обработки данных экспериментов на Большом адронном коллайдере (БАК) уровня Tierl и обеспечения грид-сервисов для распределенного анализа этих данных». Оба проекта реализуются в рамках федеральной целевой программы (ФЦП) Министерства образования и науки РФ "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы", причем автор диссертации является руководителем в первом проекте и координатором от ОИЯИ во втором.

Результаты диссертации используются при реализации совместных проектов ОИЯИ с организациями стран-участниц.

Vb'^'f I I1 1 1 ' f ' ' II 1,1 I I'1' li • 1 ' l' V ri" ' .1 ' ' 1 t

Апробация диссертации:

Результаты работы являются итогом более чем 20-летней научной и организационной деятельности соискателя. Основные результаты диссертации докладывались и обсуждались на научных семинарах JIBTA (ЛИТ) и других подразделений ОИЯИ, университета «Дубна», на Международных совещаниях и конференциях в научных центрах и университетах России, Армении, Беларуси, Болгарии, Венгрии, Испании, Италии, Казахстана, Молдовы, Монголии, Польши, Румынии, Словакии, Украины, Узбекистана, Франции, ФРГ, Чехии, Швейцарии, в том числе:

- Международные конференции "Computing in High Energy Physics» (CHEP): 1997 (Берлин, ФРГ), 2004 (Интерлакен, Швейцария), 2009 (Прага, Чехия);

- Международные конференции "Математика. Компьютер. Образование", Дубна: 2000, 2002, 2004, 2006, 2008, 2010, 2012;

- Международные конференции "Modem Trends in Computational Physics", Дубна (2000, 2009), Словакия (2011);

- Всероссийская конференция "Научный сервис в сети ИНТЕРНЕТ", Новороссийск, 2000, 2002;

- Всероссийская конференция "Высокопроизводительные вычисления и их приложения", Черноголовка, 2000;

- Международная конференция "Решения по управлению данными в научных исследованиях", Дубна, 2001;

- Международный конгресс по математическому моделированию, Дубна, 2002;

- Международная конференция «Advanced computing and analysis techniques in physics research» (ACAT-2002), Москва, 2002;

- Всероссийские конференции "Электронные библиотеки: перспективные методы и технологии, электронные коллекции" (RCDL), Дубна: 2002, 2008, 2012;

- Сессия отделений информатики и математики РАН, Москва, 2003;

- Международные конференции RDMS CMS: Дубна (2003), Минск, Беларусь (2004), Варна, Болгария (2006), Дубна (2009), Варна, Болгария (2010);

- Конференция «Телематика-2006», Санкт-Петербург, 2006;

- Международная конференция «GRID Activities within Large Scale International Collaborations», Синая, Румыния, 2006;

- Международная конференция Open Grid Forum и EGEE User Forum, Манчестер, Англия, 2007;

- Международное совещание "Physics and Computing at ATLAS", Дубна, 2008;

- Международная конференция "Distributed Computing before and during LHC data-taking", Москва, 2008;

- Международная конференция «Украинский академический грид» (УАГ-2009), Киев, 2009;

- Международная конференция «Annual Meeting of the Romanian LCG Federation», Бухарест, Румыния: 2009, 2010;

- Международная конференция "Telecommunications, Electronics and Informatics" (ICTEI 2010), Кишинев, Молдова, 2010;

- Международное совещание по компьютингу коллаборации эксперимента ATLAS, Дубна, 2011;

- Международное совещание "Perspectives on Physics on CMS at Very High Luminosity, HL-LHC", Алушта, 2012.

Соискатель являлся сопредседателем оргкомитета шести международных симпозиумов по ядерной электронике и компьютингу (Варна, Болгария) в 2001, 2003, 2005, 2007, 2009 и 2011 году, а также заместителем председателя пяти международных конференций «Распределенные вычисления и Грид-технологии в науке и образовании» (Дубна) в 2004, 2006, 2008, 2010 и 2012 году, на которых представлялись результаты настоящей диссертации.

Публикации и личный вклад автора

Изложенные в диссертации результаты получены соискателем в результате его многолетней научной и организационной работы по развитию и совершенствованию информационно-вычислительного комплекса ОИЯИ и внедрению современных систем распределенных вычислений в масштабе России и стран-участниц ОИЯИ.

Все исследовательские работы и разработки по теме диссертации - от постановки задачи и выбора методики до получения результатов - были выполнены под непосредственным руководством соискателя, и его вклад является определяющим.

Немаловажным при принятии решений о развитии информационно-вычислительного комплекса ОИЯИ как базового сегмента глобальной системы распределенных вычислений являлось активное участие соискателя в работе ряда международных и российских комитетов и рабочих групп, занимающихся выработкой концептуальных решений в сфере вычислительной техники и сетевых коммуникаций.

По теме диссертации автором опубликовано 87 печатных работ, в том числе 41 работа по основным результатам (из них 13 работ в изданиях из перечня ведущих рецензируемых научных изданий, рекомендованного ВАК РФ для публикации основных результатов диссертаций). Также результаты работы опубликованы в отчетах по руководимым автором инфраструктурным проектам в рамках Федеральных целевых программ и проектам, поддержанных РФФИ.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения, списка литературы из 202 наименований; полный объем работы составляет 260 страниц.

>> I

г I

м ;

V

1 и/

!)Л

1

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Кореньков, Владимир Васильевич

Основные результаты диссертационной работы:

1. Сформулированы требования к научному вычислительному комплексу, проведен анализ классов решаемых задач, распределения потоков заданий и потоков данных и их динамика изменений на разных этапах развития.

2. Обоснован выбор архитектуры, аппаратной и программной платформы, настройки параметров системы управления заданиями и данными для эффективного выполнения потока заданий и потока данных для разных категорий пользователей.

3. Разработана концепция, архитектура, структурная схема научно-исследовательского высокопроизводительного вычислительного комплекса, который является ресурсным центром глобальной грид-инфраструктуры и сочетает новые возможности для локальных пользователей и пользователей виртуальных организаций различных грид-сред.

4. Создан ресурсный центр в составе грид-инфраструктуры, имеющий высокий мировой рейтинг по показателям производительности и надежности, активно востребованный пользователями грид: только за 8 месяцев 2012 года в ОИЯИ было выполнено более 5 миллионов задач, а потребление процессорного времени при этом составило более 100 миллионов часов в единицах HEPSpec06.

5. Создана и постоянно развивается программно-аппаратная среда ресурсного центра уровня Tier2 в ОИЯИ для пользователей экспериментов ATLAS, CMS и ALICE с целью их участия в обработке и анализе данных с ускорителя БАК.

6. В рамках эволюции модели компьютинга для экспериментов на Большом адронном коллайдере проработана архитектура нового инфраструктурного слоя Tier3, который расширяет возможности для анализа данных участниками коллабораций. Разработана тестовая инфраструктура на базе виртуальных кластеров для моделирования различных конфигураций ИегЗ центров, настройки системы локального мониторинга с целью сбора информации для глобального мониторинга Tier3 центров и разработан пакет глобального мониторинга Tier3 центров.

7. Разработана базовая имитационная модель для проектирования распределенной компьютерной инфраструктуры для хранения, обработки и анализа информации в экспериментах на ускорительном комплексе НИКА, выделены ключевые параметры оценки модели.

8. Впервые разработана базовая интегральная оценка эффективности ресурсных центров, входящих в состав глобальной грид-инфраструктуры, которая дает возможность определить причины неэффективной работы грид-сайта.

9. Впервые разработана многоуровневая система грид-мониторинга ресурсов, сервисов, задач, виртуальных организаций и пользователей, представляющая инструментальные средства для повышения эффективности, качества и надежности распределенных систем.

10. На базе разработанной архитектуры созданы и внедрены следующие комплексы грид-мониторинга и статистического учета (ресурсов, сервисов, задач, виртуальных организаций, пользователей):

• мониторинг и учет российской грид-инфраструктуры РДИГ;

• мониторинг сервиса передачи файлов (FTS);

• мониторинг вычислительного комплекса ОИЯИ;

• мониторинг функционирования глобальной инфраструктуры WLCG в реальном масштабе времени с применением интерфейса Google Earth;

4 "К* I'V'«^'"!'^,«1 V^MM'1'1 f, f], »JUm iiij sr'.»?

• мониторинг и учет ресурсов грид-инфраструктуры национальной нанотехнологической сети ГридННС;

• мониторинг ресурсов проекта «СКИФ-ГРИД»;

• мониторинг и учет ресурсов Российской грид-сети (РГС);

• мониторинг центров анализа информации уровня Tier3 в модели компьютинга БАК;

• мониторинг передачи данных в инфраструктуре проекта WLCG. Основные результаты, выводы и рекомендации, полученные в диссертации, использовались при реализации следующих национальных и международных проектов:

• проект EDG (европейская DataGrid-инфраструктура);

• проект EGEE: развертывание грид-систем для научных исследований (The Enabling Grids for E-sciencE);

• СКИФ-Грид (программа развития высокопроизводительных вычислений союзного государства Россия - Беларусь);

• проект «Создание прототипа центра базовых грид-сервисов нового поколения для интенсивных операций с распределенными данными в федеральном масштабе»;

• проект «Разработка компьютинговой системы для развития грид-комплекса 11иПег2/РДИГ для проведения российскими институтами распределенного анализа данных экспериментов на Большом адронном коллайдере ЦЕРН в составе глобальной Грид-системы WLCG/EGEE»;

• проект «ГридННС - инфраструктура региональных центров программы развития нанотехнологий и наноиндустрии»;

В настоящее время реализуются следующие национальные и международные проекты, в которых применяются изложенные в диссертации результаты:

• проект развития глобальной грид-инфраструктуры для БАК (WLCG);

• проект развития Европейской грид-инфраструктуры EGI-InSPARE;

• проект «Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG»;

• проект «Обработка данных в Т2-центрах ЛИТ ОИЯИ и ННЦ ХФТИ грид-инфраструктуры эксперимента CMS в условиях быстрого увеличения светимости Большого адронного коллайдера»;

• проект создания Российской национальной грид-сети (РГС);

• проект «Создание автоматизированной системы обработки данных экспериментов на Большом адронном коллайдере (БАК) уровня Tierl и обеспечения грид-сервисов для распределенного анализа этих данных»;

• проект «Модель распределенной системы коллективного пользования для сбора, передачи и обработки сверхбольших объемов информации на основе технологии Грид для ускорительного комплекса НИКА»;

• совместные проекты в области развития грид-технологий с научными центрами Азербайджана, Беларуси, Болгарии, Египта, Казахстана, Молдовы, Монголии, Польши, Румынии, Словакии, Украины, ФРГ, Чехии, ЮАР.

Заключение

В настоящей диссертации обобщен многолетний опыт работы автора по разработке и совершенствованию методологии создания крупного информационно-вычислительного центра в составе глобальной грид-инфраструктуры, который служит для решения сложных научных задач, требующих обработки больших и сверхбольших объемов данных.

Принимая во внимание цикличность всех этапов развития ресурсного центра в составе глобальной грид-инфраструктуры, основные методологические аспекты рассматриваются и решаются по следующим главным направлениям:

- формулировка требований и определение классов решаемых задач;

- построение и развитие модели компьютинга и разработка архитектуры ресурсного центра, исходя из анализа потоков заданий и данных;

- моделирование процессов и сценариев функционирования ресурсного центра с целью выявления узких мест и прогнозирования развития компьютерного комплекса;

- постоянное совершенствование сетевой, аппаратной и программной среды ресурсного центра;

- разработка и модернизация критериев оценки эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры;

- развитие методов, алгоритмов и настройка системы управления заданиями, системы управления данными и других систем с целью повышения эффективности, надежности, целостности хранения информации и оперативного доступа к ней;

- внедрение и развитие многоуровневой системы мониторинга инфраструктуры, ресурсов, сервисов, приложений, виртуальных организаций, пользователей, потоков заданий и данных.

Немаловажным является также оперативное взаимодействие моделирования процессов и сценариев с системой мониторинга, что дает возможность получения актуальной информации и распределения параметров в качестве входной информации для модели.

Последние 20 лет стремительно развиваются сетевые технологии, аппаратные средства для вычислений и хранения данных; появляются новые модели компьютинга и архитектурные решения в организации вычислительных комплексов; совершенствуются глобальные распределенные системы вычислений и хранения данных.

Поскольку объемы научных данных и сложность их обработки стремительно увеличиваются, то постоянно растут и требования со стороны пользователей к уровню и качеству организации процессов обработки и анализа информации.

В работе решена двуединая задача: разработка методологии развития глобальной грид-инфраструктуры и методологии развития ресурсных центров в составе этой глобальной системы.

С точки зрения системного анализа глобальная грид-инфраструктура представляет собой сложную динамическую и постоянно развивающую систему. Эта система объединяет грид-сайты, которые предоставляют свои ресурсы для пользователей, объединенных по профессиональным интересам в виртуальные организации.

Каждый ресурсный центр также является сложной динамической системой, имеющий свои масштабы: от мощных вычислительных комплексов с многоуровневой системой хранения информации до небольших кластеров. Грид-сайты различаются не только производительностью вычислительного комплекса и объемом системы хранения данных, но и другими характеристиками: предоставляемым грид-сервисам, поддерживаемым виртуальным организациям, системам управления заданиями и данными и т.д.

Для эффективного и надежного функционирования ресурсного центра в составе глобальной грид-инфраструктуры необходимо, чтобы все инфраструктурные уровни, ресурсы, компоненты, базовое и промежуточное программное обеспечение, приложения и сервисы были сбалансированы.

Для решения этой задачи разработана комплексная многоуровневая система глобального и локального мониторинга всей грид-инфраструктуры в целом и ресурсных центров. Эта комплексная система обеспечивает постоянный сбор и систематизацию информации об объектах и параметрах инженерной и сетевой инфраструктуры, аппаратных и программных ресурсах, сервисах и приложений, виртуальных организаций и пользователей, потоков заданий и данных. Система мониторинга обеспечивает обратную связь в случае, если происходят ошибки или отклонения параметров объектов от заданных условий, а также выполняют функции анализа и прогнозирования поведения системы.

Одной из главных особенностей грид-системы по сравнению с другими системами распределенных вычислений является децентрализация глобальных сервисов, что решает чрезвычайно важную проблему масштабируемости, но усложняет проблему управления такой децентрализованной системой.

Сложность управления глобальной грид-инфраструктурой и обеспечения ее устойчивого функционирования заключается в децентрализации сервисов, географической распределенности ресурсных центров, а также в постоянном изменении ресурсов, сервисов, конфигурации, нагрузки, потоков заданий и данных и других ключевых параметров этой сложной системы.

Для экспериментов на Большом адронном коллайдере выполнены работы по совершенствованию модели компьютинга в соответствии с требованиями пользователей виртуальных организаций.

Эта деятельность также имеет большое значение при проектировании распределенной компьютерной инфраструктуры для экспериментов на ускорительном комплексе НИКА.

ЙЙ/Ли ¡¡и

I / « ' 1 и1

11 Ч«/'

I , > ; , *

11 ' у IГ Л) »1

М <1 1' с Г"

1 " <

Ч' к^. уГч*

В диссертационной работе предложена и обоснована методология развития научного информационно - вычислительного комплекса в составе глобальной грид-инфраструктуры для повышения эффективности и надежности функционирования всей распределенной системы в целом, так и каждого ресурсного центра.

Список литературы диссертационного исследования доктор технических наук Кореньков, Владимир Васильевич, 2012 год

Список литературы

[1] Э. Таиенбаум, М. ваи Стеен: Распределенные системы. Принципы и парадигмы // - СПб., Питер, 2003, с. 876.

[2] В.В. Воеводин, Вл.В. Воеводин: Параллельные вычисления // - СПб., БХВ-Петербург, 2002, с. 608.

[3] Rene Brun: Technologies, Collaborations and Languages: 20 Years of HEP Computing // the book "From the Web to the Grid and Beyond (Computing Paradigms Driven by High-Energy Physics)", Springer, 2010, p. 1-53.

[4] Les Robertson: Computing Services for LHC: From Clusters to Grids // the book "From the Web to the Grid and Beyond (Computing Paradigms Driven by High-Energy Physics)", Springer, 2010, p.69-89.

[5] CMS Collaboration: Observation of a new boson at a mass of 125 GeV with the CMS experiment at the LHC // Phys. Lett. В 716 (2012) 30-61.

[6] ATLAS Collaboration: Observation of a new particle in the search for the Standard Model Higgs boson with the ATLAS detector at the LHC // Phys. Lett. В 716 (2012) 1-29

[7] А. Климентов, В. Кореньков: Распределенные вычислительные системы и их роль в открытии новой частицы // Суперкомпьютеры, 2012, №3 (11), с.7-11.

[8] J. Foster, К. Kesselman: GRID: a Blueprint to the New Computing Infrastructure // Morgan Kaufman Publishers, 1999, p. 690.

[9] I. Foster, C. Kesselman, S. Tuecke: The Anatomy of the Grid: Enabling Scalable Virtual Organizations // International J. Supercomputer Applications, 15(3), 2001; Я.Фостер, К. Кессельман, С. Тьюке Анатомия Грид // книга «Технологии грид», Т.2, - М., ИПМ им. М.В.Келдыша, 2006, с.5-46.

[10] Ян Фостер, Карл Кессельман, Джефри М. Ник, Стивен Тьюке: Физиология Грид // книга «Технологии грид», Т.2, - М., ИПМ им. М.В.Келдыша, 2006, с.47-97.

[11] I. Foster, С. Kesselman, J. Nick, S. Tuecke: Grid Services for Distributed System Integration // Computer, 35(6), 2002.

[12] J. Foster, K. Kesselman: GRID 2: a Blueprint to the New Computing Infrastructure // Morgan Kaufman Publishers, 2003, p. 730.

[13] I. Foster: Building an Open Grid // NCA, IEEE Computer Society, 2003, p. 191.

[14] M. Aderholz et al.: Models of Networked Analysis at Regional Centers for LHC Experiments (MONARC) - Phase 2 Report // CERN/LCB, 2000-001 (2000).

[15] Mihai Dobre, C. Stratan: Monarc simulation framework // Proceedings of the RoEduNet International Conference, Buletinul Stiintific al Universitatii "Politehnica" din Timisoara, Romania, Seria Automática si Calculatoare Periodica Politechnica, Transactions on Automatic Control and Computer Science, Vol.49 (63), 2004, ISSN 1224-600X, p.35-42.

[16] В. Коваленко, Д. Корягин: Вычислительная инфраструктура будущего// Открытые системы, 1999, №11-12, с. 21-35.

[17] В.В. Кореньков, Е.А. Тихоненко: О необходимости создания российского GRID-сегмента // Сборник трудов Всероссийской научной конференции «Интернет в научных исследованиях», изд. МГУ, 2000, с.86-90.

[18] А.В. Жучков, В.А. Ильин, В.В. Кореньков: Некоторые аспекты создания глобальной системы распределенных вычислений в России // Труды Всероссийской научной конференции "Высокопроизводительные вычисления и их приложения", Черноголовка, изд. МГУ, 2000, с.227-229.

[19] V. Ilyin, N. Kruglov, V. Korenkov, A. Kryukov, V. Kolosov, V. Mitsyn, L. Shamardin, E. Tiknonenko: EU-DataGrid segment in Russia. Testbed WP6 // in Proc. of the XXIII Int. Symposium on Nuclear Electronics & Computing (NEC'2001, Varna, Bulgaria), ISBN 5-85165-677-8, Dubna, 2001, p.105-108.

[20] В.А. Ильин, В.В. Кореньков: Создание инфраструктуры DATAGRID в России // Сборник Всероссийской научной конференция "Научный сервис в сети ИНТЕРНЕТ", изд-во МГУ, 2002, с.231-238.

[21] В.А. Ильин, В.В. Кореньков: Создание Российского сегмента европейской инфраструктуры EU DataGrid // Труды Всероссийской конференции «Электронные библиотеки», Дубна, 2002, с.239-248.

[22] ATLAS Computing, Technical Design Report // CERN-LHCC-2005-022 , CERN, Geneva, 2005, p. 233.

[23] CMS Collaboration: The Computing Project, Technical Design Report// CERN- LHCC-2005-023, CERN, Geneva, 2005, p. 169.

[24] LHC Computing Grid Technical Design Report // CERN-LHCC-2005-024, CERN, Geneva, 2005, p. 145.

[25] В.А. Ильин, В.В. Кореньков, A.A. Солдатов: Российский сегмент глобальной инфраструктуры LCG // Открытые системы, 2003, №1, с.56-60.

[26] Tony Hey, Stewart Tansley, Kristin Tolle: The Fourth Paradigm DataIntensive Scientific Discovery // Microsoft research redmond, Washington, 2009, p.251

[27] В. Бедняков, В. Кореньков: Перспективы Грид-технологий в промышленности и бизнесе // «Знание-сила», 2010, №10, с.97-103.

[28] V. Ilyin, V. Korenkov, A. Soldatov: RDIG (Russian Data Intensive Grid) e-Infrastructure // Proc. of XXI Int. Symposium of Nuclear Electronics & Computing ((NEC"2007, Varna, Bulgaria), ISBN 5-9530-0171-1, Dubna, 2008, p.233-238.

[29] V. Ilyin, V. Korenkov, A. Kryukov, Yu. Ryabov, A. Soldatov: Russian Date intensive Grid (RDIG): current status and perspectives towards national Grid initiative // Proc. of Int. Conf. "Distributed computing and Grid-Technologies in Science and Education, GRID-2008", ISBN 978-5-9530-0198-4, Dubna, 2008, p.100-108.

[30] В.Н. Коваленко, Д.А. Корягин: Распределённый компьютинг и грид // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с.7-28.

[31] В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, Е.В. Хухлаев: Современное состояние и проблемы развития программного обеспечения грид // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с.52-74.

[32] В.Н. Коваленко, Д.А. Корягин: Оценка возможностей программных платформ грид // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с.75-81.

[33] В.Н. Коваленко, Е.И. Коваленко: Пакетная обработка заданий в компьютерных сетях // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с.84-103.

[34] В.Н. Коваленко, Д.А. Корягин: Организация ресурсов грид // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с.135-159.

[35] В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, Е.В. Хухлаев: Управление заданиями в распределенной вычислительной среде // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с.211-226.

[36] С.А. Богданов, В.Н. Коваленко, Е.В. Хухлаев, О.Н. Шорин: Метадиспетчер: реализация средствами метакомпьютерной системы Globus // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с.227-247.

[37] В.М. Волохов, Д.А. Варламов, A.B. Пивушков, A.B. Волохов: Применение GRID технологий в области вычислительной химии // "Известия Академии наук. Серия химическая", 2011, №7, с. 1483-1490.

[38] А.Р. Afanasiev, S.V. Emelyanov, Y.R. Grinberg, V.E. Krivtsov, B.V. Peltsverger, O.V. Sukhoroslov, R.G. Taylor, V.V. Voloshinov: Distributed Computing and Its Applications. // Felicity Press, Bristol, USA, 2005, 298p.

[39] А.П. Афанасьев, В.В. Волошинов, С.В. Рогов, О.В. Сухорослов: Развитие концепции распределенных вычислительных сред // Проблемы вычислений в распределенной среде: Сборник трудов ИСА РАН / Под ред. С.В. Емельянова, А.П. Афанасьева, - М., Эдиториал УРСС, 2004.

[40] Вл.В. Воеводин, С.А. Жуматий: Вычислительное дело и кластерные системы // - М., Изд-во МГУ, 2007, 150с

[41] Вл.В. Воеводин: Тор500: числом или уменьем? // Открытые системы, 2005, №10, с.12-15.

[42] А.В. Богданов: Архитектура и топологии многопроцессорных вычислительных систем // http://gendocs.ru/vl0590/.

[43] В.В. Топорков: Модели распределенных вычислений // - М., ФИЗМАТЛИТ, 2004, с.320.

[44] А.О. Лацис: Как построить и использовать суперкомпьютер // - М., Бесстселлер, 2003, с. 238.

[45] В.В. Корнеев: Вычислительные системы // - М., Гелиос АРВ, 2004, с.511.

[46] В.Г. Кадышевский, А.Н. Сисакян: Полувековой юбилей Объединенного института ядерных исследований // УФН, 176:3 (2006), с. 311-318.

[47] В.В. Мицын, В.В. Кореньков, К.Ф. Окраинец, Р.Г. Позе, М.Ю. Попов: О развитии информационно-вычислительной инфраструктуры ОИЯИ // Краткие сообщения ОИЯИ, 1995, №2[70], с.5-10.

[48] V. Korenkov: Status and Perspectives of JINR Computing Centre // Proc. of Int. Conf. «High Performance Computing on Hewlett-Packard Systems», Zurich, Switzerland, 1998, p.224-227.

[49] V. Korenkov, N. Zaikin, T. Strizh: Computing and networking at JINR // Czechoslov. J. Phis., 2001, №51, p.355-362.

[50] Gh. Adam, V.V. Ivanov, V.V. Korenkov, P.V. Zrelov, T.A. Strizh: Current state and future trends of the JINR networking, computing and information infrastructure // Proc. of Int. Conf. "Distributed computing and Grid technologies in science and education, GRID-2008", ISBN 978-5-9530-01984, Dubna, 2008, p. 15-22.

[51] Gh. Adam, S. Adam, V.V. Ivanov, V.V. Korenkov, T.A. Strizh, P.V. Zrelov: Networking, computing and computational physics in JINR activities // Proc. of the 4th Int. Conf. "Distributed Computing and Grid-Technologies in Science and Education, GRID-2010", ISBN 978-5-9530-0269-1, Dubna, 2010, p. 13-24.

[52] V. Korenkov: Grid activities at the Joint Institute for Nuclear Research // Proc. of the 4th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2010», ISBN 978-5-9530-0269-1, Dubna, 2010, p. 142-147.

[53] S.D. Belov, P. Dmitrienko, V.V. Galaktionov, N.I. Gromova, I. Kadochnikov, V.V. Korenkov, N.A. Kutovsky, V.V. Mitsyn, D.A. Oleynik, A.S. Petrosyan, I. Sidorova, G.S. Shabratova, T.A. Strizh, E.A. Tikhonenko, V.V Trofimov, A.V. Uzhinsky, V.E. Zhiltsov: Grid Activities at the Joint Institute for Nuclear Research // Proc. of XXIII Int. Symposium on Nuclear Electronics & Computing (NEC'2011 Varna, Bulgaria), ISBN 978-5-9530-0313-1, JINR, Dubna, 2011, p.68-73.

[54] S.D. Belov, P.V. Dmitrienko, V.V. Galaktionov, N.I. Gromova, I.S. Kadochnikov, V.V. Korenkov, N.A. Kutovskiy, S.V. Mitsyn, V.V. Mitsyn, D.A. Oleynik, A.S. Petrosyan, G.S. Shabratova, T.A. Strizh, E.A. Tikhonenko, V.V. Trofimov, V.E. Zhiltsov, A.V. Uzhinskiy: GRID in JINR and participation in the WLCG project // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-9530-0345-2, Dubna, 2012, p.23-29.

[55] Eric Brewer: CAP Twelve Years Later: How the "Rules" Have Changed // Computer, May 2012.

[56] A.V. Vaniachine on behalf of the ATLAS and CMS Collaborations: Advancements in BIG DATA processing in the ATLAS and CMS experiments // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-95300345-2, Dubna, 2012, p.243-248.

[57] В.В. Кореньков: Использование грид-технологий для обработки и распределенного хранения сверхбольших объемов данных (сотни петабайт) // Труды XIV научной конференции RCDL-2012, Университет города Переславля, 2012, с.102-107.

[58] Б. Байцер: Архитектура вычислительных комплексов // Пер. с англ., Т.1 и 2, М., Мир, 1974, с.560 и 570.

[59] Д. Донован: Системное программирование // -М., Мир, 1975, с. 540.

[60] J. Martin: Computer Networks and Distributed Processing. Software, Techniques and Architecture // Prentice-Hall Inc., Englewood Cliffs, N/J/07632, 1981, p.240.

[61] JI.H. Королев: Структуры ЭВМ и их математическое обеспечение // - М., Наука, Главная редакция физ.-мат. литературы, 1978, с. 310.

[62] Г. Майерс: Надежность программного обеспечения // - М., Мир, 1980, с. 360.

[63] Б. Боэм, Дж. Браун, X. Каспар, М. Липов, Г. Мак-Леод, М. Мерит: Характеристики качества программного обеспечения // - М., Мир, 1981.

[64] В.В. Липаев: Надежность программного обеспечения АСУ // - М., Энергоиздат, 1981, с. 370.

[65] Н.Н. Говорун: Некоторые вопросы применения электронных вычислительных машин в физических исследованиях // Автореферат диссертации на соискание ученой степени доктора физико-математических наук, ОИЯИ, 10-4437, Дубна, 1969, с. 29.

[66] Н.Н. Говорун, А.А. Карлов, М.Г. Мещеряков, В.П. Шириков, С.А. Щелев: Основные направления развития центрального вычислительного комплекса ОИЯИ // В кн.: Проблемы повышения эффективности БЭСМ-6. Сибирский энергетический институт СО АН СССР, Иркутск, 1976, с. 114-123.

[67] В.П. Шириков: Математическое обеспечение системы машин измерительно-вычислительного комплекса ОИЯИ // Автореферат

диссертации на соискание ученой степени доктора физико-математических наук, ОИЯИ, 11-8174, Дубна, 1974, с. 28.

[68] INTERCOM Reference Manual: Control Data Corp. // Publ. 60307100, USA, 1974.

[69] JI.A. Калмыкова, В.П. Шириков: Руководство для пользователей ЭВМ СДС-6500 по использованию возможностей INTEPCOM при работе за терминалами // ОИЯИ, Б1-11-10705, Дубна, 1977, с.76.

[70] В.Е. Аниховский, С.А. Афанасьев, В.В. Галактионов, С.Г. Каданцев,

A.А.Семенов, В.П. Шириков, С.А. Щелев: Система коллективного пользования на базе ЭВМ БЭСМ-6 и концентратора терминалов. Перспектива ее развития // ОИЯИ, PI 1-12809, Дубна, 1979, с. 8.

[71] В.В. Кореньков: Программные средства для реализации диалога с ЕС ЭВМ Автореферат диссертации на соискание ученой степени кандидата физико-математических наук // ОИЯИ, PI 1-85-755, Дубна, 1985, с.20.

[72] В.В. Галактионов, H.H. Говорун, Н.С. Заикин, С.Г. Каданцев,

B.В. Кореньков, Е.Ю. Мазепа, В.Я. Фарисеев, В.П. Шириков: Состояние и перспективы развития математического обеспечения для локальной терминальной сети ОИЯИ // ОИЯИ, PI 1-85-335, Дубна, 1985, с.14.

[73] С.Г. Каданцев, В.В. Кореньков, А.П. Сапожников, C.B. Семашко, В.Э. Файн: Использование коммуникационного протокола KERMIT в ОИЯИ//ОИЯИ PI 1-91-143 Дубна, 1991, с. 12.

[74] V. Boirisovskij, A. Ershov, V. Korenkov, Yu. Stolyarsky, P. Sychev: JINR Information Infrastructure Development Concept // Proc. of Int. Conf. "Programming and Mathematical techniques in Physics", World Scientific, Singapore, 1994, p.129-137.

[75] В.В. Мицын, В.В. Кореньков, К.Ф. Окраинец, Р.Г. Позе, М.Ю. Попов: О развитии информационно-вычислительной инфраструктуры ОИЯИ // Краткие сообщения ОИЯИ, 1995, №2[70], с.5-10.

•К..У;".

I

11«

!. I |< .

1 I , I 'С I

rv

[76] V.A. Berezhnoj, B.S. Volkov, Yu.N. Isaev, A.P. Sokolov, V.F. Borisovskij, G. Musulmanbekov, V.V. Korenkov, E.G. Nokonov, M.S. Plyashkevich, A.V. Ribalkin, V.P. Shirikov: Physics, accelerator and software data bases at the WWW/Oracle server of JINR // Proc. of Conference CMCP-96, Dubna, 1996, p. 110-114.

[77] V. Korenkov, R. Pose: Status and trend of development of networking and computing at JINR // Proc. of XVII International Symposium on Nuclear Electronics, Varna, 1997, p. 168-171.

[78] V. Korenkov: Status and Perspectives of JINR Computing Centre // Proc. of Int. Conf. «High Performance Computing on Hewlett-Packard Systems», Zurich, Switzerland, 1998, p.224-227.

[79] V. Korenkov, N. Zaikin, T. Strizh: Computing and networking at JINR // Czechoslov. J. Phis., 2001, №51, p.355-362.

[80] B.B. Мицын, В.В. Кореньков, Е.А. Тихоненко: Развитие и использование ресурсов и сервисов Центрального информационно-вычислительного комплекса ОИЯИ // Годовой отчет ЛИТ 2003, ISBN 5-9530-0046-4, ОИЯИ, Дубна, 2004, с. 15-21.

[81] В.В. Мицын, В.В. Кореньков, Е.А. Тихоненко: Концепция GRID: на пути к глобальному информационному обществу XXI века // Сообщение ОИЯИ, Р11-2001-58, 2001, с.8.

[82] Проект по разработке фундаментальных грид-технологий, Альянс Globus - http://www.globus.org/.

[83] Legion - http://legion.virginia.edu/index.html.

[84] Condor - http://www.cs.wisc.edu/condor/.

[85] Unicore - http://www.unicore.eu/.

[86] ARC - http://www.nordugrid.org/middleware/.

[87] gLite - http://glite.cern.ch/.

[88] European Middleware Initiative, EMI - http://www.eu-emi.eu.

[89] O. Smirnova, В. Konya, C. Aiftimiei, M. Cecchi, L. Field, P. Fuhrmann, J. K. Nilsen, J. White: Implementation of common technologies in GRID

MIDDLEWARES // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-9530-0345-2, Dubna, 2012, p.220-227.

[90] P. Fuhrmann: dCache, the Overview [Электронный ресурс] http://www.dcache.org/manuals/dcache-whitepaper-light.pdf.

[91] A. Hanushevsky: Xrootd Architectures [Электронный ресурс] http://xrootd.slac.stanford.edu/presentations/OSGAHM_l 103 .Plenary .pptx.

[92] B.C. Анфилатов, А.А. Емельянов, А.А. Кукушкин: Системный анализ в управлении // - М., Финансы и статистика, 2009, с. 367.

[93] М.К. Валиев, E.JI. Китаев, М.И. Слепенков: Служба директорий LDAP как инструментальное средство для создания распределенных информационных систем // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с.162-183.

[94] М.К. Валиев, E.JI. Китаев, М.И. Слепенков: Использование службы директорий LDAP для представления метаинформации в глобальных вычислительных системах // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с. 184-210.

[95] V.V. Toporkov, A.S. Tselishchev, D.M. Yemelyanov, A.V. Bobchenkov: Dependable job-flow dispatching and scheduling in virtual organizations of distributed computing environments // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-9530-0345-2, Dubna, 2012, p.234-242.

[96] C.B. Знахур, C.B. Листровой, C.B. Минухин, B.C. Пономаренко: Методы и модели планирования ресурсов в GRID-системах // Харьков, ИД «ИНЖЕК», 2008, 407с.

[97] V. Ilyin, V. Korenkov: Development of Russian Grid Segment in the frames of EU DataGRID, LCG and EGEE projects // Proc. of the XIX Int. Symposium on Nuclear Electronics & Computing (NEC'2003, Varna, Bulgaria), ISBN 5-9530-0041-3, Dubna, 2004, p.154-156.

v I

I'k.p '(I

1»■ j I

л, I'

i I .1,

<1

'' w ,

L

vV

Ml r,

tut

■ л

[98] В.А. Ильин, В.В. Кореньков: Участие российских центров в европейских проектах LCG (LHC Computing GRID) и EGEE (Enabling GRIDS for E-science in Europe) // Сборник 10-й конференции представителей региональных научно-образовательных сетей ("RELARN-2004"), С-Петербург, 2004, с.302-305.

[99] Портал проекта WLCG (Worldwide LHC Computing Grid; Всемирный грид для Большого адронного коллайдера) - http://wlcg.web.cern.ch/

[100] Европейский проект развертывания грид-систем для научных исследований - EGEE (Enabling Grids for E-science in Europe) -http://www.eu-egee.org

[101] Российский консорциум РДИГ (Российский Грид для интенсивных операций с данными - Russian Data Intensive Grid, RDIG) http://www.egee-rdig.ru

[102] V. Ilyin, V. Korenkov, A. Soldatov: RDIG (Russian Data Intensive Grid) e-Infrastructure: status and plans // Proc. of XXII Int. Symposium on Nuclear Electronics & Computing (NEC2009, Varna, Bulgaria), ISBN 978-5-95300242-4, Dubna, 2010, p.150-153.

[103] B.B. Кореньков, П.С. Березовский, B.B. Галактионов, А.П. Демичев, В.Е. Жильцов, В.А. Ильин, В.Н. Коваленко, Д.А. Корягин: Создание центра базовых ГРИД-сервисов нового поколения федерального уровня // Труды конференции «Телематика-2006», С-Петербург, 2006.

[104] В.В. Кореньков, Е.А. Тихоненко: Концепция GRID и компьютерные технологии в эру LHC // Физика элементарных частиц и атомного ядра, 2001, Т.32, вып.6, с.1458-1493.

[105] В.В. Кореньков, Е.А. Тихоненко: Организация вычислений в научных отраслях // Открытые системы, 2001, №2, с.30-35.

[106] В.Н. Коваленко, А.В. Орлов: Управление заданиями в распределенной среде и протокол резервирования ресурсов // книга «Технологии грид», Т.1, - М., ИПМ им. М.В.Келдыша, 2006, с.248-270.

[107] Система пакетной обработки заданий: серверная компонента Torque и планировщик Maui: http://www.adaptivecomputing.com/products/open-source/torque/

[108] V.V. Korenkov, V.V. Mitsyn, E.V. Dushanov, A.S. Ayrian, A.I. Lutsenko: Testing the new JINR CICC supercomputing cluster //LIT scientific report 20062007, ISBN 5-9530-0167-3, JINR, Dubna, 2007, p.43-47.

[109] K.N. Angelov, A.E. Gushin, A.G. Dolbilov, V.V. Ivanov, V.V. Korenkov, L.A. Popov: The Status and Perspectives of the JINR 10 Gbps Network Infrastructure // Proc. of the XXIII Int. Symposium on Nuclear Electronics & Computing (NEC'2011, Varna, Bulgaria), ISBN 978-5-9530-0313-1, Dubna, 2011, p.20-28.

[110] M. Gavrilenko, I. Gorbunov, V. Korenkov, D. Oleynik, A. Petrosyan, S. Shmatov: Development of the vo-specific dCache data browser // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-95300345-2, Dubna, 2012, p.130-132.

[111] P.V. Dmitrienko, A.G. Dolbilov, V.V. Korenkov, V.V. Mitsyn, V.V. Trofimov: Development of the monitoring system for the CICC JINR resources // LIT Scientific report 2010-2011, ISBN 978-5-9530-0312-4, JINR, Dubna, 2011, p.20-21.

[112] B.B. Кореньков, B.B. Мицын, П.В. Дмитриенко: Архитектура системы мониторинга центрального информационно-вычислительного комплекса ОИЯИ // Информационные технологии и вычислительные системы, 2012, №3, с.3-14.

[113] Gh. Adam, S. Adam, A. Ayriyn, V. Korenkov, V. Mitsyn, M. Dulea, I. Vasile: Consistent Performance Assessment of Multicore Computer Systems // Romanian Journal of Physics, 2008, Vol. 53, №9-10, p.3-8.

[114] Gh. Adam, S. Adam, A. Ayriyn, E. Dushanov, E. Hayryan, V. Korenkov, A. Lutsenko, V. Mitsyn, T. Sapozhnikova, A. Sapozhnikov, O. Streltsova, F. Buzatu, M. Dulea, I. Vasile, A. Sima, C. Visan, J. Busa, I. Poborny:

Performance assessment of the SIMFAP parallel cluster at IFIN-HH Bucharest // Romanian Journal of Physics, 2008, Vol. 53, №5-6, p.665-677.

[115] A. Ayriyan, Gh. Adam, S. Adam, V. Korenkov, A. Lutsenko, V. Mitsyn: CICC JINR Cluster 2008 Performance Improvement // Proc. of Science XII Advanced Computing and Analysis Techniques in Physics Research (ACAT'2008), Erice, Italy, 2008, PoS (ACAT08) 054.

[116] А.О.Лацис: Модели программирования для современных суперкомпьютеров // Программные системы: теория и приложения, 1:3 (2010), с.73-84.

[117] И.А. Голутвин, В.В. Кореньков, А.А. Лаврентьев, Р.Г. Позе, Е.А. Тихоненко: Поддержка компьютинга CMS в ОИЯИ // Сообщение ОИЯИ, Д11-98-122, Дубна, 1998, с.Ю.

[118] В.В. Кореньков, В.В. Мицын, Е.А. Тихоненко: Участие ОИЯИ в организации регионального информационно-вычислительного центра для LHC в России // Р11-2001-24, Дубна, ОИЯИ, 2001, с. 9.

[119] V. Korenkov: JINR Participation in the LCG and EGEE Projects // Proc. of XX Int. Symposium & Nuclear Electronics and Computing (NEC" 2005, Varna, Bulgaria), ISBN 5-9530-0108-8, JINR, Dubna, 2006, p. 170-173.

[120] V. Korenkov: Grid activities at the Joint Institute for Nuclear Research// Proc. of the 4th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2010», ISBN 978-5-9530-0269-1, Dubna, 2010, p. 142-147.

[121] Yu. Kharlov, V. Kolosov, Y. Lyblev, A. Selivanov, B. Zagreev, Y. Bugaenko, V. Korenkov, V. Mitsyn, G. Shabratova, A. Zarochencev, V. Zolotarev: Participation of Russian sites in the Data Challenge of ALICE experiment in 2004 // Proc. of Int. Conf. "Computing in high energy and nuclear physics (CHEP'2004)", Interlaken, Switzerland, CERN-2005-002-V-2, 2004, p.802-805.

[122] A. Bogdanov, V. Mitsyn, Y. Lyublev, A. Kiryanov, V. Kotlyar, E. Ryabinkin, G. Shabratova, L. Stepanova, V. Tikhomirov, W. Urazmetov,

'V ч'ч v . '-^i^'bV,; , * .v <

A. Zarochentsev, D. Utkin, L. Yancurova, S. Zotkin: GRID Processing and Analysis of ALICE data at distributed Tier2-RDIG // J. Physics: Conf. Ser. 219(2010) 072054.

[123] V. Matveev, I. Golutvin: Project: Russia and Dubna Member States CMS Collaboration / Study of Fundamental Properties of the Matter in Super High Energy Proton-Proton and Nucleus-Nucleus Interactions at CERN LHC, 1996085 / CMS Document, 1996, p. 87.

[124] V. Gavrilov, I. Golutvin, V. Korenkov, E. Tikhonenko, S. Shmatov, V. Ilyin, O. Kodolova: RDMS CMS Computing model // Proc. of Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2004», ISBN 5-9530-0070-7, Dubna, 2004, p.240-247.

[125] V. Gavrilov, I. Golutvin, V. Korenkov, E. Tikhonenko, S. Shmatov, V. Ilyin, O. Kodolova: RDMS CMS Computing // Proc. of II Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2006», ISBN 5-9530-0138-X, Dubna, 2006, p.61-67.

[126] В. Ильин, В. Кореньков: Компьютерная грид-инфраструктура коллаборации RDMS CMS // сб.: «В глубь материи: физика XXI века глазами создателей экспериментального комплекса на Большом адронном коллайдере в Женеве» - М., Этерна, 2009, с.361-372.

[127] V. Gavrilov, I. Golutvin, V. Korenkov, S. Shmatov, E. Tikhonenko: Current Status of the RDMS CMS Computing // Proc. of XXI Int. Symposium on Nuclear Electronics & Computing (NEC" 2007, Varna, Bulgaria), ISBN 59530-0171-1, JINR, 2008, p.203-208.

[128] Статистика передачи данных CMS: PhEDEx-CMS Data Transfers -https://cmsweb.cern.ch/phedex/.

[129] O.O. Бунецкий, E.C. Горбенко, C.C. Зуб, B.B. Кореньков, Л.Г. Левчук, C.T. Лукьяненко, B.B. Мицын, Д.А. Олейник, В.Ф. Попов,

A.С. Приставка, Д.В. Сорока, П.В. Сорокин, Е.А. Тихоненко,

B.В. Трофимов, И.А. Филозова: Подготовка Грид-инфраструктур ЛИТ

ОИЯИ и ННЦ ХФТИ к анализу данных эксперимента CMS (ЦЕРН) // Сообщение ОИЯИ, Р11-2010-11, Дубна, 2010, с.9.

[130] V. Gavrilov, I. Golutvin, V. Ilyin, О. Kodolova, V. Korenkov, E. Tikhonenko, S. Shmatov: RDMS CMS TIER2 centers at the running phase of LHC // Proc. of the 4th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2010», ISBN 978-5-95300269-1, Dubna, 2010, p.103-108.

[131] V. Gavrilov, I. Golutvin, V. Korenkov, E. Tikhonenko, S. Shmatov, V. Ilyin, O. Kodolova: RDMS CMS computing activities to satisfy LHC data processing and analysis // Proc. of XXII Int. Symposium on Nuclear Electronics & Computing (NEC2009, Varna, Bulgaria), ISBN 978-5-95300242-4, JINR, 2010, p.129-133.

[132] V. Gavrilov, I. Golutvin, V. Korenkov, E. Tikhonenko, S. Shmatov, V. Zhiltsov, V. Ilyin, O. Kodolova, L. Levchuk: RDMS CMS data processing and analysis workflow// Proc. of XXIII Int. Symposium on Nuclear Electronics & Computing (NEC'2011, Varna, Bulgaria), ISBN 978-5-95300313-1, Dubna, 2011, p.148-153.

[133] B.B. Кореньков: Распределенная система для обработки, хранения и анализа экспериментальных данных Большого адронного коллайдера // Труды XII Международной научно-практической конференции «Современные информационные технологии и ИТ-образование», Москва, МГУ, 2012, с.8-20.

[134] V. Gavrilov, I. Golutvin, V. Korenkov, Е. Tikhonenko, S. Shmatov, V. Zhiltsov, V. Ilyin, O. Kodolova, L. Levchuk: CMS experiment data processing at RDMS CMS TIER 2 centers // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-9530-0345-2, Dubna, 2012, p.133-137.

[135] H.C. Астахов, С. Д. Белов, А.Г. Долбилов. В.Е. Жильцов,

B.В. Кореньков, В.В. Мицын, Т.А. Стриж, Е.А. Тихоненко, В.В. Трофимов,

C.В. Шматов: Создание в ОИЯИ автоматизированной системы обработки

данных уровня TIER-1 эксперимента CMS на LHC// Труды 5-ой межд. конф. "Распределенные вычисления и ГРИД-технологии в науке и образовании", ISBN 978-5-9530-0345-2, Дубна, 2012, с.254-265.

[136] OSG, Open Science Grid («Открытый научный грид», США) -http://www.opensciencegrid.org/.

[137] Портал проекта NorduGrid (грид-инфраструктура стран Скандинавии) - http://www.nordugrid.org/.

[138] D. Oleynik, A. Petrosyan, V. Garonne, S. Сатрапа: On behalf of the ATLAS Collaboration: DDM DQ Deletion Service, Implementation of Central Deletion Service for ATLAS Experiment // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-9530-0345-2, Dubna, 2012, p.189-194.

[139] J. Andreeva, D. Benjamin, S. Сатрапа, A. Klimentov, V. Korenkov, D. Oleynik, S. Panitkin, A. Petrosyan: Tier-3 Monitoring Software Suite (T3MON) proposal // CERN Note, ATL-SOFT-PUB-2011-001, 2011, p.7.

[140] S. Belov, I. Kadochnikov, V. Korenkov, M. Kutouskil, D. Oleynik, A. Petrosyan: on behalf of the ATLAS Collaboration: VM-based infrastructure for simulating different cluster and storage solutions used on ATLAS Tier-3 sites // CERN Note, ATL-SOFT-PROC-2012-057, 2012, p.4, Presented at : Computing in High Energy and Nuclear Physics 2012, New York, NY, USA, May, 2012.

[141] B.B. Кореньков, H.A. Кутовский: Инфраструктура обучения грид-технологиям // Открытые системы, 2009, №10, с.48-51.

[142] V.V. Korenkov, N.A. Kutovskiy: Distributed training and testing GRID infrastructure // Proc. of the 4th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2010», ISBN 978-59530-0269-1, Dubna, 2010, p. 148-152.

[143] A.H. Сисакян, A.C. Сорин: Многоцелевой Детектор - MPD для изучения столкновений тяжелых ионов на ускорителе NICA

t»и

» и

^ ! I ( f

i

t Ь

HI

♦ ч

>\t

у у

(Концептуальный дизайн-проект), [Электронный ресурс] - 2011. -http://nica.jinr.ru/files/CDR_MPD/MPD_CDR_ru.pdf

[144] H.J. Song, X. Liu, D. Jakobsen, R. Bhagwan, X. Zhang, K. Taura, A. Chien: The MicroGrid: A scientific tool for modeling computational grids // Proceedings of IEEE Supercomputing Conference, Dallas, USA, November, 2000.

[145] Rajkumar Buyya, Manzur Murshed: GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing // Concurrency and Computation: Practice and Experience, ISSN 1532-0626, Volume 14, Issue 13-15, Wiley Press, New York, USA, November-December, 2002, p. 1175-1220.

[146] A. Legrand, L. Marchal, H. Casanova: Scheduling distributed applications: The SimGrid simulation framework // Proceedings of the 3rd International Symposium on Cluster Computing and the Grid, Tokyo, Japan, May, 2003.

[147] William H. Bell, David G. Cameron, Luigi Capozza, A. Paul Millar, Kurt Stockinger, Floriano Zini: OptorSim-A Grid Simulator for Studying Dynamic Data Replication Strategies // International Journal of High Performance Computing Applications, 17(4), 2003.

[148] K. Ranganathan, I. Foster: Computation Scheduling and Data Replication Algorithms for Data Grids (ChicSim) // Kluwer Academic Publishers, 2004, p.359-373.

[149] A. Sulistio, G. Poduvaly, R. Buyya, C. Tham: Constructing a grid simulation with differentiated network service using GridSim // Proceedings of the 6th International Conference on Internet Computing, Las Vegas, USA, June, 2005.

[150] V. Korenkov, A. Nechaevskiy, A. Uzhinsky: System for simulation of networks based on GRID - technologies // Труды II Международной конференции "Распределенные вычисления и ГРИД-технологии в науке и образовании", ISBN 5-9530-0138-Х, Дубна, 2006, с.99-102.

' V, i */ 'í' ',,f ^ ' Л I "V 1 '* '! 1У íi, V i-'l'i ' I'' >'< < ;

[151] A.V. Nechaevsky, V.V. Korenkov: Experience of data Grid simulation packages using // Proc. of Int. Conf. "Distributed computing and Grid technologies in science and education, GRID-2008", ISBN 978-5-9530-01984, Dubna, 2008, p.279-283.

[152] B.B. Кореньков, A.B. Нечаевский: Моделирование DataGrid с применением пакета OptorSim // Сообщение ОИЯИ, PI 1-2008-8, 2008, с.8.

[153] В.В. Кореньков, A.B. Нечаевский: Пакеты моделирования DataGrid // Системный анализ в науке и образовании, Электронный научный журнал, Выпуск 1, 2009, URL:http://sanse.ru.

[154] B.B. Кореньков, A.B. Нечаевский, В.В. Трофимов: Моделирование ГРИД системы off-line обработки данных для эксперимента NICA // Труды 5-ой межд. конф. "Распределенные вычисления и ГРИД-технологии в науке и образовании", ISBN 978-5-9530-0345-2, Дубна, 2012, с.343-348.

[155] Д. Феррари: Оценка производительности вычислительных систем // Пер. с англ., - М., Мир, 1981, с. 576.

[156] А.П. Афанасьев, М.А. Посыпкин, A.C. Хританков: Аналитическая модель оценки производительности распределенных систем // Программные продукты и системы, Международное научно-практическое приложение к международному журналу «Проблемы теории и практики управления», ISSN 0236-235Х, гл. редактор Емельянов С.В, Тверь: Изд-во МНИИПУ, главная редакция международного журнала и НИИ «Центрпрограммсистем», №4 (88), 2009.

[157] Портал статистического учета работы глобальной грид-инфраструктуры в рамках проекта EGI (Европейская грид инициатива, European Grid Initiative) - http://accounting.egi.eu.

[158] Е. Dushanov, Kh. Kholmurodov, V. Korenkov, G. Aru, W. Smith, Y. Ohno, T. Narumi, G. Morimoto, M. Taiji, K. Yasuoka: JINR CICC in Computational Chemistry and Nanotechnology Problems: DL_POLY

и'/')' у Kv. * i " i,1

,ii i, i k vi <<> (1 >,!,}•,

t i I ' 1 >

Ч V

f <4 « 1 '

I V i t»

"i К

Performance for Different Communication Architectures // Particles & Nuclei, Letters, 2009, №3, p.251-259.

[159] B.B. Кореньков, H.A. Кутовский, P.H. Семёнов: Опыт адаптации прикладных программных пакетов для работы в грид-средах // Компьютерные исследования и моделирование, 2012, Т.4, №2, с.339-344.

[160] Barth W. Nagios: System and Network Monitoring // No Starch Press, 2006.

[161] MonALISA Repository User Guide [Электронный ресурс]

http://monalisa.caltech.edu/monalisa_Documentation Repository User Gui

de.html

[162] Система локального мониторинга Ganglia http://ganglia.sourceforge.net/

[163] R-GMA: Architecture - Virtual database [Электронный ресурс] -http://www.r-gma.org/arch-virtual.html.

[164] В. Столингс: Современные компьютерные сети // 2-ое издание, -СПб., Питер, 2003, 760 с.

[165] S.D. Belov, V.V. Korenkov: Experience in Development of Grid Monitoring and Accounting System // Proc. of Int. Conf. "Distributed computing and Grid-Technologies in Science and Education, GRID-2008", ISBN 978-5-9530-0184-4, 2008, p.189-193.

[166] S. Belov, V. Korenkov: Experience in development of Grid monitoring and accounting systems in Russia // Proc. of XXII Int. Symposium on Nuclear Electronics & Computing (NEC2009, Varna, Bulgaria), ISBN 978-5-95300242-4, Dubna, 2010, p.75-80.

[167] M.P. Когаловский: Энциклопедия технологий баз данных // - М., ФиС, 2002, с. 799.

[168] В.В. Кореньков, А.В.Ужинский: Система мониторинга сервиса передачи данных (FTS) проекта EGEE/WLCG // Сообщение ОИЯИ, Р11-2008-80 10, 2008, с.Ю.

[169] В.В. Кореньков, А.В. Ужинский: Статистический анализ сбоев, возникающих при пересылке данных в глобальной грид-инфраструктуре EGEE/WLCG // Сообщение ОИЯИ, Р11-2008-82, 2008, с.9.

[170] A. Uzhinsky, V. Korenkov: Monitoring system of the file transfer service for EGEE/WLCG // Proc. of Int. Conf. "Distributed computing and Grid-Technologies in Science and Education, GRID-2008", ISBN 978-5-95300198-4, Dubna, 2008, p. 197-201.

[171] В.В. Кореньков, А.В. Ужинский: Архитектура сервиса передачи данных в grid // Открытые системы, 2008, №2, с.52-56.

[172] В.В. Кореньков, А.В. Ужинский: Система мониторинга сервиса передачи данных (FTS) проекта EGEE/WLCG // Вычислительные методы и программирование: Новые вычислительные технологии, 2009, Т. 10, с.96-100.

[173] С.В. Мицын: Визуализация мониторинга грид-инфраструктуры WLCG/EGEE как географически распределённой системы // Научный отчет 2008-2009 ЛИТ, ISBN 978-5-9530-0237-0, ОИЯИ, Дубна, 2010, с.37-40.

[174] Система мониторирования работы экспериментов LHC в среде грид, Dashboard - http://dashboard.cern.ch.

[175] J. Andreeva et al.: Dashboard for the LHC experiments // J. Phys., Conf. Ser. 119:062008, 2008.

[176] J. Andreeva et al.: Job monitoring on the WLCG scope: Current status and new strategy // J. Phys., Conf. Ser. 219 (2010) 062002.

[177] J. Andreeva, A. Uzhinskiy et al.: Providing WLCG Global Transfer monitoring // Proc. of Int. Conf. "Computing in high energy and nuclear physics (CHEP'2012)", New York City, USA, 2012.

[178] Портал проекта Hadoop http://hadoop.apache.org/

[179] К. Birman, Q. Huang, D. Freedman: Overcoming the 'D' in CAP: Using Isis2 to Build Locally Responsive Cloud Services // Computer, February, 2011, p.50-58.

[180] Система локального мониторинга в ОИЯИ - http://litmon.jinr.ru.

[181] Система мониторинга консорциума РДИГ - http://rocmon.jinr.ru.

[182] Архив статистики использования ресурсов РДИГ http ://rocmon.j inr.ru:8080/accounting/.

[ 183] Система аккаунтинга проекта ГридННС - http://mon.ngrid.ru.

[184] S. Belov, V. Korenkov, I. Lensky, M. Matveev, E. Matveeva, S. Mitsyn, D. Oleynik, A. Petrosyan, R. Semenov: Monitoring and accounting for GRIDNNN project // Proc. of the 4th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2010», ISBN 978-59530-0269-1, Dubna, 2010, p.43-46.

[185] В.Ю. Добрецов, В. А. Ильин, B.B. Кореньков, А.П. Крюков, Ю.Ф. Рябов: Проектирование и разработка грид-инфраструктуры для национальной нанотехнологической сети // Труды 4-й межд. конф. "Распределенные вычисления и Грид-технологии в науке и образовании", ISBN 978-5-9530-0269-1, Дубна, 2010, с.357-363.

[186] S.D. Belov, V.V. Korenkov, S.V. Mitsyn, D.A. Oleynik, A.S. Petrosyan, R.N. Semenov, A.V. Uzhinskiy: Monitoring and accounting for GridNNN project // LIT Scientific report 2010-2011, ISBN 978-5-9530-0312-4, JINR, Dubna, 2011, p.35-37.

[187] B.H. Ильин, B.B. Кореньков, А.П. Крюков: ГридННС: Состояние и перспективы // Труды 5-ой межд. конф. "Распределенные вычисления и ГРИД-технологии в науке и образовании", ISBN 978-5-9530-0345-2, Дубна, 2012, с.332-336.

[ 188] Мониторинг dCache - http://litmon.jinr.ru/dcache.html.

[189] S.D. Belov, Т.М. Goloskokova, V.V. Korenkov, N.A. Kutovskiy, D.A. Oleynik, A.S. Petrosyan, R.N. Semenov, A.V. Uzhinskiy: Monitoring, accounting and registration services for Russian GRID network // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-9530-0345-2, Dubna, 2012, p.30-33.

[190] В.В. Кореньков: Достижения информационных технологий и их влияние на человека // Труды XIV конференции «Наука. Философия. Религия», Москва, 2012, с.53-60.

[191] В.В. Кореньков, А.В. Ужинский: На пути к адаптивности грид // Открытые системы, 2009, №9, с. 18-19.

[192] Портал по развитию грид-технологий в ОИЯИ -http://grid.jinr.ru/

[193] A.V. Bogdanov: Private cloud vs personal supercomputer // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-9530-0345-2, Дубна, 2012, c.57-60.

[194] A.P. Gulin, A.K. Kiryanov, N.V. Klopov, E.G. Novodvorsky, S.B. Oleshko, Y.F. Ryabov: Model of Data Storage and Processing System for "PIK" Nuclear Reactor Experiments // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-9530-0345-2, Дубна, 2012, с. 144-147.

[195] A.Manafov, P. Malzacher: Computing On Demand: Dynamic Analysis Model // Proc. of Int. Conf. "Computing in high energy and nuclear physics (CHEP'2012)", New York City, USA, 2012.

[196] S. Timm: A Production Science Cloud for Fermilab // Proc. of Int. Conf. "Computing in high energy and nuclear physics (CHEP'2012)", New York City, USA, 2012.

[197] Шон Пипер, Джоан Пол, Майкл Сколт: Новая эра в оценке производительности компьютерных систем // Открытые системы, №9,2007.

[198] Г.И. Савин, В.В. Корнеев, Б.М. Шабанов, П.Н. Телегин, Д.В. Семенов, А.В. Киселев, А.В. Баранов, О.В. Вдовикин, О.С. Аладышев, А.П. Овсянников: Грид-инфраструктура МСЦ РАН для суперкомпьютерных приложений // Труды 4-й межд. конф. "Распределенные вычисления и Грид-технологии в науке и образовании", ISBN 978-5-9530-0269-1, Дубна, 2010, с.406-410.

t <

[199] С. Гайсарян, О. Самоваров, А. Аветисян, В. Иванников: «Университетский кластер»: интеграция образования, науки и индустрии // Открытые системы, №5, 2010, с. 47-58.

[200] Э.Д. Брауде: Технология разработки программного обеспечения // - СПб., Питер, 2004, с. 654.

[201] Р. Фатрепп, Д. Шафер, Л. Шафер: Управление программными проектами // Вильяме, 2003, с. 1125.

[202] Л. Басс, П. Клементе, Р. Кацман: Архитектура программного обеспечения на практике // - СПб., Питер, 2006, с.740.