Анализ и оценка факторов, влияющих на скорость параллельной обработки информации в ГРИД-системах тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат наук Дробнов, Сергей Евгеньевич

• Дробнов, Сергей Евгеньевич
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Дробнов, Сергей Евгеньевич

ОГЛАВЛЕНИЕ

ОГЛАВЛЕНИЕ

ГЛОССАРИЙ

ВВЕДЕНИЕ

ГЛАВА 1 АНАЛИЗ ПРОБЛЕМАТИКИ В ОБЛАСТИ ОРГАНИЗАЦИИ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ В ГРИД-СИСТЕМАХ. ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ

1.1 Состояние исследований и разработок в области ГРИД-систем. Пути развития распределенных систем

1.2 Особенности параллельных вычислений в ГРИД-системах

1.3 Классификация архитектур ГРИД-систем

1.4. Стек протоколов ГРИД-систем

1.5 Постановка задачи

ГЛАВА 2 ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ АНАЛИЗА СКОРОСТИ ПАРАЛЛЕЛЬНОЙ ОБРАБОТКИ ИНФОРМАЦИИ В ГРИД-СИСТЕМАХ

2.1 Факторы, замедляющие процесс параллельной обработки информации

2.2 Обобщенная формула ограничения роста производительности вычислительной ГРИД-системы

2.3 Задача минимизация количества вычислительных узлов в ГРИД-системах

2.4. Метод оценки скорости параллельной обработки в ГРИД-системах гомогенного типа

2.5. Метод оценки скорости параллельной обработки в ГРИД-системах гетерогенного типа

2.6. Анализ производительности вычислительных узлов с многоядерными процессорами

2.7 Анализ обучения нейронных сетей в ГРИД-системах

2.8. Взаимосвязь объема последовательных вычислений и времени обработки пакетов в ГРИД-системах

2.9. Динамика характеристик загруженности ГРИД-систем в процессе обработки данных

2.10. Краткие выводы

ГЛАВА 3 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ РАЗРАБОТАННЫХ МЕТОДИК ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ ГРИД-СИСТЕМ. ВОПРОСЫ ПРАКТИЧЕСКОГО ПРИМЕНЕНИЯ

3.1 Разработка архитектуры и структурной схемы моделируемой ГРИД-системы. Имитация решения задач в ГРИД-системе

3.2 Развертывание ГРИД-системы на примере учебных высокопроизводительных вычислительных кластеров МГТУ МИРЭА

3.3 Развертывание высокопроизводительного вычислительного кластера на базе дистрибутива РеНсапНРС

3.4 Разработка ГРИД-системы на основе инфраструктуры BOINC

3.5 Краткие выводы

ЗАКЛЮЧЕНИЕ

БИБЛИОГРАФИЯ

БЛАГОДАРНОСТИ

ПРИЛОЖЕНИЯ

Приложение 1: Акты внедрения ГРИД-системы на базе МГТУ МИРЭА и Московского Государственного Дворца Детского (Юношеского) Творчества

Приложение 2: Свидетельство о государственной регистрации программы анализа ускорения распределенных вычислений

Приложение 3: Программа анализа ускорения распределенных вычислений на алгоритмах кластеризации

ГЛОССАРИЙ

1. Abstraction - абстракция - изменение интерфейса объекта и преобразование его в более полезную и подходящую форму.

2. Access - доступ - возможность взаимодействия с системной сущностью (system entity) с целью ее обработки, использования, извлечения сведений и/или получения представления о некоторых или всех ресурсах системной сущности. [RFC 2828]

3. Access control - управление доступом - защита ресурсов от неавторизованного доступа; процесс, посредством которого использование ресурсов регулируется в соответствии с политикой безопасности (security policy) и разрешается только авторизованным системным сущностям (system entity), [RFC 2828].

4. Access control information - информация для управления доступом -

a) Любая информация, используемая в целях управления доступом (access control), включая контекстную информацию. [Х.812]

b) Контекстная информация может содержать исходные 1Р-адреса, шифры, тип запрашиваемой операции, время суток и т.д. Часть информации для управления доступом (access control) может относиться к самому запросу, часть - к связи (connection), посредством которой запрос передается, часть к "среде" (например, время суток) [RFC 2829].

5. Access rights - права доступа - Описание типов авторизованных взаимодействий, которые субъект может иметь с ресурсом. Например, это чтение, запись, исполнение, добавление, модификация и удаление. [WSIA Glossary]

6. Accounting Subsystem (AS) - подсистема учета - предназначена для учета использования вычислительных ресурсов (таких как процессорное время, использование оперативной памяти и так далее), и, в частности, может использоваться для формирования информации о стоимости использования данного ГРИД-ресурса

данным пользователем, если взаимоотношения пользователей и провайдеров ресурсов основаны на экономической модели.

7. Actor - актор -

a) Человек или организация (person or organization) - которые могут быть владельцами агентов (agents), запрашивающих или поставляющих Web-службы (Web services).

b) Физический или концептуальный объект, который может выполнять какие-то действия, например, люди, компании, машины, работающее программное обеспечение. Актор может выполнять одну или несколько ролей. Актор на одном уровне абстракции может рассматриваться как роль на более низком уровне абстракции.

8. Ad-hoc GRID - непосредственное формирование сотрудничающих гетерогенных вычислительных узлов в логическое сообщество без предварительно сконфигурированной фиксированной инфраструктуры и с минимальными административными требованиями.

9. Alliance - альянс - коллаборация небольших прикладных сообществ, создающих свои системы и работающих с ними в среде постоянно действующей ГРИД-инфраструктуры

10. Anonymity - анонимность - свойство или состояние, при котором имя или идентичность неизвестны или скрыты. [RFC 2828]

11. Anonymous network - анонимная сеть - компьютерные сети, созданные для достижения анонимности в Интернете и работающие поверх глобальной сети.

12. Application - приложение - в контексте толкования ГРИД-компьютинга в целом, "приложение" относится к некоторому "уровню" компонентов, расположенному над уровнями инфраструктуры и ресурсов, Приложение - термин, используемый для идентификации некоторого множества элементов программного обеспечения. Приложение выполняет вычислительные работы,

управляет данными (доступ, хранение, чтение...) и является носителем многих атрибутов. Любое приложение при активизации (выполнении) содержит информацию, которая позволяет обратиться к лицу, ответственному за выполнение этого приложения.

13. Application Layer - прикладной уровень модели OSI - описывает пользовательские приложения, работающие в среде виртуальной организации; приложения функционируют, используя протоколы, определенные на нижележащих уровнях.

14. Application middleware - прикладное промежуточное программное обеспечение - представляет собой специально ориентированное на приложение 111Ю, встроенные индивидуальные возможности и интерфейсы которого отличны от тех, что общеприняты. Например, это программы сбора информации и средств конфигурации службы обнаружения и мониторинга (Monitoring and Discovery Service, MDS). lillllO тесно связано с общецелевым промежуточным программным обеспечением ГРИД-инфраструктуры.

15. Application-level gateway - шлюз прикладного уровня - компонент NAT-маршрутизатора, который понимает какой-либо прикладной протокол, и при прохождении через него пакетов этого протокола модифицирует их таким образом, что находящиеся за NAT пользователи могут пользоваться протоколом.

16. Architecture - архитектура -

a) архитектура системы программного обеспечения или вычислительной системы - структура или структуры этой системы. Такая структура включает программные компоненты, визуализированные свойства этих компонент, отношения между компонентами и ограничения на их использования;

b) архитектура программного обеспечения - абстракция элементов системы программного обеспечения в течение некоторой фазы ее работы. Система может состоять из многих уровней абстракции и

многих фаз работы, и каждый уровень и каждая фаза могут иметь свою архитектуру.

17. Artifact - артефакт - порция цифровой информации. Артефакт может иметь любой объем и может состоять из других артефактов. Примеры артефактов: сообщение, URI (Uniform Resource Identifier), XML-документ, PNG-изображение, поток битов.

18. Attribute - атрибут - отличительная характеристика, описывающая объект. Атрибуты реальных объектов часто специфицируются в терминах физических характеристик объектов, таких как размер, форма, вес, цвет и т.д. Атрибуты объектов киберпространства могут описывать их размер, способ кодирования, сетевой адрес и т.д. [WSIA Glossary]

19. Audit guard - защита аудита - используемый от имени владельца механизм, который позволяет контролировать действия и агентов (agents) для подтверждения выполнения обязательств (obligations).

20. Authentication - аутентификация - процесс проверки и подтверждения, что потенциальный партнер по общению действительно представляет человека или организацию (person or organization).

21. Base GRID service - базовая служба ГРИД - обеспечивает работу всей ГРИД-системы в целом; службы подразделяются на следующие подсистемы: подсистема управления загрузкой (Workload Management System, WMS), подсистема управления данными (Data Management System, DM), подсистема информационного обслуживания и мониторинга ГРИД-системы (Information System, IS), подсистема безопасности и контроля прав доступа (Grid Security Infrastructure, GSI), подсистема протоколирования (Logging and Bookkeeping, LB), подсистема учета (Accounting Subsystem, AS).

22. Binding - связывание -

а) связь между интерфейсом (interface), конкретным протоколом (protocol) и форматом данных. Связывание определяет, какой

8

протокол и какой формат данных нужно использовать для передачи сообщений, определенных связанным интерфейсом [WSD Reqs];

b) установление соответствия между интерфейсом (interface) и связанными с ним операциями (operations), с одной стороны, и форматом конкретного сообщения и протоколом его передачи (protocol), с другой стороны;

23. Bridge - мост - устройство, соединяющее две или несколько физических сетей и передающее пакеты из одной сети в другую.

24. Calculation acceleration - ускорение вычислений - изменение скорости вычислений в одной системе при сравнении со скоростью вычислений в другой системе.

25. capability - возможность, способность - поименованная часть функциональности (или свойство), которая объявлена как поддерживаемая или запрашиваемая агентом (agent).

26. Certificate - сертификат - имеющее электронную подпись утверждение одной сущности (например, сертификационного центра) о том, что открытый ключ (и какая-то другая информация) другой сущности (например, пользователя ГРИД) имеет некоторый определенный смысл. Стандарт Х.509 определяет, какая информация должна содержаться в сертификате, и описывает, в каком виде она должна быть в нем записана (формат данных).

27. Certificate authority - сертификационный центр - сущность, которая выпускает сертификаты. В OSG признаются сертификаты, выпускаемые целым рядом сертификационных центров, например, Сертификационная Служба DOEGrids.

28. Choreography - хореография -

а) Хореография определяет последовательность и условия обмена сообщениями между многочисленными взаимодействующими

независимыми агентами (agent). При помощи этого обмена выполняется задача достижения целевого состояния.

Ь) Хореография Web-служб касается взаимодействия служб с их пользователями. Любой пользователь Web-службы, автоматический или нет, является клиентом этой службы. В качестве пользователей могут выступать другие Web-службы, приложения или люди. Транзакции между Web-службами и их клиентами должны быть четко определены во время их выполнения и могут состоять из множества отдельных взаимодействий, чья композиция составляет полную транзакцию. Эта композиция, ее протоколы передачи сообщений, интерфейсы, установление последовательности и ассоциированная логика и составляет то, что называется хореографией. [WSC Reqs]

29. Cluster - кластер - доступная по сети группа рабочих узлов (при необходимости вместе с головным узлом), размещённая на некотором сайте. Согласно определению в схеме GLUE, кластер это контейнер, который группирует вместе подкластеры или компьютерные узлы.

30. Cluster and multi-cluster GRIDs model - кластерная и мультикластерная модель ГРИД.

31. Collective intelligence - коллективный интеллект - сетевые службы, обрабатывающие данные, собранные из разных источников и от разных участников, и находящие среди них самые полезные для пользователей.

32. Collective Layer - коллективный уровень отвечает за координацию использования имеющихся ресурсов.

33. Collision domain - домен коллизий - это часть сети ethernet, все узлы которой конкурируют за общую разделяемую среду передачи и, следовательно, каждый узел которой может создать коллизию с любым другим узлом этой части сети.

34. Color Pétri net - Цветная сеть Петри.

35. Component - компонент -

a) Объект программного обеспечения, предназначенный для взаимодействия с другими компонентами, инкапсулирующий некоторую функциональность или набор функциональностей. Компонента имеет четко определенный интерфейс и ведет себя заранее определенным образом, общим для всех компонент в рамках архитектуры [ССА T&D].

b) Абстрактная единица программного обеспечения и внутреннего состояния, которая обеспечивает преобразования данных через свой интерфейс [Fielding].

c) Единица архитектуры с определенными границами.

36. Computer element - вычислительный элемент (вычислительный узел) - термин, используемый в ГРИД-технологиях для обозначения любого вида вычислительного интерфейса, например, интерфейса запуска работы или системы пакетной обработки. Вычислительный элемент состоит из одной или более одинаковых вычислительных машин, управляемых одним единственным планировщиком, настроенным на принятие и запуск ГРИД-работ. Сами машины не обязательно должны быть идентичными, но должны иметь одну и ту же операционную систему и одну и ту же архитектуру процессора.

37. Connection - соединение - виртуальный канал связи транспортного уровня, установленный между двумя программами для их коммуникации [RFC 2616].

38. Connectivity Layer - связывающий уровень - составляют протоколы, которые обеспечивают обмен данными между компонентами базового уровня и протоколы аутентификации.

39. Critical section - Критическая секция - часть программы, в которой есть обращение к совместно используемым данным.

40. Data center - центр обработки данных - специализированное здание для размещения (хостинга) серверного и коммуникационного оборудования и подключения абонентов к каналам сети Интернет.

41. Data communication protocol - протокол передачи данных - набор соглашений интерфейса логического уровня, которые определяют обмен данными между различными программами.

42. Data federation - объединение данных - процесс интеграции данных в одном виртуальном месте для быстрого удовлетворения запроса прикладной программы.

43. Data GRID - проект, финансируемый Европейским Союзом. Цель проекта - создание следующего поколения вычислительной инфраструктуры обеспечения интенсивных вычислений и анализа общих крупномасштабных баз данных (от сотен терабайт до петабайт) для международных научных сообществ.

44. Decommissioning - вывод из эксплуатации - процесс уничтожения компонента ГРИД, после которого компонент становится недоступным для планировщика.

45. Digital signature - цифровая подпись - значение, которое вычисляется по криптографическому алгоритму и присоединяется к объекту данных таким образом, что любой получатель этих данных может использовать эту подпись для проверки источника и целостности данных. (См data origin authentication service, data integrity service, digitized signature, electronic signature, signer в [RFC 2828]).

46. Discovery - обнаружение - определение местонахождения машинно-обрабатываемого описания ресурса, связанного с Web-службой (Web service) Ресурс должен отвечать некоторым функциональным критериям и может быть заранее неизвестен. Поиск описания выполняется путем сопоставления набора функциональных и других критериев с набором описаний ресурсов. Цель поиска - найти соответствующий ресурс, связанный с Web-службой.

47. Distributed Computing Environment (DCE) - среда распределенных вычислений - набор сильно интегрированных технологий, разработанных для того, чтобы упростить проведение распределённого компьютинга.

48. Document - документ - любые данные, которые могут быть представлены в цифровой форме [UeB Glossary].

49. Domain - домен - идентифицированное множество агентов (agent) и/или ресурсов, которое является субъектом ограничений одной или более политик (policiy).

50. Encapsulation - инкапсуляция - метод построения модульных сетевых протоколов, при котором логически независимые функции сети абстрагируются от нижележащих механизмов путём включения или инкапсулирования этих механизмов в более высокоуровневые объекты.

51. Encryption - шифрование - криптографическое преобразование данных из открытого текста в зашифрованную форму, что позволяет скрыть исходное содержание текста и, тем самым, предохранить его от прочтения или использования. Если это преобразование обратимо, соответствующий обратный процесс называется дешифровкой. Дешифровка возвращает зашифрованный текст в его исходное состояние. [RFC 2828]

52. End point - конечная точка - ассоциация между связыванием (binding) и сетевым адресом, специфицированным через URI (Uniform Resource Identifier), которая может быть использована для связи с экземпляром службы (service). Конечная точка указывает конкретное место для доступа к службе с использованием конкретного протокола (protocol) и формата данных [WSD Reqs].

53. Enterprise GRID - ГРИД уровня предприятия - совокупность взаимосвязанных компонентов ГРИД, находящихся под контролем специального менеджера GME (grid management entity). Как правило, ГРИД уровня предприятия управляются одной компанией.

ГРИД уровня предприятия отличаются от традиционных дата-центров методами управления и технологиями: а. службы управления ориентированы на приложения, а не на компоненты; Ь.

возможность объединения и совместного использования сетевых ресурсов; с. гибкость за счет быстрого и автоматизированного предоставления услуг.

54. Enterprise Grid Computing - ГРИД-компьютинг уровня предприятия - вид ГРИД-компьютинга, включающий в качестве предоставляемой услуги коммерческие приложения.

55. E-Science GRID - научная ГРИД (научные исследования, использующие большие вычислительные мощности)

56. Federation - объединение - одноранговое связывание ресурсов в рамках OSG или во внешних по отношению к OSG ГРИД-системах. Создание объединения ресурсов или ГРИД-систем позволяет упростить поддержку миграции работ между интегрируемыми объектами.

57. Gatekeeper - привратник - процесс, который на сайте обрабатывает входящие запросы на выполнение работ и проверяет права на использование связанных с каждой работой вычислительных ресурсов. Процесс привратник запускает процесс менеджера работ после успешной аутентификации.

58. Global GRID - глобальные ГРИД - устанавливаются в Интернете, предоставляя отдельным пользователям или организациям мощность ГРИД независимо от того, где в мире эти пользователи находятся. Это также называют Интернет-компьютингом.

59. Globus Toolkit - инструментальный пакет Globus - свободно распространяемый пакет программного обеспечения, предназначенный для построения ГРИД. Он разрабатывается в рамках Проекта Globus и большого ряда других проектов, поддерживаемых во всем мире.

60. GLUE Schema - схема GLUE - деятельность в контексте схемы GLUE имеет своей целью определение общей концептуальной

модели данных, которую можно было бы использовать для обнаружения и мониторинга ГРИД-ресурсов. Ставится задача определить, опубликовать и сделать доступными для использования общие схемы интероперабельности между европейскими и американскими ГРИД-проектами в области физики.

61. GRID (грид, сеть) - географически распределенная информационная система - технология распределённых вычислений, в которой вычислительная система («суперкомпьютер») представлена в виде соединенных сетью вычислительных узлов, слабосвязанных, гомогенных или гетерогенных компьютеров, работающих вместе для выполнения большого количества заданий. ГРИД-технология применяется для решения разного рода научных задач, требующих значительных вычислительных ресурсов.

62. GRID accounting - система учета в ГРИД - система учета, следящая за использованием ресурсов членами виртуальных организаций и предоставляющая отслеживаемую информацию в общепринятом для ГРИД виде. Основное внимание при этом обращается на расходование времени CPU и дисковой памяти.

63. GRID computing - ГРИД-компьютинг, ГРИД-вычисления -вычисления в среде ГРИД.

64. GRID infrastructure - инфраструктура ГРИД - географически распределённая инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.

65. GRID Laboratory Uniform Environment (GLUE) - лаборатория по созданию единообразной ГРИД-среды - спонсируется Объединенным Техническим и Координационным Правлением по ГРИД в сфере Ядерной Физики и Физики Высоких Энергий (High Energy and Nuclear Physics Intergrid Joint Technical and Coordination Boards). Целью GLUE является поддержка интероперабельности между европейскими ГРИД-системами в сфере физики (EDG, Data

Tag и т.д.) и аналогичными американскими проектами (iVDGL, PPDG, GriPhyN). Лаборатория GLUE тщательно анализирует каждую службу, требуемую работающим в ГРИД-среде комплексным приложением или тестируемой экспериментальной системой, начиная с операций самого нижнего уровня, для которых необходима интероперабельность в рамках международных проектов.

66. GRID monitoring - ГРИД-мониторинг - сбор, анализ и публикацию информации от распределенной рабочей инфраструктуры с целью определения статуса серверов и хода выполнения приложения; ГРИД-мониторинг включает в себя регулярную регистрацию данных о производительности CPU, сетей и запоминающих устройств.

67. GRID protocole stack - стек протоколов ГРИД - стек протоколов, в котором каждый уровень предназначен для решения узкого круга задач и используется для предоставления услуг для более высоких уровней. Структура аналогична сетевой модели OSI (Open Systems Interconnection Reference Model; модель взаимодействия открытых систем). Стек протоколов включает аппаратный, связывающий, ресурсный, коллективный и прикладной уровни.

68. GRID service - ГРИД-сервис - OGSA определяет ГРИД-сервис как веб-сервис, который предоставляет набор корректно определенных интерфейсов, определенных на языке WSDL, и следует специфическим конвенциям для их создания и композиции сложных распределенных систем.

69. GRID User Interface (UI) - интерфейс пользователя - предназначен для обеспечения доступа пользователя к ресурсам ГРИД. Через UI пользователь осуществляет запуск заданий на выполнение, пересылает данные с одного ресурса хранения данных на другой, контролирует процесс выполнения задания, получает результат выполнения задания.

70. GRID User Management System (GUMS) - система управления пользователями ГРИД - служба отображения идентичности в ГРИД

(Grid Identity Mapping Service) Она отображает удостоверение для каждой новой работы, приходящей на сайт, на соответствующее удостоверение этого сайта и затем отсылает полученное отображение программе привратника. Особенно хорошо GUMS годится для гетерогенной среды с большим числом привратников. С помощью GUMS можно легко реализовать политику одноразового пользования для многих сайтов, обеспечивая оптимальное управление и безопасность доступа к ГРИД-ресурсам сайтов.

71. GRID-oriented data mining - ГРИД-ориентированный интеллектуальный анализ данных.

72. Group - группа виртуальной организации (ВО) - организационная структура, определяемая ВО, которая относится к подразделению всего проекта ВО, и в которой числится некоторое подмножество членов ВО.

73. Head Node - головной узел - не вполне четко определенный термин, который обычно относится к узлу кластера поставщика (Resource Provider Cluster), через который поступают задания на выполнение работ. В простом кластере головной узел это узел, в котором расположены программы привратника и мониторинга. В более сложном кластере эти программы могут располагаться на нескольких различных узлах; делая понятие "головного узла" не вполне ясным. Считается, что головной узел соединен по сети с группой рабочих узлов.

74. Host - хост - вычислительный элемент как физическая единица. Этот элемент характеризует физическую конфигурацию вычислительного узла, включая процессоры, программное обеспечение, элементы памяти и т.д.

75. Hosting - хостинг - услуга по предоставлению вычислительных мощностей для физического размещения информации на сервере, постоянно находящемся в сети.

76. Information System (IS) - в ГРИД-системах подсистема информационного обслуживания и мониторинга. Решает задачу сбора и управления данными о состоянии ГРИД, получая информацию от множества распределенных источников (поставщиков). Подсистема предназначена для постоянного контроля функционирования ГРИД и обеспечения своевременного реагирования на возникающие проблемы.

77. Integrity (целостность) - термин, связанный с гарантией того, что информация не будет случайно или умышленно изменена или уничтожена [NSA Glossary].

78. Intra-GRID - интра-ГРИД, университетские ГРИД - ГРИД, в которых объём ресурсов ограничивается ресурсами единственной организации, предназначены для пользователей, являющихся членами головной организации.

79. Knowledge GRID - ГРИД знаний - ГРИД знаний является расширением стандартного ГРИД, где данные, ресурсы и службы сопровождаются четким описанием смысла, который аннотирован семантическими метаданными, так, что как машина, так и человек могут в них разобраться. Целью является создание такой инфраструктуры, которая бы предназначалась не только для вычислений и управления данными, но явилась бы проникающей управляемой знаниями инфраструктурой.

80. Knowledge management - менеджмент знаний - систематические процессы, благодаря которым создаются, сохраняются, распределяются и применяются основные элементы интеллектуального капитала, необходимые для успеха организации; стратегия, трансформирующая все виды интеллектуальных активов в более высокую производительность, эффективность и новую стоимость.

81. Loose coupling - слабое связывание - зависимость между взаимодействующими системами. Эта зависимость может быть разделена на реальную и искусственную. Слабое связывание

описывает конфигурацию, при которой искусственная зависимость сведена к минимуму.

a) Реальная зависимость - это совокупность свойств или служб, которые одна система заимствует у других систем. Реальная зависимость всегда существует и не может быть уменьшена.

b) Искусственная зависимость - это совокупность факторов, которым система должна подчиняться, чтобы иметь возможность пользоваться свойствами или службами, предоставляемыми другой системой. Типичными факторами искусственной зависимости являются языки программирования, платформы, API и т.д. Искусственная зависимость всегда существует, но она или ее стоимость могут быть уменьшены.

82. MAC-address - МАС-адрес - уникальный физический адрес сетевой карты или порта маршрутизатора в локальной сети, который прописывается самим производителем.

83. Management (управление) - использование возможностей управления в системе управления, с тем чтобы система могла выполнять мониторинг стоимости, отслеживание состояний и управление сущностями с целью создания и поддержания устойчивой операционной среды.

84. Message - сообщение -

a) Основная единица данных, пересылаемая от одного агента (agent) Web-служб (Web services) другому в контексте Web-служб.

b) Основная единица связи между Web-службой (Web service) и потребителем (requester): данные, передаваемые или получаемые Web-службой как одна логическая пересылка [WSD Reqs].

85. MIMD, Multiple Instruction Multiple Data - Вычислительная система со множественным потоком команд и множественным потоком данных.

86. MISD, Multiple Instruction Single Data - вычислительная система со множественным потоком команд и одиночным потоком данных.

87. Mobile GRID - мобильные ГРИД - мобильные ГРИД предоставляют доступ к ГРИД-службам через такие мобильные устройства, как PDA и смартфоны.

88. Multi-agent system - многоагентная система - система, образованная несколькими взаимодействующими интеллектуальными агентами.

89. National GRID - национальные ГРИД - располагают только теми компьютерными ресурсами, которые доступны в границах соответствующего государства. К национальным ГРИД доступ имеют только организации национального значения, они обычно поддерживаются правительственными фондами.

90. Network Element - сетевой элемент - сетевой маршрут или множество сетевых переключений. Он включает в себя как информацию о сквозном сетевом пути, так и информацию о последовательности сетевых переключений (hops).

91. Network Element - сетевой элемент - физический компонент ГРИД, являющийся сетевым устройством, как, например, роутер.

92. Network Protocol - сетевой протокол - набор правил и действий (очерёдности действий), позволяющий осуществлять соединение и обмен данными между двумя и более включёнными в сеть устройствами.

93. Next Generation GRID (ГРИД следующего поколения) - ГРИД, которой присущи следующие свойства: прозрачность (transparent) и надёжность (reliable); открытость для самых различных сообществ пользователей и поставщиков; проникаемость (pervasive) и повсеместность (ubiquitous); безопасность и обеспечение управляемого доступа в пространстве административных доменов; лёгкость использования и программирования; живучесть (persistent); использование стандартов для программного обеспечения и протоколов; человеко-центричность (person-centric); масштабируемость; простота конфигурации и управления.

94. Open GRID Forum (OGF) - сообщество пользователей, разработчиков и производителей для стандартизации ГРИД-

компьютинга. Она была создана в 2006 году в результате слияния Global Grid Forum и Enterprise Grid Alliance.

95. Open Grid Services Architecture (OGSA) - OGSA является сервисно-ориентированной архитектурой ГРИД для использования в различных научных и индустриальных областях. Эта архитектура опирается на веб-технологии, особенно на WSDL и SOAP, хотя в значительной степени предполагает независимость от способа обработки данных на транспортном уровне. Коротко говоря, OGSA является архитектурой распределенных информационно-вычислительных систем на основе сервисов, обеспечивающая интероперабельность в рамках неоднородной распределенной системы и возможность взаимодействия и совместной обработки информации различными типами ресурсов. По форме OGSA представляет из себя обобщение веб-сервисной архитектуры, отвечающее требованиям ГРИД-компьютинга.

96. Peer-to-peer (р2р) - одноранговая сеть.

97. Permanent storage - постоянная память - система хранения данных, или набор данных в системе хранения, в которой физический файл может быть создан и удален только владельцем этого набора данных.

98. Permission - разрешение - вид политики (policy), которая определяет допустимые действия и состояния агента и/или ресурса.

99. Perceptron (перцептрон) - модель нейронной сети, предложенная Ф. Розенблаттом. Модель состоит из входного слоя сенсоров, внутренних слоев нейронов (опционально) и выходного слоя.

100. Personal GRID - персональные ГРИД - ГРИД, в которых доступ разрешен на персональном уровне самим собственникам и некоторым друзьям собственников.

101. Petri Nets (сети Петри) - математический аппарат для моделирования динамических дискретных систем, впервые описанный К. Петри.

102. Policy - политика - констатация четко определенных требований, условий или предпочтений, которые выставляются поставщиком и/или потребителем. Они используются в инфраструктуре при формулировании решений, определяющих те или иные действия и/или операции.

103. Protocol - протокол - набор формальных правил, описывающих, как пересылаются данные, особенно по сети. Протоколы низкого уровня определяют электрические и физические стандарты, которые должны соблюдаться, последовательность битов и байтов, передачу данных и обнаружение ошибок, коррекцию потока битов. Протоколы высокого уровня регулируют форматирование данных, включая синтаксис сообщений, терминал для диалога с компьютером, наборы символов, последовательность сообщений и т.д.

104. Proxy - прокси - агент (agent), который ретранслирует сообщение агента потребителя (requester agent) агенту поставщика (provider agent), выступая перед Web-службой (Web service) в качестве потребителя.

105. Resource Layer - ресурсный уровень - это ядро многоуровневой системы, протоколы которого взаимодействуют с ресурсами, используя унифицированный интерфейс и не различая архитектурные особенности конкретного ресурса.

106. Scale Out - масштабирование наружу - масштабирование приложения или службы при помощи использования множества экземпляров компонентов служб. Является синонимом горизонтального масштабирования.

107. Scale Up - масштабирование вверх - масштабирование приложения или службы за счет повышения производительности или вместимости, путем добавления ресурсов в экземпляры службы или компоненты. Является синонимом вертикального масштабирования.

108. Semantically saturated knowledge GRID - семантически насыщенные ГРИД знаний - ГРИД, в которых технологии

промежуточного программного обеспечения становятся все более автономными и интеллектуальными.

109. Service-oriented GRID - сервисно-ориентированный ГРИД - ГРИД, в котором сервисы используется и для виртуализации ресурсов, и для обеспечения других функциональных возможностей ГРИД.

110. Session - сессия - продолжительное взаимодействие объектов системы (system entities), часто с участием пользователя, в течение которого сохраняется некоторое состояние (state) этого взаимодействия [WSIA Glossary]. Такое взаимодействие не обязательно ограничивается одним соединением (connection) между элементами системы.

111. SIMD, Single Instruction, Multiple Data - вычислительная система с одиночным потоком команд и множественным потоком данных.

112. SISD, Single Instruction stream over a Single Data stream -

вычислительная система с одиночным потоком команд и одиночным потоком данных.

113. SOAP - Simple Object Access Protocol - формальный набор соглашений, определяющих формат и правила обработки SOAP-сообщений.(80АР message) Эти соглашения касаются взаимодействия между SOAP-узлами (SOAP nodes), генерирующими и принимающими SOAP-сообщения с целью обмена информацией на пути передачи SOAP-сообщения (SOAP message path).

114. Stochastic Petri net - стохастическая сеть Петри - сеть Петри, в которой временные задержки являются случайными величинами.

115. Subcluster - субкластер - в схеме GLUE субкластер представляет собой гомогенный набор узлов, в котором гомогенность, определена тем, что все необходимые атрибуты узлов этого набора имеют одинаковые значения. Например, субкластером является набор узлов, имеющих одинаковые атрибуты процессоров, оперативной памяти, операционной системы, сетевых интерфейсов и т.д. Субкластеры обеспечивают удобный способ формирования полезных наборов узлов.

116. Tier 0 - начальный уровень (уровень 0) ГРИД-иерархии - сайт, из которого выбираются необработанные данные. Интерактивная система автоматизации эксперимента обращается к ресурсам начального уровня. При проведении LHC-экспериментов иерархия начинается с сайтовой организации уровня 0 - ЦЕРНа. Лаборатория Ферми (Fermilab) является сайтовой организацией уровня 0 при проведении RUN Ii-экспериментов на ускорителе Теватрон (Tevatron).

117. Tier 1 - уровень 1 - уровень, расположенный в ГРИД-иерархии ниже уровня 0. Обычно сайт уровня 1 предлагает механизмы хранения, анализа, службы и предоставляет широкую подписку (например, может быть единственный сайт уровня 1 в стране или регионе, который связан с множеством сайтов уровня 2 в этой стране или регионе).

118. Tier 2 - уровень 2 - уровень 2 находится в ГРИД-иерархии ниже уровня 1. Обычно сайты уровня 2 представлены вычислительными средствами региональных научных организаций, обеспечивающих распределённый компьютинг.

119. Tools - инструментарий - в контексте ГРИД-компьютинга, инструментарий относится к уровню ГРИД-компонент (то есть ниже уровня приложений и выше уровня промежуточного программного обеспечения и остова). Уровень инструментария охватывает брокеры ресурсов, средства мониторинга и отладки.

120. Virtual Organization (VO) - виртуальная организация - динамичное объединение пользователей, ресурсов и служб. VO участвует в контрактах между поставщиками ресурсов и виртуальными организациями, которыми регулируются использование ресурсов и технические политики. Какая-нибудь группа пользователей и служб, входящих в состав VO, может образовать sub-VO, которая действует на основе контрактов вышестоящей VO.

Введение диссертации (часть автореферата) на тему «Анализ и оценка факторов, влияющих на скорость параллельной обработки информации в ГРИД-системах»

ВВЕДЕНИЕ

В последние годы в ИТ-сообществе не ослабевает интерес к теоретическим и практическим вопросам организации параллельной обработки информации в географически распределенных вычислительных системах. Географически распределенные вычисления (англ. GRID computing, см. Глоссарий) - технология распределённых вычислений, в которой вычислительная система («суперкомпьютер») представлена в виде соединенных сетью вычислительных узлов, слабосвязанных, гомогенных или гетерогенных компьютеров, работающих вместе для выполнения большого количества заданий. ГРИД применяется для решения задач, требующих значительных вычислительных ресурсов. Спектр решаемых задач относится к множеству областей, от разведки нефти и газа, проблем сверхпроводимости и генетики [1], до анализа данных с марсохода Curiosity [2] и моделирования процесса формирования планетарных систем [3]. Уже несколько лет поступающая с Большого Адронного Коллайдера информация обрабатывается специально созданной ГРИД-системой LCG (LHC Computing GRID), включающей в себя 170 компьютерных центров в 36 странах мира и обрабатывающей массив данных в 25 Петабайт [4, 5].

Последние исследования в области ГРИД-систем затрагивают множество проблем, связанных с инфраструктурой (мониторинг и интеграция систем) до внедрения и анализа результатов работы конкретных ГРИД-систем в сфере облачных вычислений [6].

Однако, несмотря на широкое распространение ГРИД-систем и большое число посвященных им публикаций, остается относительно мало освещенным вопрос анализа производительности и определения полного

спектра факторов, влияющих на скорость обработки данных в этих системах. Ближайшая к этой проблеме публикация [7] затрагивает вопрос анализа ускорения вычислений на многоядерных процессорах, где анализируется зависимость ускорения вычислений от количества ядер и потоков в процессоре. В [8] проанализированы некоторые из алгоритмов обмена информацией и выявлены сильные и слабые стороны этих алгоритмов. Рассмотренные автором и приведенные в списке источников ресурсы далеко не исчерпывающи в своей попытке охватить ряд основных аспектов проблематики в данной предметной области, однако в них в полной мере не освещено влияние специфических особенностей ГРИД-систем на скорость обработки данных. В работах [47-50, 53, 55, 57] автором предпринимались попытки более детально проанализировать вопросы влияния основных параметров на характеристики ГРИД-систем. Настоящая диссертация в значительной мере посвящена вопросам анализа ускорения параллельной обработки данных в географически распределенных системах с интенсивным межпроцессорным обменом.

Целью настоящей работы является восполнение пробелов в анализе и оценке факторов, влияющих на скорость параллельной обработки информации в географически распределенных информационных системах.

Предметная область исследования определяется следующими задачами:

1. Проведение анализа существующих методов расчета времени и скорости вычислений в ГРИД-системах.

2. Определение зависимости скорости вычислений в ГРИД-системах от количества вычислительных узлов.

3. Разработка методов оценки оптимального в смысле ускорения вычислений количества вычислительных узлов в ГРИД-системах.

4. Разработка методик, позволяющих проводить оценку времени вычислений и ускорения вычислений в ГРИД-системах.

5. Внедрение научных положений, выводов и рекомендаций диссертации в учебный процесс МГТУ МИРЭА и практические разработки.

Структура диссертации включает в себя развитый Глоссарий из 120 современных терминов и дефиниций, относящихся к теме диссертации, Введение, три главы основного текста, Заключение, Библиографию (116 наименований) и 3 Приложения. Объем диссертации 145 страниц, в т.ч. 50 рисунков и 5 таблиц.

ГЛАВА 1 АНАЛИЗ ПРОБЛЕМАТИКИ В ОБЛАСТИ ОРГАНИЗАЦИИ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ В ГРИД-СИСТЕМАХ. ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ.

1.1 Состояние исследований и разработок в области ГРИД-систем.

Пути развития распределенных систем.

Фигурирующие объемы данных в различных вычислительных задачах, требующих распределенной обработки, составляют десятки терабайт, а для расчетов, связанных с этими задачами, задействуются компьютеры по всему миру [9-19]. Вычислительные мощности, которые обеспечиваются ГРИД системами, очень велики и продолжают увеличиваться. Так, например, объемы данных, которые планируется получить в ходе экспериментов в БАК, составляют порядка 500 Тб [5]. Количество участников в проекте SETI@HOME составляет несколько десятков тысяч человек из разных стран мира [28]. Возникли такие масштабные проекты, как облачная служба Amazon ЕС2 (Elastic Compute Cloud) [20], Ubuntu Enterprise Cloud (UEC) в Canonical Ubuntu 9.10 [21], LCG - вычислительный ГРИД для большого адронного коллайдера (БАК) [22], ряд проектов добровольных вычислений «@НОМЕ» [23-27] с охватом аудитории по всей планете.

С увеличением масштабов ГРИД-систем все больше проявляют свое

влияние специфические для систем такого рода архитектурные

особенности, сказывающиеся на скорости вычислений и времени,

затрачиваемом на решение задач. Анализ этих особенностей может

позволить определить наиболее подходящие параметры систем для

решения конкретных задач. Научные публикации авторов, исследующих

28

вопросы построения ГРИД-систем, посвящены анализу либо параллельных вычислений в целом, либо отдельных аспектов ГРИД-систем (в основном, алгоритмам распределения нагрузки), но множеству остальных параметров все еще не уделено достаточно внимания.

Анализ существующих проектов по построению ГРИД-систем позволяет ряду исследователей сделать вывод о трех основных направлениях развития ГРИД-технологии и связанной с ними классификации ГРИД-систем [29, 53, 55 и др.]:

1. Вычислительные ГРИД (Computational GRID);

2. ГРИД для интенсивной обработки flaHHbix(Data GRID);

3. Семантический ГРИД для оперирования данными из различных баз данных (Semantic GRID).

Целью первого направления является достижение максимальной скорости вычислений за счет глобального распределения операций между множеством компьютеров, а также, возможно, серверами и суперкомпьютерами. Задача распределяется между множеством отдельных систем, на которых проводится обработка информации, после чего результаты поступают на основной сервер. Каждый из вычислительных узлов может рассматриваться, как самостоятельная вычислительная система, выполняющая поставленную работу и имеющая доступ к сети. Вычислительные ГРИД во многих случаях являются более рентабельными, чем суперкомпьютеры равной вычислительной мощности.

Целью второго направления является обработка огромных объемов данных относительно несложными программами. Поэтому вычислительные ресурсы ГРИД-инфраструктуры в этом случае зачастую представляют собой кластеры персональных компьютеров. А вот доставка данных для обработки и пересылка результатов в этом случае

представляют собой достаточно сложную задачу. Одним из крупнейших проектов, целью которого является создание ГРИД-системы для обработки научных данных, является проект EGEE (Enabling Grids for E-sciencE) [30]. EGEE - проект, направленный на построение грид-инфраструктуры, которая сможет использоваться в многочисленных научных исследованиях в Европе. Консорциум участников проекта включает более 70 институтов из 27 европейских стран. Стартовой площадкой для EGEE служит LHC Computing Grid, целью которого является предоставление вычислительных ресурсов для анализа данных, поступающих от БАК. Начав с этой инфраструктуры, EGEE добавляет ресурсы из всех частей света и привлекает пользователей из ряда других сообществ, чтобы сформировать самую большую в мире ГРИД-инфраструктуру, которая могла бы использоваться в многочисленных областях науки. В результате научно-исследовательское сообщество Европы получает в своё распоряжение мощнейшую вычислительную платформу, услуги которой — круглосуточный доступ к крупнейшим вычислительным ресурсам. Доступ не зависит от месторасположения потребителей и будет основываться на использовании научных сетей Géant и NRNs. Российские участники EGEE образовали региональный консорциум РДИГ (Российский ГРИД для интенсивных операций с данными — Russian Data Intensive GRID, RDIG) [31].

ГРИД-системы третьего направления (семантические ГРИД) -предоставляют инфраструктуру для выполнения вычислительных задач на основе распределенного мета-информационного окружения, позволяющего оперировать данными из разнотипных баз, различных форматов, представляя результат в формате, определяемом приложением [32,33,51,52].

1.2 Особенности параллельных вычислений в ГРИД-системах.

Использование ГРИД-систем актуально в задачах, алгоритмы решения которых подразумевают возможность распараллеливания большей части вычислений с обменом данными между вычислительными узлами и сервером [34].

В работах [47, 50, 55] выявлены два ключевых фактора, затрудняющих осуществление параллельных вычислений в ГРИД-среде:

1. Нестабильность работы большого количества вычислительных узлов и сети, по которой передаются пакеты с информацией;

2. Недостаточная предсказуемость времени отклика на запрос, связанная с прохождением пакетов через множество сетевых устройств и с различиями в протоколах связи используемых во внешних компьютерных сетях и для межпроцессорного обмена. Так же сказывается ограничение скорости обмена пакетами. Статистические данные по скорости интернет-каналов приведены на Рис. 1.1 и не требует комментария.

Среди других параметров ГРИД-систем следует выделить масштабируемость, возможную сегментированность, высокую интенсивность и сложность внешнего информационного обмена, работу на высоких уровнях модели OSI (англ. open systems interconnection basic reference model — базовая эталонная модель взаимодействия открытых систем), доступность, настраиваемость, управляемость параметров. Можно выделить и множество других параметров, относящихся к таким аспектам организации ГРИД-систем, как безопасность, архитектура построения, специфика решаемых задач и др. В данной работе необходимое внимание уделено архитектурным особенностям и факторам, сказывающимся на динамике информационных потоков.

Top Countries Ranked by Speed

Including АИ Tests

ШЩ

Download Speed

Upload Speed

Expand Fu!I List

1 South Korea 33.62 : 1 South Korea 19.60

2 Latvia 24 93' 2 Lithuania 13.69 .

3 Republic of Moldova 23.56 '.' D : 3 Latvia 13.45 - •

4 Lithuania 22.12 . : : 4 Aland Islands 11.21

g Netherlands 20 61 5 Republic of Moldova 9.84

в Romania 20.16 .'t в Bulgaria 8.40 : „

7 Aland Islands 18 86 . :- 7 Romania 8,34

S Sweden 18.47 Mb = 8 Japan 8.34 :

9 Japan 17.59 Mr ; 9 Andorra 8.24 .

10 Bulgaria 16.49 Vb's 10 Kyrgyistan 7.84 :

11 Switzerland 15.49 Mb : 11 Iceland 7.63 s

12 Andorra 1472 I: 12 Ghana 7.29 • =

13 Germany 14 68' 13 Sweden 7.22 .

14 Portugal 14.64 i 14 Denmark 6.89 .

1S Iceland 1414 15 Russia 6.11 Müs

25 Russia 10.83 Mb's

+ Expar»S Full List

* Expard FJf List

Рис. 1.1. Максимально зарегистрированные значения скорости интернет-каналов в различных странах [http://www.speedtest.net от 23.08.2010]

Стабильная организация параллельных вычислений с интенсивным обменом информацией между вычислительными узлами ГРИД-системы является нетривиальной задачей, возможность решения которой целесообразно рассматривать для каждой системы отдельно. При этом если объемная задача, которую необходимо решить, может быть разбита на большое количество небольших, независимых частей, то ГРИД-технология оказывается эффективным и относительно дешевым решением в отличие от суперкомпьютеров, которые оказываются неоправданно дорогим и зачастую неэффективным решением.

Примерами таких задач являются:

• Массовая обработка потоков экспериментальных, статистических или других данных большого объема;

• Визуализация больших наборов данных (отдельные области визуального представления обрабатываются независимо, а потом объединяются);

• Сложные бизнес-приложения с большими объемами вычислений.

Рис. 1.2. Схема инфраструктуры ЭЕ18А [35]

Интерес представляет применение ГРИД-систем для координации использования различных суперкомпьютеров и кластеров. Проект БЕ18А, схема которого представлена на Рис. 1.2 [35], может служить примером этого направления, в котором проводится объединение суперкомпьютерных центров. Финансируемый Европейской Комиссией с 2002 года, этот проект объединяет 11 национальных суперкомпьютерных центров в 7 странах Европы.

FUNET

UXERHA

RENATER

IN ЕС А

/ ~ Л saro

SURFn«!

1

DFN

1 GW« GR£ lunnel 10 Gb/я wavelength 10 Gbfe routed 10GWs »witchcd

1.3 Классификация архитектур ГРИД-систем

Как показывают исследования [34, 36, 40], фундаментальная разница между ГРИД-технологиями и перспективным видением ГРИД следующего поколения (NGG, Next Generation GRID) состоит в расстановке приоритов между проникаемостью и способностью к самоуправлению. Под проникаемостью здесь понимается сложное свойство, зависящее от других примитивных атрибутов, среди которых главными являются: доступность, ориентация на пользователя или настраиваемость и динамическое взаимодействие.

В Табл. 1.1 представлена классификация ГРИД-систем на основе четырех признаков - доступность, настраиваемость, интерактивность и управляемость параметров [37].

Таблица 1.1. Классификация ГРИД-систем по доступности,

настраиваемое™, интерактивности и управляемости параметров.

Цель проект а Категори и новейших ГРИД- систем Подкатегории Главное отличие от традиционных ГРИД-систем Примеры проектов

Доступ ность ГРИД доступа Ad hoc GRID Без предопределенн ых точек входа OurGrid (www.ourgrid.org) и myGrid (www.mygrid.org.uk)

Мобильны е ГРИД Поддержка мобильности клиентов, служб Akogrimo (www.mobilegrids.or g), ISAM

или того и (Инфраструктура

другого мобильных приложений, www.inf.ufrgs.br/~isa m/English)

Поддержка

Беспровод беспроводной Home Grid and

ные ГРИД связи между ГРИД-узлами и интерфейсом Office Grid (wirelessgrids.net)

Поддержка

Интера ктивно сть Интеракт ивные ГРИД Явные интеракти вные ГРИД явного взаимодействия с пользователями в реальном времени CrossGrid (www.crossgrid.org) and edutain@grid (www.edutaingrid.eu)

Контекст Взаимодействие RUNES

чувствител со средой, (Reconfigurable

ьные построение Ubiquitous

гриды контекста и адаптация поведения Networked Embedded Systems, www.ist-runes.org), SENSE (Smart Embedded Network of Sensing Entities, www.sense-ist.org),

Hydra(Networked Embedded System Middleware for Heterogeneous Physical Devices in a Distributed Architecture, www.hydra.eu.com), and MORE (Network-centric Middleware for Group communication and Resource Sharingacross Heterogeneous Embedded Systems, www.ist-more.org)

Настра иваемо сть Настраив аемые ГРИД Персональ ные ГРИД Используемые индивидуально и/или Лично принадлежащие Personal Grid

Персонали зованные ГРИД Реализуют глобально настраиваемые ГРИД-порталы Akogrimo (www.mobilegrids.or g) and MyGrid (www.mygrid.org.uk)

Управл Управляе Автономн С попыткой IBM OptimalGrid

яемост мые ые ГРИД моделирования and AutoMAGI8

ь ГРИД поведения автономной нервной системы

OntoGrid

ГРИД знаний Используют (www.ontogrid.net/o

технологии знания для поддержки самоуправления ntogrid/index.j sp), InteliGrid (www.inteligrid.com) ,and K-Wf Grid (Knowledge-Based Workflow System for Grid Applications, www.kwfgrid.eu)

Органичн ые ГРИД Используют абстракции муравейника для поддержания самоуправления Organic Grid9

Классификация ГРИД систем по размеру, типу решения, модели доступа, интерактивности, степени персонализации и схеме управления представлена на Рис. 1.3 [37].

Grid systems

Voluntary Nsitvofuirtary

Desktop Server

National

[Accessible] Ad hoc Wireless Mobile -

Explicit interactive . J Context aware

Project

Data

Restricted

Service

Departmental j— Access

Personal

Autonomic Knowledge Organic

Distributed

Hybrid

m Classification criteria

□ Traditional grid type ■ Traditional grid subtype

□ Emerging grid type Emerging grid subtype

Рис 1.3. Классификация традиционных и современных ГРИД-систем (NGG

— Next Generation grids) [37].

Каждая ГРИД-система может относиться к нескольким критериям классификации.

Модели ГРИД-систем, исследуемых в настоящей работе, содержат в качестве обязательного элемента единый сервер рассылающий вычислительным узлам задачи и принимающий результаты вычислений. В связи с этим, результаты работы применимы для любых ГРИД-систем из указанных в классификации в Табл. 1.1 и Рис. 1.3 за исключением распределенных и гибридных по схеме управления (Management -Distributed / Hybrid на Рис. 1.3).

Для распределенных и гибридных схем управления необходима модификация результатов работы или же преобразование архитектуры ГРИД-системы путем условного объединения серверов.

Классификация ГРИД по типу используемого оборудования и характеристикам вычислительных узлов.

В вычислительных ГРИД-системах ключевыми параметрами являются циклы CPU (central processing unit, центральное процессорное устройство) и GPU (graphics processing unit, графический процессор). В зависимости от оборудования, на котором они развернуты, вычислительные ГРИД-системы делятся на:

• Настольные;

• Серверные;

• Инструментальная ГРИД.

В настольных ГРИД большую часть ресурсов составляют неиспользуемые ресурсы настольных компьютеров, тогда как ресурсы серверных ГРИД обычно ограничиваются ресурсами, доступными на серверах.

Инструментальные ГРИД включают нетривиальный элемент оборудования, который управляется удаленно и передает данные для анализа.

ГРИД служб или ГРИД утилит предоставляют коммерческие компьютерные услуги (циклы CPU и дисковую память), которые, работающие в исследовательских или промышленных областях специалисты, могут при необходимости купить.

Глобальные ГРИД устанавливаются в Интернете, предоставляя отдельным пользователям мощность независимо от того, где эти пользователи географически локализованы.

Свободно масштабируемые ГРИД дают возможность пользователям Интернета предоставить свои компьютерные ресурсы для коллективного выполнения задач, требующих больших вычислительных мощностей.

Несвободно масштабируемые ГРИД содержат только те машины, которые им определены заранее.

Национальные ГРИД располагают только теми компьютерными ресурсами, которые доступны в границах соответствующего государства.

Проектные ГРИД подобны национальным, но в отношении объединения ресурсов они не ограничиваются ресурсами одного государства, а объединяют много географических и административных областей. Они доступны только для зарегистрированных членов и сотрудничающих организаций.

Интра-ГРИД или университетские ГРИД, в которых объём ресурсов ограничивается ресурсами единственной организации, предназначены для пользователей, являющихся членами головной организации.

Ведомственные ГРИД доступны только для сотрудников конкретного ведомства.

Персональным ГРИД свойственна весьма ограниченная организационная структура. Доступ к ним разрешен на персональном уровне самим собственникам, или некоторым объединениям собственников.

Классификация по типу доступа к ГРИД-системам.

Ad-hoc ГРИД - система интерактивных взаимодействующих гетерогенных вычислительных узлов в логическое сообщество без предварительно сконфигурированной фиксированной инфраструктуры и с минимальными административными требованиями [38]. ГРИД инфраструктура расширена так, что начинает включать динамические

подсоединения, не требуя наличия формальных, чётко определенных, входных точек ГРИД, наличие которых подтверждено общим согласием. Пример системы представлен на Рис. 1.4.

-Wired communication

j....... Wireless communication

„....>. Device enters and ......leaves anytime_

Рис. 1.4. Ad-hoc GRID-система [40]

Mobile ad hoc grid

-Wired communication

— Wireless communication

Device enters and *......leaves anytime_____

Рис. 1.5. Мобильная Ad-hoc GRID-система [40]

Беспроводные ГРИД расширяют номенклатуру ГРИД-ресурсов включением беспроводных устройств различных размеров и свойств, таких как датчики, мобильные телефоны, ноутбуки, специальные инструменты и сетевые интерфейсные устройства [39].

Мобильные ГРИД-системы предоставляют доступ к ГРИД-службам через такие мобильные устройства, как PDA и смартфоны. Миллионы продаваемых мобильных устройств дают высокую вычислительную мощность наравне с мобильностью. В чрезвычайных ситуациях, таких, как естественные катастрофы и активные военные операции, беспроводные мобильные устройства могут оказаться единственным доступным средством коммуникации и вычислительного обслуживания. Пример системы представлен на Рис. 1.5.

Примерами существующих ГРИД-проектов с рассмотренными схемами доступа могут служить проекты Akogrimo (www.mobilegrids.org), ISAM (www.inf.ufrgs.br/~isam/English4) и MADAM

(www.intermedia.uio.no/display/madam/Home).

1.4. Стек протоколов ГРИД-систем

Общая структура ГРИД-систем описывается в виде стека протоколов [40]. В такой модели каждый уровень предназначен для решения узкого круга задач и используется для предоставления услуг для более высоких уровней. Верхние уровни ближе к пользователю и работают с наиболее абстрактными объектами, тогда как нижние уровни сильно зависят от физической реализации ГРИД-ресурсов. Стек ГРИД-протоколов включает 5 уровней и схематически представлен на Рис. 1.6.

1. Прикладной уровень (Application Layer) описывает пользовательские приложения, работающие в среде виртуальной организации;

приложения функционируют, используя протоколы, определенные на нижележащих уровнях.

2. Коллективный (Collective Lay er) уровень отвечает за координацию использования имеющихся ресурсов.

3. Ресурсный уровень (Resource Lay er) - это ядро многоуровневой системы, протоколы которого взаимодействуют с ресурсами, используя унифицированный интерфейс и не различая архитектурные особенности конкретного ресурса.

4. Связывающий уровень (Connectivity Lay er) составляют протоколы, которые обеспечивают обмен данными между компонентами базового уровня и протоколы аутентификации.

5. Аппаратный уровень (Fabric Lay er) составляют протоколы, по которым соответствующие службы непосредственно работают с ресурсами.

Рис. 1.6. Стек протоколов ГРИД [40].

Для задач, решаемых в данной диссертации необходима информация как об архитектуре ГРИД-системы, так и о среде обмена данными, т.е. предоставляемая на аппаратном и связывающем уровнях стека протоколов.

Аппаратный уровень: управление локальными ресурсами. На этом уровне обеспечивается доступ к распределенным ресурсам, необходимый протоколам более высокого уровня. Спектр возможных ресурсов достаточно широк - это могут быть компьютеры, устройства хранения данных, каталоги, сетевые ресурсы и т. п. При этом ресурс может быть логической сущностью (распределенной файловой системой) или физической (кластером компьютеров). Реализация такого ресурса может включать внутренние протоколы (например, NFS), однако подобные протоколы не включаются в стек ГРИД. Компоненты аппаратного уровня реализуют локальные операции, специфические для каждого данного ресурса (логического или физического). Этот уровень представляет собой набор интерфейсов для управления локальными ресурсами.

Связывающий уровень: коммуникации и безопасность. Коммуникационные протоколы связывающего уровня должны обеспечивать надежный транспорт и маршрутизацию сообщений, а также присвоение имен объектам сети, а протоколы аутентификации этого уровня, основываясь на коммуникационных, предоставляют криптографические механизмы для идентификации и проверки подлинности пользователей и ресурсов. Инфраструктура поддержки включает централизованную выдачу сертификатов, управление сертификатами и ключами и т. д.

Ресурсный уровень: совместное использование ресурсов. На этом

уровне с помощью коммуникационных и аутентификационных

44

протоколов, входящих в нижележащий связывающий уровень, проводится согласование методов безопасности, инициализацию и мониторинг ресурсов, и управление ими. Для доступа к локальным ресурсам и дальнейшего управления ресурсный уровень вызывает соответствующие функции аппаратного уровня. Заметим, что протоколы ресурсного уровня предназначены исключительно для работы с локальными ресурсами, они не учитывают глобальное состояние системы. Этим занимается коллективный уровень, располагающийся выше. Ресурсный уровень включает два основных класса протоколов:

• информационные протоколы, предназначенные для получения информации о структуре и состоянии ресурса, его конфигурации, текущей загрузке и политике (то есть, условиях) предоставления ресурсов (например, стоимости их использования);

• протоколы управления, обеспечивающие согласованность доступа к разделяемому ресурсу и определяющие необходимые операции, которые ресурс должен выполнить (скажем, инициализация процесса или доступ к данным).

Коллективный уровень: координация ресурсов. Протоколы коллективного уровня отвечают за взаимодействие всех элементов пула ресурсов, что и отражено в самом названии. В качестве примера глобальных функций и сервисов, реализуемых протоколами этого уровня, можно назвать службу каталогов, распределение ресурсов, планирование и брокерские услуги, службы мониторинга, диагностики, репликации данных, коллективной авторизации.

Прикладной уровень: запуск приложений в ГРИД-среду. Этот высший уровень ГРИД-архитектуры включает пользовательские приложения, которые исполняются в среде объединенных ресурсов. В процессе исполнения приложения используют протоколы нижележащих уровней, обеспечивающие доступ к необходимым службам, а также прикладные программные интерфейсы, соответствующие данным протоколам. Приложения могут вызываться через достаточно сложные оболочки и библиотеки. Эти оболочки сами могут определять протоколы, сервисы и прикладные программные интерфейсы, однако подобные надстройки не относятся к фундаментальным протоколам и сервисам, определяющим архитектуру ГРИД-систем.

1.5 Постановка задачи.

При расчете ускорения вычислений, достигаемого при распараллеливании задачи, достаточно часто используется закон ограничения роста производительности вычислительной системы с увеличением количества вычислительных узлов, так же известный, как закон Амдала [41].

Пусть распределенная система состоит из s одинаковых простых универсальных устройств. Предположим, что при выполнении параллельной части алгоритма все s устройств загружены полностью. Тогда максимально возможное ускорение равно:

Список литературы диссертационного исследования кандидат наук Дробнов, Сергей Евгеньевич, 2014 год

БИБЛИОГРАФИЯ

1. Grand challenges and HPCC (FAQ конференции comp.parallel, часть 22) [Электронный ресурс]. - Режим доступа: http://parallel.ru/sites/default/files/docs/faq/22.txt

2. «Dell Helps to Power NASA's Latest Mission to Mars» [Электронный ресурс]. - Режим доступа:

http://content.dell.eom/us/en/corp/d/secure/2012-08-06-dell-hi gh-performance-computing-nasa-mars. aspx

3. «А moving question» [Электронный ресурс]. - Режим доступа: http://www.ncsa.illinois.edu/News/Stories/disks/

4. Fisk I., «First Experiences with LHC Grid Computing and Distributed Analysis», 09.12.2010 [Электронный ресурс]. - Режим доступа: http://arxiv.org/abs/! 012.1980

5. Worldwide LHC Computing Grid [Электронный ресурс]. - Режим доступа: http://wlcg.web.cern.ch/

6. Программа 5-й Международной конференции "Распределенные вычисления и грид-технологии в науке и образовании", 16-21 июля 2012 г., г.Дубна, Россия [Электронный ресурс]. - Режим доступа: http://grid2012 ,j inr.ru/programme .php

7. Hill M.D., Marty M.R. Amdahl's Law in the Multicore Era, [Электронный ресурс]. - Режим доступа:

http://ieeexplore.ieee.org/xpl/login.isp?tp=&arnumber:::4563876&url=http% 3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs all.jsp%3Farnumber%3D4 563876

8. Sahu R., Chaturvedi A.K. Many-Objective comparison of twelve GRID scheduling heuristics. // IJCA Journal, 2011.

9. CISCO. Архив статей и новостей. 2011 г. [Электронный ресурс]. -Режим доступа: http://tools.cisco.com/search/JSP/search-results.getTisFormSubmit^rue&strqueryid^l&websessionid^Rf VkTSKv YBSklLnEuv5bdd&strCurrentSimilarSearchBreadCrumb=&strCurrentSele ctedModifierValues=&strSearchPageContext=aHresults&profile=mrusppubl ished&strSortBY=cdcdevfour&strPrevOuery=%DO%BF%DO%BA%Dl%8 8%D0%B2&strQueryText^grid&searchBtn=&country=RU&language=ru& langctry=ruRU

10. Castellano M., Stifini R. Knowledge sharing in biomedical imaging using a grid computing approach. // Computational Modelling of Objects Represented in Images: Fundamentals, Methods and Applications III, Taylor & Francis Group UK, 2012, P. 257-260.

11. Chakrabarti A., Sengupta S., Damodaran A. System and method for application migration in a grid computing environment. // US Patent 8,117,606.

12. Zhao G., Bryan B.A., King D. Large-scale, high-resolution agricultural systems modeling using a hybrid approach combining grid computing and parallel processing. // Environmental Modelling & Software, Volume 41, March 2013, P. 231-238.

13. Balasangameshwara J., Nedunchezhian R. A hybrid policy for fault tolerant load balancing in grid computing environments. // Journal of Network and Computer Applications, Volume 35, Issue 1, January 2012, P. 412-^22.

14. Viswanathan H., Mobile grid computing for data- and patient-centric ubiquitous healthcare. Enabling Technologies for Smartphone and Internet of Things (ETSIoT). // IEEE, 18 June 2012, P. 36-41

15. Patni J.C., Trivedi N., Pal O.P., Chauhan P. An optimal approach of load balancing for grid computing. // CUBE '12 Proceedings of the CUBE

International Information Technology Conference, New York, USA 2012, P. 567-571.

16. Arrabito L. et al. Major Changes to the LHCb Grid Computing Model in Year 2 of LHC Data. // Journal of Physics: Conference Series, Volume 396, Part 3,396 032092.

17. Dickmann F. Solutions for biomedical grid computing—Case studies from the D-Grid project Services@MediGRID, // Journal of Computational Science, Volume 3, Issue 5, September 2012, P. 280-297

18. Khooa B.T., Veeravalli B. A multi-dimensional scheduling scheme in a Grid computing environment. // Journal of Parallel and Distributed Computing, Volume 67, Issue 6, June 2007, P. 659-673

19. N. Sim, D. Konovalov, D. Coomans. High-Performance GRJD Computing in Chemoinformatics. // Comprehensive Chemometrics. Chemical and Biochemical Data Analysis. Volume 4, 2009, P. 507-539

20. Amazon Elastic Compute Cloud (Amazon EC2) [Электронный ресурс]. -Режим доступа: http://aws.amazon.com/ес2/

21.Ubuntu Cloud Infrastructure [Электронный ресурс]. - Режим доступа: https ://help .ubuntu .com/ community/UbuntuCloudlnfrastructure

22. Worldwide LHC Computing Grid [Электронный ресурс]. - Режим доступа: http://wlcg.web.cern.ch/

23. Einstein@Home [Электронный ресурс]. - Режим доступа: http://einstein.phys.uwm.edu/

24. SETI@home [Электронный ресурс]. - Режим доступа: http://setiathome.berkeley.edu/

25. Cosmology@home [Электронный ресурс]. - Режим доступа: http://www.cosmologyathome.org/

26. MilkyWay@Home [Электронный ресурс]. - Режим доступа: http://milkyway.cs.rpi.edu/milkvway/

27. Orbit@Home [Электронный ресурс]. - Режим доступа: http://orbit.psi.edu/

28. SETI@HOME. Статистика команд. 2011 г. [Электронный ресурс]. -Режим доступа: http://setiathome.berkeley.edu/top teams.php

29. Демичев А.П., Ильин В.А., Крюков А.П. Введение в грид-технологии. // М.: Препринт НИИЯФ МГУ. - 2007 - 11/832, 2007.

30. Европейский проект EGEE. [Электронный ресурс]. - Режим доступа: http ://www. eu-egee. org

31. EGEE & RDIG [Электронный ресурс]. - Режим доступа: http://egee-rdig.ru/

32. Zhao-hui W., Hua-jun C. From Semantic Grid to knowledge service cloud. // Journal of Zhejiang University SCIENCE C, April 2012, Volume 13, Issue 4, P. 253-256

33. Roure D., Jennings N., Shadbolt N. The semantic grid: past, present and future. // Proceedings of the IEEE, 2005, P. 669-681.

34. Foster I. What is the Grid? A Three Point Checklist // Argonne National Laboratory & University of Chicago, 20.07.2002.

35. Проект DEIS A. 2011 г. [Электронный ресурс]. - Режим доступа: http://www.deisa.org

36. Next Generation Grids: Requirements and Options for European Grids Research 2005-2010 and Beyond, Expert Group Report, 2004. [Электронный ресурс]. - Режим доступа: www.semanticgrid.org/docs/ngg2 eg final.pdf

37. Kurdi H., Li M., Al-Raweshidy H. A Classification of Emerging and Traditional Grid Systems. // Brunei University Research Archive, 2008.

38. Friese Т., Smith М., Freisleben В. Hot Service Deployment in an Ad Hoc Grid Environment. // Proc. 2nd Int'l Conf. Service Oriented Computing (ICSOC 04), ACM Press, 2004.

39. McKnight L.W., Howison J., Bradner S. Wireless Grids: Distributed Resource Sharing by Mobile, Nomadic, and Fixed Devices. // IEEE Internet Computing, vol. 8, no. 4, 2004.

40. Foster I., Kesselman C. The Grid: Blueprint for a New Computing Infrastructure. // Calif.: Morgan Kaufmann.- San Francisco, 1998.

41. Amdahl G. Validity of the Single Processor Approach to Achieving Large-Scale Computing Capabilities. // AFIPS Conference Proceedings, 1967, P. 483-485.

42. Воеводин В.В., Воеводин В л.В. Параллельные вычисления // СПб.: БХВ-Петербург, 2004. - 599 с.

43. Вентцель Е.С. Теория вероятностей // Москва: Высшая школа, 1998 -576 с.

44. Hill M.D., Marty M.R., Amdahl's Law in the Multicore Era. // IEEE Computer, 07.2008, P. 33-38.

45. Дробнов С.E., Кошкин Д.Е. Анализ ускорения обучения нейронных сетей при применении grid-систем. // IV Всероссийская конференция "Искусственный интеллект: философия, методология, инновации", г. Москва, МИРЭА, 10-12.11.2010.

46. Дробнов С.Е., Кошкин Д.Е. Анализ алгоритмов обучения нейронных сетей в распределенных системах. // Сборник статей, тезисов докладов и материалов к конференции «Стандартизация, сертификация, обеспечение эффективности, качества и безопасности информационных технологий», Москва, 2011.

47. Дробнов С.Е. Анализ количества гетерогенных вычислителей в GRID-системах. // Сборник научных трудов по материалам Международной заочной научно-практической конференции "Современные вопросы науки и образования - XXI век", Тамбов, 29.02.2012.

48. Дробнов С.Е., Раев В.К., Силаев A.B. Оценка ускорения параллельных вычислений в GRID-системах с интенсивным межпроцессорным обменом. // Журнал «Информатизация образования и науки.», №3(15)/2012 - М. «Информика», 2012. - С. 135-147.

49. Дробнов С.Е., Кошкин Д.Е. Расчет оптимального количества вычислителей grid-системы. // 11-ая научно-практическая конференции «Современные информационные технологии в управлении и образовании» ФГУП НИИ «Восход» - МИРЭА - МЭСИ, 24.04.2012, Москва, С. 149-155.

50. Дробнов С.Е. Обобщение закона Амдала для большого объема параллельных вычислений в GRID. // Научный вестник МИРЭА, М. МИРЭА - 2010 - № 2(9), С. 4-7.

51. Дробнов С.Е., Сигов A.C., Кошкин Д.Е. Кластеризация текста на основе анализа слов с применением распределенных вычислений. // Журнал «Информатизация образования и науки», №2(10) 04.2011. - М. «Информика», 2011, С. 74-80.

52. Дробнов С.Е., Кошкин Д.Е. Кластеризация текстов с помощью нейронных сетей и временная оценка работы алгоритма. // V Всероссийская конференция "Искусственный интеллект: философия, методология, инновации" г. Москва, МИРЭА, 9-11.11.2011, С. 199-202.

53. Дробнов С.Е. Анализ гетерогенных GRID-систем с существенным количеством вычислителей. // Материалы международной научно-практической конференции «Современные направления теоретических

и прикладных исследований 2012». - Выпуск 1. Том 3. - Одесса: КУПРИЕНКО, 2012.

54. Дробнов С.Е. Временная оценка обучения нейронных сетей в grid-системах. // Материалы VI Всероссийской конференции студентов, аспирантов и молодых ученых «Искусственный интеллект: философия, методология инновации.», М.: «Радио и Связь», МИРЭА, 29-30.11.2012 -Часть 1,С. 57-63.

55. Дробнов С.Е. Анализ ускорения распределенной обработки информации в GRID-системах. // Lambert Academic Publishing, 27.12.2012, Германия, 67 с.

56. Дробнов С.Е., Кошкин Д.Е. Учебный высоко-производительный вычислительный кластер макромедиа обеспечения на основе дистрибутива PelicanHPC с поддержкой открытой программной платформы BOINC в учебно-технологических комплексах МИРЭА и МГДДТ(Ю)Т. // Рабочие технические материалы «Разработка, апробация и внедрение инновационных практикоориентированных образовательных технологий в системе непрерывного образования «школьная базовая подготовка - бакалавриат - прикладной бакалавриат - магистратура - дополнительное развивающее образование» в рамках реализации Программ Департамента Москвы в 2012 и 2013 гг.» Выпуск 2. ФГУ ГНИИ ИТТ «Информика», МИРЭА, МГДТТ(Ю)Т, 2012/13, С. 73-78.

57. Дробнов С.Е. Оценивание ускорения вычислений в распределенных системах. // Научно-практический журнал «Прикладная информатика», Москва, «Синергия», №1(43) 2013, С. 40-48.

58. Дробнов С.Е., Раев В.К. Обобщение закона Амдала для распределенных вычислений в информационном образовательном

облаке ЭКТРАНЕТ 4 МГДД(Ю)Т - МИРЭА. // Избранные материалы докладов, круглых столов и мастер-классов научно-практической конференции "Инновационные пути построения научно-практического образования. Прикладной бакалавриат. Дополнительное образование. Разработка, аппробация и внедрение в информационно-образовательное пространство Москвы системы бенчмаркинга "Школа-ВУЗ-рынок труда".", 25.10.2010, М.:МГГД(Ю)Т, 2010, С. 2530.

59. Дробнов С.Е. Аспекты обучения нейронных сетей с применением эволюционных алгоритмов в GRID-системах. // Материалы VII Всероссийской конференции студентов, аспирантов и молодых ученых «Искусственный интеллект: философия, методология инновации», М.: «Радио и Связь», МИРЭА, 13-15.11.2013 г. - Часть 1, С. 106-111.

60. Самоваров О.И., Кузюрин H.H., Грушин Д.А., Аветисян А.И., Михайлов Г.М., Рогов Ю.П. Проблемы моделирования GRID-систем и их реализации [Электронный ресурс]. - Режим доступа: http://agora.guru.ru/abrau2008/pdf/050.pdf

61. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. // М.: Техносфера, 2003. - 506 с.

62. Головкин Е.А. Вычислительные системы с большим числом процессоров. // М.: Радио и связь, 1995.- 320 с.

63. Королев A.C. Модели и алгоритмы интеллектуальной поддержки принятия решений при создании открытых информационных систем. // Диссертация кандидата технических наук: 05.1301.-М., 2007.-154 с.

64. Гришпан JI.A. Методы анализа стохастических сетевых моделей вычислительных систем // АН БССР, Ин-т техн. кибернетики.- Минск: Наука и техника, 1988.-127 с.

65. Корнеев В.В. Параллельные вычислительные системы. // М.: «Нолидж»,1999.- 312 с.

66. Жожикашвили В.А., Вишневский В.М. Сети массового обслуживания. Теория и применение к сетям ЭВМ. //М.:Радио и связь, 1988.-191с.

67. Хайкин С. Нейронные сети: полный курс, 2-е издание // Москва: "Вильяме", 2008 - 1104 с.

68. Олифер В.Г., Олифер Н. А. Компьютерные сети. Принципы, технологии, протоколы. // Питер, 2007. - 960 с.

69. Дудин А.Н., Медведев Г.А., Меленец Ю.В. Практикум на ЭВМ по теории массового обслуживания [Электронный ресурс]: Учебное пособие. // Мн.: «Электронная книга БГУ», 2003.

70. Tanenbaum A. Computer networks. // Prentice Hall PTR, 1996. - 813 p.

71.Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. // ЖИ, 2007. - 400 с.

72. Law A. Simulation Modeling and Analysis. // McGraw-Hill Education -Europe, 2006. - 768 p.

73. Орлов А.И. Математика случайная. Вероятность и статистика -основные факты. // М.: МЗ-Пресс, 2004. - 110 с.

74. Minoux М. Mathematical Programming - Theory and Algorithms. // J. Wiley & Sons, 1986.

75. Du W., Murugesan M., Jia J., Uncheatable grid computing, Algorithms and theory of computation handbook. // Chapman & Hall/CRC, 2010, 30 p.

76. Zhang S., Chen X., Zhang S., Huo X., The comparison between cloud computing and grid computing. // Computer Application and System Modeling (ICCASM), 2010 International Conference (Vol.11), P. 72-75.

77. Iosup A., Epema D. Grid Computing Workloads, Internet Computing IEEE (Vol.15, Issue: 2), 2011, P. 19-26.

78. Wang L., Jie W., Chen J., Grid computing: infrastructure, service, and applications. // CBC Press, 2010, 512 p.

79. Sadashiv N. Cluster, grid and cloud computing: A detailed comparison, Computer Science & Education (ICCSE). // 2011 6th International Conference, P. 477 - 482.

80. Singh A., Awasthi L.K. Performance comparisons and scheduling of load balancing strategy in Grid Computing. // Emerging Trends in Networks and Computer Communications (ETNCC), 2011 International Conference, P. 438-443.

81. Robertazzi T. Grid and Cloud Computing, Basics of Computer Networking. // Springer New York, 2012, P. 65-68.

82. Wilkinson B. Grid computing: Techniques and applications. // CRC Press, 2010, 265 p.

83. Yagoubi B., Meddeber M. Distributed load balancing model for grid computing. // Revue ARIMA, 2010, P. 43-60.

84. Singh A.K., Runtime Processes and Trust Management Model in MANET and GRID. // International Journal of Engineering Research and Applications (IJERA), Vol. 2, Issue 6, 2012, P. 896-929.

85. Talia D., Trunfio P., How distributed data mining tasks can thrive as knowledge services. // Communications of the ACM, Vol. 53, Issue 7, 2010, P. 132-137.

86. Farkas Z., Kacsuk P., Balaton Z., Gombas G., Interoperability of BOINC and EGEE. // Future Generation Computer Systems, Volume 26, Issue 8, October 2010, P. 1092-1103.

87. Posypkin M., Semenov A., Zaikin O., Using BOINC desktop grid to solve large scale SAT problems. // Computer Science, 2012, 13(1)2012, P. 26-34.

88. Giorgino T., Harvey M.J., De Fabritiis G. Distributed computing as a virtual supercomputer: Tools to run and manage large-scale BOINC simulations. // Computer Physics Communications, Volume 181, Issue 8, August 2010, P. 1402-1409.

89. Cerin C., Fedak G. Desktop grid computing. // CRC Press, 2012, 362 p.

90. Zoltan Farkas. Grid Interoperability Based on a Formal Design. // Journal of Grid Computing, Volume 9, Issue 4, 2011, P. 479-499.

91.Anglano C., Canonico M., Guazzone M. The ShareGrid Peer-to-Peer Desktop Grid: Infrastructure, Applications, and Performance Evaluation, Journal of Grid Computing, Volume 8, Issue 4, 2010, P. 543-570.

92. Padmanabhan A., Ghosh S., Wang S., A Self-Organized Grouping (SOG) Framework for Efficient Grid Resource Discovery. // Journal of Grid Computing, Volume 8, Issue 3, 2010, P. 365-389.

93. Korpela E.J. SETI@home, BOINC, and Volunteer Distributed Computing. // Annual Review of Earth and Planetary Sciences, Earth and Planetary Sciences, vol. 40, 2012, P. 69-87.

94. Ludwig S.A., Moallem A. Swarm Intelligence Approaches for Grid Load Balancing. // Journal of Grid Computing, Vol. 9, Issue 3, P. 279-301.

95. Shah S.C., Park M.S. An Energy-Efficient Resource Allocation Scheme for Mobile Ad Hoc Computational Grids. // Journal of Grid Computing, Vol. 9, Issue 3, P. 303-323.

96. Sanjay H. A., Vadhiyar S.S. Strategies for Rescheduling Tightly-Coupled Parallel Applications in Multi-Cluster Grids. // Journal of Grid Computing, Vol. 9, Issue 3, P. 379-403.

97. Andronico G., Ardizzone V., Barbera R. e-Infrastructures for e-Science: A Global View. // Journal of Grid Computing, June 2011, Volume 9, Issue 2, P. 155-184.

98. Gentzsch W., Girou D., Kennedy A. DEISA—Distributed European Infrastructure for Supercomputing Applications, Journal of Grid Computing, June 2011, Volume 9, Issue 2, P. 259-277.

99. Segal В., Buncic P., Quintas D.G. LHC cloud computing with CernVM. // 13th International Workshop on Advanced Computing and Analysis Techniques in Physics Research AC AT, Jaipur, India, 2010.

100. Ivashko E., Nikitina N. Web Service of Access to Computing Resources of BOINC Based Desktop Grid, Parallel Computing Technologies. // Lecture Notes in Computer Science, Vol. 6873, 2011, P. 437-443.

101. Белов С.Д., Зайцев А.С., Каплин В.И., Король А.А., Использование виртуализованной суперкомпьютерной инфраструктуры Новосибирского научного центра для обработки данных экспериментов физики высоких энергий, Вычислительные технологии. //2012. Т. 17. №6. С. 36-46

102. Волохов В.М.,Варламов Д.А., Пивушков А.В., Технологии ГРИД в вычислительной химии, Вычислительные методы и программирование, //т. 11, 2010, С. 42-49

103. Волохов В.М., Варламов Д.А., Пивушков А.В. GRID и вычислительная химия, Вычислительные методы и программирование. //2009, No 1, С. 78-88

104. Хританков А.С. Оценка эффективности распределенных систем при решении задач переменного размера. // Научно-технический вестник информационных технологий, механики и оптики, №2 (66), 2010, С. 66-71.

105. Вин А.П., Зыскин Ю.Л. Технология грид и распределенная вычислительная система, Естественные и технические науки, // Издательство "Спутник+", №2, Москва, 2007, С. 228-229

106. Коваленко В.Н., Корягин Д.А. ГРИД: истоки, принципы и перспективы развития, информационные технологии и вычислительные системы. // Институт системного анализа РАН, Москва, 2008, №4, С. 38-50

107. Машинистов Р.Ю., Метечко В.И., Смирнов С.Ю., Тихомиров В.О., Компьютерная грид ферма МИФИ. // Инженерная физика, Издательство "Научтехлитиздат", Москва, №1, 2008, С. 54-59.

108. Васильев Г.П., Егоров Г.А., Зонис B.C. и др. Малые ЭВМ высокой производительности. // Архитектура и программирование. - М.: Радио и связь, 1990. -256 с.

109. Егоров Г.А., Красовский В.Е., Прохоров Н.Л., Тювин Ю.Д., Шкамарда А. Н. Управляющие ЭВМ: Учебн. пособие. // М.: МИРЭА, 1999.-138 с.

110. Прохоров Н.Л., Егоров Г.А., Красовский В.Е., Тювин Ю.Д., Шкамарда А.Н. Управляющие вычислительные комплексы. // М.: Финансы и статистика, 2003. -352 с.

111. Нечаев В.В. Введение в теорию метамоделирования систем. // М. : Информациология, 1997. - 62 с.

112. Нечаев В.В., Галахов И.В., Шабшин И.И. Применение персональных ЭВМ : Учебное пособие. // М. : МИРЭА, 1996. - 63 с.

113. Петров А.Б. Информационные сети: учебное пособие. // М.: МИРЭА, 2008.- 112 с.

114. Петров А.Б. Проектирование информационных систем. Безопасность функционирования: учебное пособие для студентов вузов, обучающихся по направлению подготовки 230200 "Информационные системы". // М.: МИРЭА, 2008, 131 с.

115. Zamkovets S.V., Zakharov V.N., Krasovsky V.E. Evolution of modern microprocessors architecture. 11M.: Sistemy i Sredstva Inform., 21:1 (2011), P. 34-46

116. Замковец C.B., Захаров B.H., Попкова Е.Я., Френкель C.JI., Шмейлин Б.З. Некоторые аспекты проектирования СБИС с использованием алгоритмических машин состояний (ASM). // М.: Системы и средства информ., 2009, № 19, С. 87-95.

БЛАГОДАРНОСТИ

Автор благодарен и искренне признателен:

профессору Владимиру Александровичу Мордвинову и доценту Николаю Ивановичу Трифонову за постановку настоящего исследования и постоянное внимание к результатам работы диссертанта,

своему научному руководителю, профессору кафедры ИИС Вячеславу Константиновичу Раеву за многочисленные полезные дискуссии, конструктивные замечания и практические рекомендации в период подготовки диссертации к защите,

профессору Вадиму Ивановичу Уткину (университет штата Огайо, США) за полезные обсуждения публикаций диссертанта,

всему коллективу кафедры ИИС за дружественное отношение к работе диссертанта и товарищескую взаимовыручку.