Математические модели и методы повышения эффективности функционирования кластера компьютеров в центрах обработки данных тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Протасов, Станислав Станиславович

• Протасов, Станислав Станиславович
• кандидат физико-математических наук
• 2004

Оглавление диссертации кандидат физико-математических наук Протасов, Станислав Станиславович

ПРИНЯТЫЕ СОКРАЩЕНИЯ.

ВВЕДЕНИЕ.

Актуальность темы.

Цель работы, объект и предмет исследования.

Методы исследования.

Научная новизна.

Практическая значимость.

Апробация и реализация результатов работы.

Положения, выносимые на защиту.

Краткое описание диссертации.

Исторический анализ предметной области.

ГЛАВА 1. ИССЛЕДОВАНИЕ ВОПРОСОВ ОРГАНИЗАЦИИ И ФУНКЦИОНИРОВАНИЯ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ. ОСОБЕННОСТИ ОРГАНИЗАЦИИ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ ДЛЯ ПРЕДОСТАВЛЕНИЯ УСЛУГ ПО РАЗМЕЩЕНИЮ РЕСУРСОВ В ГЛОБАЛЬНОЙ СЕТИ.

1.1. Центры обработки данных предприятия.

1.1.1 Назначение центра обработки данных.

1.1.2 Ы-уровневая модель.

1.1 3 Возможности центра обработки данных.

1.14 Преимущества создан ия центров обработки данных.

1.2. Основные сервисы ЦОД.

1.2.1. Сервисы инфраструктуры.

1.2.2. Сервисы групп серверов.

12 3. Сервисы хранения.

1 2 4 Сервисы защиты.

1 2 5 Сервисы управления.

1.3. Группы серверов в центрах обработки данных.

1.3 1 Группа интранет-серверов.

1.3 2 Группа серверов Интернет.

1 3 3 Группа экстранет-серверов.

1.4. Архитектура центра обработки данных.

14 1. Уровни центра обработки данных.

1.5. Топологии центра обработки данных.

1.5.1. Логическая топология.

1.5 2. Физическая топология.

ВЫВОДЫ ПО ГЛАВЕ 1.

ГЛАВА 2. ЭФФЕКТИВНОСТЬ ФУНКЦИОНИРОВАНИЯ И МОДЕЛЬ ВИРТУАЛЬНОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЫ ЦЕНТРА ДАННЫХ. ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ.

2.1. Общие сведения. Определение эффективности предоставления услуг по размещению ресурсов в глобальной сети в центрах обработки данных.

2.2. Постановка задачи исследования.

ВЫВОДЫ ПО ГЛАВЕ 2.

ГЛАВА 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ И МЕТОДЫ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ КЛАСТЕРА КОМПЬЮТЕРОВ ДЛЯ» ПРЕДОСТАВЛЕНИЯ УСЛУГ ПО РАЗМЕЩЕНИЮ РЕСУРСОВ В ГЛОБАЛЬНОЙ СЕТИ В ЦЕНТРАХ ДАННЫХ.

3.1. Математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой

3.1.1. Общие сведения. Постановка задачи исследования.

3.1.2. Существующие подходы к консолидации серверов.

3.1.3. Технологи» виртуализации.

3.1.4. Су щность метода.

3.2. Математическая модель и метод построения сервиса балансирования нагрузки меэдау серверами асимметричной фермы.

3.2.1. Постановка задачи исследования.

3.2.2. Сущность метода.

3.3. Математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.

3.3.1. Постановка задачи исследования.

3.3.2. Сущность метода.

ВЫВОДЫ ПО ГЛАВЕ 3.

ГЛАВА 4. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ ПО ОЦЕНКЕ ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ КЛАСТЕРА КОМПЬЮТЕРОВ В ЦЕНТРАХ ОБРАБОТКИ ДАННЫХ НА ПРИМЕРЕ СИСТЕМЫ УПШЮггО.

ВЫВОДЫ ПО ГЛАВЕ 4.

Введение диссертации (часть автореферата) на тему «Математические модели и методы повышения эффективности функционирования кластера компьютеров в центрах обработки данных»

Диссертация посвящена решению ряда научных задач, возникающих при использовании кластера компьютеров для предоставления услуг по размещению ресурсов в глобальной сети в центрах обработки данных.

Актуальность темы

Индустрия высоких технологий переживает в последние годы не лучшие времена, однако это никак не сказывается на росте объемов бизнес-информации. Базы данных предприятий увеличиваются подчас неконтролируемо, а приобретенные всего пару лет назад компьютеры перестают справляться с новыми приложениями.

Ситуация с корпоративными серверами еще серьезнее - их модернизировать и дорого, и хлопотно. Одно из технологически возможных, благодаря наличию доступных глобальных коммуникаций, решений - SAN (Storage Area Network, сеть хранения данных). Предприятие может приобрести решение проблемы хранения данных как услугу, без необходимости затрат на собственную информационную инфраструктуру.

Преимуществ у такого вида аутсорсинга много. Во-первых, отказоустойчивое серверное оборудование, климатические установки, блоки резервного нитания, аварийные электрогенераторы и прочие непременные атрибуты качественного центра обработки данных (называемых сегодня «дата-центрами») размещаются у поставщика услуги и не являются объектом тревоги для потребителя. Во-вторых, вместе с услугой хранения данных можно получить в виртуальную аренду лицензионно чистые программы, приобретение которых для ведения «единоличного» информационного хозяйства желательно, но нерентабельно.

Задача предоставления услуг по размещению ресурсов в глобальной сети (хостинг) для компьютеров возникла практически сразу с появлением возможности соединения вычислительных машин между собой. Определив сервис по размещению ресурсов в глобальной сети как возможность предоставления услуг какого-либо сервера внешним пользователям, можно говорить о том, что подобного рода сервис появился с появлением центров коллективного доступа в конце 70-х годов XX века. Обычно в них устанавливались компьютеры класса мейнфрейм, и их пользователи могли использовать предоставленный кем-либо сервис. Например, так были устроены системы продажи билетов, предназначенные для использования во внешних кассах.

Гораздо большее развитие получил этот класс сервисов с появлением и началом активного использования Интернет как глобальной среды доступа к различным информационным серверам. Растущие потребности в качественном обслуживании и поддержании в работоспособном состоянии как канала доступа в Интернет, так и собственно компьютера, на котором соответствующий сервис запущен, определили резкий рост числа центров данных и уровня предоставляемых ими услуг.

Система предоставления удаленных услуг базируется на концепции клиент-сервер. Так, задача разделения доступа к файлам — одна из тех, которые эффективно решаются подобным способом. Решалась она методом организации соответствующего сервиса на одной из участвующих в сети машин - то есть организацией файлового сервера, сервера баз данных и др. В этом случае на других участвующих в сети машинах устанавливалось такое програ*ммное обеспечение, которое позволяло работать с файлами, расположенными на соответствующих серверах, например, копируя их локально или имитируя боле удобным для пользователя способом доступ к сетевым файлам как доступ к файлам расположенным на неком виртуальном локальном диске. Таким образом, например, было устроено программное обеспечение, которое разрабатывалось для операционной системы персональных IBM-совместимых компьютеров DOS. В этом случае надо было установить клиентское программное обеспечение, которое в случае правильного подключения к сети и соответствующему файловому серверу давало возможность увидеть так называемый «сетевой драйв», файлы на котором реально располагались на удаленном файловом сервере, а с точки зрения программ, запущенных локально на клиенте выглядели как полностью локальные.

По данным Gartner Group, доля услуг аутсорсинга и обслуживания корпоративных информационных систем к 2004 году увеличилась до 57% по сравнению с 53% от общего объема услуг в сфере информационных технологий, оказанных в 2000 году.

Размер рынка аутсорсинга в США, где он имел объем в $25,7 млрд в прошлом году, к 2005 году, по оценкам IDC, достигнет $44 млрд. Среди японских компаний, до недавнего времени исполнявших все IT-задачи почти исключительно собственными силами, расходы на аутсорсинг достигли в прошлом году $8 млрд, а к 2005 году эта цифра должна вырасти до $15 млрд.

В России, по данным USB Brunswick Warburg, потенциальный рынок аутсорсинга IT-инфраструктуры составляет $25 млн., с перспективой роста в ближайший год на 50-70%. Рынок аутсорсинга приложений оценивается в $5 млн., с ростом в ближайшие годы на те же 50-70%.

Особенность архитектуры SAN - объединение в общую сеть обработки информации практически любого количества серверов и внешних устройств хранения данных и программного обеспечения. Для клиента системы все это многокомпонентное хранилище данных совершенно прозрачно и выглядит как обычные разделы на жестком диске. Серверы взаимодействуют друг с другом и внешними накопителями по скоростным оптоволоконным линиям связи, причем любой сервер (или несколько серверов одновременно) может обращаться к любому накопителю независимо от установленной на нем операционной системы.

Работой внешних накопителей нижнего уровня, которые представляют собой RAID-массивы дисков (дублирующих друг друга), управляют специальные компьютеры. Концепция создания корпоративных центров обработки данных (ЦОД) чрезвычайно популярна среди гигантов индустрии (Microsoft, IBM, HP, Oracle и т.д.), что понятно: концентрация вычислительных мощностей и больших массивов для хранения данных обеспечивает постоянный высокий спрос на их продукцию и услуги. Однако эта мощь является в то же время и слабым местом этой концепции. Чем сложнее система, тем она уязвимее и дороже в обслуживании. Концентрация ресурсов выгодна для больших предприятий или больших групп пользователей. Это может быть не обязательно только крупная корпорация, но и добровольное объединение небольших и средних предприятий, отдавших хранение своих данных на аутсорсинг.

Более сложные задачи возникают в случае, если сервер и сервисы разнесены в пространстве и соединены с помощью глобальной сети Интернет. Типичной ситуацией является один сервер, содержащий в себе некоторые данные (файлы), доступ к которым обеспечивается с помощью специальных сетевых протоколов, например, протоколом сервисов World Wide Web под названием http. Эти протоколы ориентированы на работу в распределенной сети клиентов и серверов, которая не столь связана как локальная сеть в первом примере, в которой точки обеспечения сервиса значительно удалены от клиента.

Для обслуживания этого протокола необходимо установить www-сервер, обеспечить его устойчивую связь с Интернет и бесперебойность работы самого компьютера с сервисом. Чаще всего подобные сервисы удается обеспечить в центрах данных, поскольку выделенные и надежные линии доступа в Интернет, избыточное электропитание, охлаждение, защита от пожара и физических воздействий требуют достаточно больших капиталовложений и специализации в этом бизнесе. Обычно центры обработки данных предоставляют следующие возможности для своих клиентов:

• выделенный компьютер центра данных с сетевым подключением с полным управлением пользователем;

• установка компьютера пользователя в помещение центра данных;

• предоставление небольшой части компьютера для использования клиентом предустановленного центром данных компьютерного сервиса.

Последний пункт требует от центра данных наличия соответствующего персонала и программного обеспечения, что обычно подразумевает, что этой задачей занимается специально выделенное подразделение или компания, а сам центр данных просто продает ей соответствующее оборудование. Чаще всего такие компании предоставляют услуги, так называемого, веб-по размещению ресурсов в глобальной сети - возможности использования вебсервера провайдера со своим контентом.

Традиционно компании-веб-хостеры предоставляют возможность использовать их собственный веб-сервер без каких либо модификаций в том виде, в каком он установлен. Отдельной проблемой является запуск так называемых «скриптов» - исполняемых так называемых CGI файлов, обычно написанных на каком-либо интерпретируемом языке {например, типа Perl), которые должны быть выполнены на сервере с аргументами, получаемыми из запросов пользователей. Обычно такие скрипты используют для динамической генерации содержимого веб-страниц серверов. По статистике уже давно большинство активных серверов практически все страницы генерируют «на лету» с помощью подобной техники. user user user user user

Hardware it -t—' a Ф E a О Ш а ш

LU

Application Software 0 Operating System

CN it

CD E tz о 5

CO it

Q) E ф £

Eo to

CD E о -t—' m

ZJ О щ о о

Network

Рис. 1 Традиционная архитектура, используемая при организапии работы пользователей и компьютеров

Вместе с тем существует множество проблем, которые возникают при использовании подобного рода приложений. К ним относятся проблемы с версиями используемых для работы интерпретаторов, проблемы с версией самого веб-сервера, проблемы в конфигурации веб-сервера, проблемы некорректно написанных приложений, вызывающих отказ в работе сервера, а также проблемы с безопасностью и возможностью получения несанкционированного доступа к данным других пользователей.

Указанные, а также многие другие проблемы возникают в силу того, что в подобной схеме пользователь получает доступ к общему серверу, который он не может модифицировать под свои потребности (см. Рис. 1). Скрипты в этом случае запускаются в общем для всех пользователей адресном пространстве, и любая проблема, возникшая с ними, влияет на всю систему сразу.

Веб-хостингом не исчерпывается набор запрашиваемых пользователями сервисов. Другим примером общеупотребительных сервисов является сервисы e-mail и ftp - почтовых услуг и доступа к файлам. Проблемы, возникающие при предоставлении подобных сервисов, сходны с уже описанными выше проблемами для www-сервиса. Кроме того, часто возникают потребности у пользователей просто получить доступ к компьютеру, у которого есть подключение к Интернет, например, по протоколу telnet.

Еще одним классом хостинг-сервисов, потребность в которых все чаще возникает на рынке, являются Поставщики Прикладных Услуг (ASP -Application Service Providers). Они обычно предоставляют совместный доступ к разделяемому приложению (например, базе данных) установленному и поддерживаемому администратором поставщика. Доступ пользователей ограничен исключительно доступом только к базе данных. Доступ к приложениям (например, офисные пакеты) в этом случае практически невозможен, поскольку они предполагают при установке, что на машине есть только один пользователь. Отдельно возникает еще и проблема с обеспечением безопасного доступа к данным.

Тем не менее, сегодня практически ни одна компания таких возможностей не предоставляет. Имеющиеся сервисы обычно ограничены или конкретно web/email/ftp-cepBepaMH или предлагают осуществить самостоятельную установку выделенной машины, администрирование которой ложится на плечи пользователя.

Для предоставления собственного удаленного компьютера потенциально могут быть использованы приложения-эмуляторы операционной системы, появившиеся впервые в системном программном обеспечении фирмы IBM -OS/390. При их использовании пользователь получает в распоряжение полноразмерный компьютер с эмулируемым аппаратным обеспечением, на которое может установить свою собственную версию операционной системы. Существенной проблемой подобного рода реализации является высокий уровень требований к аппаратному и программному обеспечению подобных решений, который и определяет их чрезвычайно высокую цену. Такого рода решения характерны для компаний, способных содержать штат высококвалифицированного персонала и высокую входную плату при начальной установке системы.

Аналогичные системы, реализованные на базе много более дешевой архитектуре IBM PC-совместимых компьютеров, до последнего времени не обладали требуемыми свойствами. Подход, связанный с практически полной эмуляцией аппаратного обеспечения на программном уровне и работе на одном компьютере двух ядер операционной системы поверх друг друга приводил к тому, что масштабируемость подобного рода решений оказывалась низкой, а накладные расходы на обслуживание оказывались весьма существенными.

Такая ситуация приводила к тому, что пользователю, работающему в подобной среде, удавалось использовать лишь незначительную долю ресурсов и соответствующей им производительности, которую он мог получить от эмулятора. Недостаточная специализация аппаратного обеспечения не давала возможности эффективно реализовывать подобные решения в архитектуре IBM PC.

Наряду с этим, одно из качеств таких решений, которое оказывается весьма привлекательно как для пользователей, так и для администраторов, является повышенная унификация и управляемость. Для облегчения эмуляции аппаратного обеспечения ЭВМ, обычно для простоты выбирается достаточно небольшой набор опций, которые доступны для расположенной внутри эмулятора операционной системы. В этом случае упрощается процедура инсталляции и дальнейшей поддержки системы - как самого эмулятора (не так много опций однотипного оборудования, которые ему необходимо поддерживать), так и сопровождения и администрирования нижележащей операционной системы (одинаковое и небольшое количество «доступной аппаратуры»).

Такая ситуация приводит к тому, что, в отличие от реального состояния аппаратуры центра обработки данных, виртуальная аппаратура соответствующего уровня виртуализации оказывается намного менее разнообразной и не требующей сложного обслуживания. Таким образом, оказывается возможным осуществлять поддержку только высоко унифицированных конфигураций, что существенно уменьшает нагрузку на системных инженеров и администраторов, а так же позволяет создать высокоэффективное управляющее и следящее программное обеспечение всего комплекса.

Еще одной проблемой для центров обработки данных является проблема минимизации физического доступа клиентов к сетевому и аппаратному обеспечению. В настоящее время организация обслуживания клиентов в центрах данных подразумевает, что им необходим частый физический доступ к их собственным компьютерам. Это означает, что администрации центров приходится привлекать сложные технические средства контроля и обеспечения доступа, подразумевающие обычно дорогие и не всегда эффективные меры защиты от физических воздействий — шлюзы доступа, средства предотвращения доступа к аппаратуре центра данных и компьютерам других клиентов центра.

Тем не менее, потребность в частом доступе к аппаратуре во многом вызвана устаревшей методикой организации работы. Скажем, при повреждении программного обеспечения, препятствующей загрузке компьютера, предполагается, что необходим доступ клиента, который обычно осуществляет загрузку со специальных починочных дисков, и делает это в непосредственном физическом контакте с аппаратурой. При более эффективной организации такого рода процедуры можно не просто свести к минимуму, но и вообще устранить, оставив вмешательство в аппаратную часть системы только за персоналом центра.

В ряде научных работ [11, 23] установлено, что большинство из перечисленных выше проблем может быть решено путем использования специального подхода к организации вычислительного процесса на базе виртуализации ресурсов вычислительной системы. Однако технические сложности реализации такого подхода, а также существовавшие до настоящего времени структурные ограничения разработанных подходов к виртуализации ресурсов не позволяли эффективно организовать работу центров обработки данных при высоком уровне нагрузки и добиться при этом высокой степени утилизации аппаратного обеспечения. Именно отсутствие приемлемых подходов к решению выявленных проблемных вопросов позволяет со всей определенностью говорить об актуальности научных исследований в области виртуализации ресурсов ЭВМ. Потребность в подобного рода решениях существовала и, по мнению ряда экспертов, будет существовать в ближайшие годы.

Цель работы, объект и предмет исследования

Цель диссертационной работы — разработка математических моделей и методов повышения эффективности функционирования кластера компьютеров при предоставлении услуг по размещению ресурсов в глобальной сети в центрах обработки данных.

Задачи исследования:

• Разработка математической модели организации и функционирования центров обработки данных, выявление узких мест в функционировании систем такого класса при предоставлении услуг по размещению ресурсов в глобальной сети.

• Разработка математической модели виртуализации ресурсов с использованием виртуальных сред.

• Разработка математической модели и метода использования кластера компьютеров для предоставления услуг по размещению ресурсов в глобальной сети.

• Разработка математической модели и метода балансировки нагрузки между компьютерами кластера.

• Разработка модели и метода переноса сервисов с одного узла кластера на другой без их остановки.

Объект исследования - математические модели процессов функционирования центров обработки данных в глобальной информационной сети Internet при предоставлении услуг по размещению ресурсов в глобальной сети.

Предмет исследования - модель виртуализации на основе виртуальных сред и методы повышения эффективности функционирования многомашинных комплексов (кластеров) в центрах обработки данных.

В ходе выполнения научных исследований автором была проведена серия экспериментов, результаты которых позволили численно оценить преимущества разработанных методов в результате сравнительного анализа с наиболее распространенными системами виртуализации.

Методы исследования

В ходе научных исследований по разработке математической модели виртуальной среды и методов повышения эффективности функционирования кластера при оказании услуг по размещению ресурсов в глобальной сети использовались аналитические методы теории массового обслуживания, методы имитационного моделирования, методы теории операционных систем и системного программирования, методы анализа функционирования глобальных телекоммуникационных сетей.

Научная новизна

Научная новизна работы заключается в том, что автором предложена математическая модель виртуализации ресурсов вычислительных систем и комплексов при предоставлении различных видов сервиса в глобальных сетях, основанная на формировании виртуальной среды пользователя. В отличие от ранее существовавших моделей виртуализации, разработанные в ходе диссертационного исследования математические модели и методы позволяют существенно повысить утилизацию ресурсов системы, повысить ее надежность и масштабируемость.

Разработанная математическая модель виртуализации ресурсов является новым вкладом в развитие теории операционных систем и системного программирования.

Практическая значимость

Разработанные математические модели могут быть использованы при создании новых программных продуктов, предназначенных для обеспечения решения задач виртуализации с целью достижения максимального уровня утилизации ресурсов, масштабируемости систем и обеспечения их высокой надежности.

Кроме того, все разработанные математические модели и методы могут быть использованы в качестве самостоятельных решений различных задач, возникающих в ходе предоставления различных видов сервиса в глобальных и локальных сетях.

Так, математическая модель и метод балансировки нагрузки и переноса сервисов позволяют решить ряд технических проблем, связанных с обеспечением высокого значения показателя доступности сервиса, который наиболее важен для обеспечения стабильной работы критических приложений, электронной торговли и межбанковского взаимодействия.

На сегодняшний день разработанные математические модели виртуализации ресурсов на основе виртуальных сред использованы при создании коммерческого программного продукта Virtuozzo. По ряду оценок независимых экспертов (Отчеты Gartner Group: «Hype Cycle for Real-Time Infrastructure 2004», 16 June 2004, ID Number: GOO 120918; «Hype Cycle for Real-Time Infrastructure 2003», 30 May 2003, ID Number: R-20-0815; «Logical and Software Partitioning in Server Consolidation», 7 May 2002, ID Number: T-16-1893), сегодня система Virtuozzo одна из наиболее популярных платформ для создания виртуальных выделенных серверов. Это единственное решение, обеспечивающее высокий уровень надежности и масштабируемости систем, что доказано десятками тысяч уже работающих в различных компаниях виртуальных выделенных серверов. Практическая значимость полученных результатов подтверждается и высокой экономической эффективностью разработанных решений.

Кроме того, практическая значимость результатов настоящего исследования подтверждается положительным решением по ряду заявок на изобретения.

Апробация и реализация результатов работы

По выполненным диссертационным исследованиям опубликовано 7 работ. В опубликованных работах автору принадлежит более 40% материала, связанного с изложением основ магматической модели виртуализации ресурсов с использованием виртуальных сред.

Результаты диссертационного исследования докладывались, обсуждались и получили одобрение на нескольких конференциях: SoftTool 2002 г, Москва, Интерполитех, 2003 г, Москва, «Научно-практические аспекты совершенствования управления КЛ и информационного обеспечения запусков КЛ», г. Краснознаменск, 2004, «Ottawa Linux Symposium», Оттава, Канада, 2000, «ASP World Asia 2000», Сингапур 2000 и ДР.

Получено свидетельство о регистрации в Российском Агентстве по патентам и товарным знакам № 2001611530 от 13.11.2001 г. на программный продукт HSPcomplete, основанный на технологии Virtuozzo.

Получен сертификат соответствия Министерства по связи и информатизации № К.и.00007.01ЭС00, № ОС/1 -СПД - 463 на программно-аппаратный комплекс телематических служб.

По итогам научной работы по теме диссертации подано 24 заявки на изобретение, получено 1 положительных решений [87-105].

Результаты работы реализованы при создании программного комплекса У1гШ0г70. В настоящее время этот программный комплекс занимает лидирующее положение в сегменте рынка средств и технологий виртуализации ресурсов для предоставления услуг по размещению ресурсов в глобальной сети.

Положения, выносимые на защиту

На защиту выносятся следующие основные положения:

1. Математическая модель виртуальной вычислительной среды.

2. Математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления услуг по размещению ресурсов в глобальной сети.

3. Математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной серверной фермы.

4. Математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.

Краткое описание диссертации

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и двух приложений. Работа изложена на 128 страницах, содержит 45 рисунок и список литературы из 86 наименования в алфавитном порядке.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Протасов, Станислав Станиславович

Выводы по Главе 4

В настоящей главе приведены результаты экспериментальной проверки эффективности разработанных методов. Показано, что применение подхода на основе виртуальных сред позволяет существенно повысить производительность системы в целом, снизить затраты на сопровождение и восстановление системы после сбоев.

Показаны и результаты экспериментов по отработке разработанных методов в составе программного комплекса УнШотго. Приведены результаты статических и динамических тестов производительности системы.

Общий вывод по результатам экспериментов, приведенных в этой главе: применение виртуальных сред для оптимального распределения ресурсов в многомашинных вычислительных системах (кластерах) позволяет существенно увеличить эффективность функционирования всего комплекса.

В целом проведенные эксперименты позволили сделать вывод о том, что улучшение отдельных характеристик вычислительной системы при условии не ухудшения значения всех остальных ее параметров ведет к существенному росту производительности всего вычислительного комплекса. Особую роль в этих процессах играет надежность системы и ее способность к восстановлению после аварий. Разработанный метод в четыре раза позволяет улучшить такой показатель системы, как время восстановления работоспособности сервиса после его переноса на другой компьютер. Это существенно влияет на рост общего коэффициента готовности системы в целом.

Заключение

Таким образом, поставленная в диссертационной работе задача решена полностью.

Применение разработанных автором математических моделей и методов позволяет существенно сократить время ответа системы и устранить возможные «узкие места» в архитектуре системы.

В работе автором решены следующие задачи:

• разработана математическая модель виртуальной среды в терминах теории массового обслуживания;

• разработана математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой систехМой, для предоставления услуг по размещению ресурсов в глобальной сети;

• разработана математическая модель и метод построения сервиса балансирования нагрузки между серверами асимметричной серверной фермы;

• разработана математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса.

Разработанная математическая модель и метод использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред, интегрированной с распределенной файловой системой, для предоставления сервиса по размещению ресурсов в глобальной сети позволяет более чем на 50% повысить уровень утилизации ресурсов серверной фермы, снизить затраты на ее обслуживание и поддержку.

Разработанная математическая модель и метод построения сервиса для балансирования нагрузки между серверами асимметричной фермы позволяет избежать возникновения перегрузки отдельных узлов кластера компьютеров в случае нестабильного роста информационного потока. Как показывают результаты проведенных экспериментов, применение этого метода вместе с методом использования кластера компьютеров с автоматической конфигурацией и системой виртуальных сред позволяет достичь уровня утилизации ресурсов кластера в 90%.

Использование виртуальных сред вместо традиционных виртуальных машин позволяет сократить ресурсы, используемые для администрирования самой системы и перенаправить их для решения целевых задач системы по предоставлению услуг по размещению ресурсов в глобальной сети .

Кроме того, схема с распределенной файловой системой позволяет осуществлять эффективно обслуживание аппаратной части компьютеров посредством того, что любая виртуальная среда может быть перенесена с одного компьютера на другой эффективным образом, то есть с требующего планового обслуживания компьютера можно переместить все запущенные там виртуальные среды эффективным и практически незаметным для пользователя образом.

В случае же неработоспособности виртуальной среды можно создать новую виртуальную среду, в ней осуществить доступ (монтирование) файлов неработоспособной виртуальной среды и предоставить доступ пользователю для восстановления программной конфигурации системы. Это оказывается возможным потому, что подобные сбои в работе программного обеспечения не влияют на функционирование как других виртуальных сред, так и базовой операционной системы.

Виртуализация среды исполнения позволяет запускать в виртуальной среде только приложения одной определенной операционной системы. Виртуальная среда имеет свою файловую систему, а также доступ к части процессорного времени, памяти и периферийных устройств, такой как сетевая плата. Виртуальных сред на одно,м компьютере может работать несколько; они тем или иным образом распределяются по всем процессорам, памяти и дискам. Поэтому виртуальные среды, как правило, не зависят от аппаратуры и могут легко перемещаться с одного компьютера на другой. Кроме виртуальных сред есть базовая операционная система, которая объемлет все виртуальные среды. Именно она скрывает подробности аппаратуры и занимается управлением реальными ресурсами компьютера.

Эмуляторами компьютеров, как правило, не эффективно используют ресурсы сервера, поскольку значительные их часть тратится на преобразование форматов данных и переключение контекста различных операционных систем. Так виртуализация компьютера позволяет запустить на одном физическом сервере всего несколько виртуальных машин. С помощью виртуальных сред исполнения можно добиться большей эффективности и расслоить один сервер на тысячи отдельных виртуальных сред.

С использованием виртуализации упрощается перенос приложений с одного сервера другой. Этот процесс, как правило, можно выполнить безостановочно — штатной операцией перемещения виртуальной среды. В результате, появляется возможность физически передвигать приложения к месту их оптимального использования. Например, если компания имеет центры обработки данных по всему миру, то с помощью виртуализации она сможет перемещать приложения туда, где они наиболее востребованы.

Как правило, перенос сервисов включает в себя два этапа: подготовку к переносу и, собственно, перенос сервиса. Именно время выполнения второго этапа и является временем недоступности сервиса для его клиентов, поскольку на первом компьютере он уже остановлен, а на втором не может быть запущен до окончания копирования.

Таким образом, предложенная автором двухступенчатая организация процесса переноса позволяет существенно уменьшить время недоступности сервиса в том довольно частом случае, когда велик размер файлов, которые процесс или сервис не трогает непосредственно в момент работы. Сокращение времени недоступности происходит за счет времени, которое необходимо затратить на передачу данных первого этапа.

Разработанная математическая модель и метод онлайнового переноса данных с минимизацией времени недоступности сервиса существенно (более чем на 60%) повышает показатель доступности сервиса, что в современных условиях электронной экономики является одним из важнейших показателей.

Вместе с тем в ходе исследований были выявлены и некоторые недостатки. Так, например, использование виртуальных сред не позволяет пользователям применять различные операционные системы для обеспечения по размещению ресурсов в глобальной сети приложений с различными требованиями к организации ресурсов.

Однако этот недостаток не снижает ценности использования виртуальных сред, что было показано практикой внедрения системы Virtuozzo.

Вместе с тем для консолидации серверов все же целесообразно использовать оба подхода: и виртуальные среды и виртуальные машины, поскольку в некоторых случаях важна работа приложений, предназначенных для различных платформ, а в некоторых — эффективность решения.

В качестве основных направлений дальнейших исследований предлагаются:

• дальнейшее совершенствование математической модели виртуальной среды;

• отработка вопросов использования предложенного подхода к виртуализации ресурсов при создании приложений, призванных работать в распределенной вычислительной среде типа GRID.

Список литературы диссертационного исследования кандидат физико-математических наук Протасов, Станислав Станиславович, 2004 год

1. Лвен О.И., Турин H.H., Коган Я.А. Оценка качества и оптимизация вычислительных систем. М.: Наука, 1982.

2. Боккер П. Передача данных (Техника связи в системах телеобработки данных); Пер. с нем. М.; Радио и связь, 1981. Т. 1,2.

3. Вейцман К. Распределенные системы мини и микро-ЭВМ; Пер. с англ. М.: Финансы и статистика, 1982.

4. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. 512 С.

5. Вишневский В.М., Савинецкий А.Б. Федотов Е.В. Метод и средства построения и реализации информационно-вычислительных сетей. // Измерения, контроль, автоматизация. Москва, 1992. - № 2.

6. Вишневский В.М., Федотов Е.В. Анализ методов маршрутизации при проектировании сетей пакетной коммутации // 3-rd I.S. «Teletraffic Theory and Computing Modeling». София, 1992.

7. Вишневский B.M., Федотов Е.В. Топологическое проектирование сетей пакетной коммутации // ИППИ РАН, Москва. 1992. - С. 93-95

8. Вычислительные сети и сетевые протоколы / Д. Дэвис, Д. Барбер, У. Прайс, С. Соломонидес: Пер. с англ. М.: Мир, 1982.

9. Гнеденко Б.В. и др. Приоритетные системы обслуживания. -М.: Изд-во МГУ, 1973.

10. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: Наука, 1987. - 336 с.

11. Головкин Б.А. Параллельные вычислительные системы. М.Наука, 1980.

12. Джейсуол Н. Очереди с приоритетами. М.: Мир, 1973.

13. Довженок Т.С. Инвариантность стационарного распределения сетей с обходами и «отрицательными» заявками // Автоматика и телемеханика. -2002. № 9.

14. Дроздов Е.А., Комарницкий В.А., Пятибратов А.П. Электронные вычислительные машины Единой системы. — 2-е изд. М.: Машиностроение, 1981.

15. Дудин А.Н., Клименок В.И. Системы массового обслуживания с коррелированными потоками. Мн.: Изд-во Белорус, ун-та, 2000.

16. Дэвис Д., Барбер Д., Прайс У., Соломонидес С. Вычислительные сети и сетевые протоколы: Пер. с англ. М.: Мир, 1981. -563с.

17. Евдокимов В.П., Маловицкий В.И., Семинишин Ю.А. и др. Моделирование систем сбора и обработки данных М.: Наука, 1983. -128 с.182122,2324,25,2627,28