Математическое и программное обеспечение балансировки вычислительных заданий для распределенных вычислительных комплексов на основе прогнозных моделей тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Алпатов, Алексей Николаевич

• Алпатов, Алексей Николаевич
• кандидат наук
• 2017

Оглавление диссертации кандидат наук Алпатов, Алексей Николаевич

ОГЛАВЛЕНИЕ

СПИСОК СОКРАЩЕНИЙ

ВВЕДЕНИЕ

Актуальность исследования

Степень разработанности

Объект и предмет исследования

Цель работы

Задачи работы

Методология и методы исследования

Научная новизна диссертационной работы

Теоретическая и практическая значимость работы

Соответствие паспорту специальности

Достоверность полученных научных результатов, выводов и рекомендаций

Апробация работы

Публикации по теме диссертации

Результаты, выносимые на публичную защиту диссертации

Структура работы

Глава 1. ИССЛЕДОВАНИЕ ЗАДАЧИ БАЛАНСИРОВКИ ВЫЧИСЛИТЕЛЬНОЙ НАГРУЗКИ В ГЛОБАЛЬНО РАСПРЕДЕЛЁННЫХ ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСАХ

1.1. Исследование особенностей и задач реализации современных распределённых комплексов

1.1.1. Распределённые вычислительные комплексы и их классификация

1.1.2. Особенности архитектуры современных РВК

1.1.3. Концепция GRID Computing

1.1.4. Задача балансировки вычислительной нагрузки в РВК

1.2. Анализ существующих подходов к решению задачи балансировки нагрузки для распределённых комплексов

1.3. Анализ и классификация методов балансировки нагрузки узлов распределённого вычислительного комплекса

1.4 Алгоритмы балансировки нагрузки, применяемые в промышленных системах

1.5. Прогностический подход к балансировке нагрузки в распределённых вычислительных комплексах

Выводы по 1 главе

Глава 2. РАЗРАБОТКА МЕТОДА БАЛАНСИРОВКИ ВЫЧИСЛИТЕЛЬНОЙ НАГРУЗКИ НА ОСНОВЕ ПРОГНОЗНЫХ МОДЕЛЕЙ

2.1. Постановка задачи балансировки узловой нагрузки

2.2. Применение метода квазилинеаризации для оценки загрузки узла

2.3. Нахождение прогнозных оценок загрузки узла РВК

Выводы по 2 главе

Глава 3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МЕТОДА БАЛАНСИРОВКИ НАГРУЗКИ ДЛЯ РАСПРЕДЕЛЁННЫХ ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСОВ

3.1. Анализ влияния параметров модели на производительность распределённого вычислительного комплекса

3.2. Разработка имитационной модели исследуемого комплекса

3.3. Анализ полученных результатов

3.3.1. Расчёт индекса безразмерной ошибки прогнозирования и анализ производительности работы разработанного алгоритма

3.3.2. Анализ влияния структуры файловой системы

3.3.3. Анализ влияния протокола передачи данных

Выводы по 3 главе

Глава 4. МЕТОДЫ РЕАЛИЗАЦИИ ПРОГРАММНЫХ СРЕДСТВ БАЛАНСИРОВКИ ВЫЧИСЛИТЕЛЬНОЙ НАГРУЗКИ ДЛЯ РАСПРЕДЕЛЁННЫХ ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСОВ

4.1. Концепция разработки сложных программных систем

4.2. Обоснование выбора программно-аппаратных средств реализации разрабатываемой программной системы

4.3. Организация программной системы балансировки вычислительной нагрузки в РВК

Выводы по 4 главе

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ 1 Копия свидетельства о государственной регистрации программного обеспечения для ЭВМ

ПРИЛОЖЕНИЕ 2 Копии актов внедрения внедрении результатов диссертационной работы

ПРИЛОЖЕНИЕ 3 Фрагменты исходного кода приложения

СПИСОК СОКРАЩЕНИЙ

БД - база данных

ООСУБД - объектно-ориентированные системы управления базами данных

РВК - распределённый вычислительный комплекс

СМО - системы массового обслуживания

СУБД - система управления базами данных

2-SP - 2 Dimensional Strip Packing

2-BP - 2 Dimensional Bin Packing

IDE - Integrated development environment

ISDN - Integrated Services Digital Network

JDK - Java Development Kit

JPF - Java Plug-in Framework

JVM - Java Virtual Machine

MDA - Model Driven Architecture

NDEI - non-dimensional error index

NGN - Next Generation Networks

ORM - Object-Relational Mapping

P2P - peer-to-peer

RMSE - Root Mean Squared Error

UML - Unified Modeling Language

WLCA - Weighed Least Connection Algorithm

X86 - архитектура процессоров компании INTEL

XP - extreme programming

Введение диссертации (часть автореферата) на тему «Математическое и программное обеспечение балансировки вычислительных заданий для распределенных вычислительных комплексов на основе прогнозных моделей»

ВВЕДЕНИЕ

Актуальность исследования

Спрос на высокопроизводительные вычислительные системы растёт с каждым годом. Развитие и усовершенствование математического аппарата, появление новых методов и алгоритмов, требовательных к вычислительным и, самое главное, к временным ресурсам, привело к необходимости создания и повсеместного внедрения мощных распределённых вычислительных кластеров. При этом потребность в вычислениях часто не может быть покрыта даже самыми мощными вычислительными центрами. Совершенствование каналов передачи данных, привело к возможности объединения локальных систем в единую вычислительную среду. Такая организация распределённых вычислений получила название грид-вычисления (англ. grid computing). Основные свойства таких вычислительных комплексов в существенной мере определяются гетерогенностью входящих в нее компонентов, что необходимо учитывать при реализации РВК.

Как и в любых локальных вычислительных комплексах, в грид-системах возникает ряд задач, решение которых необходимо для поддержания оптимальной работы такого комплекса. В связи с большим количеством и разнообразием компонентов, входящих в грид-среду, возникает задача организации ресурсов. Так как узлы в таких сетях должны вместе с внешними заданиями грид-системы одновременно выполнять и внутренние задания [110], определяемые потребностями локальной вычислительной сети, возникает задача балансировки внутренней и внешней загрузки узлов. При этом приходится учитывать тот факт, что приоритет внутреннего задания выше, и выполнение внешнего задания может быть сорвано из-за неудачной балансировки. И хотя срыв такого задания в большой грид-среде может показаться несущественным, срыв выполнения одной из порций вычислений текущего пакета может привести к

необходимости повторного планирования этого пакета и, соответственно, к задержке получения результата. Возникновение большого количества таких срывов может приводить к существенным задержкам в получении результата. Именно поэтому внешняя загрузка узлов в таких комплексах должна планироваться с учетом текущей внутренней загрузки. Одним из путей решения этой задачи является использование различных политик балансировки нагрузки узлов РВК. Однако разработанные к настоящему времени методы балансировки нагрузки не удовлетворяют требованиям по производительности, не обладают соответствующим уровнем адаптивности к возникающим пиковым нагрузкам, а также не учитываю характер и свойства узловых и сетевых нагрузок, что подтверждает необходимость комплексного исследования в данной области.

Рассмотренные аспекты реализации программно-аппаратных методов организации заданий в РВК подтверждают актуальность диссертационного исследования. Она определяется также соответствием темы работы тематике основных направлений фундаментальных исследований, определённых Российской академией наук на период до 2025, в области теоретических и прикладных проблем создания научной распределённой информационно-вычислительной грид- среды [1].

Степень разработанности

Стремительное развитие информационных технологий в области создания архитектур и программных средств реализации гетерогенных распределённых вычислительных комплексов, привело к росту числа научных публикаций в данной области. Исследованиями в области создания и организации новых архитектур распределённых комплексов и компьютерных сетей, методов и программных средств балансировки нагрузки занимается ряд отечественных и зарубежных исследователей. Среди них можно выделить работы отечественных исследователей, таких как, Хорошевский В. Г.[2], А. В. Бухановский [3, 4], С. В. Иванов [3, 4],

Бершадский А.М. [5], А.С. Хританков [6], В.Я. Цветков [38], В.М. Баканов[112], Е.В. Никульчев [112,114], Д.А. Грушин [7], Н.Н Кузюрин [7], Е.В. Плужник [112,114], С. В. Паяин [112,114], А.И. Миков [8, 9], Е.Б. Замятина [8, 9] и т.д. Среди западных исследователей можно выделить работы D. Grosu [10, 11], R. Subrata [12], A. Y. Zomaya [13], Peter A. Dinda [14]. Среди крупных разработчиков программного обеспечения исследованиями в данной области активно занимаются производители сетевого оборудования IBM, CISCO, а также ряд компаний, занимающихся развитием новых принципов построения распределённых систем - Amazon, Mail.

По состоянию на 2015 год, большое количество работ посвящено исследованию и разработке различных алгоритмов балансировки нагрузки в РВК, реализующих принципы адаптивного динамического балансировки. Однако, ряд современных исследователей, таких как А. В. Бухановский, Д.А. Хританков, Peter A. Dinda., работы которых посвящены решению данной задачи, указывают на ограниченность имеющихся подходов к балансировке нагрузки узлов. Действительно, существующие адаптивные методы базируются на данных о функциональных характеристиках и уровне загруженности каждого вычислительного узла, которые далеко не всегда известны, а, кроме того, меняются во времени. Соответственно, использование таких стратегий, может приводить к возникновению критических ситуаций в некоторых узлах, на что система балансировки нагрузки может не среагировать вовремя, что часто приводит к дисбалансу вычислительной нагрузки всего комплекса. Также к возникновению дисбаланса нагрузки в распределённых комплексах может приводить уменьшение количества узлов и последующая флуктуация сетевого трафика в вычислительном комплексе. В результате чего, остро встаёт вопрос создания методов балансировки вычислительной нагрузки, которые были бы лишены указанных недостатков и позволили бы более оперативно реагировать на возникающую нагрузку в ходе работы комплекса.

Одним из перспективных направлений современных исследований в области балансировки вычислительной нагрузки в распределённых комплексах, является создание методов реализующих прогностическую стратегию балансировки вычислительной нагрузки. Применительно к решению данной задачи были разработаны и активно использовались методы на основе регрессионных (линейная регрессионная модель, множественная регрессионная модель, модель группового учета аргументов) и авторегрессионных (ARIMA, ARIMAX, GARCH и др) моделей, нейронных сетей, методы на основе фильтра Калмана, методы на основе модели сглаживания. Методика прогнозирования телетрафика также была определена в рекомендациях E.506 и E.507 Международного консультационного комитета по телефонии и телеграфии (англ. ITU-T). При этом стоит отметить, что данные рекомендации разрабатывались для прогнозирования ISDN сетей и на сегодняшний момент существенно устарели и не вполне удовлетворяют требованиям по производительности и точности построения прогнозов для современных комплексов. Так большинство существующих методов, при выполнении прогнозирования, основывается на статистических данных, сбор которых часто затруднён, а также не учитывает информацию о характере и свойствах возникающей нагрузки, что может привести к недооценке вычислительной нагрузки, а также к дополнительным накладным расходам. В частности, свойства нестационарности и самоподобия сетевого трафика и узловой нагрузки в современных компьютерных системах и сетях с коммутацией пакетов (переход на ISDN, а также последующие развитие сетей NGN), приводят к невозможности применения, для рассматриваемой задачи, некоторых методов, разработанных для анализа и прогнозирования временных рядов. Следовательно, актуальным для совершенствования алгоритмов балансировки является проведение комплексного исследования прогностических стратегий распределения вычислительных заданий и

методов прогнозирования сетевой и узловой нагрузки, которые учитывают характер сетевого трафика и узловой нагрузки в РВК.

Объект и предмет исследования

Объект исследования: глобально распределенный вычислительный комплекс, с комплексом диспетчирования загрузки узлов.

Предмет исследования: методы балансировки загрузки узлов РВК, реализующие принцип прогностической стратегии балансировки вычислительной нагрузки. Предмет исследования определён областью исследования №9 «Модели, методы, алгоритмы и программная инфраструктура для организации глобально распределенной обработки данных» паспорта специальности 05.13.11, а также перечнем решаемых в диссертационной работе задач.

Цель работы

Цель работы заключается в разработке методологии, алгоритмов и их программной реализации для систем балансировки нагрузки узлов РВК, на основе прогноза возможной будущей их внутренней загрузки. Достижение данной цели позволит улучшить адаптивность РВК к возникающей нагрузке и, в целом, повысить скорость работы комплекса.

Задачи работы

Для достижения поставленных целей, необходимо сформировать и решить основные задачи диссертационного исследования:

1. Провести анализ современных решений и публикаций, посвященных балансировке загрузки узлов в распределенных вычислительных комплексах (РВК), построенных по грид-

технологии, с целью выявления основных недостатков их использования.

2. Разработать математическую модель загрузки вычислительных узлов РВК, учитывающую свойства протекающих в них процессов и явлений.

3. Разработать метод прогнозирования внутренней загрузки узлов РВК с целью предотвращения срывов выполнения внешних заданий.

4. Разработать метод и алгоритм балансировки внешней загрузки узлов РВК с учетом их внутренней загрузки, а также разнородности компонентов, входящих в их состав.

5. Произвести компьютерное моделирование работы РВК с разработанным алгоритмом балансировки нагрузки для оценки его производительности при использовании в существующих распределённых комплексах.

6. Разработать и реализовать в технических примерах математическое и программное обеспечение балансировки нагрузки для РВК.

Методология и методы исследования

В данном диссертационном исследовании, методологической основой работы являются как общенаучные и философские методы: системный подход, так и методы фундаментальных и прикладных наук: методы анализа, методы математической статистики, имитационного моделирования. Теоретической базой данной диссертационной работы являются исследования отечественных и зарубежных специалистов, занимающихся задачами повышения скорости работы распределённых вычислительных комплексов, за счёт развития методов и алгоритмов балансировки вычислительной нагрузки, применяемых в данных комплексах. Информация, используемая в диссертационном исследовании, получена в ходе изучения основных публикаций по теме исследования и данных, полученных в ходе

проведённого эксперимента по определению производительности разработанного алгоритма и выявлению степени влияния основных системных параметров РВК на его производительность.

Научная новизна диссертационной работы

Научную новизну работы составляют:

1. Кусочно-стационарная модель загрузки узлов, идентифицируемая на основании экспериментальных данных и обеспечивающая адекватную оценку вычислительной нагрузки на глубину прогноза.

2. Модифицированный метод балансировки вычислительной нагрузки узлов в распределённых вычислительных комплексах с гетерогенной структурой, построенных по принципу грид-систем, заключающийся в использовании прогнозных оценок внутренней загрузки узлов, что позволить повысить уровень адаптации комплекса к изменяющимся условиям.

3. Метод прогнозирования внутренней загрузки узлов РВК на основе метода квазилинеаризации, с использованием в качестве начальных условий результатов, полученных на основе известных решений других авторов, который учитывает динамику нагрузки и обладает лучшими показателями прогнозирования, что позволить уменьшить вероятность срывов обработки вычислительных задач узлами комплекса и, следовательно, понизить последующую флуктуацию нагрузки.

Теоретическая и практическая значимость работы

Теоретическая значимость работы определяется применением метода квазилинеаризации для реализации прогностического подхода к балансировке вычислительной нагрузки, позволяющей свести нелинейную

стационарную задачу к последовательности решений линейных дифференциальных уравнений.

Практическая ценность диссертации заключается в снижении вероятности срывов выполнения заданий узлами РВК, что с учетом большого количества узлов в таких комплексах может привести к существенному снижению времени выполнения задания в целом. Соответственно, основная практическая значимость работы определяется:

1. Разработанным адаптивным алгоритмом балансировки нагрузки в РВК, на основе данных прогноза будущих внутренних загрузок узлов.

2. Разработанной методикой расчёта таких параметров, как индекс безразмерной ошибки и коэффициент вариации, которые позволяют оценить точность прогнозирования предложенного метода и степень вычислительного дисбаланса в системе.

3. Исследованием влияния основных системных параметров РВК (организация файловой системы, протокол передачи данных) на производительность алгоритмов балансировки нагрузки и рекомендациями по ее повышению.

4. Разработанными программными средствами балансировки нагрузки для РВК, позволяющими адаптивно распределять вычислительную нагрузку.

Разработанная имитационная модель РВК, с возможностью фиксации основных параметров вычислительного комплекса использована в лабораторном практикуме по дисциплинам «Методы моделирования вычислительных систем» и «Высоконагруженные системы» на кафедре аппаратного, программного и математического обеспечения вычислительных систем Московского технологического университета. Получен соответствующий акт внедрения в учебный процесс.

Математическое и программное обеспечение балансировки нагрузки для РВК внедрено на российских предприятиях ООО "Нанотехгрупп" и ООО "Истар", при совершенствовании системы программной балансировки нагрузки для отказоустойчивых РВК, что позволило повысить производительность и надёжность распределённых вычислительных комплексов, используемых в интеграционных проектах компаний, что дало значительный экономический эффект для предприятий партнёров и заказчиков. Получены соответствующие акты внедрения.

Соответствие паспорту специальности

Диссертационная работа полностью соответствует паспорту специальности 05.13.11 «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей» и соответствует области исследования определяемой пунктом «модели, методы, алгоритмы и программная инфраструктура для организации глобально распределенной обработки данных».

Достоверность полученных научных результатов, выводов и рекомендаций

Достоверность полученных научных результатов, выводов и рекомендаций подтверждена: согласованностью полученных в ходе экспериментальных проверок результатов, полученных в работе, с уже существующими в отечественной и зарубежной литературе данными; положительными рецензиями, полученных при соответствующих публикациях в журналах, рекомендованных ВАК, для публикации основных результатов диссертаций на соискание ученой степени кандидата наук; разработкой действующего программного обеспечения, подтверждённой соответствующими актами внедрения и свидетельством о регистрации программы в ФИПС. Теоретические результаты диссертационного

исследования коррелируют с современными результатами зарубежных и отечественных исследований по данной тематике.

Апробация работы

Наиболее важные результаты и положения диссертационной работы докладывались и обсуждались на следующих семинарах и конференциях:

1. XV Международная научно-практическая конференция «Перспективы развития информационных технологий». Новосибирск. 8 ноября 2013г.

2. III Международная научно-практическая конференция «Современные тенденции развития науки и производства». 21 - 22 января 2016 г.

3. XXXIII Международная (заочная) научно-практическая конференция по всем наукам «Интеграционные процессы мировой науки в XXI веке». 27 февраля 2016 года. Казань.

Публикации по теме диссертации

По результатам, полученных в ходе проведения диссертационного исследования, были опубликованы 8 печатных работ. Из них 4 в ведущих рецензируемых журналах из списка ВАК. Также получено 1 авторское свидетельство о регистрации программного средства в Федеральной службе по интеллектуальной собственности - Роспатент.

Статьи, опубликованные в перечне научных рецензируемых изданий, рекомендуемых ВАК:

1. Алпатов А.Н. Оценка влияния системных параметров распределённого вычислительного комплекса на эффективность работы алгоритмов балансировки нагрузки. // Кибернетика и

программирование. — 2017. - № 1. - С.1-10. DOI: 10.7256/23064196.2017.1.22021.

2. А. Н. Алпатов, А. Р. Кадиев, А. В. Рощин Проблемы оптимизации нагрузки в распределенных вычислительных системах. Сборка в машиностроении, приборостроении. - 2016. - № 3. - С. 30-39

3. Алпатов А.Н., Михайлов Б.М., Рощин А.В. Методы балансировки и оценки нагрузки узлов распределенной вычислительной системы. Естественные и технические науки. 2016. № 6 (96). С. 165-170.

4. Алпатов А.Н., Михайлов Б.М., Рощин А.В. Проблемы прогнозирования нагрузки узлов в распределённых вычислительных системах. Естественные и технические науки. 2016. № 6 (96). С. 171-176.

Публикации в других журналах, сборниках статей и научных трудов:

1. Цветков В. Я., Алпатов А. Н. Проблемы распределенных систем // Перспективы науки и образования. 2014. №6 (12). С.31-36.

2. Алпатов А.Н. Определение перегрузки в распределённых компьютерных системах на основе статистических методов. Современные тенденции развития науки и производства: сборник материалов Международной научно-практической конференции (21 - 22 января 2016г). Том I - Кемерово: КузГТУ, 2016 - 257-262 с.

3. Алпатов А.Н. О методах прогнозирования сетевой и узловой нагрузки в распределённых компьютерных системах. Интеграция мировых научных процессов как основа общественного прогресса: материалы Международных научно-практических конференций Общества Науки и Творчества за январь 2016 года /- Казань, 2016, с.31-39.

4. Алпатов А.Н. Развитие распределенных технологий и систем // Перспективы науки и образования. 2015. №2 (14). С.60-66.

Авторские свидетельства, патенты, информационные карты и алгоритмы (см. Приложение 1):

1. Свидетельство о государственной регистрации программ для ЭВМ РОСПАТЕНТ № от 2016612772 от 9 марта 2016г.

Результаты, выносимые на публичную защиту диссертации

В процессе выполнения работы получены следующие научные результаты:

1. Произведён анализ существующих стратегий и методов балансировки вычислительной нагрузки в глобально распределённых вычислительных комплексах. Показано, что динамические методы балансировки нагрузки с элементами прогнозирования, обладают более высоким уровнем адаптивности, по сравнению с динамическими алгоритмами, такими как метод наименьшего количества соединений, алгоритм выбора наименее загруженного узла, алгоритм взвешенного наименьшего количества соединений.

2. Разработана кусочно-стационарная модель узловой нагрузки в РВК. Показано, что по характеру процессов, протекающих в узле РВК, динамическая модель нагрузки при достаточно большом количестве узлов сети и большом количестве процессов в каждом узле комплекса, загрузка узла может быть представлена нелинейной кусочно-стационарной моделью.

3. Разработан метод прогнозирования внутренней нагрузки, на основе метода квазилинеаризации, с начальным вектором состояния, полученным на основе известных методов, учитывающих фрактальные свойства сетевого трафика. Показано, что количество выхода реальных нагрузок из расчётного доверительного интервала составило порядка 6,4% для метода экспоненциального сглаживания

и 3,1% для метода прогнозирования на основе квазилинеаризации, что говорит о более высоком качестве прогнозирования разработанного метода.

4. Разработан алгоритм балансировки внешней загрузки узлов РВК, реализующий прогностическую стратегию балансировки вычислительной нагрузки, отличительной особенностью которого является использование метода квазилинеаризации для построения прогноза внутренней вычислительной нагрузки гетерогенных узлов РВК, что позволило уменьшить дисбаланс вычислительной нагрузки в РВК.

5. Произведено компьютерное моделирование работы РВК с возможностью фиксации основных параметров вычислительного комплекса, которое показало, что разработанный алгоритм лучше реагирует на возникающую нагрузку и обладает лучшей производительностью (^^=0,16), по сравнению с алгоритмом на основе метода экспоненциального сжатия (^^=0,28). Экспериментально показано, что особое влияние на производительность алгоритмов оказывают такие системные параметры РВК, как тип файловой системы и тип сетевого протокола.

6. Разработано, отлажено и внедрено программное обеспечение комплекса для балансировки нагрузки в РВК, на основе метода прогнозирования узловой вычислительной нагрузки. На разработанное программное обеспечение получено свидетельство о государственной регистрации программы для ЭВМ № 2016612772 от 9 марта 2016г в Федеральной службе по интеллектуальной собственности - Роспатент.

Структура работы

Работа состоит из введения, 4 глав, заключения, списка литературы (115 наименований) и 3 приложений. Объем текста диссертации составляет 122 страницы, который содержит 2 таблицы и 24 рисунка.

Глава 1. ИССЛЕДОВАНИЕ ЗАДАЧИ БАЛАНСИРОВКИ ВЫЧИСЛИТЕЛЬНОЙ НАГРУЗКИ В ГЛОБАЛЬНО РАСПРЕДЕЛЁННЫХ ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСАХ

В данной главе диссертационного исследования подробно рассматривается вопрос балансировки вычислительной нагрузки в распределённых вычислительных комплексах (РВК) общего назначения.

Проанализированы наиболее распространённые и перспективные подходы, методы и алгоритмы, позволяющие оперативно балансировать возникающей в ходе работы РВК нагрузкой, выделены конкретные области их использования. Также произведён анализ отечественных и зарубежных публикаций, посвященных данной тематике, в результате которого сформированы основные задачи, возникающие в ходе использования и реализации программно-аппаратных балансировщиков нагрузки. На основе анализа проблематики предметной области сформулированы пути улучшения производительности работы методов балансировки нагрузки в глобально распределённых вычислительных комплексах, что составило основную научно-практическую значимость диссертационного исследования. Результаты данной главы опубликованы в работах [38,105,111].

1.1. Исследование особенностей и задач реализации современных распределённых комплексов

Как было уже сказано выше, необходимость в повышении качества и скорости обработки однородных данных возникает в современном мире повсеместно. В связи с этим, РВК становятся просто необходимыми во многих областях науки. Ранее было показано [38], что «одной из основных задач любой распределенной системы является анализ свойств полученных данных, которые, в силу ряда причин, не могут быть оценены на одном узле». Для решения данной задачи, с целью уменьшения времени решения задачи, необходимо на первом шаге работы системы осуществить

распределение порций данных на узлы РВК, а в дальнейшем, после обработки задания, передать обработанные результаты и объединить их в общее глобальное представление. Это задача довольно сложна из-за необходимости учета динамики изменения количества и качества вычислительных узлов и распределенных заданий, находящихся в работе. Такой учёт приводит к существенной вариативности параметров локальных узлов, которые, в свою очередь, определяют вариативность свойств всей распределённой задачи. Введение адаптации в РВК позволяет существенно ускорить скорость обработки данных и повысить эффективность комплекса в целом. Далее определим основные понятия распределённых вычислительных комплексов и проанализируем основные задачи, возникающие в ходе их проектирования и эксплуатации.

1.1.1. Распределённые вычислительные комплексы и их

классификация

В зарубежной и отечественной литературе существует несколько подходов к определению понятия «распределённый вычислительный комплекс». Как верно отмечено в [107], отличительной особенностью вычислительной техники является отсутствие единого подхода к определению терминов «вычислительный комплекс», «вычислительная сеть», «вычислительная система». Согласно определению, данному в [108], «распределенная вычислительная система представляет собой программно-аппаратный комплекс, ориентированный на решение определенных задач». В [109] показано, что распределенные информационно-вычислительные комплексы имеют характерные черты сложных систем и к ним применимы основные положения системного анализа. Соответственно, далее РВК рассмотрим в данном направлении.

«Одно из наиболее полных определений термину «распределённая система», которое наиболее часто употребляется в литературных источниках, предложил A.S. Tanenbaum» [38]:

«Распределенная система - это набор независимых компьютеров, который воспринимается его пользователям как единственная последовательная система [15]».

Распределенными комплексами также называются «программно-аппаратные системы, в которых исполнение операций (действий, вычислений), необходимых для обеспечения целевой функциональности системы, распределено (физически или логически) между разными исполнителями [16]».

Список литературы диссертационного исследования кандидат наук Алпатов, Алексей Николаевич, 2017 год

СПИСОК ЛИТЕРАТУРЫ

1. План фундаментальных исследований Российской академии наук на период до 2025 года [Электронный ресурс]: [офиц. сайт] // Российская академия наук - Режим доступа: http://www.ras.ru/scientificactivity/plan2025 .aspx, свободный. - Загл. с экрана (дата обращения: 17.03.2015).

2. Хорошевский В.Г. Архитектура вычислительных систем: Учеб. пособие. - Изд-во МГТУ им. НЭ Баумана, 2008.

3. Бухановский А.В., Иванов С.В. Параллельная обработка данных в информационно-управляющих системах. Труды Конференции УИТ'03, С-Петербург, 2-4 апреля 2003, с. 64-68.

4. Особенности оптимизации распределения вычислительной нагрузки в задачах параллельной обработки информации и имитационного моделирования [Электронный ресурс] // GPSS.RU - Режим доступа: http://www.gpss.ru/immod'03/013.html (дата обращения: 24.03.2015)

5. Бершадский Александр Моисеевич, Курилов Леонид Сергеевич, Финогеев Алексей Германович Исследование стратегий балансировки нагрузки в системах распределенной обработки данных // Известия ВУЗов. Поволжский регион. Технические науки. 2009. №4

6. Хританков А. С. Модели и алгоритмы распределения нагрузки //Информационные технологии и вычислительные системы. - 2009. -№. 2. - С. 65-80.

7. Д.А. Грушин, Н.Н Кузюрин. Балансировка нагрузки в системе Unihub на основе предсказания поведения пользователей. Труды Института системного программирования РАН Том 27. Выпуск 5. 2015 г. Стр. 2334.

8. Миков А. И., Замятина Е. Б., Козлов А. А. Оптимизация параллельных вычислений с применением мультиагентной балансировки //Труды международной научной конференции «Параллельные Вычислительные Технологии». Нижний Новгород-Челябинск, Изд. ЮУрГУ. - 2009. - С. 599-604.

9. Миков А. И., Замятина Е. Б. Балансировка распределенной нагрузки в системе моделирования Triad //Научный сервис в сети Интернет: многоядерный компьютерный мир. - 2007. - Т. 15. - С. 104-108.

10.Grosu D., Chronopoulos A. T., Leung M. Y. Load balancing in distributed systems: An approach using cooperative games //Parallel and Distributed Processing Symposium., Proceedings International, IPDPS 2002, Abstracts and CD-ROM. - IEEE, 2001. - С. 10 pp.

11.Grosu D., Chronopoulos A. T. A truthful mechanism for fair load balancing in distributed systems //Network Computing and Applications, 2003. NCA 2003. Second IEEE International Symposium on. - IEEE, 2003. - С. 289296.

12.Subrata R., Zomaya A. Y. Game-theoretic approach for load balancing in computational grids //IEEE Transactions on Parallel and Distributed Systems. - 2008. - Т. 19. - №. 1. - С. 66-76.

13.Lee Y. C., Zomaya A. Y. Energy efficient utilization of resources in cloud computing systems //The Journal of Supercomputing. - 2012. - Т. 60. - №. 2. - С. 268-280.

14.Dinda P. A., O'Hallaron D. R. Host load prediction using linear models //Cluster Computing. - 2000. - Т. 3. - №. 4. - С. 265-280.

15. Introduction to Distributed Systems. [Электронный ресурс]. Режим доступа: www. cs.hel sinki. fi/u/alanko/hj /K0 6/kalvokopiot/ch 1_p6.pdf свободный. - Загл. с экрана (дата обращения: 17.06.2014).

16.И.Б. Бурдонов, А.С. Косачев, В.Н. Пономаренко, В.З. Шнитман. Обзор подходов к верификации распределенных систем. М.: Российская Академия Наук. Институт системного программирования (ИСП РАН), 2003. 51 с.

17. Соколов Н. А. Выбор технологии коммутации для сетей следующего поколения //Мобильные системы. - 2004. - №. 7. - С. 30.

18.Вовченко А. Е., Калиниченко Л. А., Ступников С.А. Семантический грид, основанный на концепции предметных посредников. Распределенные вычисления и грид-технологии в науке и образовании: Труды 4-й Международной конференции - 2010. - С. 309-318.

19. Apel S., Böhm K. Self-Organization in Overlay Networks //CAiSE Workshops (2). - 2005. - С. 139-153.

20. Sitaraman R. K. et al. Overlay networks: An akamai perspective //Advanced Content Delivery, Streaming, and Cloud Services. - 2014. - С. 305-328.

21.G. Fox. Peer-to-peer networks. IEEE Computing in Science & Engineering, 3(3):75-77, 2001.

22.Tor Project: Anonymity Online [Электронный ресурс]. Режим доступа: https://www.torproject.org свободный. - Загл. с экрана (дата обращения: 21.06.2014).

23. BitTorrent [Электронный ресурс]. Режим доступа: www.bittorrent.com свободный. - Загл. с экрана (дата обращения: 21.06.2014).

24. Freenet - Overview [Электронный ресурс]. Режим доступа: https://freenetproject.org свободный. - Загл. с экрана (дата обращения: 21.06.2014).

25. Fasttrack peer-to-peer technology company. [Электронный ресурс]. Режим доступа: http://www. fasttrack.nu свободный. - Загл. с экрана (дата обращения: 21.06.2014).

26. Kazaa media desktop. [Электронный ресурс]. Режим доступа: http://www.kazaa.com свободный. - Загл. с экрана (дата обращения: 21.06.2014).

27. Росляков А.В., Лысиков А.А., Халиуллина Ю.Т. Задачи планирования и оптимизации наложенных сервисных сетей // T-Comm. 2015. №6.

28. Росляков А.В. Первые рекомендации МСЭ-Т о будущих сетях // Вестник связи. - 2014. - N910. - С. 29-34.

29. I. Foster and C. Kesselman. The Grid: Blueprint for a New Computing Infrastructure. Morgan Kaufmann, San Francisco, CA, 1998.

30. Research project developing a software infrastructure for distributed computing on a world-wide scale [Электронный ресурс]. Режим доступа: https://www. globus.org/ свободный. - Загл. с экрана (дата обращения: 5.12.2014).

31. Лоренц А.Е., Тимофеев А.В. Инструментарий globus toolkit - аспекты применения grid-систем. XI ВСЕРОССИЙСКАЯ НАУЧНО-

МЕТОДИЧЕСКАЯ КОНФЕРЕНЦИЯ "ТЕЛЕМАТИКА'2004". - Санкт-Петербург : СПГУИТМО, 2004 г.

32. gLite - Lightweight Middleware for Grid Computing [Электронный ресурс]. Режим доступа: http://grid-deployment.web.cern.ch/grid-deployment/glite-web/ свободный. - Загл. с экрана (дата обращения: 6.12.2014).

33. Legion: A Worldwide Virtual Computer [Электронный ресурс]. Режим доступа: http://legion.virginia.edu/ свободный. - Загл. с экрана (дата обращения: 6.12.2014).

34. UNICORE | Distributed computing and data resource [Электронный ресурс]. Режим доступа: https://www.unicore.eu/ свободный. - Загл. с экрана (дата обращения: 6.12.2014).

35. Lewis M., Grimshaw A. The core Legion object model //High Performance Distributed Computing, 1996., Proceedings of 5th IEEE International Symposium on. - IEEE, 1996. - С. 551-561.

36. ЦПВТ ФГОБУ ВПО "СибГУТИ" [Электронный ресурс]. Режим доступа: http://cpct.sibsutis.ru/index.php/Main/Resources свободный. -Загл. с экрана (дата обращения: 10.12.2014).

37. Douglas Thain, Todd Tannenbaum, and Miron Livny, "Condor and the Grid", in Fran Berman, Anthony J.G. Hey, Geoffrey Fox, editors, Grid Computing: Making The Global Infrastructure a Reality, John Wiley, 2003. ISBN: 0-470-85319-0

38. Цветков Виктор Яковлевич, Алпатов Алексей Николаевич Проблемы распределенных систем // ПНиО. 2014. №6 (12).

39. Балансировка нагрузки в распределенных системах [Электронный ресурс]. Режим доступа: http://www.intuit.ru/studies/courses/1146/238/lecture/6153?page=1 свободный. - Загл. с экрана (дата обращения: 14.01.2015).

40.Y. Azar, A. Epstein, and L. Epstein. Load balancing of temporary tasks in the lp norm. Theoretical computer science, 361(2):314-328, 2006.

41. Бабич А. В., Берсенев Г. Б. Алгоритмы динамической балансировки нагрузки в распределенной системе активного мониторинга //Известия ТулГУ. Технические науки. - 2011. - №. 3. - С. 251-261.

42. Daryapurkar A., Deshmukh M. V. M. Efficient Load Balancing Algorithm in Cloud Environment //International Journal Of Computer Science And Applications. - 2013. - Т. 6. - №. 2.

43. Бершадский А. М., Курилов Л. С., Финогеев А. Г. Исследование стратегий балансировки нагрузки в системах распределенной обработки данных // Известия ВУЗов. Поволжский регион. Технические науки. - 2009. №4.

44. Penmatsa S., Chronopoulos A. T. Dynamic multi-user load balancing in distributed systems //Parallel and Distributed Processing Symposium, 2007. IPDPS 2007. IEEE International. - IEEE, 2007. - С. 1-10.

45. Thomas L. Casavant and Jon. G. Kuhl. A taxonomy of scheduling in generalpurpose distributed computing systems. In IEEE Transactions on Software Engineering, volume 14:2, pages 141 - 154, February 1988.

46. Wu, Jie, "Distributed System Design", Department of Computer Science and Engineering, Florida Atlantic University, CRC Press, Cover Pages, 1999.

47. Pournaras E., Exarchakos G., Antonopoulos N. Load-driven neighbourhood reconfiguration of Gnutella overlay //Computer Communications. - 2008. -Т. 31. - №. 13. - С. 3030-3039.

48. Wodczak M. Autonomic Computing and Networking //Autonomic Computing Enabled Cooperative Networked Design. - Springer New York, 2014. - С. 3-16.

49. Игнатенко Е. Г., Бессараб В. И., Турупалов В. В. Алгоритм адаптивной балансировки нагрузки в кластерных системах //Моделювання та шформацшш технологи: Зб. наук. пр.—Кшв. - 2010. - №. 58. - С. 142150.

50. Hu T. C. Parallel sequencing and assembly line problems //Operations research. - 1961. - Т. 9. - №. 6. - С. 841-848.

51. Pinedo M. L. Scheduling: theory, algorithms, and systems. - Springer Science & Business Media, 2012.

52. Кузюрин Н. Н., Грушин Д. А., Фомин А. Проблемы двумерной упаковки и задачи оптимизации в распределенных вычислительных системах // Труды ИСП РАН . 2014. №1

53. Валеева А. Ф. Конструктивные методы решения задач ортогональной упаковки и раскроя: дис. - Уфа : Автореферат диссертации на соискание ученой степени доктора технических наук, 2006.

54. Ntene N. An algorithmic approach to the 2D oriented strip packing problem: дис. - Department of Logistics, University of Stellenbosch, 2007.

55. Ванидовский В. А., Лебедев О. Б. Двумерная упаковка в полуограниченную полосу на основе моделирования адаптивного поведения муравьиной колонии //Известия Южного федерального университета. Технические науки. - 2014. - №. 7 (156).

56. Grosu D., Chronopoulos A. T., Leung M. Y. Load balancing in distributed systems: An approach using cooperative games //Parallel and Distributed Processing Symposium., Proceedings International, IPDPS 2002, Abstracts and CD-ROM. - IEEE, 2001. - С. 10 pp.

57. Mandelbrot B. Self-similar error clusters in communication systems and the concept of conditional stationarity //Communication Technology, IEEE Transactions on. - 1965. - Т. 13. - №. 1. - С. 71-90.

58. Dinda P. A. The statistical properties of host load //Scientific Programming.

- 1999. - Т. 7. - №. 3-4. - С. 211-229.

59. Motwani R., Raghavan P. Randomized algorithms //ACM Computing Surveys (CSUR). - 1996. - Т. 28. - №. 1. - С. 33-37.

60. Ruemmler C., Wilkes J. An introduction to disk drive modeling //Computer.

- 1994. - Т. 27. - №. 3. - С. 17-28.

61. Kleinrock L. Analysis of A time-shared processor //Naval research logistics quarterly. - 1964. - Т. 11. - №. 1. - С. 59-73.

62. Yaashuwanth C., Ramesh R. Intelligent time slice for round robin in real time operating system //Journal of IJRRAS. - 2010. - Т. 2. - №. 2. - С. 126131.

63. Weighted Least-Connection Scheduling [Электронный ресурс]. Режим доступа: http://kb.linuxvirtualserver.org/wiki/Weighted Least-Connection Scheduling свободный. - Загл. с экрана (дата обращения: 01.02.2014).

64.Shengsheng Y. et al. Least-Connection Algorithm based on variable weight for multimedia transmission // Huazhong University of Science and TechnologyChina.www.wseas.us/elibrary/conferences/skiathos2002/papers/ 447-144.pdf. Publicerad. - 2005. - Т. 6.

65. Stordahl, K. Methods for traffic matrix forecasting. In: Proc. 12th International Teletraffic Congress, Torino, Italy, June 1-8, 1988.

66. Багманов Валерий Хусаинович, Комиссаров Аркадий Михайлович, Султанов Альберт Ханович Прогнозирование телетрафика на основе фрактальных фильтров // Вестник УГАТУ. 2007. №6.

67. Иванов А. В. Разработка и исследование алгоритмов прогнозирования и управления очередями в компьютерных сетях [Текст]: Автореф. дис. канд. техн. наук: 05.13.01 / Санкт-Петербургский государственный технический университет. - СПб.: СпбГТУ, 2001.

68. История возникновения и становления дисциплины «Теория телетрафика». [Электронный ресурс] - Режим доступа-http://g140807.narod.ru/Lec_TT_1.doc Дата обращения: 25.03.2016.

69. Jensen T. Network Planning-Introductory Issues //Telektronikk. - 2003. -Т. 99. - №. 3/4. - С. 9-46.

70. Liu K., Xu G. C., Wang T. M. Research on forecasting algorithm based on exponential smoothing method in cloud computing load balancing //Design, Manufacturing and Mechatronics: Proceedings of the 2015 International Conference on Design, Manufacturing and Mechatronics (ICDMM2015). -2016. - С. 589-598.

71. Тарек Ю. Б. Б., Жолткевич Г. Н., Соляник Ю. В. Многокритериальное обучение предиктора в задаче прогнозирования телетрафика //Системи обробки тформацп. - 2010. - №. 2. - С. 163-165.

72. Алпатов А.Н. Кадиев А.Р. Рощин А.В. Проблемы оптимизации нагрузки в распределенных вычислительных системах. М.: Сборка в машиностроении, приборостроении. 2016. № 3. С. 36-39.

73. Беллман Р., Калаба Р. Квазилинеаризация и нелинейные краевые задачи. - М.: Мир, 1968, 184 с.

74. Сейдж Э.П., Мелса Дж.Л. Идентификация систем управления. - М.: Наука, 1974.

75. Спиди К., Браун Р., Гудвин Дж. Теория управления. - М.: Мир, 1973.

76. Никульчев Е. В. Геометрический подход к моделированию нелинейных систем по экспериментальным данным: монография.— М.: МГУП, 2007.— 162 с.

77. Benmohammed-Mahieddine K. An evaluation of load balancing algorithms for distributed systems : дис. - The University of Leeds, 1991.

78. Leland W., Ott T. J. Load-balancing heuristics and process behavior. -ACM, 1986. - Т. 14. - №. 1. - С. 54-69.

79. Zhang F. et al. Performance Improvement of Distributed Systems by Autotuning of the Configuration Parameters //Tsinghua Science & Technology. - 2011. - Т. 16. - №. 4. - С. 440-448.

80. Коротин М. И., Турлачев С. А. Оценка живучести распределенных вычислительно-управляющих систем с использованием имитационного моделирования // ИММОД-2003. Секция А. Теория имитационного моделирования. ТОМ I. - С. 111.

81. P. Krueger and M. Livny, "A Comparison of Preemptive and Non-Preemptive Load Distributing," IEEE Proc. 8th International Conference on Distributed Computing Systems, pp. 123-130 (June 1988).

82. Бабина О. И. и др. Сравнительный анализ имитационных и аналитических моделей //Сборник докладов Четвертой всероссийской научнопрактической конференции «Имитационное моделирование. Теория и практика. ИММ0Д-2009».- 2009.

83. Алиев Т. И. Исследование сложных систем на основе комбинированного подхода //Сборник докладов всероссийской научнопрактической конференции «Имитационное моделирование. Теория и практика. ИММ0Д-2003».-Т0М I. - С. 50.

84. Feitelson D. G. Workload modeling for computer systems performance evaluation. - Cambridge University Press, 2015.

85. M. P. McLaughlin, ""...the very game...": A tutorial on mathematical modeling". [Электронный ресурс]. Режим доступа-www.causascientia.org/mathstat/Tutorial.pdf, Дата обращения: 20.12.2015.

86. Липаев В. В. Основные понятия, факторы и стандарты, определяющие качество крупномасштабных программных средств: историческая хроника. - Directmedia, 2015.

87. Карпов Д. В. Гибкая методология разработки программного обеспечения //Вестник Нижегородского университета им. НИ Лобачевского. - 2011. - №. 3-2.

88. Extreme Programming: A gentle introduction [Электронный ресурс]. Режим доступа- http://www.extremeprogramming.org/. Дата обращения: 21.12.2015

89. Проекты гибкой разработки (agile) — К.Вигерс и Дж.Битти. [Электронный ресурс]. Режим доступа- http://iiba.ru/requirements-analysis/agile-software-development/ Дата обращения: 21.12.2015

90. UML and XP Is Design Dead? [Электронный ресурс]. Режим доступа-http://martinfowler.com/articles/designDead.html#UmlAndXp Дата обращения: 05.01.2016

91. D. S. Frankel, Model Driven Architecture: Applying MDA to Enterprise Computing, Wiley Press, Hoboken, NJ (2003)

92. Software Design Tools for Agile Teams, with UML, BPMN and More [Электронный ресурс]. Режим доступа- https://www.visual-paradigm.com/. Дата обращения: 05.01.2016

93. Oracle Technology Network for Java Developers [Электронный ресурс]. Режим доступа- http://www.oracle.com/technetwork/java/index.html Дата обращения: 05.01.2016

94. Библиотека профессионала. Java 2. Том 1. Основы.: Пер. с англ. — М.: Издательский дом "Вильяме", 2003. — 848 с.

95. Eclipse IDE [Электронный ресурс]. Режим доступа- https://eclipse.org/ Дата обращения: 15.01.2016

96. GT 6.0 GridFTP: User's Guide [Электронный ресурс]. Режим доступа-http://toolkit.globus.org/toolkit/docs/latest-stable/gridftp/user/#gridftp-user-advanced-load-balancing Дата обращения: 04.02.2016

97. Gupta A. Java EE 7 EssentialsO'Reilly Media, 2013.— 362 p.—ISBN: 9781449370176

98. Создание pluggable решений при помощи Java [Электронный ресурс]. Режим доступа- http: //voituk. kiev.ua/2008/01/14/j ava-plugins/#more-368 Дата обращения: 10.02.2016

99. The Dynamic Module System for Java [Электронный ресурс]. Режим доступа- https: //www. osgi.org/ Дата обращения: 10.02.2016

100. db4o (database for objects) [Электронный ресурс]. Режим доступа-https: //sourceforge. net/proi ects/db4o/ Дата обращения: 11.02.2016

101. Доверительные интервалы [Электронный ресурс]. Режим доступа- http://statistica.ru/theory/doveritelnye-intervaly/ Дата обращения: 11.05.2016

102. Доверительный интервал для математического ожидания [Электронный ресурс]. Режим доступа-http://statanaliz.info/metody/opisanie-dannyx/122-doveritelnyi-interval-matematicheskogo-ozhidaniya Дата обращения: 11.05.2016

103. t- критерий Стьюдента - метод оценки значимости различий средних величин [Электронный ресурс]. Режим доступа-http://medstatistic.ru/theory/t cryteria.html Дата обращения: 11.05.2016

104. Зельдин М. А., Баринов Н. П., Аббасов М. Э. Доверительный интервал для среднего по выборке из конечной генеральной совокупности, Регистр оценщиков, № 11, 2012 //Бюллетень RWAY. -2012. - №. 211. - С. 70-75.

105. Алпатов Алексей Николаевич Развитие распределенных технологий и систем // ПНиО. 2015. №2 (14).

106. Алпатов А.Н., Михайлов Б.М., Рощин А.В. Проблемы прогнозирования нагрузки узлов в распределённых вычислительных системах. Естественные и технические науки. 2016. № 6 (96). -С. 35-38.

107. Алиев Т.И. Сети ЭВМ и телекоммуникации. - СПб: СПбГУ ИТМО, 2011. - с.400

108. Радченко, Г.И. Распределенные вычислительные системы / Г.И. Радченко. -Челябинск:: Фотохудожник, 2012. - 184 с.

109. Бондаренко Д. Л. Повышение структурной живучести информационно-вычислительных комплексов путем оптимального пространственного разнесения элементов / Д. Л. Бондаренко // Математическая морфология, т. 10, вып. 4. - М., 2011. - 6 с.- № 04201100004/0054.

110. Алпатов А.Н., Михайлов Б.М., Рощин А.В. Методы балансировки и оценки нагрузки узлов распределенной вычислительной системы. Естественные и технические науки. 2016. № 6 (96). С. 165-170.

111. А. Н. Алпатов, А. Р. Кадиев, А. В. Рощин Проблемы оптимизации нагрузки в распределенных вычислительных системах. Сборка в машиностроении, приборостроении. - 2016. - № 3. - С. 30-39.

112. Никульчев Е. В., Паяин С. В., Плужник Е. В. Динамическое управление трафиком программно-конфигурируемых сетей в облачной инфраструктуре // Вестник РГРТУ. 2013. № 3(45). С. 54-57.

113. Баканов В. М. Использование системы добровольных распределенных вычислений для оптимизации ярусно-параллельной формы информационных графов алгоритмов //XXI МЕЖДУНАРОДНАЯ. - 2015. - С. 129.

114. Pluzhnik E., Nikulchev E., Payain S. Optimal control of applications for hybrid cloud services // Proceedings 2014 IEEE Tenth World Congress on Services (SERVICES 2014) IEEE, 2014. P. 458-461.

115. Алпатов А.Н. Оценка влияния системных параметров распределённого вычислительного комплекса на эффективность работы алгоритмов балансировки нагрузки. // Кибернетика и программирование. — 2017. - № 1. - С.1-10. DOI: 10.7256/23064196.2017.1.22021.