Модели и методы многопутевого резервированного взаимодействия программ в распределенных компьютерных системах тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Паршутина, Светлана Александровна

• Паршутина, Светлана Александровна
• кандидат наук
• 2018

Оглавление диссертации кандидат наук Паршутина, Светлана Александровна

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. ВЗАИМОДЕЙСТВИЕ ПРОГРАММ В РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ СИСТЕМАХ

1.1 Основные принципы взаимодействия программ и программных систем

1.1.1 Основные понятия и термины

1.1.2 Взаимодействие на основе модели «клиент-сервер»

1.1.3 Взаимодействие на основе групповой рассылки сообщений

1.1.4 Промежуточное программное обеспечение

1.2 Обеспечение надежности взаимодействия программ в распределенных системах

1.2.1 Надежность взаимодействия программ

1.2.2 Взаимодействие при резервировании процессов и репликации данных

1.2.3 Перераспределение процессов и ресурсов в распределенных системах

1.2.4 Управление потоками данных в распределенных системах

1.3 Повышение надежности взаимодействия программ на основе многопутевых передач

1.4 Концепция резервированного выполнения запросов в системах массового обслуживания

1.5 Задачи исследования и организации взаимодействия программ в распределенных системах

1.6 Выводы

ГЛАВА 2. МОДЕЛИ ВЗАИМОДЕЙСТВИЯ ПРОГРАММ И ПРОГРАММНЫХ СИСТЕМ ПРИ МНОГОПУТЕВЫХ РЕЗЕРВИРОВАННЫХ ПЕРЕДАЧАХ

2.1 Организация многопутевого резервированного взаимодействия в распределенных системах

2.1.1 Взаимодействие клиент-сервер на основе многопутевых резервированных передач

2.1.2 Резервированное распределение через сеть критичных к задержкам запросов

2.1.3 Выбор критериев эффективности резервированных передач

2.1.4 Эффективность резервированного распределения запросов через сеть

2.2 Модели многопутевого резервированного распределения запросов через сеть

2.2.1 Модель последовательного поиска сервера-приемника запроса

2.2.2 Модель распределения запросов при параллельном опросе серверов

2.2.3 Оценка среднего времени пребывания запросов в системе

2.3 Организация имитационных экспериментов

2.4 Модели многопутевых резервированных передач в AnyLogic 7

2.4.1 Базовая модель многопутевых резервированных передач

2.4.2 Модель с ограничением времени пребывания в системе

2.4.3 Модель с учетом ошибок передач и неготовности серверов к обслуживанию запросов

2.4.4 Модель с ограничением длин очередей

2.4.5 Модель с многовариантным распределением запросов и возможностью повторных передач

2.4.6 Модель с учетом приоритетности обслуживания запросов

2.4.7 Модель с отказами узлов системы

2.5 Выводы

ГЛАВА 3. РАЗРАБОТКА ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ ПОДДЕРЖКИ МОДЕЛИРОВАНИЯ МНОГОПУТЕВЫХ РЕЗЕРВИРОВАННЫХ ПЕРЕДАЧ В РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ СИСТЕМАХ

3.1 Организация проведения имитационных экспериментов

3.1.1 Автоматизированный запуск имитационных экспериментов

3.1.2 Разработка базы данных результатов экспериментов

3.2 Средства обработки и визуального представления результатов экспериментов

3.2.1 Обработка результатов имитационного моделирования

3.2.2 Реализация программного средства на языке программирования Java

3.3 Поиск области эффективности и оптимальной кратности резервированных передач

3.4 Выводы

ГЛАВА 4. МЕТОДЫ ВЗАИМОДЕЙСТВИЯ ПРОГРАММ В РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ СИСТЕМАХ

4.1 Метод организации имитационного моделирования взаимодействия программ

4.1.1 Создание настраиваемой имитационной модели

4.1.2 Организация проведения имитационных экспериментов

4.1.3 Выбор оптимальной кратности резервирования передач

4.2 Реализация предложенного метода организации моделирования

4.2.1 Формирование вариантов многопутевых резервированных передач

4.2.2 Разработка имитационной модели

4.2.3 Анализ результатов моделирования

4.3 Методы взаимодействия программ с выбором кратности резервирования запросов

(пакетов)

4.4 Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А

Введение диссертации (часть автореферата) на тему «Модели и методы многопутевого резервированного взаимодействия программ в распределенных компьютерных системах»

ВВЕДЕНИЕ

Актуальность темы исследования. Эффективность решения функциональных задач в системах распределенной обработки данных во многом определяется организацией взаимодействия программ и программных систем. Повышение эффективности и надежности такого взаимодействия является ключевой проблемой в распределенных компьютерных системах. Для решения этой проблемы необходимо выполнение высоких требований к надежности не только структуры распределенной системы, но и процесса ее функционирования при влиянии неблагоприятных факторов: сбоев и отказов аппаратного и программного обеспечения, ошибок передач, нехватки ресурсов, внешних случайных или умышленных деструктивных воздействий.

Надежность функционирования системы может быть выражена через вероятность безошибочного и своевременного выполнения операций (запросов, транзакций) при не превышении максимальной задержки (таймаута). В данной работе функциональной надежностью обозначается способность решать предусмотренные функциональные задачи с приемлемым уровнем безошибочности и своевременности.

Надежность взаимодействия программ и программных систем обеспечивается путем:

- резервированного выполнения вычислительных процессов [45, 57, 67, 68, 107];

- динамического перераспределения (миграции) процессов между узлами системы с целью нивелирования последствий их отказов и перегруженности [1, 45, 65, 87, 89, 96, 103, 106];

- надежной передачи данных через сеть [36, 42, 44, 54, 78, 86].

Эффективность и надежность передачи данных в распределенных системах достигается при резервировании информационных и вычислительных ресурсов, применении методов предотвращения и устранения перегрузок в сети, управления потоками данных в соответствии с заданными уровнями качества обслуживания, обнаружения и исправления ошибок передач, использовании протоколов надежной передачи данных (reliable data transfer) [81].

Известны решения по повышению эффективности распределенных систем на основе многопутевой передачи данных с использованием механизма многопутевой маршрутизации. В системах с многопутевой маршрутизацией может осуществляться [12, 13, 23, 28-31, 53, 56, 71, 72]:

- перенаправление потоков данных по альтернативным маршрутам в случае отказа основного во время решения функциональных задач, без потери времени на поиск нового пути;

- распределение пакетов одного потока (без их резервирования) по разным маршрутам;

- балансировка потоков как метода предотвращения перегрузок в сети.

При многопутевой маршрутизации не предусматривается резервирование (копирование) пакетов и одновременная отправка их копий по разным путям.

Известна концепция резервированного обслуживания запросов, согласно которой копии запросов направляются на обслуживание в разные узлы. Так, существуют исследования многоканальных систем массового обслуживания, в которых рассматривается параллельное выполнение копий запросов в ситуации их поступления в систему в момент наличия свободных приборов [22, 77, 83]. Применение такой дисциплины обслуживания дает выигрыш по времени только при отсутствии очередей в узлах, в противном случае резервирование обслуживания может оказать негативное влияние на время пребывания остальных запросов, поступивших в систему позднее.

Известна концепция резервированного обслуживания запросов в группе одно- и многоуровневых кластерных систем, в которых кратность резервирования запросов (число их копий, направляемых в очереди разных узлов) задается в зависимости от критичности запросов к времени выполнения [3-7, 58]. Исследования показали, что такой подход позволяет повысить вероятность своевременного обслуживания запросов не только в условиях сбоев, ошибок и отказов в системе, но и в отсутствие этих факторов, особенно в ситуации жестких требований к времени выполнения, как в системах реального времени.

Представляется перспективным развитие данного подхода применительно к системам с многопутевой маршрутизацией (передачей данных) при неэкспоненциальном распределении размеров запросов (пакетов) и неидентичности маршрутов (путей).

В целях повышения эффективности взаимодействия программ в системах распределенной обработки данных представляет интерес исследование интеграции концепций: многопутевой маршрутизации и резервированного обслуживания запросов. Резервированные пакеты пересылаются через сеть по многим маршрутам: по одному адресу при резервированной передаче данных или по многим адресам при резервированном распределении запросов. В первом случае требуется доставка хотя бы одного пакета по указанному адресу; во втором -заданного числа копий пакетов в подмножество указанных адресов.

Объект исследования - распределенные компьютерные системы.

Предмет исследования - модели и методы взаимодействия программ и программных систем с передачей данных и распределением запросов через сеть.

Цель работы - повышение надежности и эффективности взаимодействия программ и программных систем на основе многопутевых резервированных распределения запросов и передачи данных.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Выбрать критерии эффективности взаимодействия программ в распределенных компьютерных системах с учетом ошибок передач, возможной недоступности коммуникационных и адресуемых (компьютерных, серверных) узлов при требовании не превышения максимального времени пребывания в системе (времени ожидания, таймаута).

2. Разработать аналитические и имитационные модели взаимодействия программ при многопутевых резервированных передаче данных и распределении запросов по одному адресу и по многим адресам.

3. Разработать методы и алгоритмы многопутевого резервированного взаимодействия программ, включая резервированные передачу данных и распределение запросов через сеть.

4. Разработать метод и инструментальные средства поддержки моделирования многопутевых резервированных передач, формирования и выбора оптимальных решений по их организации.

Научная новизна исследования состоит в том, что в целях развития и консолидации концепций многопутевой маршрутизации и резервированного обслуживания запросов, критичных к времени выполнения, повышения эффективности и надежности взаимодействия программ через сеть в системах распределенной обработки данных предложены:

1. Варианты организации эффективного и надежного взаимодействия программ и программных систем, отличающиеся использованием многопутевых резервированных передачи данных и распределения запросов через сеть при задании кратности резервирования запросов (пакетов) в зависимости от критичности к времени их выполнения.

2. Имитационные модели взаимодействия программ в распределенных системах с многопутевыми резервированными передачей данных и распределением запросов через сеть, отличающиеся тем, что учитывают: возможные ошибки передач и обслуживания, отказы и временную недоступность промежуточных и оконечных узлов, ограничения емкости их входных буферов, размеров пакетов, времени пребывания в системе.

3. Методы надежного взаимодействия программ через сеть с выбором кратности резервирования запросов (пакетов), учитывающие критичность к времени пребывания в системе при использовании имитационного моделирования.

4. Алгоритмы и инструментальные средства для поддержки и обоснования выбора вариантов взаимодействия программ и программных систем через сеть на основе многопутевых резервированных передачи данных и распределения запросов.

Методы исследования основываются на математическом аппарате и методологии теории массового обслуживания, теории вероятностей, теории принятия решений, аналитического и имитационного моделирования и технологии объектно-ориентированного программирования.

Теоретическая значимость работы состоит в том, что предлагается модель взаимодействия через сеть программ и программных систем, учитывающая возможность применения многопутевых передач при задании кратности резервирования запросов (пакетов) в зависимости от критичности к времени их выполнения.

Практическая значимость исследования заключается в том, что:

1. Разработан комплекс имитационных моделей компьютерных систем с различными вариантами передачи и обработки данных и распределения запросов для выбора и обоснования решений по организации надежного взаимодействия программ через сеть.

2. Предложены методы взаимодействия программ и программных систем, направленные на повышение эффективности и устойчивости функционирования распределенных компьютерных систем и использующие многопутевые резервированные передачи.

3. Предложены и реализованы инструментальные средства поддержки моделирования и выбора оптимальной кратности резервирования при многопутевых распределении запросов и передаче данных между взаимодействующими через сеть программами, позволяющие:

- автоматизировать проведение серии имитационных экспериментов и организовать сохранение их результатов в базе данных;

- выполнять обработку результатов экспериментов для заданной конфигурации системы, описывающей ее структуру (взаиморасположение ее узлов) и состояние (текущую загруженность ресурсов, интенсивность сетевого трафика и прочее);

- реализовать возможности экспорта результатов экспериментов из базы данных в программные приложения и визуального представления получаемых зависимостей;

- осуществлять поиск оптимальной кратности резервирования передач для заданной конфигурации.

Личный вклад автора. Автором лично разработаны методы взаимодействия программ при многопутевых резервированных передаче данных и распределении запросов через сеть, метод и инструментальные средства (включая программное приложение) поддержки организации имитационных экспериментов и выбора вариантов этого взаимодействия,

построены аналитические и имитационные модели, исключая первоначальную базовую версию имитационной модели, реализованной Попцовой Н. А. [8]. В совместных публикациях Богатыревым В. А. осуществлена постановка задачи исследования; Богатыревым А. В., Богатыревым С. В., Кармановским Н. С. и Ворониной Д. А. оценена достоверность полученных результатов имитационного моделирования [8-10, 59-61, 92, 93].

Положения, выносимые на защиту:

1. Концептуальная модель взаимодействия программных систем на основе совмещения многопутевой маршрутизации и резервированного обслуживания запросов при задании кратности резервирования - в зависимости от критичности к времени их пребывания в системе.

2. Имитационные модели и методы взаимодействия программ в распределенных компьютерных системах с использованием многопутевых резервированных распределения запросов и передачи данных.

3. Инструментальные средства, позволяющие осуществлять обоснованный выбор вариантов взаимодействия программ и программных систем через вычислительную сеть с использованием многопутевых резервированных передач при учете ошибок, отказов и временной недоступности узлов, возможности повторных передач, допустимого времени пребывания запросов (пакетов) в системе.

4. Оценка степени влияния на эффективность и надежность многопутевого резервированного взаимодействия программ через сеть кратности резервирования передачи данных и распределения запросов, интенсивности потока запросов и других функционально-структурных параметров распределенной компьютерной системы.

Апробация результатов исследования. Основные положения диссертационного исследования были представлены на конференциях: XIV и XV Санкт-Петербургской международной конференции «Региональная информатика (РИ-2014/2016)»; IX Санкт-Петербургской межрегиональной конференции «Информационная безопасность регионов России (ИБРР-2015)»; 18-ой, 19-ой и XX Международной конференции БСС№2015, БСС№ 2016 и ОССЫ-2017 «Распределенные компьютерные и телекоммуникационные сети: управление, вычисление, связь»; Второй Международной Научной Конференции «Технологическая перспектива в рамках Евразийского пространства: новые рынки и точки экономического роста» (2016); Х1^1 и ХЬУП Научной и учебно-методической

конференции Университета ИТМО (2016-2018); Международной научно-технической конференции 1ЕЕЕ-2017 «Менеджмент качества, транспортная и информационная безопасность, информационные технологии» (ГГ&С)М&18 - 2017).

Достоверность результатов исследования обусловлена корректностью выбора и применения математического аппарата, согласованностью результатов аналитического и имитационного моделирования с результатами исследований других авторов, апробацией на отечественных и международных конференциях, результатами внедрения.

Внедрение результатов исследования. Исследования выполнены в рамках НИР №414650 «Методы и модели обеспечения интегрированной безопасности и устойчивости функционирования компьютерных систем», №610481 «Разработка методов и средств системотехнического проектирования информационных и управляющих вычислительных систем с распределенной архитектурой», № 615869 «Методы проектирования ключевых систем информационной инфраструктуры» и № 617026 «Технологии киберфизических систем: управление, вычисления, безопасность».

Публикации по теме исследования. Основные научные результаты опубликованы в 23 печатных трудах, включая 4 в журналах из перечня ВАК, 4 в изданиях, входящих в международные реферативные базы данных Scopus и Web of Science. Имеется 1 свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем научно-квалификационной работы. Диссертация состоит из введения, четырех глав, заключения, списка используемых литературных источников, приложения. Общий объем диссертации - 145 страниц, включая 45 рисунков.

Работа соответствует паспорту специальности 05.13.11 Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей: пунктам 3 «Модели, методы, алгоритмы, языки и программные инструменты для организации взаимодействия программ и программных систем» и 9 «Модели, методы, алгоритмы и программная инфраструктура для организации глобально распределенной обработки данных».

ГЛАВА 1. ВЗАИМОДЕЙСТВИЕ ПРОГРАММ В РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ СИСТЕМАХ

В данной главе вводятся основные понятия и термины, используемые в последующих главах, приводятся базовые принципы взаимодействия программ и программных систем, в том числе в распределенных компьютерных системах, методы обеспечения надежности и эффективности этого взаимодействия.

Излагаются служащие основой для исследования в данной работе концепции многопутевой передачи данных с использованием механизма многопутевой маршрутизации и резервированного выполнения запросов в системах массового обслуживания.

Осуществляется постановка задач исследования.

1Л Основные принципы взаимодействия программ и программных систем

Рассмотрим основы взаимодействия программ, которое реализуется путем обмена сообщениями через сеть между вычислительными процессами, в наиболее распространенной модели распределенных систем - клиентским и серверным, соответственно запрашивающим и осуществляющим выполнение некоторого действия (услуги, сервиса), в современных архитектурах этих систем - на промежуточном уровне (уровне промежуточного программного обеспечения).

1ЛЛ Основные понятия и термины

Обработка и хранение данных на базе распределенных компьютерных систем организуются, в первую очередь, в целях эффективного управления ресурсами: как аппаратными, например, дисками и принтерами, так и программными (файлами, базами данных и другими) при решении прикладных задач в различных секторах экономики. В распределенных системах {distributed systems), согласно распространенному определению, состоящих из «набора независимых компьютеров, представляющегося их пользователям единой объединенной системой» [45, с. 23], от пользователей и пользовательских программ «скрывается» не только организация, но и сам факт распределения задач и ресурсов -устройств, памяти, данных - между отдельными вычислительными машинами, факт их перераспределения, например, в случае выхода из строя (отказов) оборудования.

Ввиду данной особенности этих систем (свойства прозрачности, transparency) выполнение задач на удаленных машинах должно представляться таким же образом, как если бы эти задачи

выполнялись локально, прежде всего, за сопоставимый по длительности промежуток времени. Это определяет требование к времени взаимодействия входящих в состав системы вычислительных машин (узлов), которое играет особую роль в ситуации функционирования распределенных систем в реальном масштабе времени [80]. Работа распределенных систем выполняется в режиме «мягкого» реального времени, если невыполнение требуемых функций или отсутствие реакции на событие за заданное время влияет на возможность принципиального решения задач, но в отличие от «жесткого» режима, не приводит к катастрофическим последствиям, например, авариям и полной потери работоспособности критически важных объектов и систем [43].

В другом определении распределенной системы указывается на способ взаимодействия ее составляющих: «аппаратные и программные компоненты, расположенные на подключенных к вычислительной сети компьютерах, общаются между собой и координируют действия только путем передачи сообщений» [67, с. 2]. Из этого следует, во-первых, параллельное выполнение прикладной задачи (решение подзадач при распределенной обработке данных) в разных узлах системы и возможность динамического добавления или удаления узлов и, во-вторых, независимость отказов, в том числе отказов узлов, прерывания (сбоев) процесса решения задач и (или) потери подключения к сети. При этом работоспособность коммуникационного оборудования может быть восстановлена в сжатые сроки, в том числе путем переключения на резервные элементы; во многих случаях независимые, решаемые локально задачи могут быть запущены на выполнение заново в том же или, если это возможно, другом узле. В то же время, прерванный процесс взаимодействия узлов (аппаратных и программных компонентов) может привести к сбою функционирования всей распределенной системы при распределенной обработке данных, поэтому необходимо обеспечить выполнение требования к надежности взаимодействия посредством передачи сообщений.

Сегодня многие задачи обработки данных требуют привлечения географически распределенных информационных ресурсов и (или) значительных вычислительных мощностей и эффективно решаются на базе распределенных компьютерных систем. Функциональные задачи (функции) систем обработки данных выполняют процессы: процесс (process, computational process) определяют как динамический объект, порождаемый операционной системой (ОС) при запуске программы на выполнение, или «программу в стадии выполнения» [37, с. 31]; «выполняемую программу» [45, с. 165]. Программа (program) - файл с кодом и данными [37]; «данные, предназначенные для управления конкретными компонентами системы обработки информации в целях реализации определенного алгоритма» [17, с. 1]. Система обработки информации (information processing system) - «совокупность технических средств и

программного обеспечения, а также методов обработки информации и действий персонала, обеспечивающая выполнение автоматизированной обработки информации» [16, с. 2]. Программное обеспечение, ПО {software) - «совокупность программ системы обработки информации и программных документов, необходимых для эксплуатации этих программ» [17, с. 1].

При выполнении сложных, ресурсоемких задач в распределенных системах взаимодействовать могут не только отдельные программы, но и программные системы. Программная система {software system) - «система, состоящая из ПО и, возможно, компьютерного оборудования» [20, с. 3]; «система, основу которой составляет программное обеспечение и в которой только оно как составная часть системы совершенствуется и модифицируется» [76]. В этом контексте система {system) рассматривается как «объединение взаимодействующих элементов, организованных таким образом, чтобы достичь одной или более заявленных целей» [76]. В данной работе программной системой будет называться совокупность взаимодействующих программ (программных компонент), выполняющих поставленные задачи на одном или более узлов распределенной компьютерной системы.

Кооперация между программами реализуется в форме межпроцессного взаимодействия {interprocess communication, IPC), а точнее с использованием механизмов IPC, предоставляемых конкретной операционной системой (семейством ОС). Однако можно выделить базовые способы IPC:

- доступ к общему хранилищу {shared storage), включая разделяемую память {shared тетогу) и общие файлы {sharedfiles);

- программные прерывания {software interrupts) - или сигналы {signais), - осуществляемые ядром ОС по запросу одного из взаимодействующих процессов;

- передачу сообщений {message passing) с использованием каналов (pipes), сокетов {sockets) и других средств IPC.

Следует отметить, что передача сообщений, осуществляемая через программно организованные логические точки - входные и выходные порты (ports), является универсальным и единственно возможным способом обращения к процессам в других узлах распределенной системы.

Взаимодействие выполняемых в разных узлах процессов осуществляется с применением набора включенных в любую сетевую ОС коммуникационных средств, как программных (транспортных), так и аппаратных [37, 45], осуществляющих формирование сообщений, их разбиение на части (пакеты, кадры), в случае потерь - дублирование сообщений, определение

маршрута их передачи через сеть и другое. Задача транспортной подсистемы сетевой ОС -скрыть от программистов прикладных программ детали реализации сложных сетевых протоколов и предоставить инструменты для передачи данных между процессами, в самом простом случае посредством коммуникационных примитивов отправки и приема сообщений -send и receive. Примитивы могут быть оформлены как внутренние процедуры ядра операционной системы или как доступные в пользовательском режиме системные вызовы.

Универсальным интерфейсом передачи сообщений, принятым в качестве стандарта при разработке сетевых приложений, являются сокеты, которые предоставляют доступ процессам к нижним коммуникационным уровням - в терминах базовой эталонной модели ВОС [36, 44]. Сокеты называют абстрактными конечными точками соединения, через которое запущенные на одной (локальные сокеты) или разных вычислительных машинах процессы обмениваются сообщениями, и идентифицируют эти процессы, например, в IP-сетях - по IP-адресу и номеру порта. Время обмена сообщениями между процессами через сеть и, следовательно, время выполнения отдельных операций и задач по распределенной обработке данных зависит от многих факторов, включая производительность и надежность сетевого оборудования, особенности приметаемых сетевых технологий, способ взаимодействия процессов и стратегии буферизации сообщений (пакетов), интенсивность и характер трафика, методы управления потоками данных.

При синхронном способе взаимодействия приостановивший свое выполнение и ожидающий ответа (или запроса) процесс может быть заблокирован навсегда (или до истечения заданного времени ожидания - таймаута), если не получено сообщение или уведомление о его доставке. При асинхронном (неблокирующем) способе взаимодействующие процессы продолжают свою работу, ожидая поступления сообщений или уведомлений в выделенный для этой цели участок памяти - буфер. На практике буферизация применяется при любом способе взаимодействия процессов: на стороне отправителя сообщения буферизируются до поступления уведомления о готовности удаленной машины к их приему (во время установлении соединения между сторонами); на стороне адресата - в случае если процесс-получатель не готов немедленно приступить к обработке сообщений.

1.1.2 Взаимодействие на основе модели «клиент-сервер»

В распределенных системах базовой моделью взаимодействия программ (процессов) является клиент-сервер [45], когда один процесс (клиент) запрашивает некоторый сервис у другого процесса (сервера). На одной вычислительной машине может выполняться несколько программ, предоставляющих клиентам разные сервисы; в то же время обработка клиентского

запроса может выполняться в разных узлах несколькими процессами, принадлежащими одной программе. На Рисунке 1.1 представлены варианты распределенной обработки данных при взаимодействии клиент-сервер (а, б) и одноранговом («равноправном») взаимодействии peer-to-peer - Р2Р (в). Распространенный пример последнего - однотипные программы-клиенты, запускаемые на машинах общающихся между собой пользователей приложений для совместной работы и предоставляющие возможности разговора, обмена текстовыми сообщениями, файлами и другие.

Современные системы с клиент-серверной архитектурой зачастую являются многозвенными: обработка клиентских запросов (подзапросов) выполняется более чем в одном узле, причем сервер, к которому изначально обратился клиент и который сформировал запрос к другому серверу, сам выступает в роли клиента для последнего. В случае трехзвенной архитектуры возможен следующий сценарий взаимодействия типа «запрос-ответ», которое осуществляется между программами «А» и «Б» и программами «Б» и «В» (Рисунок 1.1а):

Список литературы диссертационного исследования кандидат наук Паршутина, Светлана Александровна, 2018 год

СПИСОК ЛИТЕРАТУРЫ

1. Алексанков С.М. Модели динамической миграции с итеративным подходом и сетевой миграции виртуальных машин // Научно-технический вестник информационных технологий, механики и оптики. — 2015. — Т. 15. — № 6. — С. 1098-1104.

2. Алиев Т.Н. Основы моделирования дискретных систем. — СПб.: СПбГУ ИТМО, 2009. — 363 с.

3. Богатырев В.А., Богатырев A.B. Модель резервированного обслуживания запросов реального времени в компьютерном кластере // Информационные технологии. — 2016. — Т. 22. — № 5. — С. 348-355.

4. Богатырев В.А., Богатырев A.B. Надежность функционирования кластерных систем реального времени с фрагментацией и резервированным обслуживанием запросов // Информационные технологии. — 2016. — Т. 22. — № 6. — С. 409-416.

5. Богатырев В.А., Богатырев A.B. Оптимизация резервированного распределения запросов в кластерных системах реального времени // Информационные технологии. — 2015. — Т. 21.

— № 7. — С. 495-502.

6. Богатырев В.А., Богатырев A.B. Функциональная надежность резервированного вычислительного процесса реального времени в системах кластерной архитектуры // Автоматика и вычислительная техника. — 2015. — Т. 49. — № 1. — С. 64-77.

7. Богатырев, В. А. Информационные системы и технологии. Теория надежности: учебное пособие для бакалавриата и магистратуры / В. А. Богатырев. — М.: Издательство Юрайт, 2017. — 318 с.

8. Богатырев В.А., Кармановский Н.С., Попцова H.A., Паршутина С.А., Воронина Д.А., Богатырев С.В. Имитационная модель поддержки проектирования инфокоммуникационных резервированных систем // Научно-технический вестник информационных технологий, механики и оптики, —2016. — № 5 (16). — С. 831-838.

9. Богатырев В.А., Паршутина С.А. Многопутевое резервированное распределение через сеть критичных к задержкам запросов // Вестник компьютерных и информационных технологий.

— 2016. —№ 10 (148). — С. 41-46.

10. Богатырев В.А., Паршутина С.А. Модели многопутевой отказоустойчивой маршрутизации при распределении запросов через сеть // Вестник компьютерных и информационных технологий. — 2015. — № 12. — С. 23-28.

11. Богатырев В.А., Сластихин И.А. Эффективность резервированной передачи данных через агрегированные каналы // Известия высших учебных заведений. Приборостроение. — 2016. — Т. 59. — № 5. — С. 370-376.

12. Будылдина Н.В., Трибунский Д.С., Шувалов В.П. Оптимизация сетей с многопротокольной коммутацией по меткам. —М.: Горячая линия-Телеком, 2010. — 144 с.

13. Вавенко Т. В., Стерин В. Л., Симоненко А. В. Потоковая модель маршрутизации с балансировкой нагрузки по длине очереди в программно-конфигурируемых сетях // Научно-технический вестник информационных технологий, механики и оптики. — 2013. — № 4 (86). — С. 38-45.

14. Вишневский В. М. Теоретические основы проектирования компьютерных сетей. — М.: Техносфера, 2003. — 512 с.

15. Горбунова А. В., Зарядов И. С., Самуйлов К. Е., Сопин Э. С. Обзор систем параллельной обработки заявок // Вестник РУДН. Серия МИФ. — 2017. — Т. 25. — № 4. — С. 350-362.

16. ГОСТ 15971-90 Системы обработки информации. Термины и определения. — М.: Издательство стандартов, 1991. — 14 с.

17. ГОСТ 19781-90 Обеспечение систем обработки информации программное. Термины и определения. —М.: Стандартинформ, 2010. — 14 с.

18. ГОСТ 24.701-86 Единая система стандартов автоматизированных систем управления. Надежность автоматизированных систем управления. Основные положения. — М.: Стандартинформ, 2009. — 11 с.

19. ГОСТ 27.002-2015 Надежность в технике. Термины и определения. — М.: Стандартинформ, 2016. —24 с.

20. ГОСТ Р 51904-2002 Программное обеспечение встроенных систем. Общие требования к разработке и документированию. — М.: ИПК Издательство стандартов, 2002. — 63 с.

21. Дудин А. Н., Дудин С. А. Краткий обзор работ в области исследования систем массового обслуживания с ненадежными обслуживающими приборами. В сборнике: Международный конгресс по информатике: информационные системы и технологии материалы международного научного конгресса. / С. В. Абламейко (гл. ред.). — 2016. — С. 612-616.

22. Дудин А. Н., Ли М. X., Чое Ч. X. Модель сети обслуживания с параллельными маршрутами // Автоматика и телемеханика. — 2007. — № 6. С. 134-149.

23. Жуков И.А., Кулаков Ю.А., Шпак И.Ю. Адаптивная многопутевая маршрутизация // Проблеми шформатизаци та управлшня. — 2009. — № 3 (27). — С. 73-78.

24. Клейнрок Л. Теория массового обслуживания. Перевод с англ. / Пер. И. И. Грушко; ред. В. И. Нейман. — М.: Машиностроение, 1979. — 432с., ил.

25. Крук Е. А., Маличенко Д. А. Расчет задержки при использовании кодирования на транспортном уровне сети передачи данных // Известия высших учебных заведений. Приборостроение. —2013. — Т. 56. — № 8. — С. 45-51.

26. Кулаков Ю.А., Деревянчук А.О. Безопасная передача информации на основе многопутевой маршрутизации // Вюник нащонального техшчного ушверситету Украши "Кшвський пол1техшчний шститут". Сер1я: шформатика, управлшня та обчислювальна техшка. — Киев: НТУУ "Киевский политехнический институт", 2009. — С. 123-127.

27. Ларионов А. М., Майоров С. А., Новиков Г. И. Вычислительные комплексы, системы и сети / А. М. Ларионов, С. А. Майоров, Г. И. Новиков: Учебник для вузов. — Л.: Энергоатомиздат. Ленингр. отд-ние, 1987. — 288 е., ил.

28. Лемешко A.B., Вавенко Т.В. Анализ решений задач однопутевой и многопутевой маршрутизации многопотокового трафика в телекоммуникационных сетях // Системи обробки шформацп. — 2011. — № 8 (98). — С. 224-228.

29. Лемешко A.B., Вавенко Т.В. Разработка и исследование потоковой модели адаптивной маршрутизации в программно-конфигурируемых сетях с балансировкой нагрузки // Доклады ТУСУРа. — 2013 — № 3 (29). — С. 100-108.

30. Лемешко A.B., Вавенко Т.В. Усовершенствование потоковой модели многопутевой маршрутизации на основе балансировки нагрузки // Проблемы телекоммуникаций. — 2012.

— №1 (6).— С. 12-29.

31. Лемешко А. В., Гаркуша С. В. Обеспечения качества обслуживания в условиях согласованного решения задач управления трафиком в телекоммуникационной сети [Електронний ресурс] / А. В. Лемешко, С. В. Гаркуша // Проблеми телекомушкащй. — 2014.

— № 2 (14). — С. 52-66.

32. Маличенко, Д.А. Кодирование сообщений на транспортном уровне в неравномерных сетях // Информационно-управляющие системы. — 2014. — Т. 73. — № 6. — С. 101-106.

33. Новиков С.Н. Классификация методов маршрутизации в мультисервисных сетях связи // Вестник СибГУТИ. — 2013. — № 1. — С. 57-67.

34. Новиков С.Н. Методология защиты информации на основе технологий сетевого уровня мультисервисных сетей связи : дис. ...д-ра тех. наук : 05.13.19 / Новиков Сергей Николаевич. —Новосибирск, 2016. — 235 с.

35. Норенков И.П. Основы автоматизированного проектирования: Учеб. для вузов. 2-е изд., перераб. и доп. — М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. — 336 е., ил.

36. Олифер В., Олифер Н. Компьютерные сети. Принципы, технологии, протоколы: Учебник для вузов. 5-е изд. — СПб.: Питер, 2016. — 992 е., ил.

37. Олифер В. Г., Олифер Н. А. Сетевые операционные системы / В. Г. Олифер, Н. А. Олифер. — СПб.: Питер, 2002. — 544 е., ил.

38. О системе справочной документации AnyLogic [Электронный ресурс]. — Режим доступа: http s://help. any 1 ogi с. ru/index. j sp.

39. Паршутина С.А. Организация имитационных экспериментов при проектировании распределенных компьютерных систем с резервированной передачей данных // Научно-технический вестник информационных технологий, механики и оптики. — 2017. — № 5 (17). — С. 841-849.

40. Паршутина С.А. Программа для оптимизации кратности резервирования передач в распределенных компьютерных системах. Свидетельство о государственной регистрации программы для ЭВМ, заявка № 2018615715 от 05.06.2018.

41. Половко А. М., Гуров С. В. Основы теории надежности. — СПб.: БХВ-Петербург, 2006. — 704 с.

42. Рекомендация МСЭ-Т Y.1541. Серия Y: Глобальная информационная инфраструктура, аспекты межсетевого протокола и сети последующих поколений. Аспекты межсетевого протокола - Качество обслуживания и сетевые показатели качества. Требования к сетевым показателям качества для служб, основанных на протоколе IP. — Женева, 2007. — 50 с.

43. Сорокин С. Системы реального времени: операционные системы [Электронный ресурс] // СТА. — 1997. — № 2. — С. 22-29. — Режим доступа: https://www.cta.ru/cms/f/326684.pdf.

44. Таненбаум Э. Компьютерные сети. 4-е изд./Э. Таненбаум. — СПБ.: Питер, 2003. - 992 е., ил.

45. Таненбаум Э., Стеен М. Распределенные системы. Принципы и парадигмы / Э. Таненбаум, М. ван Стеен. — СПб.: Питер, 2003. — 877 е., ил.

46. Уткин Л. В. Анализ риска и принятие решений при неполной информации. — СПб.: Наука, 2007. —404 с.

47. Уткин Л. В., Шубинский И. Б. Нетрадиционные методы оценки надежности информационных систем. — СПб.: Любавич, 2000. — 173 с.

48. Ушаков И. А. Курс теории надежности систем: учеб. пособие для вузов / И. А. Ушаков. — М.: Дрофа, 2008. —239 с.

49. Черкесов, Г.Н. Надежность аппаратно-программных комплексов / Г.Н. Черкесов. — СПб.: Питер, 2005. — 479 с.

50. Шубинский И.Б. Структурная надежность информационных систем. Методы анализа / И.Б. Шубинский. — М.: «Журнал Надежность», 2012. — 216 е., ил.

51. Шубинский И.Б. Функциональная надежность информационных систем. Методы анализа / И.Б. Шубинский. — М.: «Журнал Надежность», 2012. — 296 е., ил.

52. Шувалов В.П., Вараксина И.Ю. Классификация методов многопутевой маршрутизации // Т-Comm. — 2014. — № 1. — С. 29-32.

53. Шувалов В.П., Селянина И.Ю. Методика обеспечения отказоустойчивости в мультисервисных сетях связи // Проблемы информатики. — 2012. — № 2 (14). — С. 55-62.

54. Яновский Г.Г. Качество обслуживания в сетях IP [Электронный ресурс] // Вестник связи. — 2008. — №1. — С. 1-16. — Режим доступа: http://niits.ru/public/2008/2008-006.pdf.

55. Banerjee, S., Bhattacharjee, В. A Comparative Study of Application Layer Multicast Protocols [Электронный ресурс]. — 2002. — Pp. 1-9. — Режим доступа: http://pages.cs.wisc.edu/~suman /pubs.html.

56. Banner R., Orda A. Multipath Routing Algorithms for Congestion Minimization. CCIT Report No. 429, Department of Electrical Engineering, Technion, Haifa, Israel [Электронный ресурс]. — 2004. — Режим доступа: http://www.ee.technion.ac.il/people/ron/Congestion.pdf.

57. Birman К. P., Joseph T., Raeuchle T., Abbadi A. El. Implementing fault-tolerant distributed objects // IEEE Transactions on Software Engineering. — 1985. — 11(6). — Pp. 502-508.

58. Bogatyrev V.A., Bogatyrev A.V. Functional Reliability of a Real-Time Redundant Computational Process in Cluster Architecture Systems // Automatic Control and Computer Sciences. — 2015. — V. 49. — № 1. — P. 46-56.

59. Bogatyrev V.A., Parshutina S.A. Efficiency of redundant multipath transmission of requests through the network to destination servers // Communications in Computer and Information Science. — 2016. — V. 678. — P. 290-301.

60. Bogatyrev V.A., Parshutina S.A., Poptcova N.A., Bogatyrev A.V. Efficiency of redundant service with destruction of expired and irrelevant request copies in real-time clusters // Communications in Computer and Information Science. — 2016. — V. 678. — P. 337-348.

61. Bogatyrev V.A., Parshutina S.A. Redundant distribution of requests through the network by transferring them over multiple paths // Communications in Computer and Information Science. — 2016. — V. 601. — P. 199-207.

62. Bova T., Krivoruchka T. Reliable UDP Protocol [Электронный ресурс]. — 1999. — Режим доступа: https://www.ietf.org/proceedings/44/I-D/draft-ietf-sigtran-reliable-udp-00.txt.

63. Buffer Tuning for all Cisco Routers [Электронный ресурс]. — Режим доступа: https://www.cisco.eom/c/en/us/support/docs/routers/10000-series-routers/15091-buffertuning.html.

64. Cisco 10000 Series Router Quality of Service Configuration Guide [Электронный ресурс]. — Режим доступа: https://www.cisco.eom/c/en/us/td/docs/routers/10000/10008/configuration/guides /qos/qoscf/10qqueue.html.

65. Clark С., Fraser К., Hand S., Hansen J.G., Jul E., Limpach C., Pratt I., Warfield A. Live migration of virtual machines // Proc. of the 2nd Conf. on Symposium on Networked Systems Design & Implementation (NSDI'05). USENIX Association, Berkeley, CA. — Pp. 273-286.

66. Clark, T. The New Data Center. New technologies are radically reshaping the data center / T. Clark. Brocade Bookshelf: San Jose, 2010. — 156 p.

67. Coulouris G., Dollimore J., Kindberg T., Blair G. Distributed Systems. Concepts and Design. Fifth edition. — Addison-Wesley, 2011. — 1080 p.

68. Defago X., Schiper A., Sergent N. Semi-Passive Replication // Proc. of the 17th IEEE Symposium on Reliable Distributed Systems (SRDS). — West Lafayette, IN, USA, Oct. 1998. — Pp. 43-50.

69. Ethernet 100BaseTX and lOBaseT Cables: Guidelines and Specifications [Электронный ресурс]. — Режим доступа: https://www.cisco.eom/c/en/us/support/docs/routers/10000-series-routers /46792-ethbase.html.

70. Ghanwani A., Dunbar L., McBride M., Bannai V., Krishnan R. A Framework for Multicast in Network Virtualization over Layer 3 [Электронный ресурс]. — 2018. — Режим доступа: https://tools.ietf. org/html/rfc8293.

71. Gunnar A., Johansson M. Robust load balancing under traffic uncertainty-tractable models and efficient algorithms // Telecommun Systems. — 2011. — V. 48. — Iss. 1-2. — Pp. 93-107.

72. Gustafsson E., Karlsson G. A literature survey on traffic dispersion // IEEE Network. — 1997. — V. 11. — Iss. 2. — Pp. 28-36.

73. Hopps C. Analysis of an equal-cost multipath algorithm. IETF, RFC 2992 [Электронный ресурс]. — 2000. — Режим доступа: http://www.ietf.org/rfc/rfc2992.

74. Hosseini M., Ahmed D.T., Shirmohammadi S., Georganas N.D. A Survey of Application-Layer Multicast Protocols // IEEE Communications Surveys & Tutorials. — 2007. — V. 9. — Iss 3. — Pp. 58-74.

75. IP Multicast Technology Overview [Электронный ресурс]. — Режим доступа: https://www.cisco.eom/c/en/us/td/docs/ios/solutions_docs/ip_multicast/White_papers /mcst_ovr.html.

76. ISO/IEC/IEEE 24765:2017(E) Systems and software engineering — Vocabulary [Электронный ресурс]. — 2017. — Режим доступа: http://standards.iso.org/ittf/PubliclyAvailableStandards /index.html.

77. Kim Y., Righter R., Wolff R. Job replication on multiserver systems // Advances in Applied Probability. — 2009. — V. 41. — Pp. 546-575.

78. Klimashov, Vitaly U. Robust Short Message Protocol // Proc. of the Third Spring Young Researchers' Colloquium on Software Engineering (SYRCoSE 2009) [Электронный ресурс]. May 28-29, 2009. — Moscow, Russia. — Pp. 77-78. — Режим доступа: http://syrcose.ispras.ru/2009/files/syrcose2009-proceedings.pdf.

79. Kohler E., Handley M., Floyd S. Datagram Congestion Control Protocol (DCCP) [Электронный ресурс]. — 2006. — Режим доступа: https://tools.ietf.org/html/rfc4340.

80. Kopetz Н. Real-Time Systems: Design Principles for Distributed Embedded Applications. RealTime Systems Series. — Springer, 2011. — 396 p.

81. Kurose J. F. Computer networking: a top-down approach / James F. Kurose, Keith W. Ross. — 6th ed. — Boston Pearson, 2013. — 862 p.

82. Larzon L-A., Degermark M., Pink S., Jonsson L-E., Fairhurst G. The Lightweight User Datagram Protocol (UDP-Lite) [Электронный ресурс]. — 2004. — Режим доступа: https://tools.ietf. org/html/rfc3 828.

83. Lee M.H., Dudin A.N., Klimenok V.I. The SM/M/N queueing system with broadcasting service // Math. Probl. Eng. — 2006. — Article ID 98171.

84. Malichenko, D. Optimization of Network Overhead for Transport Layer Coding // 9th Conference of Open Innovations Community FRUCT. — 2011. — P. 92-95.

85. Maxemchuk, N. F. Dispersity Routing // Proc. ICC '75, San Francisco, CA, June 1975. — Pp. 4110-41-13.

86. McDysan D. QoS and Traffic Management in IP and ATM Networks. McGraw-Hill, 1999. 480 p.

87. Medina V., Garcia J. M. A Survey of Migration Mechanisms of Virtual Machines // ACM Computing Surveys (CSUR) [Электронный ресурс]. — 2014. — V. 46. — Iss. 3. — Article No. 30. — Режим доступа: http://romisatriawahono.net/lecture/rm/survey/computer%20engineering /Medina%20-%20Migration%20Mechanisms%20of%20Virtual%20Machines%20-%202014.pdf.

88. Merindol P. Improving Load Balancing with Multipath Routing / P. Merindol, J. Pansiot, S. Cateloin // Proc. of the 17th International Conference on Computer Communications and Networks, IEEE ICCCN 2008. — 2008. — Pp. 54-61.

89. Milojicic, D. S., Douglis F., Paindaveine Y., Wheeler R., Zhou S. Process migration // ACM Computing Surveys (CSUR). — 2000. — V. 32. — Iss. 3. — Pp. 241-299.

90. Opyrchal L., Astley M., Auerbach J., Banavar G., Strom R., Sturman D. Exploiting IP Multicast in Content-Based Publish-Subscribe Systems. In: Sventek J., Coulson G. (eds): Middleware 2000, LNCS. — Springer, Berlin, Heidelberg, 2000. —V. 1795. — Pp. 185-207.

91. Packet size distribution comparison between Internet links in 1998 and 2008. Caida. Center for Applied Internet Data Analysis [Электронный ресурс]. — Режим доступа: https://www.caida.org/research/traffic-analysis/pkt_size_distribution/graphs.xml.

92. Parshutina S.A., Bogatyrev V.A. Models to support design of highly reliable distributed computer systems with redundant processes of data transmission and handling // Proceedings of 2017 International Conference "Quality Management, Transport and Information Security, Information Technologies" (IT&QM&IS). — IEEE, 2017. — P. 96-99.

93. Parshutina S.A., Bogatyrev V.A. Simulation Modeling and Optimization of the Redundant Processes of Transmitting and Handling Requests in Distributed Computer Systems // Распределенные компьютерные и телекоммуникационные сети: управление, вычисление, связь (DCCN-2017): материалы Двадцатой междунар. науч. конф., 25-29 сент. 2017 г., Москва / Ин-т проблем упр. им. В.А. Трапезникова Рос. акад. наук; под общ. ред. В.М. Вишневского. —М.: Рекламно-издательский центр «ТЕХНОСФЕРА», 2017. — С. 206-213.

94. Partridge С., Hinden R. Version 2 of the Reliable Data Protocol (RDP) [Электронный ресурс].

— 1990. — Режим доступа: https://tools.ietf.org/html/rfcl 151.

95. Rajeev V., Muthukrishnan C.R. Reliable backup routing in fault tolerant real-time networks // Proceedings. Ninth IEEE International Conference on Networks, ICON 2001. — Pp. 184-189.

96. Reber A., Vaterlein P. Live process migration for load balancing and/or fault tolerance // International Symposium on Grids & Clouds (ISGC) [Электронный ресурс]. — 2012. — Pp. 1-6.

— Режим доступа: https://pos.sissa.it/153/031/pdf.

97. Reese G. Database Programming with JDBC and Java. O'Reilly Media, Inc. — 2000. — 328 p.

98. Rizzo, L. Effective Erasure Codes for Reliable Computer Communication Protocols // ACM Сотр. Commun. Rev. — 1997. — V. 27. — No. 2. — Pp. 24-36.

99. Rojas-Cessa R. Interconnections for Computer Communications and Packet Networks. CRC Press. Taylor & Francis Group. Boca Raton. London. New York. — 2017. — 276 p.

100. Schantz R. E., Schmidt D. C. Middleware for Distributed Systems. Evolving the Common Structure or Network-centric Applications [Электронный ресурс]. — Режим доступа: https://www.researchgate.net/figure/Layers-of-DOC-Middleware-and-Surrounding Context_fig 1_23 67945.

101. Scharf М., Ford A. Multipath TCP (MPTCP) Application Interface Considerations [Электронный ресурс]. — 2013. — Режим доступа: https://tools.ietf.org/html/rfc6897.

102. Schulzrinne H., Casner S., Frederick R., Jacobson V. RTP: A Transport Protocol for Real-Time Applications [Электронный ресурс]. — 2003. — Режим доступа: https://tools.ietf.org/html/rfc3550.

103. Shah V., Donga J., Shah S. Different Process Migration Techniques for Load Balancing in Distributed Operating System // International Journal of Innovative and Emerging Research in Engineering. —2015. — V. 2. — Iss. 2. — Pp. 5-8.

104. Stewart R. Stream Control Transmission Protocol [Электронный ресурс]. — 2007. — Режим доступа: https://tools.ietf.org/html/rfc4960.

105. Tarkoma, S. Publish / Subscribe Systems: Design and Principles (1st ed.). — Wiley Publishing, 2012. — 360 p.

106. Travostino F., Daspit P., Gommans L., Jog C., Laat C., Mambretti J., Monga I., Oudenaarde В., Raghunath S., Wang P. Seamless Live Migration of Virtual Machines over the MAN/WAN // Future Generation Computer Systems. — 2006. — V. 22. — Iss. 8. — Pp. 901-907.

107. Wiesmann M., Pedone F., Schiper A., Kemme В., Alonso G. Understanding Replication in Databases and Distributed Systems // Proc. of 20th IEEE Int. Conf. on Distributed Computing Systems (ICDCS) [Электронный ресурс]. — 2000. — Pp. 1-11. — Режим доступа: https://ieeexplore.ieee.org/document/840959.

108. Wijnands I.J., Minei I., Kompella K., Thomas B. Label Distribution Protocol Extensions for Point-to-Multipoint and Multipoint-to-Multipoint Label Switched Paths [Электронный ресурс]. — 2011. —Режим доступа: https://tools.ietf.org/html/rfc6388.