Разработка методов высокоскоростной передачи данных в телекоммуникационных сетях от одного отправителя нескольким получателям тема диссертации и автореферата по ВАК РФ 05.12.13, кандидат наук Бахарев Александр Владимирович

• Бахарев Александр Владимирович
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Бахарев Александр Владимирович

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

ГЛАВА 1 КЛАССИЧЕСКИЕ РЕШЕНИЯ IP-МУЛЬТИКАСТ

Введение

1.1 unicast/broadcast/multicast

1.2 Принципы работы multicast

1.2.1 IGMP

1.2.2 PIM

1.3 ^достатки решения IP-multicast

1.3.1 Отсутствие гарантии доставки

1.3.2 Низкий уровень безопасности

1.3.3 Поддержка на промежуточных устройствах

1.4 Варианты использования IP-multicast

1.5 Перспективы использования TCP на транспортном уровне IP-multicast

1.5.1 Механизмы установления соединения TCP

1.5.2 Механизмы контроля перегрузок в TCP

1.6 Математическая база высокоскоростного многопоточного трафика

1.6.1 Модель одного потока

1.6.2 Допущения модели 35 Вывод

ГЛАВА 2 СУЩЕСТВУЮЩИЕ АЛЬТЕРНАТИВНЫЕ ПРОТОКОЛЫ_38

Введение

2.1 С чего начинается разработка альтернативного протокола?

2.1.1 Выбор базового протокола

2.1.2 Тестовая среда

2.1.3 Протокол передачи данных NORM

2.2 Протокол передачи данных UFTP

2.2.1 Протокол передачи данных PGM

2.2.2 Анализ полученных результатов 51 Вывод

ГЛАВА 3 РАЗРАБОТКА И ОПИСАНИЕ АЛГОРИТМОВ P2M_56

Введение

3.1 Что представляет собой P2M?

3.1.1 Установление соединения в P2M

3.1.2 Форматы пакетов в P2M

3.1.3 Структура P2M в режиме отправки

3.1.4 Управление группой получателей в P2M

3.1.5 Использование неблокирующих очередей в P2M

3.1.6 Неблокирующие буферы данных в P2M

3.1.7 Хранилище метаинформации в P2M

3.1.8 Потоки выполнения в P2M

3.1.9 Получатель P2M

3.1.10 Модуль управления перегрузками и контроля потока в P2M

3.2 Анализ алгоритмов контроля перегрузок в P2M

3.3 Гарантия доставки и понятие аварии в P2M 112 Вывод

ГЛАВА 4 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ P2M_119

Введение

4.1 Тестовая среда и сценарии

4.1.1 Настройка P2M

4.1.2 Базовые тесты производительности

4.1.3 Влияние вариации задержки на производительность P2M

4.1.4 Сценарии с медленным получателем в P2M

4.1.5 Кросс-трафик в P2M сессии

4.1.6 Расширение конфигурации P2M используя джамбо-кадры

4.1.7 Модель прогнозировании ситуации в канале связи и дальнейшие исследования 135 Вывод

ВЫВОД ПО РАБОТЕ_143

ЛИТЕРАТУРА_146

СПИКОК РИСУНКОВ

Рисунок 1.1. Передача данных в формате точка-точка (unicast)

Рисунок 1.2. Передача данных в формате от одного всем (broadcast)

Рисунок 1.3. Передача данных в формате точка-многоточка (multicast)

Рисунок 1.4. Протокол PIM работающий в режиме SM

Рисунок 1.5. Установление TCP соединения

Рисунок 1.6. Характеристика формулы механизма контроля перегрузок для TCP CUBIC

Рисунок 2.1. Тестовая среда лаборатории FILA

Рисунок 2.2. Пример эмуляции географически распределённой сети с помощью Netropy 10G

Рисунок 2.3. Производительность протокола NORM в зависимости от сетевой задержки и потерь

Рисунок 2.4. Производительность протокола UFTP в зависимости от сетевой задержки и потерь

Рисунок 2.5. Иерархия проблем транспортных протоколов при передачи данных в формате точка-многоточка

Рисунок 2.6. Процесс отправки данных транспортным протоколом (в общем виде)

52

Рисунок 3.1. Установка соединения в P2M

Рисунок 3.2. Функциональная схема P2M отправителя

Рисунок 3.3. Неблокирующая очередь межпоточного взаимодействия в протоколе P2M

Рисунок 3.4. Буферизация данных в транспортных протоколах

Рисунок 3.5. Кольцевой буфер отправки P2M

Рисунок 3.6. Модель хранилища метаинформации в P2M

Рисунок 3.7. Дескрипторы в ХМИ

Рисунок 3.8. Добавление информации о новом пакете в ХМИ

Рисунок 3.9. Путь ACK до ХМИ

Рисунок 3.10. Алгоритм обработки ACK в P2M

Рисунок 3.11. Диаграмма состояния буфера отправки в сети с потерями

Рисунок 3.12. Диаграмма межпоточного взаимодействия при обработке ACK потерь

Рисунок 3.13. Обычное создание пакета с двойным копированием

Рисунок 3.14. Поток отправки P2M

Рисунок 3.15. Соотношение между межпакетным интервалом и длительностью системных вызовов в высокоскоростной передаче данных

Рисунок 3.16. Блок-схема работы потока обработчика получения P2M (на стороне отправителя)

Рисунок 3.17. Функциональная схема P2M получателя

Рисунок 3.18. Блок-схема работы потока обработчика получения P2M (на стороне получателя)

Рисунок 3.19. Обработка потерь в принимающем буфере P2M

Рисунок 3.20. Блок-схема работы потока обработчика отчётов P2M

Рисунок 3.21. Функциональная схема алгоритма транспортного контроля

в P2M

Рисунок 3.22. Модель хранилища отчётов модуля транспортного контроля

P2M

Рисунок 3.23. Принцип внедрения новых алгоритмов в модуль транспортного контроля P2M

Рисунок 3.24. Получение тенденции для потерь, приносящее отрицательно -ложный результат

Рисунок 3.25. Получение тенденции для потерь, приносящее положительно -ложный результат

Рисунок 3.26. Алгоритм расстановки весов для LCDT и BCDT

Рисунок 3.27. Алгоритм выявления зависимости скорости передачи данных от градиента одной из метрик транспортного контроля P2M

Рисунок 3.28. Профиль сетевого трафика при использовании ITEA

Рисунок 3.29. Профиль сетевого трафика при использовании ITEA

Рисунок 3.30. Принцип действия HTEA

Рисунок 3.31. ARQ как система с обратной связью (S - отправитель, R -получатель)

Рисунок 3.32. Граф обработчика ARQ ответов P2M

Рисунок 3.33 Зависимость вероятности появления подряд NACK r раз от p

Рисунок 4.1. Скорость передачи данных на один поток для P2M в зависимости от условий сети (для трех получателей)

Рисунок 4.2. Демонстрация влияния RTT на скорость передачи данных при различных потерях

Рисунок 4.3. Среднее отклонение скорости передачи данных на поток в зависимости от сетевых потерь

Рисунок 4.4. Влияние вариации задержки на скорость передачи данных P2M

Рисунок 4.5. Влияние джиттера на скорость передачи данных P2M

Рисунок 4.6. Влияние вариации задержки при нулевых потерях и фиксированном RTT 150 мс

Рисунок 4.7. Различные сценарии введения «медленного получателя» в P2M сессию

Рисунок 4.8. Сценарий «критического получателя» в P2M

Рисунок 4.9. Эффекты от кросс-трафика в сетях передачи данных

Рисунок 4.10. Топология эксперимента по влиянию кросс-трафика на P2M

Рисунок 4.11. Исследование влияния кросс-трафика на скорость передачи данных P2M

Рисунок 4.12. Влияние размера кадра Ethernet на скорость передачи данных P2M. RTT 150 мс, потери 1 %

Рисунок 4.13. Переходы по состояниям буфера для 0 % потерь и 150 мс RTT

Рисунок 4.14. Переходы по состояниям потерь для 0 % потерь и 150 мс RTT

Рисунок 4.15. Переходы по состояниям буфера для 0.5 % потерь и 150 мс RTT

Рисунок 4.16. Переходы по состояниям потерь для 0.5 % потерь и 150 мс RTT

Рисунок 4.17 Интенсивности переходов по состояниям буфера для 1.5 % потерь и 150 мс RTT

СПИСОК ТАБЛИЦ

Таблица 3.1. Принятие решений на основе бинарных операций в ХМИ

Таблица 4.1. Описание сценариев «медленного получателя»

СПИСОК СОКРАЩЕНИЙ

ACK — Acknowledgement, подтверждение NACK - Negative ACK - негативное подтверждение FEC - Forward Error Correction - коррекция ошибок

ARQ - Automatic Repeat reQuest, Автоматический запрос повтора передачи

IGMP - The Internet Group Management Protocol, Протокол управления группами Интернета

ITEA - Instant Trend Estimation Algorithm, Алгоритм мгновенной оценки тенденций

LTEA - Long-term Trend Estimation Algorithm, Алгоритм долговременной оценки тенденций

STL - Standard Template Library, Стандартная библиотека шаблонов

RTP - Real-time Transport Protocol - Транспортный протокол передачи реального времени

CDN - Content Delivery Network - Сеть доставки контента

FTP — File Transfer Protocol, протокол передачи файлов

IP — Internet Protocol, межсетевой протокол

OWD — One Way Delay, задержка в один конец

RTT — Round Trip Time, период кругового обращения

TCP — Transmission Control Protocol, протокол управления передачей

UDP — User Datagram Protocol, протокол пользовательских датаграмм

VPN - Virtual Private Network, виртуальная частная сеть

WAN — Wide Area Network, глобальная компьютерная сеть

P2M — Point to Multipoint, точка-многоточка

ХМИ — Хранилище метаинформации

Введение

Количество передаваемых данных по сети Интернет имеет двукратный прирост каждый год. В соответствии с отчётом EMC Corporation, количество передаваемых данных посредством сети Интернет вырастет до 44 триллионов гигабайт или 44 зетабайта к 2020 году, что составляет 10-кратный прирост в сравнении с 2013 годом

[1]. Множество отраслей промышленности в настоящее время только знакомится с проблемой хранения, передачи и обработки больших массивов данных - т.н. Big Data

[2]. Примером таких отраслей может служить медицина с примером расшифровки генома человека - один человеческий геном содержит 1.5 Гб информации [3]. Принимая во внимание среднее количество клеток в организме от 10 до 100 триллионов, получаем, что организм человека представляет собой хранилище данных объёмом 150 триллионов гигабайт.

Работа с информацией становится повседневной задачей во многих отраслях и является одним из критических факторов обеспечения жизнедеятельности современного общества. Стоит также упомянуть концепцию распределения вычислительных мощностей и бизнес-процессов как в современных, так и в давно существующих предприятиях. Международные научные кооперации и проекты, такие как Большой андронный коллайдер лишь подтверждают концепции территориального разделения рабочих процессов.

Подходя к вопросам распределённой обработки больших данных, приходим к вопросу проблемы «мобильности информации». При этом, одной из важнейших характеристик информации является её актуальность. В качестве примера можно привести замеры сейсмической активности на определённой территории - данная операция представляет собой получение множества данных от системы сенсоров. Собранные данные необходимо передать в вычислительный центр, проводящий необходимую обработку или симуляцию процессов, которые, в свою очередь, помогут прогнозировать землетрясения на земном шаре. Данная информация обладает чрезвычайно высокой степенью актуальности в связи с объёмом возможных последствий катастрофы.

Следовательно, вопрос скорейшей передачи информации от источника к получателю стоит достаточно высоко в списке приоритетов современного общества. Но реалии таковы, что передача даже нескольких гигабайт данных не всегда представляет собой тривиальную задачу. В век информатизации такие проблемы, как перегрузка каналов, потери в канале с неисправностью промежуточных узлов, являются повседневными. Кроме того, не стоит забывать о наиболее банальной метрике - расстоянии между узлами связи, которая напрямую существенно влияет на скорость соединения.

Существует множество факторов, способных замедлить передачу данных или даже сделать её невозможной. Множество научных исследований посвящено изучению вопросов передачи информации по каналам связи, что привело к появлению таких протоколов передачи данных, как TCP и UDP, которые стали стандартом де-факто на десятилетия. Данные протоколы трудно сравнивать в связи с совершенно различным их назначением, однако, как минимум, протокол TCP имеет множество встроенных и стандартизованных международным комитетом IETF механизмов по контролю перегрузок, восстановлению потерь и подстройке под большое время передачи пакета по сети. Но скорость развития, требования обратной совместимости, а что более важно, принципы, заложенные в основу TCP, не позволяют развивать его как адаптивный и легко расширяющийся протокол передачи больших данных по сети Интернет, особенно в условиях постоянно-возрастающего объёма данных, передаваемых через Сеть. Разумеется, изо дня в день предпринимается множество попыток решить данную проблему путём различных модификаций TCP или даже созданием полностью альтернативных протоколов передачи данных (RWTP, MFTP, PGM, UDT) [4], [5], [6], [7]. Основная трудность заключается в высочайших требованиях различных индустрий к скорости передачи информации, которые часто превосходят 1 Гбит/с. На подобных скоростях влияние любого вида помех в сети носит более чем значительный характер. И с этим влиянием нужно бороться на различных уровнях, начиная от базовых принципов протокола, заканчивая корректностью реализации протокола на программном или даже аппаратном уровне.

Более того, проблема носит ещё более нетривиальный характер, а именно, передача данных при наличии нескольких одновременных получателей. Проблемы с данным видом передачи информации начинаются в технологиях буферизации и заканчиваются специфичными алгоритмами управления перегрузками (глава 2). Существует

множество примеров использования подобных технологий, одним из которых является кинематография. 20 минут несжатого съёмочного материала в разрешении 4К представляют собой массив данных объёмом 1 Тб. Эти данные впоследствии передаются на обработку в студию, которая может находится на другом конце мира. Передача такого вида информации посредством классических протоколов передачи данных может привести к существенной задержке получения материала. В связи с этим, достаточно часто, подобные материалы доставляются физическими носителями (на жёстких дисках), как например Amazon Import/Export [8], что, конечно же, является не самым эффективным и удобным решением, особенно с точки зрения логистики. Кроме того, такие задачи, как репликация данных, резервирование, различные виды кэширования (особенно в специализированных медиасетях и сетях доставки контента), требуют наличия протоколов передачи данных, позволяющих эффективно организовывать передачу данных в направлении нескольких географически распределённых получателей.

Введение диссертации (часть автореферата) на тему «Разработка методов высокоскоростной передачи данных в телекоммуникационных сетях от одного отправителя нескольким получателям»

Цель работы

• Разработать алгоритм управления перегрузками, учитывающий корреляцию между характеристиками среды передачи и скоростью передачи данных.

• Разработать метод организации гарантированной доставки информации от одного отправителя нескольким получателям, позволяющий занимать максимально возможные в текущих условиях ресурсы канала и разделять их между несколькими получателями.

• Обеспечить возможность передачи данных в среде с потерями и высокими значениями задержки в обоих направлениях (RTT).

• Разработать алгоритм управления потоками.

• Проверить работоспособность предложенных алгоритмов на практике.

Методы исследования

Разработка и проверка алгоритмов велась на операционной системе Linux с использованием языка программирования C++11. Реализация гарантии доставки выполнялась, используя адаптированную к многопоточному трафику схему ARQ -систему с обратной связью. Управление перегрузками выполнялось на базе контроля

скорости передачи данных, а не окна. Тестирование алгоритмов проводилось на серверах, произведённых компанией Dell. Эмулирование условий реальной среды выполнялось на аппаратном эмуляторе сети Netropy 10G. Модели появления сетевых потерь рассматривались как фоновая, так и импульсная, вызванная появлением мощного вытесняющего кросс-трафика в сети. Результаты тестов были также проанализированы с использованием цепей маркова (для дискретного процесса).

Соответствие паспорту специальности

Результаты исследования соответствуют следующим пунктам паспорта научной' специальности 05.12.13 «Системы, сети и устройства телекоммуникаций»:

• Пункт 2: «Исследование процессов генерации, представления, передачи, хранения и отображения аналоговой, цифровой, видео-, аудио- и мультимедиа информации; разработка рекомендаций по совершенствованию и созданию новых соответствующих алгоритмов и процедур».

o В работе было предложен протокол передачи данных P2M - как решение проблемы распределения больших объёмов информации в направлении нескольких одновременных получателей.

• Пункт 4: «Исследование путей совершенствования управления информационными потоками».

o В работе разработаны алгоритмы управления потоками и перегрузками в P2M - ITEA и LTEA, предназначенные для контроля скорости потоков передачи данных, путём сбора информации о состоянии систем получателей.

Научная новизна

• Разработан сетевой протокол, решающий проблему передачи данных от одного источника нескольким получателям. Эксперименты показали, как минимум, 3.5х кратное увеличение его производительности по сравнению с существующими решениями и способность протокола эффективно работать в сетях с высокими (2 %) потерями.

• Представлены алгоритмы управления перегрузками и потоками Instant Trend Estimation Algorithm (ITEA) и Long-Term Trend Estimation Algorithm (LTEA), не

зависящие от RTT и выполняющие прогнозирование ситуации в сети, что позволило добиться максимальной производительности протокола в реальной среде передачи данных и обеспечить обратную связь между отправителем и группой получателей.

• В работе также представлена идеология создания группы получателей с реализаций концепции независимости от используемой адресации уровня L3, что позволяет использовать созданный протокол как для передачи multicast трафика, так и трафика в unicast.

• Разработано высокоскоростное хранилище метаинформации (ХМИ) в ядре протокола, адаптированное к работе в многопоточной среде и позволяющее достигать гигабитных скоростей при гарантированной доставке данных. Использование ХМИ позволило сохранить сотни микросекунд при создании каждого пакета и при каждом обращении к буферу протоколоа

• В работе представлена программная библиотека P2M, являющаяся практической реализацией приведённых алгоритмов и имеющая высокую степень расширяемости для дальнейших научных исследования, особенно в области управления перегрузками и потоками.

Достоверност ь

Достоверность результатов исследования и подходов обоснована обширной серией экспериментов в различных по качеству IP-сетях. Были проведены тесты максимальной производительности P2M, наряду с нагрузочными тестами в условиях высококонкурентной среды передачи. Результаты проведённых экспериментов сравнивались с существующими решениями, которые так же были протестированы в той же самой сети и условиях передачи. Результаты были опубликованы в ряде российских и международных журналов.

Практическая ценность работы

Разработано программное решение Point-to-Multipoint (P2M), позволяющее передавать данные в IP-сетях на гигабитных скоростях. Данная библиотека имеет интерфейс, схожий с сетевым API Linux, что позволяет легко адаптировать существующие приложения под гигабитную передачу данных нескольким получателям. Эксперименты показали возможность стабильно поддерживать полезную скорость

передачи данных в 900 Мбит/с на поток (при пропускной способности 1 Гбит/с) . Используя P2M, появляется возможность вести передачу данных со скоростью 500 Мбит/с на поток при уровне потерь в 2 % и RTT в 300 мс, что является беспрецедентной производительностью.

На выставке CeBIT 2015 была продемонстрирована технология потоковой передачи FullHD видео в реальном времени с использованием инкапсуляции RTP-трафика в P2M потоки. Была продемонстрирована передача данных в сети с 3 % потерь и RTT в 300 мс от одного отправителя, трем получателям. Потоковая передача FullHD видео, без потери качества, невозможна в подобных условиях с использованием классических протоколов, таких как TCP. Данное утверждение было наглядно продемонстрировано на стенде в ходе выставки.

Внедрение работы

• Протокол P2M стал основным сетевым инструментом в проектах Future Internet Lab Anhalt, связанных с высокоскоростной передачей данных. На его базе будут строиться как пользовательские, так и индустриальные приложения, подразумевающие сетевую коммуникацию и обмен данными.

• На крупнейшей в мире компьютерной выставке CeBIT 2015 было продемонстрировано первое применение P2M на практике. Было представлено приложение, реализующее RTP-шлюз для потокового видео, позволяющий вести потоковую передачу с гарантированной доставкой каждого кадра даже в сетях с высокими потерями (до 5 %). Была продемонстрирована потоковая трансляция короткометражного фильма «Tears of Steel» от компании «Mango Open Movie Foundation» в формате FullHD.

• Алгоритмы, представленные в данной работе, включены в учебное пособие под ред. проф. В.П. Шувалова «Сетевые технологии высокоскоростной передачи данных», а также рассматриваются в курсе лекций «Коммуникационные сети» в университете города Кётен (Anhalt University of Applied Sciences)

Апробация работы

• Конференция ICNS 2013 в Лиссабоне. Доклад: «Evaluation of Reliable Multicast Implementations with Proposed Adaptation for Delivery of Big Data in Wide Area Networks».

• Конференция ICAIIT-2013 в Кетене. Доклад: «Influence of Jitter on Reliable Multicast Data Transmission Rate in Terms of CDN Networks».

• Дискуссия в ходе серии выступлений Future Talks на выставке CeBIT 2014 в Ганновере на тему: «Actual Challenges and Novel Solutions for Big Data Transport across the World».

• Конференция APEIE 2014 в Новосибирске. Доклад по теме: «Analysis of Performance Issues in Point-to-Multipoint Data Transport for Big Data».

• Дискуссия в ходе серии выступлений Future Talks на выставке CeBIT 2015 в Ганновере на тему: «Actual Approaches for Big Data Transport Across the World».

• Презентация результатов работы на примере P2M участникам выставки CeBIT 2015 в виде решения по потоковой передаче FullHD видео в среде с большими потерями (3 %).

По результатам исследования были написаны 7 работ, 2 из которых были напечатаны в изданиях, рекомендованных ВАК, и одна проиндексирована в базе данных Scopus и IEEE.

На конференции ICNS 2013 в Лиссабоне раннее описание методик, заложенных в основу данной работы, было удостоено награды «За Лучшую Статью».

Положения, выносимые на защиту

• IP-мультикаст не справляется с задачей гарантированной доставки большого объёма информации на скоростях свыше 240 Мбит/с.

• Проблемы с существующими решениями проявляются в следующих компонентах:

o буферизация пользовательских данных;

o реализация гарантии доставки;

o управление перегрузками и потоками.

• Предложенный в работе протокол Р2М решает задачу высокоскоростной передачи больших объёмов информации нескольким получателям одновременно.

• Алгоритмы 1ТЕА и ЬТЕА (разработанные в данной работе) позволяют с достаточным уровнем точности принимать решения о необходимости повысить/понизить скорость передачи данных на основе отчётов от получателей в сессии.

• Архитектура протокола Р2М позволяет с относительной лёгкостью расширять его новыми модулями и открывает широкие возможности к дальнейшим исследованиям.

Личное участие автора в получении научных результатов

Основные результаты научной работы получены автором самостоятельно. В ходе работы были предложены алгоритмы и их реализации, позволяющие добиться увеличения скорости передачи данных в реальных условиях по сравнению с существующими решениями. Вклад автора в опубликованные результаты и внедрение в производство является основным.

Структура и объём работы Работа содержит 154 страницы и состоит из введения, четырёх глав и заключения.

Глава 1 Классические решения IP-мультикаст

Введение

При передаче данных в формате точка-многоточка, первой доступной технологией является IP-multicast. Данный подход описан в RFC 1112 и на сегодняшний день является стандартом множества индустрий:

• IP-TV - цифровое телевидение, подразумевающее доставку контента определённой группе получателей (подписчиков сервиса);

• IP-телефония - аудиоконференции;

• управление инфраструктурой предприятия - установка обновлений, проведение массовых изменений в локальных учётный записях пользователей.

• В данной главе будут приведены принципы работы технологии IP-multicast и обоснование невозможности её использования для решения поставленной в диссертации задачи.

1.1 unicast/broadcast/multicast

Технология IP-multicast обладает принципиальными отличиями от всем известных unicast и broadcast. В первом случае речь идёт о передаче данных из конца в конец между двумя и только двумя сторонами, - классическим сценарием передачи информации. Данный вид передачи данных всегда базируется на использовании IP-адресов, описанных в RFC 6034 и RFC 2073. При передаче данных в режиме unicast используются классические алгоритмы маршрутизации.

Рисунок 1.1. Передача данных в формате точка-точка (unicast)

В случае с broadcast (широковещательная передача), определённом в RFC 919, речь идёт о передаче данных от одного отправителя всем возможным получателям, а именно, всем активным (подключённым к сети) устройствам, имеющим адрес из той же подсети, что и отправитель. Отправитель в таком случае должен вести передачу на специально зарезервированный адрес, который определяется путём логической операции ИЛИ между битовым отрицанием маски подсети и адресом хоста, желающего начать передачу данных в режиме broadcast. Операцию получения broadcast адреса для определённой сети можно описать так: необходимо заменить каждый нулевой октет маски подсети на 255, например: маска 172.16.0.0, говорит о том, что областью широкого вещания (broadcast domain) для данной сети является адрес 172.16.255.255. Таким образом, отправив IP-пакет на адрес 172.16.255.255, его получит каждый хост из данной сети.

Рисунок 1.2. Передача данных в формате от одного всем (broadcast)

В случае же с multicast ситуация становиться значительно более интеллектуальной. IP-multicast подразумевает передачу данных определённой группе получателей - тех, что заинтересованы в получении определённой информации. Передача в таком случае ведётся на специальный адрес, определённый как IP-адрес группы D, а именно 224.0.0.0/4 (в случае IPv4) и . ff00::/8 (в случае IPv6).

Рисунок 1.3. Передача данных в формате точка-многоточка (multicast)

Multicast был разработан с целью снижения нагрузки на сеть путём снижения доли дублирующейся информации при передаче по сети. Иными словами, multicast реализует следующий подход: при наличии 20 получателей незачем передавать 20 пакетов, стоит передать лишь один, который, в свою очередь, будет дублироваться на промежуточных устройствах, если это необходимо. Такой подход при правильном использовании может значительно снизить нагрузку на сеть. Возьмем простой пример: Вы являетесь провайдером цифрового телевидения. Вы продали услугу Standard Definition Telefision (SDTV, стандартное разрешение телевидения). Необходимо предоставить её 20 абонентам: это фактически означает необходимость передачи 2 Мбит/с * 30 * 20 = 1200 Мбит/с (при условии вещания 30 каналов и необходимости 2 Мбит/с на канал). Наличие подобного канала связи является достаточно затратным мероприятием. Именно в связи с подобными потребностями и появился IP-multicast, позволяющий снизить нагрузку на канал. Разумеется, подобный подход подразумевает значительно более сложные механизмы, заложенные в основу процессов построения multicast-групп и маршрутизации multicast-трафика. Базовые принципы работы технологии будут рассмотрены далее.

1.2 Принципы работы multicast

В основу работы технологии multicast легли два основных принципа:

• возможность гибкого и масштабируемого управления multicast группами - для реализации динамического построения групп получателей.

• возможность маршрутизации multicast-пакетов - для обеспечения возможности автоматического построения эффективной таблицы маршрутизации multicast трафика.

На данном этапе, подходим к основополагающим протоколам стека технологий IP-multicast:

• IGMP (The Internet Group Management Protocol) - протокол управления multicast группами;

• PIM (Protocol Independent Multicast) - протокол маршрутизации multicast трафика.

1.2.1 IGMP

Протокол IGMP предназначен для общения клиентов с наиболее близко расположенным multicast-маршрутизатором. Используя сообщения IGMP, клиент может заявить о желании получать трафик определённой группы (например, определённый канал в вещании IP-TV). Маршрутизатор запоминает выбор клиента, и приходящие multicast-пакеты будут обрабатываться исходя из этих данных.

На данный момент существуют три версии протокола IGMP для IPv4: V1, представленная в RFC 1112; V2, представленная в RFC 2236 и добавляющая определение сообщений о нежелании клиента получать трафик той или иной multicast-группы и являющаяся наиболее распространенной на сегодняшний день; V3 определённая в RFC 3376 и определяющая новые стандарты безопасности multicast-трафика в контексте средств защиты от подмены адресов (IP-spoofing). В области IPv6 аналогом является протокол MLDv2 (multicast listener discovery), определённый в RFC 4604.

По сути, для корректного функционирования протокол IGMP использует всего три вида служебных сообщений:

• IGMP membership report (IGMP join) - таким сообщением клиент уведомляет маршрутизатор о желании получать определённый трафик;

• IGMP query - таким сообщением маршрутизатор проверяет наличие активных клиентов позади него;

• IGMP leave - таким сообщением клиент уведомляет маршрутизатор о необходимости удаления его интерфейса из списка получателей трафика определённой multicast группы.

IGMP не отвечает за построение полноценной маршрутизации в случае большой сети. Для этого существует протокол маршрутизации multicast-трафика PIM.

1.2.2 PIM

Существует несколько вариантов построения таблиц маршрутов для multicast-: DVMRP (Distance Vector Multicast Routing Protocol), MOSPF (Multicast extension for OSPF), CBT (Core Based Trees), однако они не получили широкого распространения, и

стандартом де-факто на сегодняшний день является PIM. Выдержка из RFC 2189, посвященной протоколу CBT (перевод): "Протокол CBT второй версии не разрабатывался в режиме обратной совместимости с первой версией, и мы считаем, что это не вызовет проблем, поскольку не ожидаем широкого распространения протокола в ближайшее время".

Таким образом, имеем PIM как основной протокол маршрутизации multicast-трафика на сегодняшний день. Целью данной работы не является рассмотрение алгоритмов, заложенных в основу PIM, но необходимые парадигмы его работы будут рассмотрены с целью лучшего понимания темы.

В основе протокола лежит построение так называемого "дерева". "Дерево" представляет собой граф соединений, описывающих передачу трафика в рамках конкретной multicast-группы. Такое "дерево" называется MDT (Multicast Distribution Tree).

В протоколе PIM предполагается два рабочих режима: PIM dense mode (PIM DM) и PIM sparse mode (PIM SM).

1.2.2.1 PIM DM

Данный вид алгоритма разрабатывался для работы в сетях с высокой плотностью (density) multicast-узлов. Проблема передачи multicast трафика в подобном подходе решается просто: трафик передаётся на все доступные узлы сети. Через определённое время становится понятно, куда трафик передавать не нужно в связи с отсутствием клиентов. Если в ходе передачи появляется необходимость подключить маршрутизатор к дереву, можно либо дождаться следующей массовой рассылки по всей сети, либо инициировать присоединение посредством сообщения Graft. Полученное дерево является деревом без петель в самом общем случае (простая сеть), но в случае более сложной топологии в работу включится RPF (Reverse Path Forwarding), который опирается на то, что путь от источника к получателю должен быть кратчайшим. Таким способом происходит защита от петель как в случае с PIM DM, так и с PIM SM. Основным недостатком данного подхода в маршрутизации является чрезмерно высокий объём трафика, который должен быть передан для построения дерева, что является оправданным решением только в случае чрезвычайно высокой плотности multicast-узлов.

1.2.2.2 PIM SM

Данный режим работы PIM решает такую же проблему, но показывает себя более эффективным в сложных топологиях. Разумеется это накладывает и определённые требования к алгоритму, который должен решать множество проблем, начиная от обнаружения соседей, заканчивая встроенными механизмами защиты от петель.

Центральным понятием PIM SM является RP (Rendezvous Point)-маршрутизатор хранящий информацию об источнике и всех получателях. IP-адрес данного маршрутизатора должен быть известен всем маршрутизаторам в сети, поскольку точка RP является точкой отсчёта при построении дерева. Данная точка может быть задана статически или определяться динамически (по аналоги с протоколом Spanning Tree). Помимимо этого, PIM SM имеет механизм обнаружения соседей, который базируется на отправке IP-пакетов HELLO с TTL = 1 на все интерфейсы маршрутизатора. Так, к примеру, на рисунке 1.4 маршрутизатор R2 является RP для данного случая и является корнем дерева, ведущего к получателям multicast-трафика. Режим протокола PIM SM является наиболее востребованным на сегодняшний день в связи его эффективностью как с точки зрения полосы пропускания, так и с точки зрения гибкости и функциональности.

Рисунок 1.4. Протокол PIM работающий в режиме SM

1.3 Недостатки решения IP-multicast

При множестве преимуществ, технология IP-multicast обладает рядом недостатков, которые сильно снижают её популярность. Данные проблемы будут рассмотрены далее.

1.3.1 Отсутствие гарантии доставки

Уже в первых строках RFC 1112, являющейся описанием стандарта передачи данных в multicast-режиме, прописано дословно следующее: "технология не гарантирует доставку отправленных пакетов всем получателям". Это утверждение лежит в основе IP-multicast и является одной из причин написания данной работы. IP-multicast базируется на протоколе негарантированной доставки UDP, что означает возможность потери данных даже в локальной сети. В общем случае, это не является проблемой для таких видов трафика, как видео или аудиотрансляции. Однако при необходимости передачи данных в режиме точка-многоточка, но с условием, что каждый пакет должен быть доставлен (например, в случае передачи резервной копии базы данных), muticast в базовом представлении не выглядит решением. Существуют официальные рекомендации по построению более высокоуровневых протоколов (в рамках модели OSI), которые будут обеспечивать гарантию доставки данных путём реализации собственных механизмов восстановления потерь путём использования алгоритма FEC (Forward Error Correction), или ARQ (Automatic Repear reQuests).

Стоит при этом заметить, что реализация собственного протокола высокого уровня сопряжена со значительными трудностями из-за сложности реализации концепции установки соединения в IP-multicast, а также в связи с тем, что массивные потери в сети, в сочетании с достаточно большим числом получателей в группе вызовут DDOS атаку в направлении отправителя, состоящую из ARQ-ответов. Более того, даже решив означенные выше проблемы, невозможно приблизится к гигабитным скоростям передачи данных в сетях с потерями.

1.3.2 Низкий уровень безопасности

Основной и так и не до конца решённой проблемой IP-multicast является проблема неконтролируемого трафика. Например, как только коммутатор получает multicast-пакет в первый раз, пакет всегда будет разослан на все возможные порты, что делает возможным получение информации незаинтересованными лицами или заинтересованными злоумышленниками.

Кроме того, multicast вполне может служить средством DDOS (denial of service attack) атаки [9]. Ведь простейший ICMP-запрос на multicast адрес вызовет усиление влияния

пакета в N раз, где N - число участников группы (так называемая, атака вида Mulicast-Amplified). Сценарии атак, а также возможности их устранения приведены в работах [9], [10], [11], [12], [13].

На сегодняшний день объективным решением проблемы безопасности multicast является шифрование трафика либо его туннелирования [14], что, по сути, уже не будет являться multicast в чистом виде.

1.3.3 Поддержка на промежуточных устройствах

Большинство современных сетевых устройств от всех производителей имеют полную поддержку всего семейства протоколов IP-multicast. При этом, стоит заметить, что наиболее частое состояние протоколов multicast по умолчинию - "off'. Это связано с проблемами, описанными ранее, и практикуется большинством производителей, особенно в корпоративном сегменте [15]. Это означает только то, что нельзя реалистично смотреть на передачу multicast-трафика через глобальную сеть Internet, поскольку чаще всего, нет контроля всего пути пакетов по сети, а значит и нет гарантии включения, multicast маршрутизации на всех промежуточных устройствах. За исключением пожалуй инфраструктур сетевых провайдеров, таких как Akamai или CloudFlare. Но покупка услуг аренды каналов у них означает не просто покупку доступной полосы пропускания, а, скорее, аренду оборудования, позволяющего пронести свой трафик из пункта A в пункт B. Само собой разумеется, что стоимость таких услуг очень часто превышает возможный бюджет проекта.

1.4 Варианты использования IP-multicast

Исходя из приведённых данных становится понятно, что технология IP-multicast обладает рядом существенных преимуществ, основным и неоспоримым из которых является эффективное использование полосы пропускания канала, но проблемы безопасности, отсутствия гарантии доставки и поддержки на промежуточных устройствах ограничивают границы применения технологии следующими случаями:

• Цифровое телефидение - бесспорно, данная область является одной из определяющих в развитии и поддержке данной технологии. Использование multicast значительно экономит ресурсы провайдера связи и позволяет строить сетевые архитектуры с очень большим запасом на будущее.

• Системы аудио/видео конференций в корпоративных сетях. В данном случае, преимущества аналогичны и сильно схожи с предидущим случаем.

• В качестве внутреннего инструмента какого-либо другого протокола. Например, протокол маршрутизации OSPF, который использует IP-multicast для реализации своего механизма обнаружения соседей.

• В сторонних проектах, основывающихся на закрытых ИП-сетях. К примеру, проекты, посвящённые построению сенсорных сетей или самоорганизующихся сетей, вполне подходят для реализации потенциала IP-multicast.

Как можно заметить, все эти проекты определяет одно - толерантность к потерям в сети и полный контроль над инфраструктурой, что, в свою очередь, позволяет минимизировать потери путём контроля объёма кросс-трафика.

Что же делать в случае недопустимости потери даже одного бита информации, как в случае с передачей файла по сети? Первое предположение - внести некоторые изменения на транспортном уровне стека multicast, а именно использовать транспортный протокол гарантированной доставки данных.

1.5 Перспективы использования TCP на транспортном уровне IP-multicast

Как уже было показано в предыдущем разделе, IP-multicast предполагает недостоверную доставку данных по «своей природе». Решением кажется замена протокола негарантированной доставки UDP на протокол гарантированной доставки TCP. Однако перенос концепций TCP в рамки передачи данных, подразумевающей множество равноправных получателей, сопряжён с рядом трудностей, что не просто усложняет замену протокола на транспортном уровне, а делает её невозможной. Причина подобных трудностей кроется в базовых принципах работы TCP, а именно, в механизмах контроля потока (flow control) и управления перегрузками (congestion control). Далее будут рассмотрены основные принципы работы TCP и предприняты попытки перенести алгоритмы TCP для обеспечения возможности достоверной передачи информации в IP-multicast.

1.5.1 Механизмы установления соединения TCP

TCP является протоколом, ориентированным на установление и контроль соединения. Установка соединения состоит из обмена пакетами между клиентом (посылающей) и сервером (принимающей) сторонами, происходит по схеме, приведённой на рисунке 1.5.

• Установление соединения начинается с отправки SYN-пакета со стороны клиента, который будет содержать номер порта, к которому он желает подключиться, а также начальный номер последовательности, с которой начнётся передача данных.

• Сервер отвечает клиенту пакетом SYN и подтверждает получение SYN-пакета клиента.

• Клиент получает ответ сервера и подтверждает его посылая ACK-пакет.

Список литературы диссертационного исследования кандидат наук Бахарев Александр Владимирович, 2016 год

Литература

[1] Executive Summary: Data Growth, Business Opportunities u the IT Imperatives I The Digital Universe of Opportunities: Rich Data and the Increasing Value of the Internet of Things. [Online]. Available: http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm. [12-022015].

[2] S. Kaisler. Money Big Data: Issues and Challenges Moving Forward / S. Kaisler, F. Armour, J. A. Espinosa u W. Money // 2013 46th Hawaii International Conference on System Sciences, P. 9951004.

[3] How Much Information is Stored in the Human Genome? I Bitesize Bio. [Online]. Available: http://bitesizebio.com/8378/how-much-information-is-stored-in-the-human-genome/. [12-04-2015].

[4] A. Bakharev. Evaluation of Reliable Multicast Implementations with Proposed Adaptation for Delivery of Big Data in Wide Area Networks // in ICNS 2013, The Ninth International Conference on Networking and Services, P. 160-164.

[5] Â.Bakharev. Influence of Jitter on Reliable Multicast Data Transmission Rate in Terms of CDN Networks / Â.Bakharev u e.Siemens // Koethen, in International Conference on Applied Innovations in IT, 2013, P. 193-199.

[6] J. C. Lin. RMTP: a reliable multicast transport protocol / J. C. Lin and S. Paul // in Proceedings of IEEE INFOCOM '96. Conference on Computer Communications, vol. 3, P. 1414-1424.

[7] L. Rizzo. A reliable multicast data distribution protocol based on software FEC techniques / L. Rizzo and L. Vicisano // in The Fourth IEEE Workshop on High-Performance Communication Systems, 1997, P. 116-125.

[8] AWS Import/Export - Cloud Data Transfer & Migration Services. [Online]. Available: http://aws.amazon.com/importexport/. [12-02-2015].

[9] N. Kim. Detection of Multicast Video Flooding Attack using the Pattern of Bandwidth Provisioning Efficiency / N. Kim, H. Lim, H. Park u M. Kang // IEEE Commun. Lett., vol. 14, no. 12, Dec. 2010. C. 1170-1172.

[10] A. F. Gomez-Skarmeta. IGMPv3-based method for avoiding DoS attacks in multicast-enabled networks / A. F. Gomez-Skarmeta, A. L. Mateo-Martinez u P. M. Ruiz-Martinez // in Proceedings 25th Annual IEEE Conference on Local Computer Networks. LCN 2000, P. 94-95.

[11] W. Trappe. Staggered TESLA: a multicast authentication scheme resistant to DoS attacks // in GLOBECOM '05. IEEE Global Telecommunications Conference, 2005, vol. 3, P. 6

[12] Hoang Lan Nguyen. Study of Different Types of Attacks on Multicast / Hoang Lan Nguyen and Uyen Trang Nguyen // in Mobile Ad Hoc Networks, in International Conference on Networking, International Conference on Systems and International Conference on Mobile Communications and Learning Technologies (ICNICONSMCL'06), P. 149-149.

[13] P. Anitha. An improved security mechanism for high-throughput multicast routing in wireless mesh networks against Sybil attack / P. Anitha, G. N. Pavithra u P. S. Periasamy // in International Conference on Pattern Recognition, Informatics and Medical Engineering (PRIME-2012), P. 125-130.

[14] L. Higgins. Tunneling multicast traffic through non-multicast-aware networks and encryption devices / L. Higgins, G. McDowell u B. VonTobel // in 2001 MILCOM Proceedings Communications for Network-Centric Operations: Creating the Information Force (Cat. No.01CH37277), vol. 1, P. 296-300.

[15] L. Thrybom. Multicast filtering in industrial Ethernet networks / L. Thrybom u G. Prytz // in 2010 IEEE International Workshop on Factory Communication Systems Proceedings, P. 185-188.

[16] M. Ahmad. A survey on TCP CUBIC variant regarding performance / M. Ahmad, A. Bin Ngadi, A. Nawaz, U. Ahmad, T. Mustafa u A. Raza // in 2012 15th International Multitopic Conference (INMIC), P. 409-412.

[17] L. V. Yovita. Performance analysis of Cubic and Yeah TCP implementation using BATMAND over MANET // in 2013 International Conference on Robotics, Biomimetics, Intelligent Computational Systems, P. 40-45.

[18] K. Ratna Pavani. Performance evaluation of TCP-Reno, TCP-Newreno and TCP-Westwood on burstification in an OBS network / K. Ratna Pavani u N. Sreenath // in 2012 18th International Conference on Advanced Computing and Communications (ADCOM), P. 19-24.

[19] M. Borri, A. Ferrarini u M. L. Merani // Window-Based and Rate-Based Congestion Controls: a Local Stability Analysis under Variable RTT Conditions and the Proposal of an RTP-Based Algorithm, in 2007 IEEE International Conference on Communications, P. 6149-6155.

[20] J.-T. Lim // Window-based congestion control to improve TCP fairness and utilization for wide-bandwidth networks, in 2008 International Conference on Control, Automation and Systems, P. 401-405.

[21] Li-song Shao. General Window-Based Congestion Control: Buffer Occupancy, Network Efficiency and Packet Loss / Li-song Shao, He-ying Zhang u Wen-hua Dou // in 4th Annual Communication Networks and Services Research Conference (CNSR '06), P. 181-195.

[22] Feng Xie. The effects of NAK-based loss recovery mechanism on window-based multicast congestion control / Feng Xie, Gang Feng u Chee Kheong Siew // in GLOBECOM '05. IEEE Global Telecommunications Conference, 2005, vol. 1, p. 6 C.-512.

[23] P. L. Palyi. Window-based HSDPA Transport Network Congestion Control, / P. L. Palyi, S. Racz u S. Nadas // in 2010 European Wireless Conference (EW), P. 123-131.

[24] V. Paxson. Wide area traffic: the failure of Poisson modeling / V. Paxson u S. Floyd // IEEE/ACM Trans. Netw, vol. 3, no. 3, Jun. 1995. C. 226-244

[25] M. E. Crovella. Self-similarity in World Wide Web traffic: evidence and possible causes / M. E. Crovella u A. Bestavros // IEEE/ACM Trans. Netw, vol. 5, no. 6, 1997. C. 835-846

[26] M. D. Logothetis. Teletraffic models beyond Erlang / M. D. Logothetis u I. D. Moscholios // in 2014 ELEKTRO, P. 10-15.

[27] S. Bates. Testing the Gaussian assumption for self-similar teletraffic models / S. Bates u S. McLaughlin // in Proceedings of the IEEE Signal Processing Workshop on Higher-Order Statistics, 1997, P. 444-447.

[28] R. Jain. Packet Trains--Measurements and a New Model for Computer Network Traffic / R. Jain u S. Routhier // IEEE J. Sel. Areas Commun., vol. 4, no. 6, Sep. 1986. C. 986-995

[29] W. Willinger. Self-similarity through high-variability: statistical analysis of Ethernet LAN traffic at the source level / W. Willinger, M. S. Taqqu, R. Sherman и D. V. Wilson // IEEE/ACM Trans. Netw., vol. 5, no. 1, 1997. C. 71-86

[30] A. P. Petropulu. The extended alternating fractal renewal process for modeling traffic in highspeed communication networks // IEEE Trans. Signal Process., vol. 49, no. 7, Jul. 2001. C. 1349-1363

[31] A. P. Petropulu. Estimating long-range dependence in impulsive traffic flows, in 2001 IEEE International Conference on Acoustics, Speech и Signal Processing / A. P. Petropulu и J.-C. Pesquet // Proceedings (Cat. No.01CH37221), vol. 6, P. 3413-3416.

[32] A. T. Andersen. An application of superpositions of two state Markovian source to the modelling of self-similar behaviour / A. T. Andersen and B. F. Nielsen // in Proceedings of INFOCOM '97, vol. 1, P. 196-204.

[33] A. A. Petropulu. Rate-limited EAFRP-a new improved model for high-speed network traffic / A. A. Petropulu and H. Sethu // IEEE Trans. Signal Process, vol. 53, no. 2, Feb. 2005. P. 505-522

[34] IEEE Xplore полнотекстовый HTML : Rate-limited EAFRP-a new improved model for highspeed network traffic. [Online]. Ссылка:

http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=1381743#ref_17. [16-Feb-2015].

[35] W. E. Leland. On the self-similar nature of Ethernet traffic (extended version) / W. E. Leland, M. S. Taqqu, W. Willinger и D. V. Wilson // IEEE/ACM Trans. Netw, vol. 2, no. 1, 1994. C. 1-15.

[36] S. S. Y. Zhang. On the characteristics and origins of Internet flow rates / S. S. Y. Zhang, L. Breslau и V. Paxson // in ACM SIGCOMM, 2002.

[37] C. Fraleigh. No TitPacket-Level Traffic Measurements From a Tier-1 IP Backbone / C. Fraleigh and S. Moon // 2001.

[38] K. Stordahl. Broadband demand and the role of new technologies // in Networks 2008 - The 13th International Telecommunications Network Strategy and Planning Symposium, vol. Supplement, P. 1-8.

[39] B. E. Wolfinger // Keynote lecture research challenges and proposed solutions to improve availability and quality-of-service in future IPTV systems, in 2012 IEEE 8th International Conference on Intelligent Computer Communication and Processing.

[40] R. D. McLeod. A UDP-based file transfer protocol with flow control using fuzzy logic approach // in CCECE 2003 - Canadian Conference on Electrical and Computer Engineering. Toward a Caring and Humane Technology (Cat. No.03CH37436), vol. 2, P. 827-830.

[41] J. Wang. Reliable and Efficient Data Transfer Protocol Based on UDP in Cluster System / J. Wang, G. Gu, S. Xie и L. Xu // in First International Multi-Symposiums on Computer and Computational Sciences (IMSCCS'06), 2006, vol. 1, P. 518-524.

[42] N. S. V. Rao. A class of reliable UDP-based transport protocols based on stochastic approximation // in Proceedings IEEE 24th Annual Joint Conference of the IEEE Computer and Communications Societies., 2005, vol. 2, P. 1013-1024.

[43] S. Poojary. Theoretical analysis of high-speed multiple TCP connections through multiple routers / S. Poojary and V. Sharma // in 2013 IEEE International Conference on Communications (ICC), P. 2320-2325.

[44] D. Kachan. Comparison of Contemporary Solutions for High Speed Data Transport on WAN 10 Gbit / s Connections / D. Kachan and E. Siemens // in ICNS 2013 : The Ninth International Conference on Networking and Services, no. c, P. 34—43.

[45] F. Inoue. Implementation and evaluation of GridFTP Automatic Parallelism Tuning mechanism for long-fat, networks / F. Inoue, T. Ito, H. Ohsaki u M. Imase // in 2008 7th Asia-Pacific Symposium on Information and Telecommunication Technologies, P. 189-194.

[46] R. Kettimuthu. Modeling and Optimizing Large-Scale Wide-Area Data Transfers / R. Kettimuthu, G. Vardoyan, G. Agrawal u P. Sadayappan // in 2014 14th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing, P. 196-205.

[47] G. Zhao. Research and Implementation of Data Transfer in Grid / G. Zhao, P. Wang, D. Liu u C. Zou // in 2009 ETP International Conference on Future Computer and Communication, P. 12-15.

[48] S. Akram. Understanding Scalability and Performance Requirements of I/O-Intensive Applications on Future Multicore Servers / S. Akram, M. Marazakis u A. Bilas // in 2012 IEEE 20th International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems, P. 171-180.

[49] H. Fröning. Efficient Virtualization of High-Performance Network Interfaces / H. Fröning, H. Litz u U. Brüning // in 2009 Eighth International Conference on Networks, P. 434-439.

[50] J. Wiebelitz. TCP-AuthN: TCP Inline Authentication to Enhance Network Security in Grid Environments / J. Wiebelitz, P. Kunz, S. Piger u C. Grimm // in 2009 Eighth International Symposium on Parallel and Distributed Computing, P. 237-240.

[51] J. Wiebelitz. Transparent identity-based firewall transition for eScience / J. Wiebelitz, S. Piger, P. Kunz u C. Grimm // in 2009 5th IEEE International Conference on E-Science Workshops, P. 3-10.

[52] A. Denis. Wide-area communication for grids: an integrated solution to connectivity, performance and security problems / A. Denis, O. Aumage, R. Hofman, K. Verstoep, T. Kielmann u H. E.

Bal // in Proceedings. 13th IEEE International Symposium on High performance Distributed Computing, 2004, P. 97-106.

[53] W. Long and W. Zhenkai // Performance Analysis of Reliable Dynamic Buffer UDP over Wireless Networks, in 2010 Second International Conference on Computer Modeling and Simulation, vol. 1, P. 114-117.

[54] A. O. F. Atya. RUFC: A flexible framework for reliable UDP with flow control // in 8th

International Conference for Internet Technology and Secured Transactions (ICITST-2013), P. 276-281.

[55] D. Gomez. Reliable communications over lossy wireless channels by means of the combination of UDP and Random Linear Coding / D. Gomez, E. Rodriguez, R. Aguero u L. Munoz // in 2014 IEEE Symposium on Computers and Communications (ISCC), P. 1-6.

[56] J. Wang. Reliable and Efficient Data Transfer Protocol Based on UDP in Cluster System / J. Wang, G. Gu, S. Xie u L. Xu // in First International Multi-Symposiums on Computer and Computational Sciences (IMSCCS'06), vol. 1, P. 518-524.

[57] S. Tibor. Realization of reliable high speed data transfer over UDP with continuous storage / S. Tibor, P. Dukan, B. Odadzic u O. Peter // in 2010 11th International Symposium on Computational Intelligence and Informatics (CINTI), P. 307-310.

[58] R. B. Adamson. Quantitative prediction of NACK-oriented reliable multicast (norm) feedback / R. B. Adamson and J. P. Macker // in MILCOM 2002. Proceedings, vol. 2, P. 964-969.

[59] J. Gemmell. The PGM reliable multicast protocol / J. Gemmell, T. Montgomery, T. Speakman u J. Crowcroft // IEEE Netw, vol. 17, no. 1, Jan. 2003, P. 16-22.

[60] P. Ostovari. Reliable Broadcast with Joint Forward Error Correction and Erasure Codes in Wireless Communication Networks / P. Ostovari and J. Wu // in 2015 IEEE 12th International Conference on Mobile Ad Hoc and Sensor Systems, 2015, P. 324-332.

[61] M.-F. Tsai. Forward-Looking Forward Error Correction Mechanism for Video Streaming Over Wireless Networks / M.-F. Tsai, C.-K. Shieh, T.-C. Huang u D.-J. Deng // IEEE Syst. J, vol. 5, no. 4, Dec. 2011, P. 460-473.

[62] S.-Y. Chang. Ideal Forward Error Correction Codes for High-Speed Rail Multimedia Communications / S.-Y. Chang, H.-T. Chiao u Y.-H. Hung // IEEE Trans. Veh. Technol., vol. 63, no. 8, Oct. 2014, P. 3517-3529.

[63] S. Chandrasekhar. Experimental Study on 42.7-Gb/s Forward-Error-Correction Performance Under Burst Errors / S. Chandrasekhar and X. Liu // IEEE Photonics Technol. Lett., vol. 20, no. 11, P. 927-929, Jun. 2008.

[64] F. A. Ali. Bandwidth efficient adaptive forward error correction mechanism with feedback channel / F. A. Ali, P. Simoens, W. Van de Meerssche u B. Dhoedt // J. Commun. Networks, vol. 16, no. 3, Jun. 2014, P. 322-334.

[65] L. Park. SPARM: Spatially Pipelined ACK Aggregation for Reliable Multicast in Directional MAC / L. Park, C.-G. Lee u S. Cho // IEEE Commun. Lett, vol. 17, no. 3, Mar. 2013 P. 596-599.

[66] T. Alahdal. An adaptive reliable multicast protocol in ad hoc networks / T. Alahdal, S. Subramaniam, M. Othman u Z. Zukarnain // in 2007 IEEE International Conference on Telecommunications and Malaysia International Conference on Communications, P. 68-74.

[67] Byung-Won On. A hierarchical ack-based protocol for reliable multicast in mobile networks / Byung-Won On, Haesun Shin, Miae Choi u Myong-Soon Park // in Proceedings IEEE International Conference on Networks 2000 (ICON2000). Networking Trends and Challenges in the New Millennium, P. 359-362.

[68] Chapter 18. Boost.Lockfree - 1.57.0. [Online]. Available: http://www.boost.org/doc/libs/1_57_0/doc/html/lockfree.html. [12-02-2015].

[69] E. SIEMENS. A MEMORY BUFFER SYSTEM AND A METHOD FOR OPERATING A MEMORY BUFFER SYSTEM FOR FAST DATA EXCHANGE / E. SIEMENS and X. QIU - 10-Apr-2009.

[70] A.Krizhanovsky. Lock-Free Multi-Producer Multi-Consumer Queue on Ring Buffer // Linux J, no. 228.

[71] R. L. Grossman. Experiences in Design and Implementation of a High Performance Transport Protocol // in Proceedings of the ACM/IEEE SC2004 Conference, 2004, P. 22-22.

[72] I. Fedotova. A High-precision Time Handling Library / I. Fedotova, E. Siemens u H. Hu // in ICNS 2013, The Ninth International Conference on Networking and Services, 2013, no. c, P. 193-199.

[73] Y. A. Wang. Queen: Estimating Packet Loss Rate between Arbitrary Internet Hosts / Y. A. Wang, P. Huang, J. Li u K. W. Ross // in Passive and Active Network Measurement, 2009, P. 57-66.

[74] D. Qu. A New Way Based on Relative Forward Delay to Improve TCP Performance Over Heterogeneous Networks / D. Qu, J. Xue и T. Fan // in 2007 International Conference on Wireless Communications, Networking and Mobile Computing, 2007, P. 1821-1824.

[75] Б. П. Зеленцов. Матричные модели функционирования оборудования систем связи / Б. П. Зеленцов // Вестник СибГУТИ 2015.4, P. 62-73.

[76] R. Lovewell. Impact of cross traffic burstiness on the packet-scale paradigm / R. Lovewell and J. Kaur // in 2011 18th IEEE Workshop on Local & Metropolitan Area Networks (LANMAN), 2011, P. 1-6.

[77] Niu Dawei. A cross traffic estimate method for high speed networks / Niu Dawei, Mi Zhichao, Wang Hai, Yu Weibo, Zhao Wendong и Guo Xiao // in 2012 IEEE 14th International Conference on Communication Technology, 2012, P. 209-213.

[78] National Center for Supercomputing Applications at the University of Illinois. [Online]. Available: http://www.ncsa.illinois.edu/about. [12-02-2015].

[79] S. Narayan. Impact on network performance of jumbo-frames on IPv4/IPv6 network infrastructure: An empirical test-bed analysis / S. Narayan and P. R. Lutui // in 2010 IEEE 4th International Conference on Internet Multimedia Services Architecture and Application, 2010, P. 1-4.

[80] S. Narayan. Network Performance Evaluation of Jumbo Frames on a Network / S. Narayan and P. R. Lutui // in 2013 6th International Conference on Emerging Trends in Engineering and Technology, 2013, P. 69-72.

[81] CeBIT: Big Data, Social Business, Mobile, Cloud and more. [Online]. Available: http://www.cebit.de/home. [Accessed: 12-02-2015].

[82] 8K UHDTV: How do you send a 48Gbps TV signal over terrestrial airwaves? I ExtremeTech. [Online]. http://www.extremetech.com/extreme/130238-8k-uhdtv-how-do-you-send-a-48gbps-tv-signal-over-terrestrial-airwaves. [12-02-2015].

Приложение 1

(справочное)

Акты о внедрении

Institut für Medizin & Technik

To whom it may concern

Institut für Medizin & Technik e.V. an der Hochschule Anhalt (An-Institut)

Direktor: Prof. Dr. rer. nat. habil. Otto Kersten Fachgebiet: Festkörperphysik

Bernburger Straße 57 06366 Kothen

Telefon: [phone] Telefax: (03496) 67-2399 E-Mail: [e-mail]

Bearbeiter: Gabriele Twieg

Kothen, den 20.04.2016

Confirmation of application and use

The approaches presented at PhD thesis of Aleksandr Bakharev "Development of Algorithms for High-Speed Data Delivery in Point-to-Multipoint Fashion" will be applied to the daily activities of the IMT in new research projects. With emerging Big Data trend, having a reliable software stack of data distribution over the Internet may significantly widen a research interests and capabilities of the IMT . The proposed buffers and software stacks have been approved and found having significant benefits against the actual state of the art.

With kind regards

bernburger Str. 55 • 06366 Knfhon

Prof. Dr. rer. nat. habil. Otto Kersten

Director of the Institute for Medicine and Technology

Institutsdirektor Prof Dr. rer nat.habil. Otto Kersten Amtsgericht Stendal VR 33325 UST.-ID DE 211319829

Volksbank e G Köthen-Bitterfek)

BIC: GENODEF1KOE

IBAN DE22 8006 3628 0102 1633 57

••••• ••••• • • ••••• •

• • • • • •

• • • ••• •

• • • • • •

• ••••• • • ••••• •••••

Prof. Dr. Eduard Siemens

Vorsitzender des Beirates • Head of the supervisory board

TIXEL GmbH • Karl-Wiechert-Allee 74 • 30625 Hannover • Germany

To whom it may concern

tel [phone] mobile [phone] fax [phone]

e-mail [e-mail]

10.12.2014

Hereby, Tixel GmbH confirms a usability of algorithms and concepts, presented at the PhD thesis of Aleksandr Bakharev "Development of Algorithms for High-Speed Data Delivery in Point-to-Multipoint Fashion". Tixel is one of the world leaders at the area of high-speed data transport solutions. However, over the years, Tixel planned an implementation of software stack, which will simplify data distribution at the WAN networks. Results of Aleksandr Bakharev's work, are a huge step toward this goal and will help Tixel to make such data transportation possible. Focus on performance, makes a P2M almost ready to the market solution, while having 1 Gbps per receiver will satisfy our customers needs. Therefore, we are aming at P2M algorithms to become one of our core technologies for the further time.

With best regards,

Dr. Eduard Siemens

Supervisory board, Chair

TIXEL GmbH Karl-Wiechert-Allee 74 30625 Hannover Germany

tel [phone] fax [phone] [e-mail] www.tixeltec.com

Geschäftsführung/ Managing Director: Dr. Ralf Einhorn, Andreas Aust

Handelsregister: Amtsgericht Hannover HRB 204654 USt-ID: DE266943220

Bankverbindung: Sparkasse Hannover BLZ: 25050180 Konto: 900439076

Bernburg

Dessau

Kothen

Hochschule Anhalt

Hochschule Anhalt FB 6. Postfach 1458 06354 Kothen

Anhalt University of Applied Sciences

рт\л/

Department of

To whom it may concern

Elektrotechnical, Mechanical and Industrial Engineering

Prof. Dr.-lng. Eduard Siemens Communication Technologies

Head of the Future Internet Lab Anhalt

Bernburger StraÈe 57 06366 Koethen

Telefon [phone] Telefax [phone] Mobil: [phone]

E-Mail [e-mail]

Kothen, April 13, 2015

Акт об использовании в учебном процессе

Наработки, алгоритмы и методы высокоскоростной передачи данных , представленные в диссертации А.Бахарева "Разработка методов высокоскоростной передачи данных в телекоммуникационных сетях от одного отправителя нескольким получателям", представляют высокую научную ценность и являются хорошей иллюстрацией тонкостей работы протоколов передачи данных с гарантией доставки. Особенности разработки высокоскоростных протоколов будут включены в программу курса лекций Communication and Embedded Systems в университете прикладных наук города Кётен (Германия).

Отдельные алгоритмы и методы диссертации будут успользоваться в немецкоязычной лекции „Kommunikationssysteme" бакалаврской специальности курса Електротехника и электронная техника, 3-4 курс, а также в англоязычной лекции Channel Coding двойного диплома магистерской программы „Communication and Embedded" Systems.

Prof. Or.-Ing. Eduard Siemens

Future Internet Lab Anhalt Hochschule Anhalt

i achbereich Elek^is ;hnik, Maschinenbau

Prof. Dr.-lng Eduard Siemens Head of the Future Internet Lab

und Wirtschaftsingenieurwesen

Sernburger Straße 57 0Ô366 Kothen

HSA use confirmation 2.odt

Hochschule Anhalt FB 6. Postfach 1456 06354 Kothen

To whom it may concern

Bernburg

Dessau

Kothen

Hochschule Anhalt

Anhalt University of Applied Sciences pm\A/

Department of Elektrotechnical, Mechanical and Industrial Engineering

Prof. Dr.-Ing. Eduard Siemens Communication Technologies

Head of the Future Internet Lab Anhalt

Bernburger Straße 57 06366 Koethen

Telefon: [phone] Telefax: [phone] Mobil: [phone] E-Mail: [e-mail]

Kothen, April 13, 2015

Confirmation of application and use

Herewith, Future Internet Lab Anhalt (FILA) confirms the application of methods described in PhD thesis of Aleksandr Bakharev "Development of Algorithms for High-Speed Data Delivery in Point-to-Multipoint Fashion". The developed software stack P2M is going to be used as a main software library at all new FILA projects, related to the Big Data delivery. Algorithms, presented at the given thesis enable FILA to develop and present high-efficient data transport solutions, for reliable delivery of data from one sender to multiple receivers. Such technology would not be possible without the results of mentioned work.

With kind regards,

VMsjLO^

Prof. Dr.-Ing Eduard Siemens Head of the Future Internet Lab

Prof. Dr.-Ing. Eduard Siemens

Future Internet Lab Anhalt Hochschule Anhalt

Fachbereich Elektrotechnik, Maschinenbau und Wirtschaftsingenieurwesen Bernburger Straße 57 06366 Kothen

FILA_use confirmation.odt