Разработка и исследование комплекса моделей трафика и методов оценки качества для дополненной реальности тема диссертации и автореферата по ВАК РФ 05.12.13, доктор наук Маколкина Мария Александровна

• Маколкина Мария Александровна
• доктор наук
• 2020

Оглавление диссертации доктор наук Маколкина Мария Александровна

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1 АНАЛИЗ УСЛУГ И ТЕХНОЛОГИЙ

ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

1.1 Анализ областей применения приложений дополненной реальности

1.1.1 Медицина

1.1.1.1 Медицина в умных городах

1.1.1.2 Сканер вен

1.1.1.3 Виртуальное интерактивное присутствие

1.1.1.4 Офтальмология

1.1.2 Образование

1.1.2.1 Универсальное приложение Layar

1.1.2.2 Учебники дополненной реальности

1.1.2.3 Система обучения SMART

1.1.3 Строительство, архитектура и дизайн

1.1.3.1 Трехмерные модели зданий

1.1.3.2 Моделирование объектов

1.1.3.3 Приложение для наложения эскизов

1.1.4 Рекламный бизнес

1.1.4.1 Театры и кинотеатры

1.1.4.2 Прогноз погоды

1.1.4.3 Продукты

1.1.4.4 Торговля

1.1.5 Туризм

1.1.6 Экология

1.1.7 Ремонт техники

1.1.8 Аннотация и визуализация

1.1.9 Управление роботами

1.1.10 Игры и развлечения

1.1.11 Военная промышленность

1.1.12 Голографическое присутствие

1.2 Классификация приложений дополненной реальности

1.2.1 По типу представления информации

1.2.2 По способу распознавания объекта

1.2.3 По способу взаимодействия с пользователем

1.2.4 По типу мобильности

1.2.5 По целевому назначению услуги

1.2.6 По типу безопасности

1.2.7 По степени воздействия на окружающую среду

1.3 Устройства дополненной реальности

1.3.1 Проект Lightform

1.3.2 3Б-камера SID

1.3.3 Камера Intel RealSense 3D

1.3.4. «Умные» контактные линзы

1.3.5 Очки дополненной реальности

1.3.6 Голографический смартфон

1.3 Обзор технологий передачи данных для приложений дополненной реальности

1.3.1 Обзор перспективных радиотехнологий дополненной реальности

1.3.1.1 Технологии RFID/NFC

1.3.1.2 Технология Bluetooth

1.3.1.3 Технология ZigBee

1.3.1.4 Технология Z-Wave

1.2.1.5 Технология Wi-Fi

1.2.1.6 Технологии LPWAN (LoRaWAN)

1.2.1.7 Технология LTE-M/ NB-IoT

1.2.1.8 Технология SigFox

1.2.1.9 Технология Weightless

1.2.2 Технологии спутниковой связи

1.2.2.1 Технология GPS

1.2.2.2 Технология ГЛОНАСС

1.2.3 Сети связи пятого поколения 5G/IMT-2020

ВЫВОДЫ по главе 1:

ГЛАВА 2 АНАЛИЗ И РАЗРАБОТКА ТРЕБОВАНИЙ К СЕТЯМ СВЯЗИ ДЛЯ

ПРЕДОСТАВЛЕНИЯ УСЛУГ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

2.1. Анализ показателей качества восприятия для реализации услуг дополненной реальности

2.1.1. Качество восприятия в сетях связи

2.1.2. Анализ субъективных методов оценки качества передачи видеоизображений

2.1.2.1 Метод DSIS

2.1.2.2 Метод DSCQS

2.2.1.3 Метод SDSCE

2.1.2.4 Методы с одним источником воздействия (Single Stimulus)

2.1.2.5 Методы сравнения воздействия (Stimulus Comparison)

2.1.2.6 Метод SSCQE

2.1.2.7 Метод ACR

2.1.2.8 Метод DCR

2.2.1 Анализ взаимосвязи параметра Хёрста и субъективных оценок качества восприятия

2.2.1.1 Методы оценки параметра Хёрста

2.2.1.2 Расчёт параметра Хёрста

2.2.1.3 Метод оценки качества восприятия на основе параметра Хёрста и субъективных оценок

2.2.1.4 Метод оценки качества восприятия в системах дополненной реальности

2.3. Модель оценки QoE на основе распознавания эмоций

2.3.1 Четырехуровневая пользовательская модель для оценки видео

2.3.1.1 Уровень чувств

2.3.1.2 Уровень восприятия

2.3.1.3 Уровень эмоций

2.3.1.4 Уровень действия

2.3.1.5 Метрики для оценки качества восприятия

2.3.1.6 Структура экспериментального стенда

ВЫВОДЫ по главе 2:

ГЛАВА 3 ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ. МОДЕЛИ

3.1. Модель услуги

3.1.1 Модель взаимодействия основных элементов

при предоставлении услуг ДР

3.1.2 Качество предоставления услуги ДР

3.2 Модель трафика ДР

3.2.1 Модель окружения пользователя

3.2.2 Секторальная модель окружения пользователя

3.2.3 Модель поведения (движения) пользователя

3.2.3.1 Модель услуги ДР для Умного города (или в очках ДР)

3.2.3.2 Модель восприятия пользователя

3.2.3.3 Модель предоставления услуги ДР

3.2.3.4 Моделирование движения пользователя услуги дополненной реальности

3.2.3.4.1 Постановка задачи

3.2.3.4.2 Модель данных

3.2.3.4.3 Модель пользователя

3.2.3.4.4 Метод выбора данных дополненной реальности

ВЫВОДЫ по главе

ГЛАВА 4 РАСПРЕДЕЛЕНИЕ РЕСУРСОВ СЕТИ ПРИ ПРЕДОСТАВЛЕНИИ

УСЛУГ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

4.1 Структура реализации услуги

4.1.1 Модель услуги

4.2 Метод выбора структуры сети и параметров оборудования

4.2.1 Обработка данных об окружении

4.2.2 Формирование и обновление данных

4.3 Иерархическая структура предоставления услуг дополненной реальности для распределения нагрузки и данных

4.4 Метод выгрузки трафика приложений дополненной реальности в многоуровневой системе граничных вычислений

4.4.1 Структура системы AR/MM-MEC

4.4.2 Многопользовательские игры в условиях дополненной реальности. Система AR/MM-MEC

4.4.3 Потоковое видео с обзором в 360 градусов в системе AR/MM-MEC

4.4.4 Метод выгрузки трафика

4.4.4.1 Выгрузка на первый уровень

4.4.4.2 Выгрузка на первый уровень

4.4.4.3 Выгрузка на второй уровень

4.4.5 Моделирование и оценка эффективности предложенного метода

4.4.6 Анализ результатов моделирования

4.5 Исследование взаимодействия приложений дополненной реальности с облачными сервисами 1С

4.5.1 Архитектура системы

4.5.2 Модельная сеть для идентификации устройств ИВ с помощью ДР

4.5.3 Тестирование модельной сети

4.6 Применение дополненной реальности, БПЛА и SDN для приложений VANET

4.6.1 Модель сети VANET с приоритетным обслуживанием

4.6.2 Алгоритм управления дорожным движением

4.7 Исследование взаимодействия приложений дополненной реальности и методов управления БПЛА

4.7.1 Особенности передачи данных при управлении БПЛА

4.7.2 Исследование влияния качества восприятия в системах дополненной реальности на управление БПЛА

4.7.3 Проведение эксперимента по управлению БПЛА с помощью ДР и анализ полученных результатов

4.8 Типовая модель управления интернет вещами на базе технологии дополненной реальности

4.8.1 Классификация приложений ИВ для технологии ДР

4.8.2 Классификация устройств ИВ для реализации систем идентификации объектов

4.8.3 Примеры реализации ДР при управлении ИВ

4.8.3.1 Применение технологии ДР для мониторинга и контроля сетевого оборудования

4.8.3.2 Применение технологии ДР для мониторинга устройств ИВ в области сельского хозяйства

4.8.3.3 Применение технологии ДР для мониторинга сохранности музейных экспонатов

ВЫВОДЫ по главе

ГЛАВА 5 ИССЛЕДОВАНИЕ ПОДХОДОВ К ПЕРЕДАЧЕ МУЛЬТИМЕДИА КОНТЕНТА ДЛЯ ПРИЛОЖЕНИЙ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ НА БАЗЕ БЕСПРОВОДНОЙ СЕНСОРНОЙ СЕТИ

5.1 Исследование качества передачи изображения и речи поверх протокола ZigBee в режиме прозрачного канала

5.1.1 Схема лабораторного стенда для передачи изображения

5.1.2 Схема лабораторного стенда для передачи речи

5.1.3 Оценка параметров качества передачи изображения и речи поверх протокола ZigBee в режиме прозрачного канала

5.2 Экспериментальное исследование передачи мультимедиа контента для приложений дополненной реальности на базе беспроводной сенсорной сети

5.2.1 Взаимодействие элементов лабораторного стенда

5.2.2 Аппаратное обеспечение

5.2.3 Программное обеспечение

5.2.4 Сценарии экспериментального исследования

5.2.5 Сценарий 1 - влияние плотности сети на задержку для приложений ДР

5.2.6 Сценарий 2 - увеличение количества маршрутизаторов

5.2.7 Анализ результатов экспериментов

5.3 Экспериментальное исследование передачи мультимедиа контента для приложений дополненной реальности на базе беспроводной сети стандарта Wi-Fi (IEEE 802.11)

5.3.1 Модель исследуемой сети

5.3.2 Результаты имитационных экспериментов

5.3.2.1. Зависимость пропускной способности от количества транзитов

5.3.2.2. Зависимость вероятности потерь от интенсивности трафика

5.4. Тестирование работы приложений дополненной реальности

5.4.1. Классификация приложений дополненной реальности для тестирования

5.4.2 Модель для тестирования приложений дополненной реальности

5.4.3 Сценарии тестирования приложений ДР

ВЫВОДЫ по главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А. ДОКУМЕНТЫ, ПОДТВЕРЖДАЮЩИЕ ВНЕДРЕНИЕ ОСНОВНЫХ РЕЗУЛЬТАТОВ ДИССЕРТАЦИОННОЙ РАБОТЫ

Введение диссертации (часть автореферата) на тему «Разработка и исследование комплекса моделей трафика и методов оценки качества для дополненной реальности»

ВВЕДЕНИЕ

Актуальность темы исследования. Второе десятилетие XXI века в области сетей и систем связи ознаменовалось появлением концепции и началом внедрения сетей связи пятого поколения. Сети связи пятого поколения являются не просто эволюционным продолжением развития существовавших до них поколений сетей, а принципиально новыми сетями связи, в основе которых лежат сверхплотные сети и сети с ультра малыми задержками. Сверхплотные сети подразумевают создание сетей, число устройств в которых может достигать 1млн на один квадратный километр, а сети с ультра малыми задержками определяются как сети, в которых требования к величине круговой задержки составляют 1мс. В последнее время требования по ультра малой задержке были дополнены требованиями по ультравысокой надежности, в результате чего появились сети с ультравысокой надежностью и ультра малыми задержками URLLC (Ultra Reliable andLow Latency Communications).

Новые требования к сетям связи во многом были порождены появлением таких концепций, как Интернет Вещей и Тактильный Интернет. При этом первая из них способствовала созданию сверхплотных сетей, а вторая - сетей с ультра малыми задержками. К настоящему времени в области Интернета Вещей и Тактильного Интернета проведено достаточно большое число исследовательских работ, что обеспечило не только понимание новых проблем построения сетей и систем связи для их эффективной реализации, но и сформировало направление исследований для будущих сетей, определяемых Международным Союзом Электросвязи как сети 2030. В рамках исследовательских работ по сетям 2030 в настоящее время подчеркивается приоритетная роль создания сетей с ультравысокой надежностью и ультра малыми задержками как основы их создания. При этом в области приложений сетей 2030 ведущая роль принадлежит приложениям в области взаимодействия человека и машин H2M (Human-to-Machine), среди которых одним из важнейших является дополненная реальность.

Технологии дополненной реальности как таковые известны с первого десятилетия XXI века. Однако, из-за достаточно больших затрат на терминальное оборудование, отсутствия массового спроса в отраслях промышленности, вследствие их неготовности к внедрению дополненной реальности в производственные процессы, ограниченного использования дополненной реальности в учебном процессе и т.д., эта технология не стала сетевой, в широком смысле этого слова, когда создаваемый дополненной реальностью трафик в существенной степени влияет как на принципы построения сети, так и на ее планирование. Появление концепций сетей 2030 и Интернета Навыков предусматривает массовое использование приложений дополненной реальности как в реальной жизни населения, так и в различных областях хозяйственной деятельности общества, включая промышленность, здравоохранение и образование.

Предстоящее массовое внедрение приложений дополненной реальности требует знания характеристик трафика дополненной реальности для разработки принципов построения сети и ее эффективного планирования. Следует также отметить, что требуемая круговая задержка для приложений дополненной реальности составляет 5мс. Последнее относит исследования в области дополненной реальности к сетям с ультравысокой надежностью и ультра малыми задержками. К сожалению, исследовательских работ в области моделей и методов оценки трафика, а также объективных оценок качества восприятия в области дополненной реальности для сетей связи к настоящему времени практически нет.

Поэтому, исследование, направленное на разработку методологии представления трафика пользователя дополненной реальности, комплекса моделей пространства обслуживания, пространства восприятия пользователя и поведения мобильного пользователя дополненной реальности, методов представления трафика пользователя дополненной реальности, распределения ресурсов и выгрузки трафика, а также объективной оценки качества восприятия представляется актуальным.

Степень разработанности темы. Существует множество работ в области сетей связи пятого поколения, сетей связи с ультравысокой надежностью и ультра малыми задержками как теоретического, так и экспериментального плана.

Определяющий вклад в теоретические и экспериментальные исследования таких сетей внесли российские и зарубежные ученые В.М. Вишневский, Ю.В. Гайдамака, Б.С. Гольдштейн, В.Г. Карташевский, Р.В. Киричек,

A.Е. Кучерявый, Е.А. Кучерявый, А.И. Парамонов, А.П. Пшеничников,

B.К. Сарьян, С.Н. Степанов, К.Е. Самуйлов, М.А. Сиверс, Н.А. Соколов, В. О. Тихвинский, М.А. Шнепс-Шнеппе, M. Dohler, G. Fettweis, J. Hosek, A.A. Ateya, M. Maier, M.Z. Shafig и др.

В диссертации в отличии от известных подходов к моделям сетей связи пятого поколения с учетом специфики предоставления услуг дополненной реальности предложена новая методология представления трафика пользователя, включающая в себя три взаимоувязанных модели: модель пространства обслуживания, модель области восприятия пользователя, представляющая собой часть пространства обслуживания, которую может воспринимать пользователь в конкретный момент времени, и модель поведения мобильного пользователя, характеризующая изменения его положения и области восприятия. Предложенная методология требует исследования и формирования комплекса всех вышеуказанных моделей.

Оригинальное представление пользователя приложений дополненной реальности в качестве системы массового обслуживания позволяет применить к создаваемому им трафику все известные модели и методы теории массового обслуживания и теории телетрафика. Однако, модель поведения мобильного пользователя дополненной реальности включает в себя не только относительно известные из исследований трафика в сетях связи пятого поколения характеристики как плотность устройств, но и неисследованные до настоящего времени характеристики угла сектора обзора пользователя и угловую скорость поворота, которые оказывают весьма существенное влияние на параметры качества обслуживания и качества восприятия для пользователя дополненной реальности.

Проблемы распределения ресурсов в гетерогенных сетях связи пятого поколения и выгрузки трафика являются одними из наиболее существенных для планирования сетей и их устойчивого функционирования. В этой области исследований хорошо известны работы С.А. Андреева, А.И. Выборновой, М.О. Колбанева, Е.А. Кучерявого, А.Е. Кучерявого, К.Е. Самуйлова, А.К. Канаева, А.В. Рослякова, А.С.А. Мутханны, А.М. Тюрликова, A. Aijaz, A.A. Ateya, M. Dohler, G. Fettweis, M. Simsek, R.S. Schmoll и др. При этом практически все работы в области распределения ресурсов и выгрузки трафика посвящены взаимодействиям машина-машина M2M (Machine-to-Machine) и Тактильному Интернету. Только в работе R.S. Schmoll с соавторами рассматриваются вопросы выгрузки трафика дополненной реальности для игровых приложений для сетей связи пятого поколения. При этом не используется многоуровневая система граничных вычислений и не рассматриваются такие ключевые приложения дополненной реальности как круговые видеопотоки, многопользовательские игры и web- приложения.

Одним из важнейших вопросов в приложениях, использующих видео информацию, является оценивание качества восприятия. Широко распространенные субъективные методы оценивания требуют привлечения больших ресурсов и, как правило, не могут использоваться для оценки качества восприятия непосредственно в процессе предоставления услуг пользователям. Проблема оценки качества восприятия при предоставлении услуг дополненной реальности в диссертационной работе решается на основе использования значения параметра Херста, что ранее было предложено автором для IPTV. Кроме того, параметр Херста в диссертации предложено использовать и для оценки эмоций пользователя для видео приложений, включая дополненную реальность.

Объект и предмет исследования. Предметом исследования являются сети связи пятого поколения, а объектом - приложения дополненной реальности в этих сетях.

Цель работы и задачи исследования. Цель работы состоит в создании методологии представления трафика дополненной реальности и разработке

комплекса моделей и методов оценки трафика дополненной реальности и его выгрузки в сети, а также оценки качества восприятия приложений дополненной реальности пользователем.

Цель работы достигается путем последовательного решения следующих задач:

- анализ существующего положения в области исследования сетей связи пятого поколения и сетей связи 2030, роли и места приложений дополненной реальности в развитии сетей и систем связи,

- разработка классификации приложений дополненной реальности с учетом Тактильного Интернета и Интернета Навыков,

- разработка методологии представления трафика пользователя дополненной реальности,

- разработка модели пространства обслуживания пользователя дополненной реальности,

- разработка модели области восприятия пользователя дополненной реальности,

- разработка модели поведения мобильного пользователя дополненной реальности, перемещающегося в окружении устройств Интернета Вещей,

- разработка метода представления трафика пользователя дополненной реальности при изменении области восприятия пользователя в процессе его перемещения,

- определение распределения скоростей пешеходов и водителей и пассажиров автотранспорта, как пользователей дополненной реальности,

- разработка метода выгрузки трафика для сети, предоставляющей услуги дополненной реальности,

- разработка методологии оценки качества восприятия видео пользователем дополненной реальности на основе оценки его эмоций,

- разработка метода оценки качества восприятия для услуг дополненной реальности и Интернета Навыков,

- разработка метода идентификации устройств с использованием дополненной реальности и системы 1 С для инвентаризации.

Научная новизна. В диссертационной работе получены следующие основные новые научные результаты:

1. Предложена классификация приложений дополненной реальности, отличающаяся от известных тем, что в классификации как отдельный класс приложений учтены приложения дополненной реальности для Тактильного Интернета и Интернета Навыков.

2. Разработана методология представления трафика пользователя дополненной реальности, отличающаяся тем, что для представления трафика используются три взаимоувязанных модели: модель пространства обслуживания, модель области восприятия пользователя, представляющая собой часть пространства обслуживания, которую может воспринимать пользователь в конкретный момент времени, и модель поведения мобильного пользователя, характеризующая изменения его положения и области восприятия.

3. Разработана модель пространства обслуживания пользователя, отличающаяся тем, что при предоставлении услуг дополненной реальности помимо интерактивного запроса данных по требованию пользователя учитывается и возможность предиктивного запроса данных по решению клиентского приложения.

4. Разработана модель области восприятия пользователя, отличающаяся тем, что прогнозируемая область восприятия пользователя представляется в виде эллипса, построенного на основе вероятных координат пользователя и вероятной области восприятия данных пользователем, что дает возможность обеспечить эффективность как минимум на 25% большую, чем при использовании других фигур.

5. Разработана модель поведения мобильного пользователя услуги дополненной реальности, перемещающегося в окружении устройств Интернета Вещей, отличающаяся от известных тем, что пользователь представлен как система массового обслуживания МЮ/1, а входящий поток формируется при этом из К доступных пользователю услуг, включающих видео, текст, графику, речь, музыку,

тактильные ощущения и т.п., что обеспечивает возможность расчета таких систем с использованием аппарата теории массового обслуживания.

6. Разработан метод представления трафика пользователя дополненной реальности при изменении области восприятия пользователя в процессе его перемещения, отличающийся тем, что при поступательном движении пользователя в Пуассоновском поле область восприятия пользователя определена в виде сектора и в классификации Кендалла-Башарина эта модель записывается следующим образом - M(a, r, р, v, ro)/G/1, где а - угол сектора, r - радиус, р - плотность устройств в секторе, v - скорость перемещения пользователя, ю - угловая скорость поворота.

7. Определены распределения скоростей пешеходов и водителей и пассажиров автотранспорта, отличающиеся тем, что эти распределения для получения оценок трафика пользователя дополненной реальности представлены в виде мультимодальных.

8. Разработан метод выгрузки трафика для сети, предоставляющей услуги дополненной реальности, отличающийся от известных использованием многоуровневой системы граничных вычислений с четырьмя уровнями выгрузки трафика, что позволяет не только обеспечить выполнение требований по величине задержки в 5 мс, но и уменьшить потери в несколько раз по сравнению с существующими методами для всех основных услуг дополненной реальности: круговых видеопотоков, многопользовательских игр и web- приложений дополненной реальности.

9. Разработана методология оценки качества восприятия видео, отличающаяся от известных введением четырехуровневой модели "чувства-восприятие-эмоции-действия", что в совокупности с использованием для оценки качества восприятия параметра Херста позволяет на основе объективного метода оценить долю положительных эмоций пользователя при просмотре конкретного видео.

10. Разработан метод оценки качества восприятия для услуг дополненной реальности и Интернета Навыков, отличающийся от известных тем, что для

получения объективной оценки качества восприятия используется значение параметра Херста.

11. Разработан метод идентификации устройств для инвентаризации, отличающийся от известных совместным использованием дополненной реальности и системы «1С: предприятие».

Теоретическая и практическая значимость работы. Теоретическая значимость работы обусловлена, прежде всего, разработкой новой методологии представления трафика дополненной реальности, которая объединила модель пространства обслуживания, модель области восприятия пользователя, представляющую собой часть пространства обслуживания, которую может воспринимать пользователь в конкретный момент времени, и модель поведения мобильного пользователя, характеризующую изменения его положения и области восприятия. Это дает возможность адекватного определения оценок трафика дополненной реальности, в том числе его распределения в пространстве, и, соответственно, планирования сетей связи пятого поколения с учетом характеристик трафика дополненной реальности. Важнейшим теоретическим результатом является представление пользователя дополненной реальности как системы массового обслуживания и введение в практику исследования моделей телетрафика параметров угла сектора восприятия и угловой скорости поворота, что вкупе с вышеотмеченными моделями формирует новый раздел теории телетрафика.

Метод выгрузки трафика для приложений дополненной реальности не только дополняет ряд методов выгрузки трафика для Тактильного Интернета и взаимодействий M2M, но и существенно расширяет имеющиеся представления об этом процессе за счет выгрузки трафика таких приложений дополненной реальности как круговые видеопотоки и многопользовательские игры.

Одна из сложных теоретических проблем оценки качества восприятия, в том числе и при предоставлении услуг дополненной реальности, в диссертационной работе решается на основе использования значения параметра Херста, что ранее было предложено автором в кандидатской диссертации для 1РТУ. Кроме того,

параметр Херста в диссертационной работе предложено использовать и для оценки эмоций пользователя для видео приложений, включая дополненную реальность.

Практическая значимость работы состоит в создании научно-обоснованных рекомендаций по планированию сетей связи пятого поколения с учетом массового внедрения приложений дополненной реальности для Тактильного Интернета и Интернета Навыков. Самостоятельную практическую ценность имеет разработанная под руководством автора система инвентаризации на основе совместного использования дополненной реальности и системы "1С: Предприятие".

Полученные в диссертационной работе результаты внедрены в ПАО «ГИПРОСВЯЗЬ» при разработке методики расчета сетей связи для дополненной реальности и при их планировании, в ФГУП НИИР при выполнении государственных контрактов по научно-техническому и методическому обеспечению выполнения Министерством цифрового развития, связи и массовых коммуникаций функций Администрации связи Российской Федерации в Секторе стандартизации электросвязи Международного союза электросвязи в работах по разработке стандартов (вкладов) по внедрению приложений дополненной реальности на сетях связи, в институте прикладной математики и телекоммуникаций Российского университета дружбы народов в учебном процессе, а также в научно-исследовательских работах в рамках Проекта повышения конкурентоспособности ведущих российских университетов 5-100, в ПАО «Ростелеком» при выполнении НИР «Анализ актуальных радиотехнологий построения Индустриального Интернета Вещей», в Санкт-Петербургском государственном университете телекоммуникаций им. проф. М.А. Бонч-Бруевича при чтении лекций, проведении практических занятий и лабораторных работ, а также при выполнении гранта Российского фонда фундаментальных исследований на тему: «Разработка принципов интеграции технологии дополненной реальности и Интернета Вещей» и научно-исследовательской работы в рамках Федеральной целевой программы на тему: «Разработка и экспериментальная апробация аппаратно-программной платформы предоставления приоритетного проезда

регулируемых перекрестков для общественного, грузового и специального транспорта».

Методы исследования. Для решения поставленных в работе задач использовались методы теории вероятностей, теории массового обслуживания и теории телетрафика, имитационного моделирования.

Положения, выносимые на защиту.

1. Методология представления трафика пользователя дополненной реальности на основе трех взаимоувязанных моделей: модели пространства обслуживания, модели области восприятия пользователя, представляющей собой часть пространства обслуживания, которую может воспринимать пользователь в конкретный момент времени, и модели поведения мобильного пользователя, характеризующей изменения его положения и области восприятия.

2. Модель пространства обслуживания пользователя, учитывающая при предоставлении услуг дополненной реальности помимо интерактивного запроса данных по требованию пользователя возможность предиктивного запроса данных по решению клиентского приложения.

3. Модель области восприятия пользователя, в которой прогнозируемая область восприятия пользователя представляется в виде эллипса, построенного на основе вероятных координат пользователя и вероятной области восприятия данных пользователем, что дает возможность обеспечить эффективность как минимум на 25% большую, чем при использовании других фигур.

4. Модель поведения мобильного пользователя услуги дополненной реальности, перемещающегося в окружении устройств Интернета Вещей, в которой пользователь представлен как система массового обслуживания МЮ/1, а входящий поток формируется при этом из К доступных пользователю услуг, включающих видео, текст, графику, речь, музыку, тактильные ощущения и т. п., что обеспечивает возможность расчета таких систем с использованием аппарата теории массового обслуживания.

5. Модель трафика пользователя дополненной реальности при поступательном движении пользователя в Пуассоновском поле в условиях определения области

восприятия пользователя в виде сектора, представляемая в классификации Кендалла-Башарина как M(a, г, р, v, ю)/0/1, где а - угол сектора, г - радиус, р -плотность устройств в секторе, v - скорость перемещения пользователя, ю -угловая скорость поворота.

6. Метод выгрузки трафика для сети, предоставляющей услуги дополненной реальности, на основе многоуровневой системы граничных вычислений с четырьмя уровнями выгрузки трафика, что позволяет не только обеспечить выполнение требований по величине задержки в 5мс, но и уменьшить потери в несколько раз по сравнению с существующими методами для всех основных услуг дополненной реальности: круговых видеопотоков, многопользовательских игр и ,№еЬ-приложений дополненной реальности.

7. Методология оценки качества восприятия видео на основе четырехуровневой модели «чувства-восприятие-эмоции-действия», что в совокупности с использованием для оценки качества восприятия параметра Херста позволяет на основе объективного метода оценить долю положительных эмоций пользователя при просмотре конкретного видео.

8. Метод объективной оценки качества восприятия для услуг дополненной реальности и Интернета Навыков с использованием значения параметра Херста.

Степень достоверности и апробация результатов подтверждаются корректным применением математического аппарата, результатами имитационного моделирования и широким спектром публикаций и выступлений как на российских, так и на Международных конференциях. Основные положения диссертационной работы были представлены и обсуждались на следующих конгрессах, конференциях и семинарах: Международных конференциях по проводным и беспроводным сетям и системам следующего поколения NEW2AN (Санкт-Петербург, 2014-2019), Международных конференциях «Распределенные компьютерные и телекоммуникационные сети: управление, вычисление, связь» DCCN (Москва, 2015-2019), на XVII Международной научно-технической конференции «Проблемы техники и технологий телекоммуникаций» (Самара, 2016), Международных научно-технических и научно-методических

конференциях «Актуальные проблемы инфотелекоммуникаций в науке и образовании» АПИНО (Санкт-Петербург, 2013-2019), на юбилейной 70-й всероссийская научно-техническая конференции, посвященной Дню радио (Санкт-Петербург, 2015), на научных чтениях памяти А.С. Попова, посвященных Дню радио - празднику работников всех отраслей связи (Санкт-Петербург, 2016-2018), 3-й Международной конференции по искусственному интеллекту и промышленным технологиям А11Е (Шанхай, 2017), на 15-й Международной конференции по проводной/беспроводной связи в Интернете ЖЖ1С (Санкт-Петербург, 2017), на Международной конференции по будущим сетям и распределенным системам 1СРИВ8 (Амман, 2018).

Публикации. Основные результаты диссертации изложены в 53 опубликованных работах, в том числе в 12 работах, опубликованных в рецензируемых научных изданиях, в которых должны быть изложены научные результаты диссертации на соискание ученой степени; в 14 работах, опубликованных в изданиях, индексируемых в международных базах данных.

Соответствие паспорту специальности. Диссертационная работа выполнена по специальности 05.12.13 - Системы, сети и устройства телекоммуникаций и соответствует следующим пунктам паспорта специальности: 2, 3, 11, 12, 14.

Личный вклад автора. Все основные результаты диссертационной работы получены автором самостоятельно. Экспериментальные исследования проведены при его непосредственном участии и под научным руководством.

ГЛАВА 1 АНАЛИЗ УСЛУГ И ТЕХНОЛОГИЙ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

В начале XXI века произошли впечатляющие изменения в сфере телекоммуникационных технологий, предопределившие дальнейшее развитие сетей связи. Одним из таких толчков, послуживших массовому распространению концепции Интернета вещей [1], стали беспроводные сенсорные сети. Не так много времени прошло с публикации в журнале «Электросвязь» [2, 3] о роли всепроникающих сенсорных сетей в трансформации общества и переходе на совершенно другой, более качественный уровень услуг связи, а наблюдать стремительный рост количества научных исследований [4-8] и практических реализаций в области Интернета вещей можно уже сегодня [9-13]. Логичным развитием концепции Интернета вещей, существенно её обогатившем стала «дополненная реальность». Также, взяв за основу беспроводные сенсорные технологии, дополненная реальность перевернула существующие подходы в области восприятия информации, управления устройствами, повышения уровня эмоций пользователей при доступе к услугам связи [14, 15]. В силу универсальности технологии, наглядности и удобства её использования можно говорить о повсеместном применении дополненной реальности во всех сферах человеческой жизни [16-19]. В частности, применительно к новым концепциям развития сетей связи, таким как Тактильный Интернет и Интернет навыков, дополненная реальность занимает прочное место при разработке и внедрении их приложений [20-23].

В данной главе дается анализ приложений дополненной реальности и их классификация на основе разных критериев. Также исследуются беспроводные технологии, которые широки применяются для реализации услуг дополненной реальности. Особое внимание уделяется устройствам дополненной реальности, делающими данную технологию отличной от всех других.

Список литературы диссертационного исследования доктор наук Маколкина Мария Александровна, 2020 год

Источники данных

БД БД БД БД

( Пользователи ДР

Рисунок 4.4 - Структура размещения данных в системе обслуживания ДР

Большая доля трафика пользователей будет замыкаться в рамках сети, обслуживающей определенную географическую область. Данный подход может быть реализован при организации нескольких уровней обслуживания запросов пользователей и распределении данных и трафика.

4.3 Иерархическая структура предоставления услуг дополненной реальности

для распределения нагрузки и данных

Для уменьшения времени реакции путем снижения нагрузки на сервер услуги можно организовать иерархическую структуру, включающую несколько уровней обслуживания. Сервер каждого из уровней доступен разному количеству пользователей. Например, сервер первого (низшего) уровня может быть организован непосредственно в мобильном терминале и иметь единственного пользователя. Обращение к серверу более высокого уровня происходит в случае, когда требуемая информация не найдена в БД серверов низших уровней. БД

сервера каждого из уровней содержит информацию об окружении каждого из пользователей, для которых этот сервер доступен, а также информацию, востребованную пользователями, причем вероятность этого востребования равна р. Иерархическая структура предоставления услуги показана на рисунке 4.5.

Рисунок 4.5 - Иерархическая структура предоставления услуги

Рассмотрим модель предоставления услуги. При обнаружении изменения окружения терминал пользователя передает данные (возможно уже сформированный запрос) на сервер услуги 1-го уровня. Сервер производит обработку данных и запроса. При успешной обработке и наличии данных сервер отправляет ответ в терминал пользователя. Если по каким-либо причинам запрос не выполнен сервером данного уровня, запрос передается на сервер следующего уровня и так далее. Причиной неуспеха может быть отсутствие необходимых данных на текущем уровне обслуживания. Построение иерархической модели предоставления услуги позволяет путем распределения трафика и данных между уровнями обеспечить требуемые показатели качества предоставления услуги.

Время обслуживания запроса в сети с несколькими серверами можно описать как

Т = К + Е Р1 X (( + ** )+ 1 а + и , (4.15)

]=\ 1=1

где р ] - вероятность того, что запрашиваемые данные находятся в БД сервера_/-го уровня;

к- количество уровней (см. рис. 4.5). Или с учетом модели (4.5)

+±р, if Щ—Ят-Д+1 ^

m

j=i ,=i

v

с + - (ns )2(1 -ps) + s + - (VS )

(4.16)

При организации услуги в сети SDN ее функциональность может быть использована для динамического управления услугой путем изменения количества уровней обслуживания, т.е. увеличения или уменьшения к в выражениях (4.15) и (4.16).

Критерием принятия решения является время реакции 1, вернее его значение в сравнении с некоторой нормативной (целевой) величиной г0, значение которой наиболее приемлемо при реализации услуги. Очевидно, что целевым значением может быть выбран 0 (ноль), но очевидно, что такая цель недостижима. Уменьшение задержек на обработку и доставку может быть связано со значительными финансовыми затратами, поэтому приемлемость величины т0 целесообразно рассматривать как максимальное значение, при котором обеспечивается желаемое качество обслуживания (QoS) и качество восприятия услуги пользователями (QoE).

Таким образом, в рамках данной модели управление услугой заключается в поддержании возможной близости между реальной величиной времени реакции и

ее целевым значением, т.е. в обеспечении min|r-r0 . Тогда целевая функция

данной задачи может быть записана как минимум разности между временем реакции и нормативом. Минимум разности можно выразить через минимум квадрата разности и применить метод наименьших квадратов. Тогда задачу можно сформулировать как задачу оптимизации с целевой функцией

ik, Pi} = argmpn{x(| -1)2 J (4.17)

и ограничениями

кеН, к<^тах, 0<р <1, т>0, То >0,

где т - определяется выражениями (4.15) или (4.16); т0 - целевой значение времени реакции;

ктах - максимально допустимое количество уровней обслуживания. Стоит заметить, что выражения (4.15) и (4.16) являются лишь возможными моделями для описания временных параметров услуги. В качестве их могут выступать как аналитические, так и имитационные модели, позволяющие адекватно оценить интересующие параметры.

Приведенная выше задача (4.17) сформулирована как задача поиска оптимального количества уровней обслуживания к и значений рг-, которые определяют не только состав данных в БД, но и доли трафика на каждом из уровней обслуживания.

Фактически, состав данных в БД сервера уровня I может определяться согласно правилу: блок данных сохраняется в БД, если доля запросов к нему превышает величину ри Последнее фактически означает, что на данном уровне обслуживания замкнется трафик, создаваемый поступающими запросами.

Таким образом, реализация услуги дополненной реальности предполагает выполнение системой обслуживания функций по обработке, передаче, хранению, выборке данных и представлению информации пользователю. Выполнение каждой из этих функций требует затрат ресурсов времени, пропускной способности сети, производительности серверов и памяти.

Информационное обеспечение услуги (информация ДР) может формироваться различным образом, в том числе на основе результатов поиска информации, представленной в глобальной сети интернет. Поиск и хранение данных выполняется системой обслуживания, которая может иметь несколько уровней обработки. Их количество влияет на объем используемых ресурсов (пропускной способности сети, производительности серверов, памяти).

Основным показателем качества предоставления услуги является время реакции, т.е. время с момента изменения окружения пользователя до момента

представления пользователю необходимого сообщения. Это время зависит от распределения функций предоставления услуги по исполнительным элементам (терминал пользователя, серверы ДР, каналы сети ПД). Целевое значение этого времени не должно превышать время реакции пользователя на представляемое сообщение ДР.

Для обеспечения качества восприятия услуги ДР могут быть использованы ресурсы мобильного терминала (снижают время ПД), а также ресурсы SDN, позволяющие реализовать иерархическую модель предоставления услуги. Иерархическая модель дает возможность локализовать значительную долю данных и трафика, что позволяет экономить ресурсы пропускной способности сети связи.

Параметры иерархической модели предоставления услуги включают количество уровней иерархии и вероятность обращения к каждому из них. Вероятность обращения к некоторому уровню может быть использована как критерий для формирования БД.

Выбор количества уровней иерархии в модели предоставления услуги и вероятности обращений к каждому из них представляет собой задачу оптимизации, цель которой - обеспечение времени реакции, ближайшего к заданному значению. Решение этой задачи позволяет получить структурные параметры системы обслуживания на основе данных о трафике пользователей.

4.4 Метод выгрузки трафика приложений дополненной реальности в многоуровневой системе граничных вычислений

Дополненная реальность является одним из наиболее перспективных приложений сетей связи пятого поколения. Кроме того, дополненная реальность рассматривается также и как важное приложение для сетей связи 2030 года [374]. Дополненная реальность может широко использоваться и при реализации концепции Интернета Навыков [20]. Для достижения требуемого уровня качества

обслуживания и качества восприятия при предоставлении услуг дополненной реальности сеть связи должна обеспечивать задержку величиной не более 5мс, что определено в документах 3GPP для систем 5G и в рекомендациях Сектора стандартизации Международного Союза Электросвязи (МСЭ-Т) для IMT-2020 [190, 234]. Это означает, что для широкого распространения дополненной реальности на сетях связи требуется, чтобы эти сети относились к классу сетей с ультра малыми задержками [375].

Построение сетей связи с ультра малыми задержками в последнее время осуществляется на основе технологий мобильных граничных вычислений MEC (Mobile Edge Computing) и программно-конфигурируемых сетей SDN (Software Defined Network). Естественно, в последнем случае важную роль играет и виртуализация сетевых функций. В этом направлении на кафедре сетей связи и передачи данных СПбГУТ исследования проводятся успешно уже не первый год. Разработаны и многоуровневая облачная система на основе технологии MEC, и алгоритмы выгрузки трафика в таких сетях, и интеллектуальное ядро сетей связи пятого поколения взамен эволюционирующего пакетного ядра EPC (EvolvedPacket Core), и модифицированная многоуровневая система граничных вычислений MM-MEC (Modified Multilevel - Mobile Edge Computing) с использованием технологий взаимодействия устройство-устройство D2D (Device-to-Device), обеспечивающая не только ультра малую величину задержки, но и уменьшающая потери в сети [262, 265, 183]. Одновременно с этими работами на кафедре был достигнут существенный прогресс в области исследований дополненной реальности [365-371, 376, 377].

В данном разделе разработана новая структура системы предоставления услуг дополненной реальности на основе системы AR/MM-MEC, метод выгрузки трафика приложений дополненной реальности для такой структуры, позволяющий одновременно обеспечить энергетически эффективное функционирование сети при предоставлении услуг дополненной реальности. При этом исследуются три наиболее важных приложения дополненной реальности: потоковое видео с

обзором в 360 градусов, приложения на основе Web и многопользовательские игры в условиях дополненной реальности.

В настоящее время очень большое внимание уделяется подобного рода исследованиям, так в [378], рассматривается функционирование приложения игр виртуальной реальности в системе, базирующейся на граничных вычислениях MEC. Кроме того, в этой работе рассматриваются также вопросы перехода к приложениям VR/AR (Virtual Reality/Augmented Reality). Предложенная система основывается на разработанном протоколе быстрой миграции пользователей, который назван клиент-ориентированным протоколом гибкой облачной миграции CACM (Client-based Agile Cloud Migration). Протокол миграции разработан на базе пользовательского управления. Пользователь может управлять местоположением и данными. При этом он только заимствует вычислительные ресурсы других узлов и выбирает ближайший подходящий узел. Система была внедрена для реальных приложений VR на реальных технических средствах. В данном случае не рассматривались энергетические характеристики узлов. Кроме того, система не использовала процедуры выгрузки трафика. Предлагаемый метод использует многоуровневую систему граничных облаков, а также процедуры выгрузки трафика и обеспечения энергетической эффективности для оконечных устройств.

В другой работе [379] базирующаяся на граничных вычислениях MEC система разработана для потокового видео с обзором в 360 градусов (кругового обзора). Разработанная система MEC оптимизирует выбор сервера, который пользователь использует и который может быть общим пограничным сервером для множества пользователей. Была проведена оценка системы на модельной сети для реального набора данных. Результаты показали, что использование технологии MEC для приложений кругового обзора потокового видео позволяет достичь большей эффективности в части полосы пропускания и вычислительной сложности. Система может сэкономить до 60 % полосы пропускания для конечного пользователя. Предложенная в рассматриваемой работе структура MEC достаточно проста. В разработанной в следующем разделе структуре используется многоуровневая система пограничных облаков совместно с интеллектуальным

ядром сети на базе технологии SDN. Кроме того, в [379], в отличие от предложенного метода, ни задержка, ни потребление энергии не рассматриваются как ключевые метрики и отсутствуют их оценки.

4.4.1 Структура системы AR/MM-MEC

Предложенная система дополненной реальности приведена на рисунке 4.6а и 4.6б. Первый уровень включает в себя все возможные устройства дополненной реальности, такие как мобильные смартфоны, поддерживающие ДР, очки дополненной реальности и другие устройства ДР, например, камеры, ноутбуки, планшеты. Второй уровень представляет собой уровень пограничных облаков, которые содержат распределенные гетерогенные серверы MEC. При этом используется модифицированная по сравнению с [183] структура MM-MEC, названная AR/MM-MEC. Третий уровень представляет собой уровень софтваризации, который объединяет оба основных уровня системы SDN: подуровни данных и управления. Уровень данных включает коммутаторы OpenFlow, которые поддерживают соответствующие версии протокола OpenFlow. Уровень управления содержит распределенные SDN контроллеры, которые управляют коммутаторами OpenFlow посредством протокола OpenFlow и могут быть управляемы, в свою очередь, через интерфейсы APIs. Этот уровень представляет собой ядро сети.

Удал ен в ое о 5 л а ко/ Сервер пр ил ожен и й

П

SDN уровень

Уровень управления Уровень данных

t — Ур о вен ь погр а н и ч н ых о 5 л а ко в

Миниоолако Микрооолако

Тучки ♦

Фаз пч еский уро в ень a im ар атных р есур сов [Мобильное устройство AR / очки AR]

(б)

Рисунок 4.6 - Структура системы AR/MM-MEC

Более детально с вопросами построения интеллектуального ядра сети можно ознакомиться в работе [183], а вопросы оптимизации распределения мультиконтроллеров с помощью мета эвристических алгоритмов рассмотрены в [380]. Верхний уровень системы представляет собой уровень удаленного облака и включает серверы приложений и контента.

На рисунке 4.7 представлены четыре уровня облаков для системы дополненной реальности и соответствующие уровни выгрузки трафика.

Третья! уровень выгрузки трафика

I

МиннЗолако Граничным сервер мини

о ол а ка

Второй уровень нытрузки графика - МнкрооЁлако

1

Первый уровень выгрузки трафика - Тучки

ь

Нул ев ой уров ен ь выг ру з кн тра ф и ка - Ишолнпггелъное устройство

Г[) аничный сервер мнкро облака

Ми5ильные телефоны/ Планшеты / HovtSvkii

Нобппьгое устройство AR / оч кн AR

не п ол н нте ль н о е ус тр о □ с тв о

уровень выгрузки трафика

Рисунок 4.7 - Уровни выгрузки трафика в системе ЛЯ/ММ-МЕС

На нулевом уровне располагаются очки дополненной реальности, являющиеся специализированным устройством для предоставления услуг дополненной реальности.

Первый уровень выгрузки трафика, уровень тучек, представляет собой уровень устройств. Мобильные устройства ДР имеют ограниченные вычислительные и энергетические ресурсы и могут выгружать свои вычислительные задачи в другие близко расположенные устройства с достаточными вычислительными и энергетическими ресурсами посредством интерфейсов D2D, например, WiFi Direct.

Второй уровень - микро облака на уровне базовых станций с ограниченными вычислительными и энергетическими ресурсами. Каждая группа микро облаков связана со своим мини облаком, представляющим собой третий уровень выгрузки трафика, через высокоскоростные оптические линии [381].

Мини облако обладает существенно большими вычислительными и энергетическими ресурсами и может решать задачи, которые не могут быть решены на уровне микро облака.

Введение системы ЛК/ММ-МЕС позволит решить следующие задачи:

1- Уменьшение задержки из конца в конец.

2- Возможность интеграции алгоритмов искусственного интеллекта на границах сети доступа.

3- Уменьшение нагрузки на ядро сети.

4- Уменьшение потерь в ядре сети.

5- Достижение более высокого уровня качества восприятия для пользователя.

6- Достижение более высокой производительности системы.

7- Достижение более высокой энергетической эффективности системы.

8- Увеличение спектральной эффективности.

4.4.2 Многопользовательские игры в условиях дополненной реальности.

Система ЛЯ/ММ-МЕС

В последнее время ДР начинает широко использоваться в образовательных целях, при этом разработано достаточно много образовательных приложений на основе ДР. Одним из основных приложений дополненной реальности в образовании являются многопользовательские игры [382].

В многопользовательских ДР-играх игроки используют свои устройства с поддержкой ДР для вполне определенной игры, при этом участие в игре доступно, как правило, через удаленный сервер. Для уменьшения задержки и эффективного

использования энергетических и вычислительных ресурсов пользовательских устройств ДР можно использовать предложенную систему AR/MM-MEC. На рисунке 4.8 представлена система AR/MM-MEC, основанная на предложенной авторами в работе [183] многоуровневой облачной системе, которая используется для многопользовательских игр ДР. Пользователь ДР с ограниченными вычислительными и/или энергетическими ресурсами ищет в своем окружении устройства с доступными вычислительными и энергетическими ресурсами, способными решать вычислительные задачи, связанные с пользователем ДР-игры. Эти устройства представляют собой первый уровень облаков системы AR/MM-MEC, и могут быть представлены смартфоном, ноутбуком или планшетом. В данном случае вычислительные задачи могут быть выгружены в облачную систему через интерфейс связи D2D. WiFi Direct также представляет собой достаточно эффективный интерфейс и его можно использовать для выгрузки [383].

Рисунок 4.8 - Многопользовательские игры дополненной реальности в системе

AR/MM-MEC

Если пользователь ДР-игры не может найти соседнее облако или тучку, он пробует решить свои задачи с помощью микро облаков, подключенных к базовым станциям сети связи четвертого или пятого поколения. На основе доступных ресурсов микро облака либо обрабатывают поступившие заявки, либо выгружают их в облака более высокого уровня, а именно: мини облака. Мини облако, соответственно, либо решает поступившие задачи, либо при недостатке вычислительных ресурсов выгружает заявки на решение этих задач в облако базовой операторской сети. Все распределенные периферийные устройства мини облака подключаются напрямую к облаку базовой сети, представляющему интерфейс с сервером приложений.

4.4.3 Потоковое видео с обзором в 360 градусов в системе AR/MM-MEC

Технология потокового видео с обзором в 360 градусов (AR-360) становится востребованной во многих приложениях ДР [384]. Пользователям нравится быть в центре событие и обладать как бы сферическим зрением. Интересно это и при обучении новому процессу на производстве, например, чтобы оценить уровень командной работы. Конечно, панорамное зрение находит последователей среди пользователей информационными приложениями и интерактивными картами с достопримечательностями. Обработка видео непосредственно на устройствах имеет низкую производительность для потокового видео с высоким разрешением, например, 4k видео и более. Использование технологии MEC и выгрузки трафика при этом может дать существенный выигрыш в качестве обслуживания и качестве восприятия. Для достижения требуемого качества обслуживания и качества восприятия для потокового видео AR-360 можно использовать, например, стандарт IEEE 802.11ad, обладающий пропускной способностью в несколько Гбит/с.

4.4.4 Метод выгрузки трафика

В первую очередь мобильное устройство дополненной реальности проверяет, может ли оно обработать поступающий запрос на своем уровне или должно выгрузить его на следующий уровень системы AR/MM-MEC. Устройство ДР оценивает объем данных для выполнения требуемой задачи K и вычисляет необходимое число циклов Ncyc для локального решения задачи. Вычисляется также необходимое время для решения этой задачи Tar в соответствии с уравнением (4.18). Это время, в основном, зависит от доступных ресурсов мобильного устройства ДР. Затем определяется бинарное время при различных процессах выгрузки трафика Dt-o//-ar. При этом время для локального решения задачи Tar сравнивается с требуемой задержкой т как это показано в уравнении (4.20).

Т NCYC о -f

Tar =—- , rar e Jar (4.18)

rar

NCYC = K S (4.19)

D т ¡г л J0 IF (Tar <T ) ( m

Dt - off - AR=T (Tar , 0={ 1 TF (T AR >г ) (4.20)

Далее, при отсутствии необходимости выгрузки трафика на следующие уровни вследствие выполнения требований по задержке, проверяются энергетические возможности устройства ДР для решения поступившей заявки. Вычисляется общая потребляемая энергия при локальном решении задачи EC-AR через число требуемых циклов, а затем определяется остаточная энергия ER-AR по окончании решения задачи на локальном уровне, как это показано в уравнениях (4.21) и (4.22). Решение по энергетическим показателям принимается посредством сравнения остаточной энергии Er-ar с предопределенным порогом уровня энергии мобильного AR устройства Eth-AR, как это показано в уравнении (4.23). Этот порог определяется исходя из конкретных возможностей источника питания мобильного AR устройства и поддержания требуемого уровня качества обслуживания и качества

восприятия. Он представляет собой тот критический уровень энергии, при котором устройство не сможет выполнить требуемую задачу на локальном уровне.

EC - AR — Ncyc SAR (4.21)

ER - AR — EL - AR -EC - AR (4.22)

D — T ( E E ^ — i 1 (ER - AR ~ Eth - AR ) (4 23)

DE - off - AR — T \E R - AR , Eth - AR ) — i n j г ( ^ ^ ч (4.23)

[ 0 TF (Er _ AR > Eth - AR )

Итак, в случае, когда и по задержке, и по энергетическим показателям задача может быть решена на локальном уровне, процедура выгрузки трафика не требуется. Однако, если хотя бы по одному из предложенных параметров -задержке или энергии - существуют проблемы по решению задачи на локальном уровне (4.24), то последовательно проверяются возможности решения задачи на вышестоящих уровнях.

— Г0 IF (DT-off-ar & De-off-AR —— 0)

Doff- AR Г 1 IF ( D nD — — 1) (4.24)

I 1 Л У LJ T - off - AR 11 E - off - AR

4.4.4.1 Выгрузка на первый уровень

Как только мобильное ДР-устройство понимает, что для выполнения ДР-задачи, ему необходимо задействовать другие устройства, оно проверяет наличие соседних облачных устройств с доступными ресурсами для обработки ДР-задачи. Сначала устройство передает сообщение об обнаружении всем окружающим устройствам через соответствующий интерфейс связи, например, WiFi Direct [385]. Широковещательное сообщение содержит основную информацию об устройстве дополненной реальности, например, идентификация и местоположение, а также основная информация о рабочей нагрузке задачи ДР. Широковещательное сообщение представляет запрос на разгрузку задачи ДР, и в качестве ответа облачное устройство, которое принимает сообщение, обрабатывает поступивший

запрос. Каждое облачное устройство проверяет свои энергетические возможности на предмет принятия запроса на разгрузку. Облачные устройства рассчитывают время выполнения, необходимое для обработки задачи. Каждое облачное устройство, которое получает сообщение с запросом разгрузки, отвечает сообщением, содержащим решение, основанное на анализе оставшегося заряда батареи, о принятии разгрузки (DE-cioudiet-acc-off) и времени выполнения задачи (Te-cioudiet). Кроме того, ответное сообщение содержит идентификацию облачного устройства и его местоположение. Выражения (4.25-4.28) реализуют предложенный алгоритм.

N CYC

Te-Cloudlet = R , RCloudlet £ fCloudlet (4.25)

R Cloudlet

EC - Cloudlet = NCYC&Cloudlet (426)

ER-Cloudlet EL-Cloudlet EC-Cloudlet (4.27)

0 IF (E < E )

\J 11 yi^R-Cloudlet th-Cloudlet'

Tir r \ " 11 ^R -Cloudlet — th-Cloudlet ' (Л

E-Cloudlet-acc-off = 1 \ER-Cloudlet, Eth-Cloudlet) = f ( e E ) \ J

Мобильное ДР-устройство принимает ответные сообщения от доступных окружающих облачных устройств и проверяет возможность выгрузки на один из них. Все облачные системы с положительными решениями о принятии разгрузки задач ДР ранжируются на основе времени, необходимого для выполнения задачи ДР, в порядке убывания. Общее требуемое время для обработки задачи ДР на устройстве облачных вычислений может быть рассчитано на основе полученного времени выполнения, если задача выгружается на устройство облачных вычислений, как указано в формулах (4.29-4.35).

TCloudlet = Te-Cloudlet + Ttx + Trx (4.29)

Ttx = ttrans ^ Tpro (4.30)

к

trans л (4.31)

Rb

Rb = с log2 1 + (4.32)

/ hp \ V О J

D — I (T J 1 ^^ (T C loudlet — T) (4 TO)

DT - Cloudlet-acc-off — 1 \T Cloudlet , T J— | 0 if (T ) V ^

L 0 IF (T Cloudlet > T )

IDCloudlet-d — IDID{Min(Taoudlet)} (434)

d — I 0 (DT - Cloudlet-acc-off W D E - Cloudlet-acc-off 0) (4 35)

Cloudlet-acc-off ~ | 1 if ( D & D —— 1)

11 \ U t - Cloudlet-acc-off E - Cloudlet - acc-off 1/

Если имеется облачное устройство с положительным решением принять разгрузку задачи ДР, мобильное устройство ДР начинает выгрузку задачи на устройство, находящееся на уровне тучек. Однако, если нет доступного облачного устройства для обработки задачи ДР, мобильное устройство ДР проверяет второй уровень разгрузки, отправляя сообщение с запросом на соответствующий пограничный сервер микро облака.

4.4.4.2 Выгрузка на первый уровень

Пограничный сервер микро облака получает запрос на разгрузку от мобильного ДР-устройства, который содержит информацию о спецификации задачи ДР, которую требуется выгрузить. Микро-облачный сервер обрабатывает запрос, проверяя ограничения по энергопотреблению и задержке, чтобы решить принять или отклонить запроса разгрузки. Во-первых, механизм принятия решения пограничным сервером микро-облака вычисляет общий заряд батареи и время, необходимое для выполнения задачи ДР, как указано в формулах (4.37) и (4.38).

t — Ncyc R _ f 3

e-Micro - server r ' Micro - server J Micro - server (4.36)

Micro - server

^T T i t^T . T^T

Micro-server e -Micro-server tx rx

(4.37)

EC-Micro-server NCYC^Micro-server ^ TtransPARfic (4.38)

ER -Micro-server EL-Micro-server EC -Micro-server (4.39)

Далее принимается решение о времени и энергии, сравнивая общее время, необходимое для выполнения задачи, с требуемым временем QoS, и сравнивая оставшуюся энергию после обработки требуемой задачи с пороговым уровнем энергии пограничного сервера микро облака. После этого принимается окончательное решение о принятии или отклонении запроса на выгрузку в зависимости от энергии и времени, как указано в формуле (4.42).

D _ J (j Ч _ J 1 (T^Micro—server (4 40)

T —Micro—server—acc—off \ Micro—serverJ ^ тт-г /гр \ (4.40)

L0 ^ (T Micro—server

{0 IF (E < E )

V R — Micro-server th—Micro-server' (4 41)

1 T J—' /Т-1 t—< \ V 'J

F (ER—Micro-server ^ Eth—Micro-server )

D J 0 IF (DT —Micro — server — acc — off II DE —Micro — server — acc — off 0) (4 42)

Micro — server — acc — off ~ J 1 F (D & D _ _ 1) ( 4 2)

L V T —Micro—server — acc — off E—Micro—server—acc — off /

При положительном решении задача ДР выгружается на пограничный сервер микро облака по сотовому интерфейсу. Однако, при отрицательном решении, пограничный сервер микро облака связывается с подключенным пограничным сервером мини облака, чтобы проверить доступность его ресурсов для обработки задачи дополненной реальности.

4.4.4.3 Выгрузка на второй уровень

Пограничный сервер мини облака получает сообщение с запросом и извлекает информацию о задаче. Также сервер мини облака обрабатывает запрос, как и на микро облачном сервере, основываясь на своих доступных ресурсах. Во-первых, он рассчитывает объем затраченной энергии и времени, необходимых для выполнения задачи, на основе анализа текущих ресурсов. Далее полученные значения времени и уровня энергии сравниваются с требуемыми показателями QoS для выполнения данной задачи ДР и уже принимается окончательно решение о

выгрузке трафика. Алгоритм выгрузки на уровне мини облака описан выражениями (4.43 - 4.49).

T _ Ncyc R _ f (4 43)

e - Mini-server r ? Mini - server J Mini-server V / M ini-server

^T T I T^T I tt

Mini - server e-Mini - server tx rx (4.44)

EC -Mini - server _ N CYC ^Mini - server + TtransPS^ C (4.45)

ER -Mini EL -Mini - server EC -Mini - server (4.46)

D _ 1 ¡T _ J 1 1F (TMini - server < (4 47)

T - Mini-server - acc - off \ Mini - server J 0 1F (T > -7-) (4 7)

DE—Mini-server—acc—off 1 V ER-Mini-server' Eth-Mini-server

0 IF M ini — server

Í0 IF (E < E )

V R—Mini -server th—Mini-server у

y/y-7 y-7 \ _ I V R—Mini -server th—Mini-server ' , , 4 n\

V R—Mini-server' th—Mini-server/ _ | 1 jj-, 4 (4-48)

1F (E > E )

V R -Mini -server th-Mini-server /

D _ J 0 1F (DT - Mini-server - acc - off II DE - Mini-server - acc-off 0) (4 49)

Mini-server - acc-off ~ J 1 if (D & D __ 1)

^ V T - Mini-server - acc - off E - Mini- server - acc-off '

При положительном решении о приеме запроса разгрузки задача ДР выгружается на пограничный сервер мини облака, при отрицательном решении, задача является заблокированной.

4.4.5 Моделирование и оценка эффективности предложенного метода

Система AR/MM-MEC была промоделирована в адекватных условиях для различных сценариев использования, для каждого из сценариев были рассмотрены различные случаи и проведено сравнение результатов. При моделировании использовались ранее рассмотренные приложения дополненной реальности, а именно: потоковое видео с обзором в 360 градусов, приложения на основе Web и многопользовательские игры в условиях дополненной реальности.

Моделирование было проведено на основе использования систем CloudSim и Matlab. Система моделирования CloudSim является одной из наиболее

распространенных систем, используемых для моделирования облачных структур. Она базируется на Java и обеспечивает моделирование и тестирование сетей, базирующихся на облачных структурах [386]. CloudSim может быть использована для создания гетерогенного пограничного сервера предложенной в статье системы AR/MM-MEC с гетерогенными ресурсами и возможностями. Matlab представляет собой другую систему моделирования, которая позволяет оценить и визуализировать результаты моделирования для анализируемых структур и алгоритмов.

В таблицах ниже приняты следующие обозначения: ю - полоса пропускания, о - мощность шума на приемнике, Ps - мощность передатчика базовой станции, 5 - потребление энергии за один цикл процессора, Eth - порог энергии,

Ef - величина полного заряда источника питания,

fcioudlet частота процессора тучки (устройства ДР, микро облака, мини облака). Для оценки функционирования предложенной системы с гетерогенными пограничными облачными серверами использованы параметры, приведенные в таблице 4.1. Кроме того, распределенные мобильные устройства ДР и тучки с соответствующими вычислительными и энергетическими ресурсами будут также использоваться для различных сценариев моделирования. Исходная энергия мобильного устройства ДР соответствует реальным значениям для используемых в настоящее время смартфонов достаточно высокого уровня. Ресурс мощности батареи такого смартфона составляет примерно 20 кДж.

Таблица 4.1 - Параметры моделирования

Параметр Значение

w 30 МГц

о 10-3 Вт

Ps 20 дБм

Радиус соты (rcell) 1 км

ÖAR 1 J/ГГц

ÖCloudlet 1 J/ГГц

ÖMicro-server 1.2 J/ГГц

ÖMini-server 1.2 J/ГГц

Eth-AR 30 % Ef-AR

Eth-Cloudlet 30 % Ef-Cloudlet

Eth-Micro-server 20 % Ef-Micro-server

Eth-Mini-server 20 % Ef-Mini-server

fMicro-server e [2.0,5.0] ГГц

fMini-server e [2.5,6.0] ГГц

В таблице 4.2 представлены спецификации гетерогенного мобильного устройства ДР, используемые в процессе моделирования. Кроме того, в таблице 4.2 приведены также характеристики тучек.

Таблица 4.2 - Спецификации устройств

Номер устройства Тип устройства Ресурсы энергии, КДж Ресурсы памяти, Гбайт Ресурсы обработки, ГГц

#1 Мобильное АЯ 17 2Гбайт Гая1 е [0.5, 1.5]

#2 Мобильное АЯ 17.5 2 Гая2 е [0.5, 1.5]

#3 Мобильное АЯ 18 4 Гаяэ е [0.5, 1.5]

#4 Мобильное АЯ 18.5 4 Гая4 е [1.0, 2.5]

#5 Мобильное АЯ 19 4 Гая5 е [1.0, 2.5]

#6 Мобильное АЯ 19.5 4т Гая6 е [1.0, 2.5]

#7 Мобильное АЯ 20 8 Гая7 е [0.5, 1.5]

#8 Мобильное АЯ 20.5 8 Гая8 е [1.5, 2.5]

#9 Мобильное АЯ 21 4 Гая9 е [1.5, 3.0]

#10 Мобильное АЯ 21.5 4 Гая1 е [1.5, 3.0]

#11 Тучка 40 32 ГаоиШеи е [2.5, 3.5]

#12 Тучка 41 64 { с1ои<Лег2 е [2.0, 3.5]

#13 Тучка 42 32 Г аоиШегэ е [2.5, 4.0]

#14 Тучка 43 64 { с1ои<Лег4 е [2.5, 3.5]

При этом рассматривается топология сети, в которой есть две соседние соты, каждая из которых содержит по пять распределенных мобильных устройств ДР и две тучки.

Анализируются три сценария моделирования. При этом в каждом из сценариев различные типы задач анализируются для различных приложений дополненной реальности. Десять гетерогенных задач рассматриваются для каждого из сценариев, эти задачи случайным образом распределяются среди десяти мобильных устройств ДР, распределенных по двум сотам. Для первого сценария (А) анализируются десять гетерогенных задач, соответствующих нагрузке от десяти реальных изображений дополненной реальности с высоким разрешением. Для второго сценария В предполагается, что пять гетерогенных задач соответствуют нагрузке десяти гетерогенных web-приложений ДР. Для последнего сценария С рассматривается три гетерогенные задачи, соответствующие нагрузке от трех реальных видеопотоков с обзором в 360 градусов АК-360, взятых из

УоиТиЬе. Все рассматриваемые видео сюжеты имеют разрешение 4К с 30 кадрами в секунду. Только первые 30 секунд каждого видео сюжета анализируются. В таблицах 4.3, 4.4 и 4.5 приведены спецификации анализируемых задач. В таблице 4.6 даны ссылки на видео сюжеты для сценария С.

Для каждого из сценариев моделируются три различных варианта, определяемые конкретной величиной задержки. Это дает возможность оценить влияние выгрузки трафика на задержку и на вероятность блокировки задачи. Для оценки функционирования предложенной системы рассматриваются различные метрики. Поскольку предложенный метод выгрузки трафика является эффективным как по отношению к задержке, так и относительно энергетических характеристик системы, оценкам задержки и энергетической эффективности уделяется особое внимание. Средняя задержка для каждой рассматриваемой задачи фиксируется для каждого случая в каждом из сценариев. Точно также и средняя остаточная энергия устройств для рассматриваемых задач должна быть учтена.

Таблица 4.3 - Спецификации задач для сценария А

Задача 1 Задача 2 Задача 3 Задача 4 Задача 5

К (МВ) 1.0 1.2 1.4 1.6 1.8

Т1 (мс) 2 2.7 3 3.5 3.5

Т2 (мс) 2.5 3.5 3.7 4.5 4.7

Т3 (мс) 3.5 4.5 4.5 5.0 5.0

Задача 6 Задача 7 Задача 8 Задача 9 Задача 10

К (МВ) 2.0 2.1 2.2 2.3 2.5

Т1 (мс) 3.7 4.5 4.5 4.7 5.0

Т2 (мс) 4.5 4.7 4.7 5.0 5.5

Т3 (мс) 5.5 6.0 6.0 6.0 6.0

Таблица 4.4 - Спецификации задач для сценария B

Задача 1 Задача 2 Задача 3 Задача 4 Задача 5

K (MB) 5 6 7 8 9

ti (мс) 4.0 4.1 4.2 4.3 4.4

Т2 (мс) 5.0 5.1 5.2 5.3 5.4

Т3 (мс) 6.0 6.1 6.2 6.3 6.4

Таблица 4.5 - Спецификации задач для сценария C

Задача 1 Задача 2 Задача 3

K (MB) 50 60 70

ti (мс) 5.0 5.1 5.2

Т2 (мс) 6.0 6.1 6.2

Т3 (мс) 7.0 7.1 7.2

Таблица 4.6 - Спецификации потокового видео с обзором в 360 градусов

Видео URL Длительность, мин

360 Degree Spherical Panoramas https://www.youtube.com/watch?v=4kDKYV astOc 1.08

360 VR Action Experience (Ep. 1) https://www.youtube.com/watch?v=i2tWi-slDAY 3.31

360-degree AR Video https://www.youtube.com/watch?v=Lt9AUZVoNxk 1.41

4.4.6 Анализ результатов моделирования

Для сценария А система была смоделирована для всех поставленных задач и результаты моделирования приведены на рисунке 4.9. Задержка была определена для трех рассмотренных случаев в соответствии с заданными значениями т. Основываясь на доступных ресурсах, выбирался тот или иной уровень выгрузки трафика. С увеличением допустимого значения задержки от Т1 к Т2 и далее тз допустимое время для решения задач также увеличивается, что дает возможность решать задачу как на локальном уровне, так и, при необходимости, выгрузить ее на

более высокий уровень системы АЯ/ЫЫ-ЫЕС. При меньших значениях допустимой задержки возникают проблемы с обработкой заявок на локальном уровне, и требуется выгрузка трафика. В противном случае увеличивается вероятность блокировки обрабатываемых задач.

23456789 10 Рисунок 4.9 - Средняя задержка для сценария А

На рисунке 4.10 приведены зависимости средней задержки для сценария В для всех трех значений допустимой задержки т.

Ш- задача

Рисунок 4.10 - Средняя задержка для сценария В

Соответственно, для сценария С зависимости средней задержки приведены на рисунке 4.11.

Для иллюстрации преимуществ предложенного метода выгрузки трафика сравним ее с другими системами. Для сравнения рассмотрим четыре метода обработки трафика помимо предложенного метода выгрузки с использованием системы AR/MM-MEC. Первый метод предполагает только локальное выполнение задач без использования технологии MEC и выгрузки трафика на другие соседние устройства.

Рисунок 4.11 - Средняя задержка для сценария С

При этом мобильное устройство ДР решает задачу приложения дополненной реальности в случае, если оно имеет достаточные вычислительные и энергетические ресурсы для обеспечения требуемого уровня задержки. Второй метод предусматривает возможность выгрузки трафика на соседние облачные устройства. Третий метод также поддерживает только один уровень выгрузки трафика, но в отличие от второго метода выгрузка трафика осуществляется на пограничный сервер системы MEC. При этом предполагается, что для каждой соты существует мобильный граничный сервер MEC. Четвертый метод обеспечивает два уровня выгрузки трафика помимо локальной обработки. В этом случае может быть использована многоуровневая облачная архитектура. Наконец, пятый метод

представляет собой предложенный в статье с использованием системы АЯ/ММ-МЕС.

Для каждого метода и соответствующей ему системы были выполнены три сценария моделирования для различных значений допустимой задержки т. На рисунках 4.12, 4.13 и 4.14 показан процент заблокированных задач для каждой системы для каждого из смоделированных сценариев.

Рисунок 4.12 - Процент заблокированных задач для сценария А

Рисунок 4.13

Рисунок 4.14 - Процент заблокированных задач для сценария C

Очевидно, что предоставление услуг дополненной реальности в сетях связи пятого поколения требует обеспечения задержки не более, чем 5мс, что позволяет классифицировать такие сети как сети связи с ультра малыми задержками.

В данном разделе предложен новый метод выгрузки трафика приложений дополненной реальности, отличающийся от известных тем, что для выгрузки трафика используется многоуровневая система граничных вычислений, а также параметры задержки и энергетической эффективности.

Проведено моделирование для трех наиболее распространенных приложений дополненной реальности, а именно: потокового видео с обзором в 360 градусов, приложений на основе Web и многопользовательских игр. По результатам моделирования доказано, что предложенный метод выгрузки трафика дополненной реальности в исследуемых случаях дает наилучшие результаты по задержке и энергетической эффективности, обеспечивая при этом требуемые значения по круговой задержке на сети. Кроме того, предложенный метод выгрузки трафика уменьшает вероятность блокировки обслуживания заявок по сравнению со всеми известными в несколько раз.

4.5 Исследование взаимодействия приложений дополненной реальности

с облачными сервисами 1С

Современные сети сегодня предоставляют пользователям практически неограниченные возможности по использованию разнообразных услуг и приложений. Среди них не только традиционные услуги, связанные с передачей данных, аудио и видеотрафика, но и приложения, появившиеся с внедрением концепции Интернета Вещей [371].

Одним из интересных направлений данной концепции является предоставление услуг, на основе технологии дополненной реальности. Дополненная реальность дополняет существующий мир необходимыми данными, например, посмотрев на витрину магазина в очках дополненной реальности, можно увидеть помимо манекенов весь ассортимент продукции, размеры и цены, не заходя внутрь. Уже существует достаточно обширный выбор очков дополненной реальности, отличающийся функциональностью и требованиям к сетям связи. Некоторые из них практически невозможно отличить от обычных очков. Доступность и простота оборудования стимулирует создание разнообразных услуг. Так применение технологии дополненной реальности сложно переоценить, она используется и в медицине, и в образовании, для решения повседневных задач, в промышленности и сельском хозяйстве, в сетях УАИЕТ и летающих сенсорных сетях.

В данном разделе исследуется применение технологии дополненной реальности для идентификации устройств и выведения соответствующей информации об устройстве пользователю. Как было отмечено ранее время реакции на изменение окружения является одним из основных показателей качества предоставления услуг дополненной реальности. Далее рассматривается возможный сценарий предоставления услуги дополненной реальности с использованием облачных сервисов 1С и анализируются показатели качества восприятия при разных условиях.

В настоящее время одной из наиболее актуальных проблем в рамках развития концепции Интернета Вещей (ИВ) является идентификация устройств ИВ. Рост

количества устройств, подключенных к сети связи общего пользования (ССОП) и их малая вычислительная мощность приводят к ситуации, когда человек не может однозначно идентифицировать объект.

В качестве решения визуальной идентификации устройств Интернета Вещей предлагается использовать технологию дополненной реальности. ДР позволяет дополнить реальный мир информацией из цифрового. Уже сейчас существует ряд решений, основанных на технологиях дополненной реальности для идентификации и инвентаризации различных объектов [387].

Сам процесс идентификации предполагает, что информация, об искомых по идентификатору объектах, хранится в некой системе хранения и обработки больших объемов данных [388]. В качестве такой системы предлагается использовать «1С:Предприятие», предназначенное для автоматизации деятельности предприятия. Данная система успешно используется для инвентаризации имеющихся в собственности предприятия объектов.

В данном разделе предложена система идентификации устройств Интернета Вещей, основанная на применении технологий дополненной реальности и серверного ПО «1С:Предприятие», а также разработана модельная сеть и проведено ее тестирование.

4.5.1 Архитектура системы

Архитектура системы идентификации (СИ) устройств ИВ на базе технологий ДР и серверного ПО «1С:Предприятие» изображена на рисунке 4.15. Данная система идентификации состоит из:

- Сервера «1С:Предприятие» (сервер идентификации — СИ);

- Устройства дополненной реальности (устройство идентификации — УИ);

- Устройства Интернета Вещей (идентифицируемый объект — ИО).

Устройство ИВ

Рисунок 4.15 - Система идентификации устройств ИВ на базе ДР и

ПО «1С: Предприятие»

В данной модели есть устройство идентификации, представляющее собой устройство дополненной реальности, а именно очки дополненной реальности, которое используется для идентификации устройств Интернета Вещей. Затем УИ отправляет запрос на сервер идентификации, представляющий собой веб-версию ПО «1С: Предприятие». СИ обрабатывает запрос и обращается к БД, которая возвращает искомые данные и затем отправляет данные, запрашиваемые УИ.

4.5.2 Модельная сеть для идентификации устройств ИВ с помощью ДР

На базе вышеописанной архитектуры была разработана модельная сеть, как показано на рисунке 2.16, состоящая из:

• устройства идентификации в виде очков дополненной реальности, с функционирующем на них программным обеспечением (ПО) для распознавания идентификаторов устройств ИВ (с помощью технологии Bluetooth, BLE),

формирования запросов на сервер 1С (с использованием технологии HTTP REST), перехвата и анализа трафика [389-391];

• объекта идентификации - устройство ИВ, имеющее собственный идентификатор, на котором функционирует ПО, отвечающее за взаимодействие с УИ (с помощью технологии Bluetooth, BLE);

• сервера идентификации - сервер, представляющий собой веб-версию приложения «1С: Предприятие» и базу данных Microsoft SQL 2012, хранящую идентификаторы объектов и информацию о них. Взаимодействие с СИ происходит с помощью HTTP REST интерфейса.

• устройства внесения сетевых помех - устройство, представляющее собой ПО NetDisturb, позволяющее имитировать работу сети связи общего пользования.

Рисунок 4.16 - Схема модельной сети тестирования системы идентификации

устройств ИВ на базе ДР и ПО 1С

УИ было реализовано на базе очков дополненной реальности — Epson Moverio BT-300, функционирующие на базе операционной системы Android. Для разработки ПО, отвечающего за взаимодействие с ОИ и СИ, использовался язык программирования Java и инструментарий Android SDK (Android Bluetooth, Android

HTTP Library). Для создания программного обеспечения, отвечающего за перехват и анализ трафика, был использован язык программирования С++, инструменты Android NDK и библиотеки libtins.

Объект идентификации был реализован на базе микрокомпьютера Intel Edison. ПО, отвечающее за взаимодействие с УИ было реализовано с помощью языка программирования С++ и библиотеки libblepp.

Сервер идентификации реализован на базе ПО компании 1С «1C: Предприятие», языка программирования 1С, базы данных Microsoft SQL 2012.

HTTP REST интерфейс, разработанный на базе концепции REST, включает в себя следующие команды:

• запрос GET. Поиск элемента в БД по идентификатору объекта и возвращение информации о ОИ;

• запрос DELETE. Удаление элемента из БД по идентификатору объекта;

• запрос POST. Добавление нового объекта по идентификатору и информации о нем.

4.5.3 Тестирование модельной сети

На базе разработанной модельной сети было произведено тестирование разработанной системы идентификации устройств ИВ и исследован трафик, генерируемый устройством ДР при формировании запросов к серверу 1С. Исследование проводилось для периодических запросов GET и POST + DELETE по следующим сетевым параметрам: задержка, пропускная способность, параметр Хёрста [392].

Перехват, анализ трафика и расчет сетевых параметров производились на устройстве идентификации [389]. Задержка между поступлением сетевых пакетов рассчитывались с помощью системы UNIX Time Stamp. Пропускная способность рассчитывалась, как сумма размеров всех принятых за одну секунду пакетов.

Параметр Хёрста (H) - это параметр, характеризующий самоподобие системы и используемый в анализе временных рядов [392]. H может принимать следующие значения:

• 0 < H < 0,5 - временной ряд не самоподобный, антиперсистентный; для него более вероятна смена направления отклонения, высокие значения отклонения следуют за низкими и наоборот;

• Н = 0,5 - временной ряд является абсолютно случайным, следующее значение не зависит от предыдущих значений;

• 0,5 < H < 1 - временной ряд самоподобный, персистентный.

В данной работе параметр Хёрста рассчитывается на основе метода R/S-анализа на базе массива, состоящего из сетевых задержек между поступлением пакетов. Расчет производился по следующему алгоритму:

• На основе массива сетевых задержек Mi рассчитывается временной ряд Ni для каждого элемента ряда i, с помощью логарифмического соотношения:

, Mi ^ N= = ln( ——)

M(i-1) , где i e (1,2,3... N); (4.50)

где N - длинна ряда Mi.

• Далее ряд Ni делится на A смежных промежутков Ia длинной n, где a — номер

промежутка a e(l,2,3.A). Среднее значение Ea для каждого из промежутков Ia, определяется следующим образом: 1 n

Ea=n X , ,

Пк=1 , где k e (1,2,3.. n); (4.51)

• Временной ряд накопленных отклонений Xk,a от среднего значения Ea для каждого из промежутков Ia, при k e (1,2,3..n)рассчитывается как:

\а=Ъ( NiiU-Еа)

-1 , где i e (1,2,3..k); (4.52)

• Размах диапазона накопленных отклонений Ra рассчитывается, как разница максимального и минимального значения отклонения Xк,a в пределах каждого промежутка Ь:

Ra= max(Xk,a)-min(Xk,a), где 1<k<n ; (4 53)

• Стандартное отклонение Sa рассчитывается для каждого промежутка la, как:

1 n

Sa= n К( Nka- E) ( ч

n k=i , где k e (l,2,3... и); (4.54)

• Нормированный размах диапазона отклонений для каждого промежутка можно получить путем деления размаха диапазона накопленных отклонений Ra на стандартное отклонение Sa. Таким образом нормированный размах диапазона отклонений (R/S)n для периода с n элементов в промежутке, определяется как:

A

К( Ra/ Sa)

( R/ S)= -

A , (4.55)

где A - количество промежутков, а a e (l,2,3... A);

• Пункты от l до 6 повторяются при увеличенном значении n — количества элементов в промежутке вплоть до значения N/2.

• Далее выполняется регрессия с помощью метода наименьших квадратов на logn, где n - количество элементов в промежутке, как независимой переменной и log (R/Sn), где R/Sn нормированный размах диапазона отклонений (зависимая переменная). В результате получится уравнение

log(R/Sj_ H log(n)+c , (4 56)

где наклон уравнения H - параметр Хёрста. Таким образом расчет параметра Хёрста можно описать следующим уравнением:

n n n

InnК Iniln(R/S)-К In/К ln(R/S)

H_ /=1 i=i i=i

= n n 9

lnnK(lni)9-(К ln/)9

i_1 i_1 , где i e(l,2,3..n). (4.57)

Тестирование проводилось для случая, при котором устройство ДР запрашивает информацию по идентификатору с помощью метода HTTP GET. Общее время тестирования (перехвата трафика) составляет 180 секунд, отсчет начинается после получения первого HTTP-пакета, являющегося запросом на сервер идентификации. Средний размер пакета составляет 107 байт. В ходе тестирования вносились

различные ухудшения в работу сети с помощью сервера, на котором было установлено свободное программное обеспечение NetDisturb. Для создания сетевых помех вносились ухудшения в следующие параметры [393]: сетевая задержка (мс), пропускная способность (Кбит/с), джиттер (мс). Тестирование повторялось 50 раз, все результаты усреднялись. Результаты тестирования приведены в таблицах 4.7-4.9.

Таблица 4.7 - Результаты тестирования системы при условии увеличения сетевой задержки

Вносимые задержки (мс) Количество доставленных пакетов Пропускная способность (Кбит/с) Задержки (мс) Коэффициент Хёрста

0 2361 31,72 217 0,66

10 2303 30,91 231 0,64

50 2118 26,87 264 0,64

100 1717 21,39 307 0,62

250 1360 16,09 479 0,67

500 715 9,30 701 0,61

1000 432 6,21 231 0,64

Таблица 4.8 - Результаты тестирования системы при ограничении пропускной способности

Ограниченная пропускная способность (Кбит/с) Количество доставленных пакетов Пропускная способность (Кбит/с) Задержки (мс) Коэффициент Хёрста

Без огран. 2361 31,72 217 0,66

35 2360 31,43 215 0,66

30 2345 29,98 223 0,64

20 1389 19,79 284 0,58

15 1022 14,89 432 0,56

10 738 9,76 628 0,53

5 364 4,65 1043 0,51

Таблица 4.9 - Результаты тестирования системы при увеличении значения джиттера

Вносимый джиттер (мс) Количество доставленных пакетов Пропускная способность (Кбит/с) Задержки (мс) Коэффициент Хёрста

0 2361 31,72 217 0,66

5 2357 30,98 221 0,57

20 2173 27,71 237 0,51

50 1708 22,10 251 0,48

75 1328 17,26 279 0,43

100 813 9,94 431 0,41

150 571 7,90 607 0,38

Согласно результатам тестирования, можно определить, что для данного сценария, система нетребовательна к основным сетевым показателям. Трафик, генерируемый системой, является самоподобным. Разработанная модельная сеть является устойчивой к невысоким и средним значениям показателей качества обслуживания, но показывает серьезные отклонения от нормы при повышении ограничений сети. Особенно серьезные ухудшения работы системы могут возникнуть при ограничении пропускной способности. При повышении значения показателя джиттера траффик меняет свои свойства на антиперсистентные.

В ходе данного исследования представлена архитектура системы идентификации устройств Интернета Вещей с использованием технологий дополненной реальности и серверного ПО «1С: Предприятие». Интересным также представляется применение технологии дополненной реальности в целях инвентаризации на предприятиях и общей идентификации устройств Интернета Вещей. Совместное использование ПО «1С:Предприятие» и дополненной реальности позволяет создать ряд услуг, способных ускорить выполнение некоторых процессов на предприятиях и повысить качество восприятия при предоставлении услуг дополненной реальности и Интернета вещей.

На основе предложенной архитектуры была создана модельная сеть и проведено ее тестирование. Результаты тестирования показывают, что серверное ПО

«1С:Предприятие» может использоваться для решения задач идентификации устройств Интернет Вещей, через взаимодействие с устройствами дополненной реальности. В ходе тестирования было установлено, что разработанная система устойчива к изменениям сетевых характеристик, что важно поскольку существующие сети, передающие большие объемы разнотипного трафика, не всегда гарантируют выполнение установленных значений показателей качества обслуживания.

4.6 Применение дополненной реальности, БПЛА и SDN для приложений

VANET

Сети VANET (Vehicular Ad Hoc Network) хорошо себя зарекомендовали при осуществлении обмена трафиком между участниками дорожного движения. Однако, не всегда возможностей VANET хватает, чтобы решать современные задачи. Технология SDN, в основе которой лежит разделение трафика на задачи управления и передачи данных, выгодно дополняет VANET. В данном разделе предложена модель управления светофорами на всем маршруте движения специального транспорта (машины скорой помощи, пожарные расчеты...), в которой в качестве контроллера SDN выступает беспилотный летательный аппарат. Также в модели учитывается возможность применения технологии дополненной реальности при управлении светофорами, с целью уменьшения неудобств других участников дорожного движения, связанных с необходимостью пропускать специальный транспорт [130, 387].

В настоящее время одним из важных направлений развития Ad Hoc сетей являются сети VANET. При этом в последние годы сети VANET и их приложения все больше рассматриваются в комплексном применении с другими новыми технологиями телекоммуникаций. Так, использование беспилотных летательных аппаратов UAV (Unmanned Aerial Vehicle) зачастую может существенно улучшить

функционирование VANET и/или расширить функциональные возможности этой сети. Использование приложений дополненной реальности также предоставляет для VANETновые возможности, особенно во взаимосвязи с применением UAV. При этом в большинстве приложений VANET, в том числе и при использовании БПЛА и ДР, архитектура сети VANET строится на основе программно-конфигурируемых сетей SDN. Для выбора рациональной архитектуры сети VANET многие авторы используют методы кластеризации.