Разработка и исследование алгоритмов анализа и повышения качества цифровой передачи мультимедийной информации тема диссертации и автореферата по ВАК РФ 05.12.13, кандидат наук Ивченко Александр Владимирович

• Ивченко Александр Владимирович
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Ивченко Александр Владимирович

ВВЕДЕНИЕ

ГЛАВА

1.1. Актуальность проблематики

1.2. Метрология аналоговых и цифровых систем

1.3. Терминология и различия ОоЕ и Оо8

1.4. Экспертные процедуры

1.5. Технологии адаптивной передачи

1.6. Транспортный и сетевой уровни

1.7. Сетевой уровень

1.8. Деградация качества восприятия

1.9. Классификация методов оценки ОоЕ

1.10.Основные параметры моделей и их влияние

1.11.Данны е

1.12.Постановка задачи исследований

1.13.Выводы по первой главе

ГЛАВА

2.1. Введение

2.2. Используемые данные

2.3. Методология анализа

2.4. Отдельные метрики

2.5. Уровни качества кодирования

2.6. Пространственная и временная информация

2.7. Дополнительные признаки

2.8. Общая функция зависимости ОоЕ от интегрального показателя качества

2.9. Построение моделей

2.10.Интерпретация и линейная регрессия

2.11.Уточнение линейных моделей

2.12.Сравнение и интерпретация результатов

2.13.Выводы по результатам второй главы

ГЛАВА

3.1. Введение

3.2. Ограничения и технические условия

3.3. Методы и алгоритмы

3.4. Перемежение

3.5. Инкапсуляция

3.6. Мультипликация

3.7. Метод отстройки по каналу

3.8. Наборы адаптивных параметров

3.9. Программная реализация

3.10. Эмулирование канала с потерями

3.11. Лабораторный стенд

3.12.Испытания протокола

3.13.Выводы по результатам третьей главы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИОЖЕНИЕ А

ПРИОЖЕНИЕ Б

Введение

Актуальность темы исследования. Рост количества мультимедийных сервисов, стационарных и мобильных приложений, в частности адресной доставки видеопотока, ведут к росту трафика реального времени. Это приводит к тому, что требуемые качество обслуживания Quality of Service (QoS) и качество восприятия Quality of Experience (QoE) могут быть обеспечены только при использовании развитых методов повышения эффективной пропускной способности канала. Развитие объектов инфраструктуры происходит недостаточно быстро, поэтому существует масса каналов с динамически меняющимися в широких пределах характеристиками, в частности, каналов «последней мили» различной физической природы и нестабильных эфирных соединений, в частности, радиорелейных.

Анализ качества передаваемого и воспроизводимого мультимедийного контента - необходимое условие эффективного функционирования систем цифровой передачи информации. В настоящее время идёт переход от методов, ориентированных на максимизацию соответствия входного и выходного сигнала мультимедийной системы, к максимизации качества человеческого восприятия.

Программа Министерства связи и массовых коммуникаций «Цифровая экономика Российской Федерации» прогнозирует значительное увеличение в скором времени трафика от межмашинного взаимодействия (М2М), характеризущегося повышенными требованиями к надёжности передачи информации при низких задержках (Ultra Reliable Low Latency Communications -URLLC) и возможностью односторонних посылок данных.

Интерес к человекоорентированным метрологическим методам и алгоритмам также вызван развитием методов компрессии мультимедийных данных с потерями, как с помощью классических методов (кодеки семейства MPEG, вейвлет-кодеки), так и с применением машинного обучения и искусственных нейронных сетей (генеративные и негенеративные подходы). Для уменьшения количества бит на

пиксель эффективно использование метрик, не штрафующих за искажения, незаметные для человеческого восприятия.

Развитие адаптивных технологий передачи данных по динамическим каналам позволяет решить вопрос недостаточно развитой инфраструктуры и обеспечить работу сервисов, критичных к высокому уровню потерь пакетов, задержкам и вариации задержек.

Существующие, доступные массовому потребителю сетевые протоколы не рассчитаны на передачу трафика реального времени в динамических каналах. На сетевом уровне потоковая передача видео обеспечивается протоколами TCP и QUIC. Данные протоколы обеспечивают гарантированную доставку с помощью перезапросов недошедших и повреждённых данных, потока служебного трафика с подтверждениями доставки, а также контролем окна перегрузки. Данные механизмы приводят к понижению утилизации канала, так, характерными числовыми показателями являются 95% утилизации при 2% потерь пакетов и 75% при 5%.

Наиболее существенное влияние на качество восприятия потокового видео оказывает постоянная скорость воспроизведения, отсутствие переключений качества мультимедийного потока (особенно понижения качества, но также и повышения) и ребуферизаций - замираний воспроизведения.

В действующих и перспективных сетях связи, в первую очередь мобильных и радиосетях, актуальной является задача повышения утилизации канала и максимизации пользовательского качества восприятия в связи с появлением сервисов, требующих большой скорости передачи трафика реального времени. Поэтому, чтобы повысить качество мультимедийных сервисов и эффективность использования инфраструктуры, предлагается применять сетевые протоколы, которые автоматически настраиваются под текущее состояние канала, а в качестве целевой функции использовать человекоориентированные метрологические методы.

Степень разработанности темы. Разработке методов оценки качества восприятия QoE, а также вопросам адаптивных протоколов для телекоммуникационных сетей посвящены работы отечественных и зарубежных исследователей C. Bovik, A. Wang, Z. Wang, Q. Li, T. Hoßfeld, A.B. Дворковича, В.П. Дворковича, R. K. P. Mok, X. Yin, X. Liu, M. H. Pinson, Z. Duanmu, A. Rehman, K Chono, C. Zhang, M. Carnec, A. Mittal и др., а также исследовательских групп Международного Союза Электросвязи.

Однако, в них не рассматривались экспериментальные данные, полученные на масштабном датасете в приближенных к реальным условиям работы сети, в том числе, не оценивалась статистическая значимость применяемых метрик. Наработки в области сетевых протоколов являются фрагментарными и не обеспечивают автоматическую адаптивную настройку, а их применимость для реальных потоков трафика остаётся недостаточно исследованной. Кроме того, ни один из имеющихся открытых протоколов канального, сетевого и транспортного уровней не обеспечен технологией помехоустойчивого кодирования (FEC - Forward Error Correction) в достаточной мере. В связи с этим возникает задача разработки новых метрологических методов, а также нового стека адаптивных сетевых протоколов канального, сетевого и транспортного уровней для существующей IP-инфраструктуры, повышающих качество QoE и QoS.

Цели и задачи исследования. Целью диссертационной работы является разработка и исследование алгоритмов анализа и повышения качества цифровой передачи мультимедийной информации. Для достижения этой цели потребовалось решение следующих задач:

• разработка наборов признаков работы мультимедийной системы и воспроизведения мультимедийного контента для референсных и безреференсных методик оценки качества;

• разработка референсных и безреференсных моделей оценки качества потокового видео на основе анализа экспериментальных данных;

• разработка общего вида функции человеческого восприятия, зависящей от интегрального показателя качества;

• разработка модификации стандарта PPPoE (RFC 2516), а именно:

• создание механизма контроля канала независимо в обе стороны соединения «передатчик-приёмник»;

• разработка собственных форматов пакетов данных и служебных сообщений;

• создание набора параметров адаптивности, в том числе их вариаций для различной пропускной способности канала.

Научная новизна.

1. Разработаны и исследованы новые модели оценки качества человеческого восприятия QoE, которые отличаются от известных обоснованностью используемых метрик и высокой степенью корреляции с экспертными оценками (коэффициент корреляции Спирмана достигает 0,96).

2. Выведен общий вид зависимости человеческого восприятия от интегрального параметра качества на основе экспериментальных данных, имеющий логарифмическую природу и граничные условия, который отличается от результатов, рекомендованных Международным союзом электросвязи, предполагающих сигмоидальный вид.

3. Разработана методика адаптивной настройки протокола передачи данных, оперирующая размерами структур данных, кодовыми скоростями и размерами блоков данных.

4. Разработана методика тестирования канала данных с минимальной нагрузкой на канал передачи, использующая положительную обратную связь от приемника к передатчику в виде двух типов пакетов со статистической информацией.

Теоретическая и практическая значимость работы. Теоретическая значимость работы состоит в построении и исследовании моделей оценки QoE, в которой учтены новые метрики и признаки, влияющие на качество восприятия потокового видео. С целью практического применения разработаны линейные модели, а также модель, не требующая эталонных данных, которые можно применять для анализа работы мультимедийной системы на промежуточных узлах и на стороне пользователя. Разработана методика контроля канала и адаптивной настройки протокола, характер разработанных процедур обеспечивает возможность применения в стеке сетевых протоколов уровней 1-4. Данный подход реализован на практике в виде протокола канального уровня PPPXoE - расширения протокола PPPoE (RFC 2516) - на языке С для операционной системы Linux с ярдом четвертой версии.

Результаты проведенных исследований были использованы при выполнении НИР по заказу ПАО Ростелеком в области оценки качества восприятия и метрологического обеспечения инфраструктуры IP-сети национального масштаба и в НИР по заказу АО Воентелеком по разработке адаптивного протокола канального уровня, также полученные результаты использованы в учебном процессе на кафедре Мультимедийных технологий и телекоммуникаций МФТИ. Реализация результатов работы подтверждена соответствующими актами, которые приведены в приложении.

Методы исследования. Для решения поставленных задач используются методы корреляционного анализа, теории вероятностей и математической статистики, теории информации, методов математического анализа и методов машинного обучения.

Положения, выносимые на защиту.

1. Разработанные модели качества человеческого восприятия QoE на основе градиентного бустинга над деревьями и линейных моделей, включая безреференсный вариант, отличаются использованием исследованных на статистическую значимость метрик и обладают коэффициентом корреляции Спирмана до 0,9647 с целевой оценкой MOS (Mean Opinion Score), что превышает ранее полученный результат 0,8454 методики P.NATS (рекомендация ITU-T P.1203).

2. Выведен общий вид формулы оценки человеческого восприятия от интегрального показателя качества, имеющей логарифмическую зависимость и граничные условия, отличающейся от рекомендованного ранее Международным союзом электросвязи сигмоидальной зависимости.

3. Разработана и исследована новая методика адаптивной настройки параметров протокола, включая механизм тестирования канала, для реализации которой потребовалась модификация протокола PPPoE (RFC 2516), названная PPPXoE, отличающаяся введением новых структур данных и служебных сообщений. Общий характер методики обеспечивает возможность её применения в стеке протоколов 1-4 уровней.

4. Разработан набор адаптивных параметров для расширения PPPXoE, обеспечивающий стабильную работу и гарантированную доставку данных при потерях на канале до 23% и на пропускной способности канала от 2,4 Кбит/с до 100 Мбит/с.

Степень достоверности и апробация результатов.

Полученные теоретические результаты обоснованы применением статистического анализа, методов машинного обучения, компьютерным моделированием, совпадением результатов исследования с экспериментальными

данными, непосредственным участием соискателя в получении исходных данных и научных экспериментах.

Положения и выводы, сформулированные в диссертации, получили квалифицированную апробацию на всероссийских конференциях МФТИ (Долгопрудный, 2017, 2018 гг.); международных конференциях: «Цифровая обработка сигналов и её применение» DSPA-2017», (Москва, 2017 г.), IEEE Northwest Russia Conference on Mathematical Methods in Engineering and Technology (Санкт-Петербург, 2018 г.), Engineering and Telecommunication - En&T» (Долгопрудный, 2018 - 2019 гг.), «Distributed Computer and Communication Networks, DCCN» (Москва, 2019 г.), «Systems of Signal Synchronization, Generating and Processing in Telecommunications, Sinhroinfo» (Светлогорск, 2020 г.)

Достоверность также подтверждается публикациями результатов исследования в рецензируемых научных изданиях, в том числе, рекомендованных ВАК (журнал Электросвязь, 2019 г.) и рецензируемых в базе Scopus (сборники трудов конференций в опубликованы в IEEE Xplore, Springer), а также полученным патентом РФ (#2706879, 2019 г.) и свидетельством о регистрации программы для ЭВМ (#2019616733, 2019 г.).

Разработанные методики и модели оценки качества восприятия основываются на результатах НИР по Разработке методов оценки показателей качества услуг мультимедийного вещания, предоставляемых через направляемую IP-сеть национального масштаба по договору с ПАО Ростелеком .№01/25/769-16 от 20.06.2016 (имеется акт о выполненных работах). Адаптивный протокол PPPXoE создан в рамках НИР с АО Воентелеком ВТК-290/18-0218 от 22.03.2018 по Разработке адаптивного протокола канального уровня для работы с каналами различного качества (имеется акт о выполненных работах).

По материалам диссертации опубликовано 9 печатных работ, в том числе 1 в рецензируемых периодических изданиях, входящих в перечень ВАК при Министерстве образования и науки Российской Федерации и 2 в рецензируемых

изданиях, входящих в базу данных Scopus, а также в два РИД (патент и свидетельство о регистрации программы для ЭВМ).

Основное содержание работы. Диссертация состоит из введения, трех глав, заключения, списка литературы и приложения. Основная часть (без приложений) изложена на 162 страницах машинописного текста, содержит 54 рисунка и 22 таблицы. Список литературы состоит из 157 наименований. Приложения изложены на 4 страницах машинописного текста.

Глава

Характеристика и анализ работы систем цифровой передачи

мультимедийной информации

Введение диссертации (часть автореферата) на тему «Разработка и исследование алгоритмов анализа и повышения качества цифровой передачи мультимедийной информации»

1.1. Актуальность проблематики

Усложнение характера трафика, в частности снижение количества передаваемых потоков видео по запросу (в общем случае файлов данных большого размера) и аудиосообщений по сравнению с объемом мультимедийных сообщений, трафика видео реального времени, а также увеличение количества относительно коротких посылок данных для межмашинного взаимодействия приводит к тому, что требуемые качество обслуживания Quality of Service (QoS) и качество восприятия Quality of Experience (QoE) могут быть обеспечены только при использовании развитых методов повышения эффективной пропускной способности канала. Развитие объектов инфраструктуры происходит недостаточно быстро, поэтому существует масса каналов с динамически меняющимися в широких пределах характеристиками, в частности, каналов «последней мили» различной физической природы и нестабильных эфирных соединений.

Главными направлениями эволюции систем цифровой передачи мультимедийной информации [118, 121, 124] являются улучшение качества предоставления мультимедийных услуг, переход к использованию человекоориентированных методов оценки качества QoE, в которых ранее применяемый класс методов оценки качества работы системы QoS является лишь одной из составляющих. Бурное развитие систем и сервисов цифровой передачи мультимедиа в России и во всём мире [118, 119, 125] обусловлено развитием:

- видеокодеков семейства MPEG (кодеки H.264, H.265), результатами работы

Google (кодеки VP8, VP9) и Альянса за открытые медиа (кодек AV1);

- технологий адаптивной потоковой передачи видео с помощью протокол HTTP (HDS, HLS, MST, DASH);

- систем мобильной связи [21, 25, 40, 58, 34, 103, 112] и сетей беспроводной передачи информации [22, 58, 80].

Хотя одним из факторов, из которых состоит QoE, является QoS, а на промежуточных узлах доставки мультимедийной информации в отсутствие пользователя QoE не существует, нередки случаи, когда при хорошем значении QoS оценка QoE низка и наоборот.

Целью данной главы является анализ методов оценки и повышения качества восприятия QoE мультимедийной информации. Коротко рассмотрены принципы потоковой передачи видео, описан жизненный цикл контента, рассмотрены принципы сжатия трафика реального времени. Приведена классификация характерных искажений и дана оценка их вклада в качество восприятия. Будет приведена классификация методов оценки QoE, дан обзор наиболее развитых и современных методик с целью постановки задачи разработки эффективной оценки качества восприятия. Проведен анализ причин деградации качества передачи и воспроизведения мультимедийной информации и методов повышения качества сервиса и качества обслуживания. Будет приведен короткий обзор протоколов TCP/QUIC, которые обеспечивают потоковую передачу мультимедиа, и показано, что механизмы контроля доставки данных и контроля перегрузки в случае динамически меняющегося канала обеспечивают низкую утилизацию канала вплоть до практически полной невозможности передачи пользовательской информации. Будут выведены принципы построения адаптивных протоколов, решающих указанную проблему.

В начале необходимо рассмотреть принципиальные различия метрологического обеспечения аналоговых и цифровых видеоинформационных систем, определяющих требования QoS и QoE.

1.2. Метрология аналоговых и цифровых систем

Качественная составляющая роста систем и средств распространения аудиовизуальной информации обусловлена практически состоявшимся повсеместным принятием цифровых технологий передачи данных. Значительно расширяются сферы применения как вещательных методов распространения аудио и видео (переход к цифровому телевидению высокой и ультравысокой четкости, в частности - развертывание первого и второго мультиплексов в России в 2009 и 2018 гг., Интернет-видеовещание, системы видеонаблюдения и т.д.), так и интерактивных сервисов (видеоконференцсвязь, телемедицина, дистанционное обучение).

В зависимости от специфики конкретных услуг, нужд потребителей и полосы пропускания имеющихся и ожидаемых в ближайшем будущем каналов связи требуется передавать мультимеда различного качества с уровнями качества (битрейтами). Цифровая передача, адаптивные алгоритмы оптимизации на стороне пользователя в зависимости от текущих и ожидаемых состояний канала позволяет настраивать параметры передачи мультимедиа. Для оценки соответствия качества передаваемого и воспроизводимого мультимедиа предъявляемым требованиям, для сравнения работы программных и программно-аппаратного комплексов видеокодирования и передачи мультимедиа, требуются методики и средства субъективной и объективной оценки качества видео. Требуется, чтобы разрабатываемые технологии могли учитывать характерные особенности и искажения аналоговой и цифровой составляющих систем.

Таким образом, разработка цифровых видеоинформационных систем и их внедрение невозможно без их метрологического обеспечения, поддерживающего качество их построения и эксплуатации.

Переход к цифровым технологиям передачи данных от аналоговых обуславливает особую специфику видоизменения потерь качества аудиовизуального вещания.

При аналоговой передаче аудиовизуальных сигналов потери качества вещательного сигнала происходили в основном за счет шумов и различного вида помех в тракте передачи (эфир и кабель). При использовании цифровых сетей распространения аудиовизуальных данных на первый план выходят другие факторы: во-первых, информационные потери при компрессии исходного сигнала, во-вторых, нарушение непрерывности потока пакетов с данными. В результате деградация контента на оконечных устройствах воспроизведения носит при аналоговой и цифровой передаче различный характер. При аналоговой передаче -это плавный рост зашумленности картинки и звука с уменьшением отношения сигнал-шум (ОСШ) в конце тракта передачи, исчезновение цветности, и, в конце концов, полное исчезновение воспроизведения. В случае цифровой передачи компрессированных данных, деградация носит характер постепенного снижения четкости картинки, роста вероятности появления мозаичных артефактов и, при больших потерях в тракте передачи, «замирания» видео в стоп-кадр, зачастую при продолжении воспроизведения аудио, в зависимости от конкретных настроек, с которыми был закодирован поток данных. При этом зависимость степени деградации от величины потерь носит существенно нелинейный характер, ускоряясь от почти незаметного нарастания при малых потерях до срыва и полного прекращения воспроизведения в худших случаях.

В результате возникают две проблемы, специфические для цифрового мультимедийного вещания. Во-первых, из-за нелинейности соответствий существует расхождение между измеренным по сетевым параметрам пакетной передачи Quality of Service (QoS) объективным качеством любой определенной функциональной характеристики сети и фактическим «воспринятым» абонентами качеством потребляемой услуги Quality of Experience (QoE). Во-вторых, существует множество различных параметров деградации, в связи с чем возникает проблема выведения скалярной оценки качества услуг из векторной величины отклонений.

В отсутствии решения данных проблем обратная связь от пользователя к поставщику услуги выглядит как реагирование постфактум на возникающие ситуации потребительской неудовлетворенности качеством и, соответственно, в ухудшении управления глобальной вещательной инфраструктурой, влекущей потери клиентуры и коммерческой эффективности.

С другой стороны, в настоящее время технологии предоставляют беспрецедентные возможности по сбору и анализу данных, в том числе позволяющие производить анализ качества контента на экранах оконечных устройств.

В следующем разделе будет представлена терминология QoE и показана многокритериальность QoE, которая определяет поле для исследований и сложность объективизации субъективного восприятия. В разработанных в настоящем исследовании методиках используется меньшая часть указанных ниже показателей, они планируются ко включению в продолжении работ.

1.3. Терминология и различия QoE и QoS

Не существует единого определения термина QoE. Так, ITU определяет его как «Общая приемлемость приложения или услуги, как субъективно воспринимается конечным пользователем. QoE включает в себя комплексные системные эффекты (клиент, терминал, сеть, инфраструктура услуг и т.д.). На общую приемлемость могут влиять ожидания пользователей и контекст» [1]. Сообщество EU Qualinet (European network on quality of experience in multimedia systems and services) как «Степень восторга или раздражения пользователя приложения или услуги. Является результатом осуществления ожиданий в отношении полезности и/или удовольствия использования приложением или услугой в свете индивидуальности пользователя и его текущего состояния» [2].

Наряду с этим, Рекомендация ITU-T Rec. E.800 определяет термин QoS как «Совокупность характеристик телекоммуникационной услуги, которые влияют на

ее способность удовлетворить заявленные и подразумеваемые потребности пользователя услуги» [3].

QoS охватывает такие показатели, как: пропускная способность, потери пакетов, задержки, вариации задержек и пр. QoE, помимо этого, включает показатели контента (временная и пространственная сложность потока, количество движения и пр.) и его воспроизведения (длительность начальной буферизации, искажения, переключения битовой скорости и пр.), а также непосредственно человеческий фактор (пол, возраст и пр.). Факторы, составляющие QoE и демонстрирующие отличие от QoS, представлены на рисунке 1.1.

QoE

Человеческие

фяктопы

Контекст

Системные фактопы iOoS)

Контент

Сеть

Устройство пользователя ■

Относительный уровень

качества данных

Предыдущий опыт использования аналогичных

ус луг

Эмоции

Ценовая политика

Характер окружения

Время дня

Текущая нагрузка на сервис

Тип контента

Длительность сессии

Количество движения

Искажения воспроизведения

Рисунок 1.1. Факторы, влияющие на QoE

К человеческому фактору относятся различные, относительно стабильные на длительном промежутке времени характеристики человека, такие как пол или возраст. Системные факторы, в свою очередь, разделяются на три отдельные категории, а именно: средства коммуникации, факторы работы сети и факторы, связанные с работой конечных устройств воспроизведения контента. Эта группа факторов определяют оценку QoS. Факторы контекста включают в себя

показатели, связанные с физическими характеристиками пользователя, временем взаимодействия с мультимедийной системой, социальными особенностями, экономическим состоянием, целями пользователя и техническими особенностями устройств, с которыми пользователь взаимодействует.

1) Человеческие факторы в настоящей работе не учитываются из-за их субъективности, обусловленной внутренними процессами и состояниями человека, однако планируются к учету в дальнейших исследованиях. К ним относятся пол, возраст, уровни знаний и образования и др. Также к данной категории относятся более динамичные показатели человека, такие как эмоции низшего порядка (гнев, злость).

Можно выделить низкоуровневые и высокоуровневые человеческие факторы. К первым относятся пол, возраст, острота слуха и зрения, эмоции низшего порядка, настроение, мотивация, внимание. Показатели работы зрительной системы человека могут оказывать решающее влияние на QoE видеконтента. Традиционные психофизические исследования предполагают, что визуальная чувствительность к внешним раздражителям определяется набором пространственно-временных частот конкретного раздражителя. Кроме того, из-за неравномерного распределения фоторецепторов (колбочек и палочек) на сетчатке пользователь гораздо лучше воспринимает то, что расположено на уровне его глаз. Именно поэтому для объективизации QoE используются математические модели зрительного восприятия. Аналогичная ситуация со слуховой системой.

Высокоуровневые факторы относятся к анализу различного рода стимулов и оценочных процессов пользователя, основа которых, в первую очередь -предыдущий опыт, социально-культурный и образовательный уровень, этап жизни и социально-экономическое положение. Последний фактор имеет особое значение при денежном измерении QoE. Перечисленные факторы прочно связаны со следующим набором характеристик, который является относительно стабильным: нормы и убеждения, которые тесно связаны социальным и культурным контекстом.

Ещё одним высокоуровневым когнитивным процессом, влияющим на оценку восприятия, является механизм внимания - уделение его одним объектам и игнорирование других. Среди других человеческих факторов выделяют цели, мотивы, и в целом мотивацию. Основная задача анализа мотивации заключается в определении, внешняя она или внутренняя. Внешняя, как правило, приводит к интересу в контенте с практическим уклоном (связанным с учёбой или работой), а внутренняя - к контенту, относящемуся к творческой самореализации и развлечениям.

2) Технический фактор подразделяется на 4 подкатегории: контент, характеристики кодирования, работа сети и оконечные устройства.

Подкатегорию факторов контента определяет тип передаваемой информации. Для аудиоконтента основополагающими факторами являются полоса пропускания и динамический диапазон. Для видеоконтента важными характеристиками будут активность движения в кадре и количество деталей, в 3D-видео становится важен параметр глубины.

К подкатегории характеристик кодирования относятся факторы конфигурации среды: тип кодека, частота дискретизации, частота кадров, синхронизация аудио и видео. Также к данной категории относятся методы сжатия и восстановления изображения, а также схемы маскировки ошибок.

Подкатегория сети описывает передачу информации по каналу связи. Основные характеристики: пропускная способность, задержка, джиттер, доли потерь пакетов и ошибок. Данные показатели фактически определяют оценку QoS. Влияние этих показателей различно в зависимости от величины интерактивности взаимодействия пользователя с сервисом, например, при видеоконференции и просмотре потокового видео.

Факторы оборудования включат в себя как разрешение и качество дисплея, так и производительность и надежность устройства. Так, характерными параметрами последних двух факторов являются:

• Время восстановления или время неготовности услуги;

• Время, необходимое для включения абонентского оборудования;

• Время, необходимое для переключения абонентского оборудования с одного канала на другой или с одной услуги на другую;

• Количество неисправностей в расчете на одно абонентское оборудование в год.

3) К категории контекстных относятся факторы, определяющие как состояние пользователя, так и состояние мира в целом в рассматриваемый промежуток времени. Это физические, временные, социальные, экономические, и технические показатели, меняющиеся с различной амплитудой и частотой. К примеру, в тренажёрном зале гораздо больше подойдёт быстрая энергичная музыка, а рекомендуемые видеоролики должны предлагаться на основе информации из профиля пользователя.

Физический контекст описывает характеристики местонахождения пользователя: характер окружающей среды (дом, работа, общественное место, нахождение внутри или снаружи помещения и т.п.), чувственные атрибуты места (красота окружающего пространства, зашумлённость, освещённость, температура), физическое состояние человека. Также к данной подгруппе относится активность пользователя, которая существенно влияет на настроение, а настроение, в свою очередь, во многом определяет восприятие.

Временной контекст связан с временем суток, сезоном года, длительностью взаимодействия и частотой взаимодействия с сервисом. Эти данные можно использовать в личной истории каждого пользователя, совмещая их с показателями из других групп.

Социальный контекст касается опыта других пользователей, культурного, образовательного, профессионального уровня, предпочитаемом способе проведения досуга. Данные факторы, как правило, используются в

рекомендательных системах в виде кругов социальных связей, в рамках которых пользователям будет интересен один и тот же тип контента и услуг.

Экономический контекст касается достатка пользователя, товаров и услуг, которые тот использует. Оценить достаток можно по информации об устройствах и используемому программному обеспечению, а также по данным социального контекста.

Технический контекст описывает взаимодействия составных частей системы «сервис-оборудование-пользователь» и связанных этим подсистем. К данной категории относится визуальное и функциональное качество сервиса, работа техподдержки, совместимость устройств пользователя и т.д.

Описанные выше контекстные характеристики весьма разнообразны, часть из них однозначно интерпретируется и анализируется интуитивно понятным образом (время и сезон года), другие характеристики в или иной степени можно оценить автоматически (анализ социальных сетей), третьи - только опросив пользователя (профессиональные навыки и образование). В дальнейшем в признаковое описание субъектов будут включены однозначно интерпретируемые характеристики, подлежащие автоматическому сбору и анализу для анализа качества восприятия QoE. Визуальный пример различия QoE и QoS приведен на рисунке 1.2 и в соответствующей ему таблице 1.1.

Рисунок 1.2. Демонстрация различия объективной и субъективной метрологии Таблица 1.1. QoS и QoE рисунка 1.2

Левый рисунок Правый рисунок

Нижний PSNR 31dB, DMOS 82 PSNR 31dB, DMOS 27

Верхний PSNR 34dB, DMOS 96 PSNR 34dB, DMOS 58

Деградация качества изображения лиса хорошо заметна, однако изображения толпы, обладающие множеством деталей, на взгляд практически идентичны.

Рассмотрим коротко проведение экспертных сессий оценки качества мультимедиа. Хотя данная работа не посвящена напрямую разработке регламентов проведения экспериментальных сессий, далее будут использованы такие оценки.

1.4. Экспертные процедуры

Первоначальным способом оценки качества мультимедийной информации является проведение экспертных сессий, в ходе которых в определенным регламентом условиях группа людей (от 6 согласно ITU-T Rec. P.911 [23] или от 15 согласно ITU-R Rec. BT.500 [29] до 40) выставляет демонстрируемому контенту

оценки по некоторой ранговой шкале (как правило от 1 до 5 или от 0 до 100). Далее результаты очищаются от выбросов (например, 95% квантиль) и усредняются. Таким образом получается оценка MOS - Mean Opinion Score [24, 35].

Необходимо отметить, что существует несколько принципов экспертных процедур оценки деградации мультимедийной информации, практически в неизменном виде перешедших в область автоматической оценки:

1. Наличие эталона. В течение экспериментальной сессии эксперту наряду с искаженным контентом демонстрируется эталон. Он может быть показан в порядке очереди, либо демонстрироваться параллельно на соседнем экране. В таком случае более корректно использовать понятие оценки деградации, а не качества. Распространённой практикой в случае наличия эталона является использование оценки DMOS - Difference Mean Opinion Score [26]. Её суть заключается в разностной оценке исходного сигнала и сигнала, прошедшего через мультимедийную систему. DMOS позволяет путем вычитания оценок уменьшить влияние субъективных факторов, которые понижают или повышают оценку конкретной экспертной сессии, например, из-за типа контента.

2. Ограниченное знание об эталоне. К данному классу относятся процедуры, в которых эксперты обладают такими знаниями [33] как:

• тип искажений контента;

• факт наличия искажений в эталоне;

• сценарий использования сервиса (так, в сценарии видеоконференцсвязи фокус внимания на аудиосоставляющей, однако этот же отрезок мультимедийного материала можно рассматривать как просмотр фильма с целевым показателем качества видео).

3. Отсутствие эталона. Эксперту ничего не известно об исходном сигнале. В данном случае используют оценки MOS.

Для оценки субъективного качества могут применяться не только MOS и DMOS, но также и ряд других методик, например, JND или стрессовое тестирование [33].

Ряд рекомендаций ITU регулируют проведение таких экспертных сессий. Так, серия Рекомендаций ITU-T P.800-899 описывает процедуры оценки музыки, речи, смешения музыки и речи, видео и мультимедийных сервисов. В таблице 1.1 приведен обзор стандартов, которые описывают регламент проведения экспертных сессий, рекомендуемые параметры демонстрации материала, шкалы оценки и пр. для различных типов контента.

В Рекомендации ITU-R BT.500-14 [120] приводятся оптимальные числовые значения ряда объективных показателей, влияющих на восприятие пользователя. При проведении сбора и обработки экспертных оценок рекомендуется уделять особое внимание:

• экрану (яркость, контрастность);

• расположению пользователя в пространстве относительно экрана;

• освещению помещения;

• качеству сигнала;

• выбору тестовых материалов для анализа;

• разнообразию условий тестирования;

• выбору экспертов;

• инструкциям для экспертов;

• сеансу тестирования;

• выборке и анализу результатов.

Сейчас для массового применения такой подход несостоятелен, однако данная область метрологии не теряет своей важности. Причиной тому является необходимость проведения разработки, лабораторных и натурных испытаний

автоматических метрик, где не менее важны корректные и валидные результаты измерений, а также следование единообразной методике сбора информации с экспертов и пользователей.

Стоит также отметить эффект «переобучения» экспертных групп, который выражается в постепенном научении экспертов находить искажения, что приводит к несоответствию качества их и пользовательского восприятия - эксперты оказываются более критичны, что может привести к перекосу оценок в сторону нижней границы шкалы и не соответствовать генеральной совокупности распределения для целевой аудитории [30, 41].

Таблица 1.2. Перечень стандартов ITU, посвящённых организации процедур

субъективного тестирования

Целевая задача Стандарт

Монолог, речь одного и более людей, не являющаяся диалогом (например - игра в шахматы или морской бой) [Rec. ITU-T P.805 Subjective evaluation of conversational quality] ITU-T Rec. P.800 ITU-T Rec. P.806 ITU-T Rec. P.830 ITU-T Rec. P.835

Разговорная речь (диалог или разговор двух и более людей) ITU-T Rec. P.800 ITU-T Rec. P.805 ITU-T Rec. P.1302

Аудио ITU-R Rec. BS.1116 ITU-R Rec. BS.1284 ITU-R Rec. BS.1534 ITU-R Rec. BS.1679 ITU-T Rec. P.830 ITU-T Rec. P.913

Видео ITU-R Rec. BT.500 ITU-R Rec. BT.1663 ITU-R Rec. BT.1788 ITU-R Rec. BT.2021 ITU-T Rec. J.140 ITU-T Rec. J.245 ITU-T Rec. P.910 ITU-T Rec. P.913

Аудиовизуальные материалы (монолог, речь одного и более людей, не являющаяся диалогом) ITU-T Rec. P.911 ITU-T Rec. P.913

Аудиовизуальные материалы (разговорная речь) ITU-T Rec. P.920 ITU-T Rec. P.1301

Целевая задача Стандарт

ITU-T Rec. P.1302 ITU-T Rec. G.1091

Проведем анализ особенностей передачи потокового видео до конечного пользователя, для этого коротко рассмотрим работу транспортного уровня технологий потоковой передачи мультимедийного потока с помощью протокола HTTP, в частности, в сравнении с IPTV.

1.5. Технологии адаптивной передачи

Технология OTT (Over-The-Top) обеспечивает доставку контента по неуправляемой сети Интернет, противоположно сервисам IPTV, предоставляемым через управляемую оператором связи инфраструктуру (как правило, вплоть до конечного пользовательского оборудования). Технология OTT нацелена на предоставление мультимедийных сервисов без задействования выделенных ресурсов инфраструктуры без понижения качества услуг.

IPTV-сети проектируются с расчётом на групповой (мультикаст) и одноадресный (юникаст) трафик. Мультикаст необходим для оптимизации потоков трафика и уменьшения нагрузки на сеть, позволяя транслировать в сеть один поток многим пользователям, вместо множества отдельных потоков каждому абоненту. Налагаются высокие требования к полосе пропускания. Распространенным стандартом кодирования телевизионного сигнала является стандарт MPEG-2 TS, для видео стандартного разрешения требуется скорость 1,2 Мегабит/с и более для одного потока. Для телевидения высокой чёткости требуется 4 Мб/с и выше (FullHD-видео) для мультикаст-трафика без введения дополнительных услуг. Поставщик услуг IPTV обеспечивает:

• полосу пропускания, соответствующую заявленному качеству мультимедиа;

• минимизацию задержки;

• достаточную и равномерную плотность сети.

Узлы доступа должны быть расположены как можно ближе к пользователю, что позволяет увеличить эффективность использования каналов и перераспределить нагрузку по приоритетам типов трафика и пользователей.

Алгоритмы передачи контента в сетях OTT позволяют использовать каналы с меньшей скоростью доступа (при использовании кодека H.264 минимальная скорость 300 кбит/с при качестве 240р). Подобная гибкость алгоритмов доставки трафика даёт существенное преимущество технологии OTT по сравнению с IPTV.

Используя OTT, пользователь обеспечен мультимедийным контентом от мультимедийного сервиса напрямую, с использованием протокола HTTP. При этом правообладатель получает возможность защиты контента с помощью расширения HTTPS, поддерживающего шифрование по криптографическим протоколам SSL или TLS. Механизмы защиты поддерживают интерес контент-провайдеров и владельцев телеканалов. За счет того, что существует непроприетарная реализация ОТТ (о чём написано далее), а доступ пользователей к контенту определяется ими самими, а не провайдером, OTT обеспечивает вещателям и контент-провайдерам увеличение аудитории количественно и территориально, что, в свою очередь, уменьшает удельную стоимость услуг и ведёт к привлечению новых пользователей.

Список литературы диссертационного исследования кандидат наук Ивченко Александр Владимирович, 2020 год

Список литературы

1. Recommendation ITU-T Rec. G.100/P.10 defines, 2016

2. Perkis A. et al. QUALINET White Paper on Definitions of Immersive Media Experience (IMEx) //arXiv preprint arXiv:2007.07032. - 2020.

3. Recommendation ITU-T Rec. E.800 Definitions of terms related to quality of service, 2008.

4. Internet Standard RFC 1661. The Point-to-Point Protocol (PPP). - RFC, 1994. - 52 p.

5. Internet Standard RFC 2516. A Method for Transmitting PPP Over Ethernet (PPPoE). - RFC, 1999. - 17 p.

6. Cai, Yan, Impact of arrival burstiness on queue length: An infinitesimal perturbation analysis / Yan Cai, Yong Liu, Weibo Gong, Tilman Wolf // Proceedings of the 48th IEEE Conference on Decision and Control (CDC) held jointly with 2009 28th Chinese Control Conference.

7. Julien Perruisseau-Carrier, Versatile reconfiguration of radiation patterns, frequency and polarization: A discussion on the potential of controllable reflectarrays for software-defined and cognitive radio systems //2010 IEEE International Microwave Workshop Series on RF Front-ends for Software Defined and Cognitive Radio Solutions (IMWS)]).

8. Ивченко А.В., Ерченко А.В., Синолиц В.В., Сухотеплый А.П., Дурыгин В.В. Адаптивный протокол канального уровня для работы в сетях специального назначения // Электросвязь. - 2019. - № 2. - С. 12-19

9. Блейхут Р. Теория и практика кодов, контролирующих ошибки. М.: Мир. 1986. 576 с.

10. Chien, R. T. (October 1964), "Cyclic Decoding Procedures for the Bose-Chaudhuri-Hocquenghem Codes", IEEE Transactions on Information Theory, IT-10 (4): 357363, doi: 10.1109/TIT.1964.1053699, ISSN 0018-9448

11. U. Demir and O. Aktas, "Raptor versus Reed Solomon forward error correction codes," 2006 International Symposium on Computer Networks, Istanbul, 2006, pp. 264-269, doi: 10.1109/ISCN.2006.1662545.Dr. Lin-Nan Lee LDPC Codes, Application to Next Generation Communication Systems // IEEE Semiannual Vehicular Technology Conference. — October, 2003.

12. Сагалович Ю. Л. Введение в алгебраические коды — М.: МФТИ, 2007. — 262 с. — ISBN 978-5-7417-0191-1

13. Морелос-Сарагоса Р. Искусство помехоустойчивого кодирования. Методы, алгоритмы, применение / пер. с англ. В. Б. Афанасьева. — М.: Техносфера, 2006. — 320 с. — (Мир связи). — 2000 экз. — ISBN 5-94836-035-0.

14. М. Вернер. Основы кодирования. — Техносфера, 2004. — 288 с. — ISBN 594836-019-9.

15. L. A. Uryvsky and A. M. Pieshkin, "The Reed-Solomon codes analysis technique on the optimum block codes ground in the channel with white noise," 2016 International Conference Radio Electronics & Info Communications (UkrMiCo), Kiev, 2016, pp. 1-3, doi: 10.1109/UkrMiCo.2016.7739631.

16. Free Raptor [Электронный ресурс]. - URL: https://github.com/obolo/freeRaptor (Дата обращения: 15.08.2020).

17. Cai, Yan, Impact of arrival burstiness on queue length: An infinitesimal perturbation analysis / Yan Cai, Yong Liu, Weibo Gong, Tilman Wolf //Proceedings of the 48th IEEE Conference on Decision and Control (CDC) held jointly with 2009 28th Chinese Control Conference.

18. Salsano S. et al. Definition of a general and intuitive loss model for packet networks and its implementation in the Netem module in the Linux kernel //University of Rome «Tor Vergata». Version. - 2012. - Т. 3.

19. HaBlinger, G. and O. Hohlfeld. "The Gilbert-Elliott Model for Packet Loss in Real Time Services on the Internet." MMB (2008).

20. NetemCLG (Correlated Loss Generator): fixing loss model of Netem [Электронный ресурс]. - URL: http://netgroup.uniroma2.it/twiki/bin/view.cgi/Main/NetemCLG (Дата обращения: 15.08.2020).

21. FCC. Technology Transitions, Order, Report & Order and Further Notice of Proposed Rulemaking, Report Order, Order and Further Notice of Proposed Rulemaking, Proposal for Ongoing Data Initiative, GN Docket No. 13-5, FCC 14-5 (rel. Jan. 31, 2014).

22. Вишневский, В.М. Широкополосные беспроводные сети передачи информации. / В.М. Вишневский, А.И. Ляхов, С.Л. Портной, И.В. Шахнович. -М.: Техносфера, 2005. - 592 с.

23. Recommendation ITU-T P.911: Subjective audiovisual quality assessment methods for multimedia applications, 1998

24. Рекомендация МСЭ-T Rec. Р.800.1 Терминология, касающаяся средней экспертной оценки (MOS), 2016.

25. Шнепс-Шнеппе, М. А. О создании единого информационного пространства общества / М. А. Шнепс-Шнеппе, Д. Е. Намиот, В. А. Сухомлин // International Journal of Open Information Technologies. - 2015. - vol. 3, no. 2. - С. 1-10.

26. K. Seshadrinathan, R. Soundararajan, A. C. Bovik and L. K. Cormack, "Study of Subjective and Objective Quality Assessment of Video," in IEEE Transactions on Image Processing, vol. 19, no. 6, pp. 1427-1441, June 2010, doi: 10.1109/TIP.2010.2042111.

27. Pierre Duhamel, Michel Kieffer, Chapter 6 - Toward Practical Implementations, Joint Source-Channel Decoding, Academic Press, 2010, Pages 151-190, ISBN 9780123744494, https://doi.org/10.1016/B978-0-12-374449-4.00001-5.

28. Information Technology-Dynamic Adaptive Streaming Over HTTP (DASH)—Part 1: Media Presentation Description and Segment For-mats, Standard ISO/IEC 230091:2014, 2017. Accessed: Nov. 17, 2018. [Online]. Available: https: //www.iso.org/standard/65274. html

29. Recommendation ITU-R BT.500-13: Methodology for the subjective assessment of the quality of television pictures, 2012

30. Speranza, F., Poulin, F., Renaud, R., Caron, M., Dupras, J.: Objective and subjective quality assessment with expert and non-expert viewers. In: Proceedings of QoMEX, Trondheim, Norway (2010)

31. Aleksandr Ivchenko, Liubov Antiufrieva, Pavel Kononyuk, and Alexander Dvorkovich. PPPXoE - Adaptive Data Link Protocol for High-Speed Packet Networks // Communications in Computer and Information Science CCIS 1141. Distributed Computer and Communication Networks. 22nd International Conference, DCCN 2019, Moscow, Russia, September 23-27, 2019. Revised Selected Papers. PP. 174-187.

32. Technical Brief: Switch from CBR to VBR to Improve Overall Quality and Avoid Transient Quality Issues [Электронный ресурс]. - URL: https://streaminglearningcenter.com/articles/technical-brief-switch-from-cbr-to-vbr-to-improve-overall-quality-and-avoid-transient-quality-issues.html (Дата обращения: 17.08.2020).

33. Streijl, R.C., Winkler, S., Hands, D.S., 2016. Mean opinion score (MOS) revisited: methods and applications, limitations and alternatives. Multimedia Systems. doi: 10.1007/s00530-014-0446-1

34. Akyidiz, I.F. Wireless mesh networks: a survey / I.F. Akyidiz, X. Wang, W. Wang // Computer Networks. - 2005. - Jan, 1. - Р. 445-487.

35. Рекомендация МСЭ-T Rec. Р.800.2 Интерпретация и представление средней экспертной оценки, 2016.

36. Dai T. et al. Statistical Learning Based Congestion Control for Real-time Video Communication //IEEE Transactions on Multimedia. - 2019.

37. IETF QUIC WG [Электронный ресурс]. - URL: https://github.com/quicwg (Дата обращения: 17.08.2020).

38. N. Dukkipati, N. Cardwell, Y. Cheng, M. Mathis, Tail Loss Probe (TLP): An Algorithm for Fast Recovery of Tail [Электронный ресурс]. - URL: https://tools.ietf.org/html/draft-dukkipati-tcpm-tcp-loss-probe-01 (Дата обращения: 17.08.2020).

39. Takahashi, D. Hands, and V. Barriac, "Standardization activities in the ITU for a QoE assessment of IPTV,''IEEE Commun. Mag., vol. 46, no. 2, pp. 78-84, Feb. 2008

40. Stasiak, M. Modeling and Dimensioning of mobile networks from GSM to LTE / Maciej Stasiak, Mariusz Glabowski, Arkadiusz Wisniewski, Piotr Zwierzykowski. -John Wiley & Sons Ltd. - 2011. - Р. 136

41. Köster, O., Jessen, M., Khairi, F., Eckert, H.: Auditory-perceptual identification of voice quality by expert and non-expert listeners. In: Proceedings of International Congress of Phonetic Sciences, Saarbrücken, Germany (2007)

42. Goyal P. et al. {ABC}: A Simple Explicit Congestion Controller for Wireless Networks //17th {USENIX} Symposium on Networked Systems Design and Implementation ({NSDI} 20). - 2020. - pp. 353-372.

43. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, Image quality assessment: From error visibility to structural similarity, IEEE Trans. Image Process., vol. 13, no. 4, pp. 600-612, Apr. 2004.

44. Objective Perceptual Video Quality Measurement Techniques for Digital Cable Television in the Presence of a Full Reference, document J. 144 ITU-T Recommendation, Mar. 2001.

45. Perceptual Visual Quality Measurement Techniques for Multimedia Services Over Digital Cable Television Networks in the Presence of a Reduced Bandwidth Reference, document ITU-T J.246 Recommendation, Aug. 2008.

46. Wang, Zhou, and Alan C. Bovik. "Reduced-and no-reference image quality assessment." IEEE Signal Processing Magazine 28, no. 6 (2011): 29-40.

47. T. T. Tran, T. Vu, N. P. Ngoc, and T. C. Thang, ''A novel quality model for HTTP adaptive streaming,'' in Proc. IEEE 6th Int. Conf. Commun. Electron. (ICCE), Ha Long, Vietnam, Jul. 2016, pp. 423-428

48. .Shen, Y. Liu, Q. Liu, and D. Yang, A method of QoE evaluation for adaptive streaming based on bitrate distribution, in Proc. IEEE Int. Conf. Commun. Workshops (ICC), Sydney, NSW, Australia, Jun. 2014,pp. 551-556

49. . G. Bampis and A. C. Bovik, Learning to predict streaming video QoE: Distortions, rebuffering and memory, CoRR, vol. abs/1703.00633,Mar. 2017. [Online]. Available: http : //arxiv.org/abs/1703.00633

50. . Asan, W. Robitza, I. H. Mkwawa, L. Sun, E. Ifeachor, and A. Raake, Impact of video resolution changes on QoE for adaptive video stream-ing, inProc. IEEE Int. Conf. Multimedia Expo (ICME), Hong Kong,Jul. 2017, pp. 499-504.

51. Z. Rodriguez, R. L. Rosa, E. C. Alfaia, J. I. Abrahâo, and G. Bressan, Video quality metric for streaming service using DASH standard, IEEE Trans. Broadcasting, vol. 62, no. 3, pp. 628-639, Sep. 2016

52. Z. Rodriguez, J. Abrahao, D. C. Begazo, R. L. Rosa, and G. Bressan, Quality metric to assess video streaming service over TCP considering temporal location of pauses, IEEE Trans. Consumer Electron., vol. 58,no. 3, pp. 985-992, Aug. 2012

53. J. Lievens, A. Munteanu, D. De Vleeschauwer, and W. Van Leekwijck, Perceptual video quality assessment in HTTP adaptive streaming, in Proc. IEEE Int. Conf. Consum. Electron. (ICCE), Las Vegas, NV, USA, Jan. 2015, pp. 72-73

54. R. K. P. Mok, E. W. W. Chan, X. Luo, and R. K. C. Chang, ''Inferring theQoE of HTTP video streaming from user-viewing activities,'' inProc. IstACM SIGCOMM Workshop Meas. Up Stack, Toronto, ON, Canada, 2011,pp. 31-36

55. Z. Duanmu, A. Rehman and Z. Wang, "A Quality-of-Experience Database for Adaptive Video Streaming," in IEEE Transactions on Broadcasting, vol. 64, no. 2, pp. 474-487, June 2018, doi: 10.1109/TBC.2018.2822870.

56. F. Wang, Z. Fei, J. Wang, Y. Liu, and Z. Wu, ''HAS QoE prediction based on dynamic video features with data mining in LTE network,''Sci. ChinaInf. Sci., vol. 60, no. 4, pp. 042404:1-042404:14, Apr. 2017

57. Mittal, A. K. Moorthy, and A. C. Bovik, No-reference image quality assessment in the spatial domain, IEEE Trans. Image Process., vol. 21,no. 12, pp. 4695-4708, Dec. 2012.

58. M. N. Garcia, W. Robitza, and A. Raake, On the accuracy of short-term quality models for long-term quality prediction, in Proc. 7th Int. Workshop Qual. Multimedia Exper. (QoMEX), Pylos, Greece, May 2015,pp. 1-6

59. An introduction to LTE. LTE, LTE-ADVANCED, SAE and 4G mobile communications. // Christopher Cox. - UK.: John Wiley & Sons Ltd, 2012. - P. 486

60. Objective Perceptual Multimedia Video Quality Measurement in the Presence of a Full Reference, document ITU-T J.247 Recommendation, Aug. 2008.

61. A. Mittal, R. Soundararajan, and A. C. Bovik, Making a 'Completely Blind' Image Quality Analyzer, IEEE Signal Process. Lett., vol. 20,no. 3, pp. 209-212, Mar. 2013.

62. Carnec, M., Le Callet, P., & Barba, D. (2005, September). Visual features for image quality assessment with reduced reference. In IEEE International Conference on Image Processing 2005 (Vol. 1, pp. I-421). IEEE.

63. Z. Duanmu, K. Zeng, K. Ma, A. Rehman, and Z. Wang, A quality-of-experience index for streaming video, IEEE J. Sel. Topics Signal Process., vol. 11, no. 1, pp. 154-166, Feb. 2017

64. K. D. Singh, Y. Hadjadj-Aoul, and G. Rubino, Quality of experience estimation for adaptive HTTP/TCP video streaming using H.264/AVC, in Proc. IEEE Consumer Commun. Netw. Conf. (CCNC), Las Vegas, NV,USA, Jan. 2012, pp. 127-131

65. ISO/IEC 7498-1 Information technology - Open Systems Interconnection - Basic Reference Model: The Basic Model. 1996. -68 p.

66. ITU-T Tutorial. Objective perceptual assessment of video quality: Full reference television. - ITU-T, 2004, 218 p.

67. W. Robitza, P. A. Kara, M. G. Martini, and A. Raake, On the experimental biases in user behavior and QoE assessment in the lab, in Proc. IEEE Globecom Workshops, Washington, DC, USA, Dec. 2016,pp. 1-6

68. J. Xue, D.-Q. Zhang, H. Yu, and C. W. Chen, Assessing quality of experience for adaptive HTTP video streaming, in Proc. IEEE Int. Conf. Multimedia Expo Workshops (ICMEW), Chengdu, China, Jul. 2014,pp. 1-6

69. M. A. Saad, A. C. Bovik, and C. Charrier, Blind image quality assessment: A natural scene statistics approach in the DCT domain, IEEE Trans. Image Process., vol. 21, no. 8, pp. 3339-3352, Aug. 2012.

70. Objective Perceptual Multimedia Video Quality Measurement of HDTV for Digital Cable Television in the Presence of a Full Reference, document ITU-T J.341 Recommendation, Mar. 2016

71. Internet Standard RFC: 793 Transmission control protocol, - RFC, 1981, 85 p.

72. A. Asan, W. Robitza, I. H. Mkwawa, L. Sun, E. Ifeachor, and A. Raake,''Impact of video resolution changes on QoE for adaptive video streaming,'' in Proc. IEEE Int. Conf. Multimedia Expo (ICME), Hong Kong, Jul. 2017, pp. 499-504

73. Barman, N., Martini, M.G., 2019. QoE Modeling for HTTP Adaptive Video Streaming-A Survey and Open Challenges. IEEE Access.. doi:10.1109/access.2019.2901778

74. Tulio Ribeiro M., Singh S., Guestrin C. Why Should I Trust You?: Explaining the Predictions of Any Classifier //arXiv. - 2016. - C. arXiv: 1602.04938.

75. Louangrath P. Correlation coefficient according to data classification //Available at SSRN 2417910. - 2014.

76. Wang and E. P. Simoncelli, ''Reduced-reference image quality assess-ment using a wavelet-domain natural image statistic model,''Proc. SPIEConf. Hum. Vis. Electron. Imag., vol. 5666, pp. 149-159, Jan. 2005.

77. Toward A Practical Perceptual Video Quality Metric [Электронный ресурс]. -URL:https://netflixtechblog.com/toward-a-practical-perceptual-video-quality-metric-653f208b9652 (Дата обращения: 17.08.2020).

78. Ivchenko A.V., Kononyuk P.A., Dvorkovich A.V., Antiufrieva L.A., Study on the Assessment of the Quality of Experience of Streaming Video, в сборнике 2020 Systems of Signal Synchronization, Generating and Processing in Telecommunications (SYNCHROINFO), место издания IEEE, с. 1-12

79. HoBfeld, M. Seufert, C. Sieber, and T. Zinner, Assessing effect sizes of influence factors towards a QoE model for HTTP adaptive streaming, in Proc. 6th Int. Workshop Qual. Multimedia Exper. (QoMEX), Singapore, Sep. 2014, pp. 111-116

80. T. HoBfeld, S. Egger, R. Schatz, M. Fiedler, K. Masuch, and C. Lorentzen, ''Initial delay vs. Interruptions: Between the devil and the deep blue sea,'' in Proc. Int. Workshop Quality Multimedia Exper.,Jul. 2012, pp. 1-6

81. Couet, J. Satellites and Multimedia / J. Couet, D. Maugars, D. Rouffet // Alcatel Telecommunication Review. - Fourth Quarter 1999. - Р. 250-257.

82. Abdi, H. (2007). "Kendall rank correlation" (PDF). In Salkind, N.J. (ed.). Encyclopedia of Measurement and Statistics. Thousand Oaks (CA): Sage.

83. R. P. Brent, Algorithms for minimization without derivatives(Prentice-Hall, 1973).

84. Q. Li and Z. Wang, ''Reduced-reference image quality assessment using divisive normalization-based image representation, 'IEEE J. Sel. Topics Signal Process., vol. 3, no. 2, pp. 202-211, Apr. 2009.

85. Opinion Model for Video-Telephony Applications, document G.1070ITU-T Recommendation, Jul. 2012.

86. Y. Xiao, J. Zeng, M. Qian, R. Zheng and H. Zheng, "Quantitative analysis of peritumor tissue elasticity based on shear-wave elastography for breast tumor classification," 2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Osaka, 2013, pp. 1128-1131, doi: 10.1109/EMBC.2013.6609704.

87. Puka L. (2011) Kendall's Tau. In: Lovric M. (eds) International Encyclopedia of Statistical Science. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-04898-2_324

88. Zhang, C., T. Chen, K. L. Kim, S. W. Ra, E. A. Edirisinghe, M. Y. Nayan, H. E. Bez et al. Cumulative contents of Volume 19. Signal Processing: Image Communication 19 (2004): 1051-1054.

89. DASH Industry Forum. DASH-IF Position Paper: Proposed QoE Media Metrics Standardization for Segmented Media Playback [Электронный ресурс]. - URL: http://dashif.org/ wp-content/uploads/2016/10/ProposedMediaMetricsforSegmentedMedia Delivery-r12.pdf (Дата обращения: 17.08.2020).

90. Baak, M., Koopman, R., Snoek, H., Klous, S., 2020. A new correlation coefficient between categorical, ordinal and interval variables with Pearson characteristics. Computational Statistics & Data Analysis.. doi:10.1016/j.csda.2020.107043

91. The E-Model: A Computational Model for Use in Transmission Planning,document G.107 ITU-T Recommendation, Jun. 2015

92. Wang, Z. Fei, J. Wang, Y. Liu, and Z. Wu, ''HAS QoE prediction basedon dynamic video features with data mining in LTE network,''Sci. Chinalnf. Sci., vol. 60, no. 4, pp. 042404:1-042404:14, Apr. 2017.

93. U. A. Kumar and Y. Dhamija, "Comparative analysis of SOM neural network with K-means clustering algorithm," 2010 IEEE International Conference on Management of Innovation & Technology, Singapore, 2010, pp. 55-59, doi: 10.1109/ICMIT.2010.5492838

94. K Chono, YC Lin, D Varodayan, Y Miyamoto, B Girod; Reduced-reference image quality assessment using distributed source coding, 2008 IEEE International Conference on Multimedia and Expo, 609-612

95. Croux, C. and Dehon, C. (2010). Influence functions of the Spearman and Kendall correlation measures. Statistical Methods and Applications, 19, 497-515.

96. . T. T. Tran, N. P. Ngoc, A. T. Pham, and T. C. Thang, ''A multi-factor QoE model for adaptive streaming over mobile networks,'' in Proc. IEEE Globecom Workshops, Washington, DC, USA, Dec. 2016, pp. 1-6.

97. Robitza, M.-N. Garcia, and A. Raake, A modular HTTP adaptive streaming QoE model — Candidate for ITU-T P.1203 ('P.NATS'), in Proc. 9th Int. Conf. Qual. Multimedia Exper. (QoMEX), Erfurt, Germany, May/Jun. 2017, pp. 1-6

98. Gettys J., Nichols K. Bufferbloat: Dark buffers in the internet //Queue. - 2011. - Т. 9. - №. 11. - С. 40-54.S. Barath Balaji ; R. Hariharan ; D. Vydeki, The cross layer analysis - modification of contention and congestion window size, 2010 International Conference on Educational and Network Technology

99. Allen M. (ed.). The SAGE encyclopedia of communication research methods. - Sage Publications, 2017.

100. G. Bampis and A. C. Bovik. (2017). An augmented autoregressive approach to HTTP video stream quality prediction.'' [Online]. Available: https: //arxiv.org/abs/1707.02709

101. K. P. Mok, E. W. W. Chan, and R. K. C. Chang, ''Measuring the quality of experience of HTTP video streaming,'' inProc. 12th IFIP/IEEE Int. Symp. Integr. Netw. Manage. (IM) Workshops, Dublin, Ireland, May 2011,pp. 485-492

102. Антонова, В.М. Оценка ресурса передачи информации при обслуживании разнородного трафика в сетях LTE / В.М. Антонова, Д.О. Волков, М.С. Степанов // Естественные и технические науки. - 2016. - № 11. - С. 183-189.

103. Z. Guo, Y. Wang, and X. Zhu, Assessing the visual effect of non-periodic temporal variation of quantization step size in compressed video, in Proc. IEEE Int. Conf. Image Process. (ICIP), Quebec City, QC, Canada, Sep. 2015, pp. 3121-3125.

104. Parametric Non-Intrusive Assessment of Audiovisual Media Streaming Quality, document ITU-T P.1201 Recommendation, Oct. 2012

105. S. Tavakoli, S. Egger, M. Seufert, R. Schatz, K. Brunnstrom, and N. Garcia, Perceptual quality of HTTP adaptive streaming strategies: Cross-experimental

analysis of multi-laboratory and crowd sourced subjective studies, IEEE J. Sel. Areas Commun., vol. 34, no. 8,pp. 2141-2153, Aug. 2016

106. J. De Vriendt, D. De Vleeschauwer, and D. Robinson, ' 'Model for estimating QoE of video delivered using HTTP adaptive streaming,'' in Proc. IFIP/IEEE Int. Symp. Integr. Netw. Manage. (IM), Ghent, Belgium, May 2013, pp. 1288-1293

107. . Chen, L. K. Choi, G. de Veciana, C. Caramanis, R. W. Heath, and A. C. Bovik, Modeling the time-varying subjective quality of HTTP video streams with rate adaptations, IEEE Trans. Image Process.,vol. 23, no. 5, pp. 2206-2221, May 2014

108. . Yamagishi and T. Hayashi, ''Parametric quality-estimation model foradaptive-bitrate-streaming services,''IEEE Trans. Multimedia, vol. 19,no. 7, pp. 1545-1557, Jul. 2017

109. Yan Cai, Yong Liu, Weibo Gong, Tilman Wolf. Impact of arrival burstiness on queue length: An infinitesimal perturbation analysis, Proceedings of the 48h IEEE Conference on Decision and Control (CDC) held jointly with 2009 28th Chinese Control Conference.

110. A. K. Moorthy and A. C. Bovik, A two-step framework for constructing blind image quality indices, IEEE Signal Process. Lett., vol. 17, no. 5,pp. 513-516, May 2010.

111. Вишневский, В.М. Энциклопедия WiMAX. Путь к 4G / В.М. Вишневский, С.Л. Портной, И.В. Шахнович. - М.: Техносфера, 2009. - 472 с.

112. Рекомендация МСЭ-Т Р.910, Методы субъективной оценки качества видеоизображения для мультимедийных приложений, 2008

113. Andrew Ng, Machine Learning Yearning [Электронный ресурс]. - URL: https://github.com/xiaqunfeng/machine-learning-yearning (Дата обращения: 20.08.2020).

114. T. Hastie, R. Tibshirani and J. Friedman. Elements of Statistical Learning Ed. 2, Springer, 2009.

115. Breiman, Friedman, "Classification and regression trees", 1984

116. Recommendation ITU-T P.1203: Parametric bitstream-based quality assessment of progressive download and adaptive audiovisual streaming services over reliable transport, 2017

117. Дворкович В. П., Дворкович А. В. Цифровые видеоинформационные системы (теория и практика). - 2012.

118. Zhang T., Mao S. An overview of emerging video coding standards //GetMobile: Mobile Computing and Communications. - 2019. - Т. 22. - №. 4. - С. 13-20.

119. Recommendation ITU-R BT.500-14: Methodology for the subjective assessment of the quality of television pictures, 2019

120. Дворкович В. П., Дворкович А. В. РАВИС - Российская система цифрового мультимедийного вещания //Цифровая обработка сигналов и её применение-DSPA-2019. - 2019. - С. 16-19.

121. Koistinen T. Protocol overview: RTP and RTCP //Nokia Telecommunications. -2000. - С. 1-8.

122. Adobe HTTP Dynamic Streaming (HDS) [Электронный ресурс]. - URL: http s : //www.adobe .com/devnet/hds .htm (Дата обращения: 01.08.2020).

123. Li C. et al. QoE-driven mobile edge caching placement for adaptive video streaming //IEEE Transactions on Multimedia. - 2017. - Т. 20. - №2. 4. - С. 965-984.

124. Yu L., Tillo T., Xiao J. QoE-driven dynamic adaptive video streaming strategy with future information //IEEE Transactions on Broadcasting. - 2017. - Т. 63. - №. 3. - С. 523-534.

125. Aloman A. et al. Performance evaluation of video streaming using MPEG DASH, RTSP, and RTMP in mobile networks //2015 8th IFIP Wireless and Mobile Networking Conference (WMNC). - IEEE, 2015. - pp. 144-151.

126. Apple.HTTP Live Streaming [Электронный ресурс]. - URL: https://developer.apple.com/streaming/ (Дата обращения: 01.08.2020).

127. Microsoft Silverlight Smooth Streaming [Электронный ресурс]. - URL: https://www.microsoft.com/silverlight/smoothstreaming/ (Дата обращения: 01.08.2020).

128. ISO/IEC 23001-7:2016. Information technology — MPEG systems technologies

— Part 7: Common encryption in ISO base media file format files, 2016

129. Geist M., Jaeger B. Overview of TCP Congestion Control Algorithms //Network.

- 2019. - Т. 11.

130. Recommendation ITU-T P.1202: Parametric non-intrusive bitstream assessment of video media streaming quality

131. Miller Jr R. G. Beyond ANOVA: basics of applied statistics. - CRC press, 1997.

132. Pierce C. A., Block R. A., Aguinis H. Cautionary note on reporting eta-squared values from multifactor ANOVA designs //Educational and psychological measurement. - 2004. - Т. 64. - №. 6. - С. 916-924.

133. St L. et al. Analysis of variance (ANOVA) //Chemometrics and intelligent laboratory systems. - 1989. - Т. 6. - №. 4. - С. 259-272.

134. Churchill G. A. Using ANOVA to analyze microarray data //Biotechniques. -2004. - Т. 37. - №. 2. - С. 173-177.

135. Вадзинский Р. Н. Статистические вычисления в среде Excel. Библиотека пользователя. Санкт-Петербург: Питер, 2008

136. Горяинов С. И. Использование оператора Собеля для выделения контуров изображений отпечатков пальцев //Наука XXI века: проблемы, поиски, решения. - 2016. - С. 27-31.

137. Зайцев А. Н. Методы сглаживания изображений. - 2017.

138. Ahmad A., Floris A., Atzori L. QoE-aware service delivery: A joint-venture approach for content and network providers //2016 Eighth International Conference on Quality of Multimedia Experience (QoMEX). - IEEE, 2016. - С. 1-6.

139. Jain P. et al. Accelerating stochastic gradient descent for least squares regression //Conference On Learning Theory. - 2018. - С. 545-604.

140. Yang L. et al. A regression tree approach using mathematical programming //Expert Systems with Applications. - 2017. - Т. 78. - С. 347-357.

141. Huber, Peter J. Robust Estimation of a Location Parameter (англ.) // Annals of Statistics (англ.) русск.: journal. — 1964. — Vol. 53, no. 1. — P. 73—101. — doi: 10.1214/aoms/1177703732.

142. Van Laarhoven T. L2 regularization versus batch and weight normalization //arXiv preprint arXiv: 1706.05350. - 2017.

143. Robert Tibshirani Regression shrinkage and selection via the lasso. — 1996. — С. 267--288.

144. Zhang Z. et al. Discriminative elastic-net regularized linear regression //IEEE Transactions on Image Processing. - 2017. - Т. 26. - №. 3. - С. 1466-1481.

145. Chung Y. A., Glass J. Learning word embeddings from speech //arXiv preprint arXiv:1711.01515. - 2017.

146. Wu H. A Brief Overview of CRC Implementation for 5G NR //Moving Broadband Mobile Communications Forward-Intelligent Technologies for 5G and Beyond. - IntechOpen, 2020.

147. Skendzic A., Kovacic B. Open source system OpenVPN in a function of Virtual Private Network //IOP Conf Ser: Mater Sci Eng. - 2017. - Т. 200. - №. 1. - С. 012065.

148. Rp-pppoe [Электронный ресурс]. - URL: https: //www. roaringpenguin. com/products/pppoe/ (Дата обращения: 10.08.2020).

149. Homoliak I. et al. Exploitation of netem utility for non-payload-based obfuscation techniques improving network anomaly detection //International Conference on Security and Privacy in Communication Systems. - Springer, Cham, 2016. - pp. 770773.

150. Grieco L. A., Mascolo S. Performance evaluation and comparison of Westwood+, New Reno, and Vegas TCP congestion control //ACM SIGCOMM Computer Communication Review. - 2004. - Т. 34. - №. 2. - pp. 25-38.

151. Caini C., Firrincieli R. TCP Hybla: a TCP enhancement for heterogeneous networks //International journal of satellite communications and networking. - 2004. - Т. 22. - №. 5. - pp. 547-566.

152. Qiu X. et al. Priority-based coverage-aware congestion control for multihop wireless sensor networks //2008 The 28th International Conference on Distributed Computing Systems Workshops. - IEEE, 2008. - С. 285-290.

153. Lukaseder T. et al. A comparison of TCP congestion control algorithms in 10G networks //2016 IEEE 41st Conference on Local Computer Networks (LCN). - IEEE, 2016. - pp. 706-714.

154. Ерченко А.В., Ивченко А.В., Синолиц В.В., Дурыгин В.В., Воробьев П.С., Сухотеплый А.П. Способ передачи данных по пакетным сетям связи с возможностью восстановления данных при их потере из-за наличия ошибок соединения в сетях связи // Патент на изобретение № 2706879. Заявка № 2019101582. Приоритет 21.01.2019. Дата гос. регистрации 21.11.2019.

155. Ерченко А.В., Ивченко А.В., Синолиц В.В., Дурыгин В.В., Воробьев П.С., Сухотеплый А.П. Адаптивный протокол канального уровня // Свидетельство о регистрации программ для ЭВМ № 2019616733. Дата регистрации 29.05.2019.

156. C. G. Bampis and A. C. Bovik, Learning to predict streaming video QoE: Distortions, rebuffering and memory, CoRR, vol. abs/1703.00633, 2017. [Online]. Available: http://arxiv.org/abs/1703.00633

157. Y. Liu, S. Dey, F. Ulupinar, M. Luby, and Y. Mao, Deriving and validating user experience model for DASH video streaming, IEEE Trans. Broadcast., vol. 61, no. 4, pp. 651-665, Dec. 2015.

ПРИОЖЕНИЕ А

Патент и свидетельство о государственной регистрации программ

ПРИОЖЕНИЕ Б

Акты внедрения

УТВЕРЖДАЮ

Проректор л " ' ф.-м.н.

¿г^ Баган В. А.

> ilt ^В

¿Jj atv-x^tj 2020 г.

АКГ

о внедрении теоретических и практических результатов диссертационной работы Ивченко Л.В. «Разработка и исследование алгоритмов анализа и повышения качества цифровой передачи мультимедийной информации», представленной на соискание ученой степени кандидата технических наук, при выполнении НИР, выполненных лабораторией мультимедийных систем и технологий МФТИ

Теоретические и практические результаты диссертационной работы Ивченко A.B. «Разработка и исследование алгоритмов анализа и повышения качества цифровой передачи мультимедийной информации», а именно, методы и алгоритмы анализа качества передаваемой и воспроизводимой мультимедийной информации: программная реализация адаптивною протокола РРРХоЕ, были использованы в рамках выполнения НИР по следующим проектам:

- «Разработка методов оценки показателей качества услуг мультимедийного вещания, предоставляемых через направляемую IP-сегь национального масштаба» по договору с И АО Ростелеком Х°01/25/769-16 от 20.06.2016:

- «Разработка адаптивного протокола канального уровня для работы с Kaiiajia.Mii различного качества» по договору с АО Воентелеком ВТК-290/18-0218 от 22.03.2018.

Заведующий лабораторией мультимедийных

систем и технологий МФТИ

УТВЕРЖДАЮ

-мной

Ц % У. ■ _

1С )"-аГ

lä | ) '/"; "я

, ■ < ■ J

АКТ

об использовании теоретических и практических результатов лиссертацнонной работы Ивченко A.B. «Разработка и исследование алгоритмов анализа и повышения качества цифровой передачи мультимедийной информации», представленной на соискание ученой степени кандидата технических наук, в учебном процессе на базовой кафедре мультимедийных технологий и

телекоммуникаций МФТИ

В рамках дисциплины «Цифровые системы передачи информации», которая читалась студентам магистратуры МФТИ на базовой кафедре мультимедийных технологий и телекоммуникаций МФТИ в 2017-2018 годах, а также в рамках дисциплины «Теория кодирования мультимедийной информации», которая читается студентам бакалавриата МФТИ на базовой кафедре мультимедийных технологий и телекоммуникаций МФТИ, использованы теоретические и практические результаты диссертационной работы Ивченко A.B. «Разработка и исследование алгоритмов аназнза и повышения качества цифровой передачи мультимедийной информации». Среди них: анализ рекомендаций Международного союза электросвязи в области метрологического обеспечения телекоммуникаций, проведение экспертных сессий для оценки качества аудиовиузальных материалов, математические модели оценки QoS и QoE. технологии и особенности передачи потовой информации, применение помехоустойчивого кодирования в сетевых протоколах, протоколы TCP и UDP в части утилизации канала передачи.

Зав. кафедрой мультимедийных технологий и телекоммуникаций

A.B. Дворкович