Архитектура и методы вычислений для распределенной сверточной нейронной сети на кластере компьютеров с ограниченными вычислительными ресурсами тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат наук Хайдарова Резеда Раитовна

• Хайдарова Резеда Раитовна
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Хайдарова Резеда Раитовна

Содержание

Реферат

Synopsis

Введение

Глава 1. Анализ применения глубокого обучения на устройствах с ограниченными вычислительными ресурсами

1.1 Эволюция Интернета вещей

1.2 Анализ широко применяемых одноплатных компьютеров в различных областях

1.3 Анализ искусственных нейронных сетей (глубокое обучение)

1.3.1 Рекуррентные нейронные сети

1.3.2 Сети долгой краткосрочной памяти

1.3.3 Сверточные нейронные сети

1.3.4 Применение нейронных сетей в различных областях

1.4 Существующие решения для вычислений нейронных сетей

1.5 Выводы по главе

Глава 2 Методы и алгоритмы распределенных вычислений

2.1. Алгоритмы балансировщика нагрузки

2.1.1 Алгоритм Round Robin

2.1.2 Алгоритмы Min-Min и Max-Min

2.1.3 Алгоритм Foreground-Background

2.1.4 Алгоритм Sticky Sessions

2.2 Классификация стратегий распределения нагрузки

2.3 Особенности нейронных сетей в распределенных вычислительных системах

2.4 Выбор архитектуры сверточной нейронной сети

2.4.1 Архитектура LeNet

2.4.2 Архитектура AlexNet

2.4.3 VGG-19

2.4.4 GoogLeNet

2.5 Слои сверточной нейронной сети

2.6 Методы распределения нейронной сети

2.7 Модель сверточной нейронной сети для кластера компьютеров с ограниченными вычислительными ресурсами

2.8 Выводы по главе

Глава 3. Разработка архитектуры, алгоритма и методов вычислений для распределенной сверточной нейронной сети для кластера с ограниченными вычислительными ресурсами

3.1 Разработка архитектуры системы для кластера компьютеров с ограниченными вычислительными ресурсами

3.2 Разработка метода разделения карт признаков сверточной нейронной сети на блоки с учетом специфики обрабатываемых данных и ресурсов на узлах кластера

3.3 Разработка планировщика задач с балансировкой, основанного на мета-обучении139

3.3.1 Разработка планировщика задач для пересекающихся данных

3.3.2 Планировщик задач, основанный на мета-обучении

3.3.3 Алгоритмы для мета-классификатора

3.4 Метрики оценки алгоритмов планирования распределения задач сверточной нейронной сети для кластера компьютеров с ограниченными вычислительными ресурсами

3.5 Алгоритм распределения сверточной нейронной сети для кластера компьютеров с ограниченными вычислительными ресурсами

3.6 Выводы по главе

Глава 4. Экспериментальная проверка и тестирование производительности распределенной сверточной нейронной сети на кластере компьютеров с ограниченными вычислительными ресурсами

4.1 Описание требований к экспериментальному кластеру

4.2 Описание экспериментально программно-аппаратного окружения

4.3 Описание тестовых сценариев

4.4 Оценка производительности кластера на основе разработанной архитектуры и алгоритма

160

4.5 Сценарий реализации мета-обучения для планировщика задач

4.6 Выводы по главе

Заключение

Список сокращений

Список литературы

Приложение А

Приложение Б

Публикации

Введение диссертации (часть автореферата) на тему «Архитектура и методы вычислений для распределенной сверточной нейронной сети на кластере компьютеров с ограниченными вычислительными ресурсами»

Реферат

В настоящее время технологии Интернета вещей (IoT, Internet of Things) становятся частью нашей рутины и все больше внедряются в повседневную жизнь. Наблюдается устойчивая тенденция по внедрению технологий IoT в такие области, как умный дом, умный город, здравоохранение, производственные процессы, логистика и др. Значительное количество данных, генерируемое устройствами IoT, требует тщательного пересмотра модели и методов обработки, в том числе, с применением средств машинного обучения. Зачастую применение средств машинного обучения предполагает быстрый анализ данных, например, при работе с изображениями/видеоизображениями или с данными временных рядов в таких задачах как видеонаблюдение, контроль и управление в автоматизированных комплексах, промышленный Интернет вещей. Все чаще для анализа данных применяется глубокое обучение (deep learning) - область машинного обучения, в основе которой лежат искусственные нейронные сети.

Данные, генерируемые устройствами IoT для хранения, обработки и анализа отправляются в "облако", где существующие дата-центры обладают всеми необходимыми ресурсами для применения глубокого обучения, включая большие вычислительные мощности. Однако, с каждым годом количество устройств, имеющих возможность подключения к интернету, растет, в связи с этим увеличивается нагрузка и сложность в центрах обработки данных, что влечет за собой определенные трудности при анализе данных в «облаке»:

• возрастание задержек при передаче данных между узлами инфраструктуры при увеличении количества подключенных устройств;

• отсутствие возможностей обеспечить гарантированное стабильное соединение 24/7 из-за возрастающей сложности архитектуры и топологии сети;

• тенденции к переходу на децентрализованное хранение персональной информации, как при передаче, так и при обработке конфиденциальной информации.

Для решения подобных проблем в настоящее время уже применяется концепция граничных вычислений (edge computing) и туманных (fog computing) вычислений, основной особенностью которых является приближение базовых станций обработки данных к оконечным устройствам, генерирующим поток данных.

В последние годы глубокое обучение является одним из основных направлений в задачах машинного зрения, обработки естественного языка, прогнозирования, которые требуют значительных вычислительных ресурсов. Все чаще для работы с искусственными нейронными сетями используют обычные компьютеры с новейшими графическими процессорами (GPU). Альтернативой таким компьютерам, на которых сегодня реализуется процесс машинного обучения, могут стать устройства с ограниченными вычислительными ресурсами, такие как одноплатные компьютеры, мобильные устройства, устройства Интернета вещей и др. В данной работе под компьютерами с ограниченными вычислительными ресурсами (КОВР) понимаются стандартные микрокомпьютеры, например, семейство Raspberry, не содержащие дополнительных чипов и сопроцессоров для вычисления специальных задач, связанных с обработкой «больших» данных, нейронными сетями и т.д. Также ограниченность КОВР следует понимать в контексте решаемой вычислительной задачи, для которой мощности одного КОВР недостаточно. Но в настоящее время обучение нейронной сети на единственном подобном устройстве не представляется возможным, за исключением использования специальных чипов, ускоряющих вычислительные процессы, что обусловлено: 1) ограниченностью памяти; 2) недостаточной мощностью процессора; 3) недостаточным ресурсом аккумулятора (быстрая разрядка при интенсивном использовании ресурсов). В то же время ведутся исследования, направленные на организацию кластеров из подобных маломощных устройств. В рамках настоящей работы под кластером понимается группа связанных между собой устройств, используемых как единая вычислительная система. Актуальность настоящей работы обусловлена

потребностью для целого ряда задач в использовании кластера из устройств с ограниченными вычислительными ресурсами вместо полноценных вычислительных машин. Эти потребности возникают в ситуации, когда имеют место следующие факторы:

1. сравнительно невысокая стоимость построения подобных кластеров, что способствует повсеместному внедрению технологии без высоких финансовых затрат в тех областях, где ранее применение технологии было дорогостоящим из-за необходимости покупки дополнительных серверов или внедрения облачных вычислений;

2. существует потребность в расширении спектра решаемых задач на КОВР в самых разнообразных прикладных областях независимо от масштаба проекта;

3. возможность как холодного, так и горячего резервирования, позволяющая уменьшить время простоя во время неисправности определенного узла кластера, и тем самым обеспечивающая организацию бесперебойной работы системы в целом;

4. широкое применение инфраструктуры из КОВР практически во всех областях, в то время как их применение не выходит за рамки стандартных случаев, когда они являются лишь частью определенного устройства/оборудования и выполняют простые функции. В подобных ситуациях устройства используются неэффективно, при этом объединение таких устройств в кластер позволит организовать такие сложные вычисления, как, например, видеоаналитика, которая ранее выполнялась лишь на серверных кластерах с новейшими GPU;

5. общая тенденция к децентрализации данных и постепенное отдаление от дата-центров, где используется концепция граничных и туманных вычислений, уменьшая тем самым задержки при передаче данных, а также обеспечивая безопасность конфиденциальных данных при их локальной обработке;

6. низкое потребление энергии, что при массовом внедрении позволит существенно сократить расходы на энергопотребление при решении аналогичных распределенных задач с применением глубокого обучения на кластере из дорогостоящих компьютеров, а также при увеличении производительности и масштабирования не приведет к значительному росту потребления электроэнергии по сравнению с обычными компьютерами. Вдобавок, для решения многих задач Интернета вещей существующие архитектуры машинного обучения являются избыточными. При этом важным фактором остается применение кластера одноплатных компьютеров только в том случае, когда нецелесообразно использование дорогостоящих компьютеров, имеющих более высокую стоимость реализации машинного обучения.

При выполнении вычислений на устройствах с ограниченными ресурсами широко распространены различные методы сжатия нейронных сетей, таких как квантизация представления чисел или прореживание матриц для ускорения работы. Однако, алгоритмы, направленные на изменения в нейронной сети, выходят за рамки настоящей работы, при этом работа описывает принципы организации распределенных вычислений, где в качестве нейронной сети выбрана сверточная нейронная сеть (СНС), являющаяся одной из широко используемых и ресурсоемких.

Распределенное обучение искусственных нейронных сетей на устройствах с ограниченными вычислительными ресурсами является одним из популярных и новых исследуемых областей. Однако проблема связана с тем, что большинство существующих решений для работы с нейронными сетями не предусмотрены для работы на КОВР, и необходимы модифицированные методы. В настоящий момент отсутствует доступное, готовое решение, что позволило бы распределенно обучить нейронную сеть на устройствах с ограниченными вычислительными ресурсами. Таким образом, поставленная задача является актуальной.

В данной работе используется понятие «архитектура» в двух разных контекстах. В первом случае - это организация вычислений на кластере компьютеров с ограниченными вычислительными ресурсами, во втором -архитектура нейронной сети. В данной работе первая разработана с учетом специфики второй.

В данной диссертационной работе для решения задачи выбора оптимального алгоритма балансировки нагрузки на этапе планирования задач при организации распределенных вычислений на кластере КОВР используется популярный метод машинного обучения - мета-обучение, позволяющий упростить выбор оптимальных гиперпараметров.

Объектом исследования является организация вычислений глубокого обучения для повышения эффективности граничных вычислений в окружении Интернета вещей на кластере компьютеров с ограниченными вычислительными ресурсами.

Предметом исследования являются методы и алгоритмы распределения сверточной нейронной сети на кластере компьютеров с ограниченными вычислительными ресурсами.

Целью диссертационной работы является создание методов и средств организации вычислений и повышения производительности распределенной сверточной нейронной сети на кластере компьютеров с ограниченными вычислительными ресурсами. Для достижения поставленной цели необходимо решить следующие задачи:

1. исследовать область применения компьютеров с ограниченными вычислительными ресурсами и проанализировать существующие решения для вычислений сверточной нейронной сети на кластере КОВР;

2. выполнить классификацию решаемых вычислительных задач по различным критериям на кластере КОВР на основе опыта применения СНС в различных областях применения;

3. разработать основанный на мета-обучении метод для планировщика задач с балансировкой для распределенной сверточной нейронной сети на кластере КОВР;

4. разработать архитектуру системы для кластера КОВР, позволяющую организовать и распределить вычисления для сверточной нейронной сети без балансировки нагрузки за счет разделения сверточного слоя на блоки с учетом специфики обрабатываемых данных и ресурсов на узлах кластера.

5. разработать алгоритм распределения вычислений для сверточной нейронной сети на кластере КОВР;

6. спроектировать и собрать экспериментальный кластер КОВР для тестирования разработанной архитектуры и алгоритмов;

7. провести экспериментальную проверку разработанных методов и алгоритмов реализации распределенной СНС на кластере КОВР, используя несколько типов данных, обрабатываемых нейронной сетью.

Методы исследования: В работе использованы методы математического анализа, линейной алгебры, машинного обучения, методы и средства разработки сверточных нейронных сетей.

Научные положения, выносимые на защиту:

1. Архитектура системы для кластера компьютеров с ограниченными вычислительными ресурсами, позволяющая организовать и распределить вычисления для сверточной нейронной сети без балансировки нагрузки за счет разделения сверточного слоя на блоки с учетом специфики обрабатываемых данных и ресурсов на узлах кластера.

2. Метод планировщика с балансировкой задач, основанный на мета-обучении, позволяющий равномерно распределить вычисления для сверточной нейронной сети на кластере компьютеров с ограниченными вычислительными ресурсами.

3. Алгоритм распределения сверточной нейронной сети для кластера компьютеров с ограниченными вычислительными ресурсами.

Научная новизна:

1. Архитектура системы является гибридной, поскольку построена на базе распределенной, слоистой, модульной и микросервисной архитектур. Это позволяет обеспечить обработку и хранение данных на основе слоистой архитектуры, производить вычисления СНС на узлах вычислительного кластера за счет использования механизмов распределенной архитектуры, а также придает системе адаптивность и конфигурируемость для обработки различных типов данных за счет применения элементов микросервисной архитектуры и позволяет путем замены модуля, при условии сохранении интерфейсов, применить ее к другой предметной области. Существующие архитектуры являются либо только слоистыми, либо микросервисными, либо распределенными, либо модульными.

2. Метод построения планировщика с балансировкой задач, позволяющий выбрать оптимальный алгоритм равномерного распределения задач на этапе планирования. Отличием нового метода от аналогов является использование мета-обучение для выбора оптимального алгоритма и отсутствие отдельного модуля в виде балансировщика нагрузки.

3. Алгоритм распределения ресурсов сверточной нейронной сети, учитывающий как обучение СНС, так и использование готовых предобученных моделей для выполнения параллельных вычислений с учетом ресурсных ограничений на кластере КОВР.

Теоретическая значимость полученных результатов состоит в обосновании целесообразности построения и эффективности использования кластеров КОВР для вычислений СНС в различных областях применения; разработке метода для планировщика задач с балансировкой для распределенной СНС на кластере КОВР, основанного на мета-обучении; разработке архитектуры

и алгоритмов организации и распределения вычислений для СНС на кластере КОВР.

Практическая значимость заключается в разработке экспериментального кластера КОВР, а также в разработанных программных компонентах для демонстрации возможности эффективной реализации СНС на кластере КОВР для задач обработки временных рядов и изображений, которые могут возникать в граничных или туманных вычислениях.

Достоверность изложенных в работе результатов подтверждается корректностью используемых апробированных подходов и непротиворечивостью полученных результатов.

Соответствие диссертации паспорту научной специальности. Диссертационная работа соответствует паспорту научной специальности 05.13.15 «Вычислительные машины, комплексы и компьютерные сети», а проведенное исследование - формуле специальности. Исследование соответствует следующим пунктам паспорта специальности.

2. Теоретический анализ и экспериментальное исследование функционирования вычислительных машин, комплексов и компьютерных сетей с целью улучшения их технико-экономических и эксплуатационных характеристик.

4. Разработка научных методов и алгоритмов организации параллельной и распределенной обработки информации, многопроцессорных, многомашинных и специальных вычислительных систем. Апробация работы.

1. 26th Conference of Open Innovations Association FRUCT (Yaroslavl, April 2324, 2020).

2. International Academic Workshop «Information Technology & Culture (ITC-2017, 22-23 June, Saint Petersburg).

3. XLVI научная и учебно-методическая конференция Университета ИТМО (31 января - 3 февраля 2017 года).

Публикации. По теме диссертационной работы автором опубликовано 6 статей, из них 3 работы изданы в журнале, рекомендованном перечнем ВАК, 3 в журналах, входящих в списки Web of Science/Scopus. Статьи, входящие в Перечень ВАК:

1. Хайдарова Р.Р., Муромцев Д.И., Лапаев М.В., Фищенко В.Д. Модель распределенной сверточной нейронной сети на кластере компьютеров с ограниченными вычислительными ресурсами // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 5. С. 739-746.

2. Корзухин С.В., Хайдарова Р.Р., Шматков В.Н. Конфигурируемые IoT-устройства на основе SoC-систем ESP8266 и протокола MQTT // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 5. С. 722-728.

3. Хайдарова Р.Р., Конев А.С., Лапаев М.В., Бондаренко И.Б. Онтологический подход к автоматизации процессов контроля микроклимата и безопасности музейных объектов // Научно-технический вестник информационных технологий, механики и оптики - 2019. - Т. 19. - № 1(119). - С. 118-125.

Статьи из списков Web of Science/Scopus:

1. Khaydarova R., Fishchenko V., Mouromtsev D., Shmatkov V., Lapaev M. (2020, April). ROCK-CNN: a Distributed RockPro64-based Convolutional Neural Network Cluster for IoT. Verification and Performance Analysis //2020 26th Conference of Open Innovations Association (FRUCT). - IEEE, 2020. - pp. 174-181.

2. Konev A., Khaydarova R., Lapaev M., Feng L., Hu L., Chen M., Bondarenko I. CHPC: a complex semantic-based secured approach to heritage preservation and secure IoT-based museum processes // Computer Communications - 2019, Vol. 148, pp. 240-249.

3. Khaydarova R., Lapaev M., Bondarenko I. CHPC-complex prototype: a modelbased software and hardware approach to indoor microclimate management for cultural heritage preservation and conservation //Proceedings of the International Conference IMS-2017. - 2017. - pp. 37-45.

Личный вклад. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора.

Объем и структура работы. Диссертация состоит из введения, четырех глав и заключения. Полный объем диссертации составляет 268 страниц текста с 50 рисунками и 15 таблицами. Список литературы содержит 145 наименований. Содержание работы

Заключение диссертации по теме «Вычислительные машины и системы», Хайдарова Резеда Раитовна

Заключение

В работе разработан шаблон кода конфигурируемого 1оТ-устройства на основе БоС-системы ББР8266, использующего протокол MQTT для обмена данными и командами. Измерены временные характеристики устройств, относящиеся к обработке MQTT-сообщений и ответам на сетевые запросы. Согласно результатам измерений, на основе предложенного шаблона возможно строить ¡обустройства умного помещения с приемлемыми эксплуатационными характеристиками.

Благодаря использованию шаблонов приложений и свободно распространяемых библиотек поддержки внешних устройств сокращаются время и сложность разработки. С применением предложенного подхода построен ряд смарт-устройств. Данная работа развивает результаты, относящиеся к разработке интернета вещей, полученные в работе [15].

Список литературы диссертационного исследования кандидат наук Хайдарова Резеда Раитовна, 2020 год

Литература

1. Gershenfeld N.A. When Things Start to Think. New York: Henry Holt and Company, 2000. 224 p.

2. Dragomir D., Gheorghe L., Costea S., Radovici A. A Survey on Secure Communication Protocols for IoT Systems // Proc. of the International Workshop on Secure Internet of Things (SloT 2016).

2016. P. 49-62. doi: 10.1109/SIoT.2016.012

3. Hejazi H., Rajab H., Cinkler T., Lengyel L. Survey of platforms for massive IoT // Proc. of the IEEE International Conference on Future IoT Technologies (Future IoT 2018). 2018. doi: 10.1109/FI0T.2018.8325598

4. Polianytsia A., Starkova O., Herasymenko K. Survey of hardware IoT platforms // Proc Third International Scientific-Practical Conference Problems of Infocommunications Science and Technology (PIC S&T). 2016. P. 152-153. doi: 10.1109/INF0C0MMST.2016.7905364

5. Singh K.J., Kapoor D.S. Create Your Own Internet of Things: A survey of IoT platforms // IEEE Consumer Electronics Magazine.

2017. V. 6. N 2. P. 57-68. doi: 10.1109/MCE.2016.2640718

6. Naik N., Jenkins P. Web protocols and challenges of Web latency in the Web of Things // Proc. 8th International Conference on Ubiquitous and Future Networks (ICUFN 2016). 2016. P. 845-850. doi: 10.1109/ICUFN.2016.7537156

7. Селезнёв С.П., Яковлев В.В. Архитектура промышленных приложений IoT и протоколы AMQP, mQtT, JMS, REST, CoAP,

References

1. Gershenfeld N.A. When Things Start to Think. New York, Henry Holt and Company, 2000, 224 p.

2. Dragomir D., Gheorghe L., Costea S., Radovici A. A Survey on Secure Communication Protocols for IoT Systems. Proc. of the International Workshop on Secure Internet of Things (SIoT 2016), 2016, pp. 49-62. doi: 10.1109/SIoT.2016.012

3. Hejazi H., Rajab H., Cinkler T., Lengyel L. Survey of platforms for massive IoT. Proc. of the IEEE International Conference on Future IoT Technologies (Future IoT 2018), 2018. doi: 10.1109/FI0T.2018.8325598

4. Polianytsia A., Starkova O., Herasymenko K. Survey of hardware IoT platforms. Proc Third International Scientific-Practical Conference Problems of Infocommunications Science and Technology (PIC S&T),

2016, pp. 152-153. doi: 10.1109/INF0C0MMST.2016.7905364

5. Singh K.J., Kapoor D.S. Create Your Own Internet of Things: A survey of IoT platforms. IEEE Consumer Electronics Magazine,

2017, vol. 6, no. 2, pp. 57-68. doi: 10.1109/MCE.2016.2640718

6. Naik N., Jenkins P. Web protocols and challenges of Web latency in the Web of Things. Proc. 8th International Conference on Ubiquitous and Future Networks (ICUFN 2016), 2016, pp. 845-850. doi: 10.1109/ICUFN.2016.7537156

7. Seleznev S., Yakovlev V. Industrial Application Architecture IoT and protocols AMQP, MQTT, JMS, REST, CoAP, XMPP, DDS.

XMPP, DDS // International Journal of Open Information Technologies. 2019. V. 7. N 5. P. 17-28.

8. Hwang H.C., Park J., Shon J.G. Design and implementation of a reliable message transmission system based on MQTT protocol in IoT // Wireless Personal Communications. 2016. V. 91. N 4. P. 17651777. doi: 10.1007/s11277-016-3398-2

9. Roy D.G., Mahato B., De D., Buyya R. Application-aware end-to-end delay and message loss estimation in Internet of Things (IoT) -MQTT-SN protocols // Future Generation Computer Systems. 2018. V. 89. P. 300-316. doi: 10.1016/j.future.2018.06.040

10. Naik N. Choice of effective messaging protocols for IoT systems: MQTT, CoAP, AMQP and HTTP // Proc. 3rd Annual IEEE International Symposium on Systems Engineering (ISSE 2017). 2017. P. 8088251. doi: 10.1109/SysEng.2017.8088251

11. Yokotani T., Sasaki Y. Comparison with HTTP and MQTT on required network resources for IoT // Proc. 2nd International Conference on Control, Electronics, Renewable Energy, and Communications (ICCEREC 2016). 2016. P. 7814989. doi: 10.1109/ICCEREC.2016.7814989

12. Bonetto R., Bui N., Lakkundi V., Olivereau A., Serbanati A., Rossi M. Secure communication for smart IoT objects: Protocol stacks, use cases and practical examples // Proc. 13th IEEE International Symposium on a World of Wireless, Mobile and Multimedia Networks (WoWMoM 2012). 2012. P. 6263790. doi: 10.1109/WoWMoM.2012.6263790

13. Dinculeana D., Cheng X. Vulnerabilities and limitations of MQTT protocol used between iot devices // Applied Sciences. 2019. V. 9. N 5. P. 848. doi: 10.3390/app9050848

14. Atmoko R.A., Riantini R., Hasin M.K. IoT real time data acquisition using MQTT protocol // Journal of Physics: Conference Series. 2017. V. 853. N 1. P. 012003. doi: 10.1088/1742-6596/853/1/012003

15. Шматков В.Н., Бонковски П., Медведев Д.С., Корзухин С.В., Голендухин Д.В., Спыну С.Ф., Муромцев Д.И. Взаимодействие с устройствами Интернета вещей с использованием голосового интерфейса // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 4. С. 714-721. doi: 10.17586/2226-1494-2019-19-4-714-721

International Journal of Open Information Technologies, 2019, vol. 7, no. 5, pp. 17-28. (in Russian)

8. Hwang H.C., Park J., Shon J.G. Design and implementation of a reliable message transmission system based on MQTT protocol in IoT. Wireless Personal Communications, 2016, vol. 91, no. 4, pp. 1765-1777. doi: 10.1007/s11277-016-3398-2

9. Roy D.G., Mahato B., De D., Buyya R. Application-aware end-to-end delay and message loss estimation in Internet of Things (IoT) -MQTT-SN protocols. Future Generation Computer Systems, 2018, vol. 89, pp. 300-316. doi: 10.1016/j.future.2018.06.040

10. Naik N. Choice of effective messaging protocols for IoT systems: MQTT, CoAP, AMQP and HTTP // Proc. 3rd Annual IEEE International Symposium on Systems Engineering (ISSE 2017), 2017, pp. 8088251. doi: 10.1109/SysEng.2017.8088251

11. Yokotani T., Sasaki Y. Comparison with HTTP and MQTT on required network resources for IoT. Proc. 2nd International Conference on Control, Electronics, Renewable Energy, and Communications (ICCEREC 2016), 2016, pp. 7814989. doi: 10.1109/ICCEREC.2016.7814989

12. Bonetto R., Bui N., Lakkundi V., Olivereau A., Serbanati A., Rossi M. Secure communication for smart IoT objects: Protocol stacks, use cases and practical examples. Proc. 13th IEEE International Symposium on a World of Wireless, Mobile and Multimedia Networks (WoWMoM 2012), 2012, pp. 6263790. doi: 10.1109/WoWMoM.2012.6263790

13. Dinculeanâ D., Cheng X. Vulnerabilities and limitations of MQTT protocol used between iot devices. Applied Sciences, 2019, vol. 9, no. 5, pp. 848. doi: 10.3390/app9050848

14. Atmoko R.A., Riantini R., Hasin M.K. IoT real time data acquisition using MQTT protocol. Journal of Physics: Conference Series, 2017, vol. 853, no. 1, pp. 012003. doi: 10.1088/1742-6596/853/1/012003

15. Shmatkov V.N., B^kowski P., Medvedev D.S., Korzukhin S.V., Golendukhin D.V., Spynu S.F., Mouromtsev D.I. Interaction with Internet of Things devices by voice control. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 4, pp. 714-721. (in Russian). doi: 10.17586/2226-1494-2019-19-4-714-721