Метод превентивной идентификации технического состояния устройств информационно-телекоммуникационных сетей на основе анализа временных рядов тема диссертации и автореферата по ВАК РФ 05.12.13, кандидат наук Аллакин Владимир Васильевич

• Аллакин Владимир Васильевич
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Аллакин Владимир Васильевич

ВВЕДЕНИЕ

1 АНАЛИЗ ОБЪЕКТА И ПРЕДМЕТА ИССЛЕДОВАНИЯ

1.1 Особенности современных информационно-телекоммуникационных сетей и подсистемы сетевого мониторинга как объекта исследования

1.2 Место мониторинга в общей процедуре контроля и диагностики ИТКС

1.3 Обзор методов интеллектуального анализа значений временных рядов в современных системах мониторинга (предмет исследования)

1.4 Влияние закона распределения параметров временного ряда на прогнозирование отказа

1.5 Выбор критерия эффективности и показателей качества (метрик) для оценки объекта мониторинга

1.6 Постановка научной задачи

Выводы по первому разделу

2 МОДЕЛЬ ИДЕНТИФИКАЦИИ ТЕХНИЧЕСКОГО СОСТОЯНИЯ УСТРОЙСТВ ИТКС ОП ПОДСИСТЕМОЙ СЕТЕВОГО МОНИТОРИНГА

2.1 Общие подходы к моделированию процесса мониторинга технического состояния сетевых элементов ИТКС ОП

2.2 Многоуровневый и мультиагентный подходы к моделированию структур ИТКС ОП и её подсистемы мониторинга

2.3 Модель идентификации технического состояния сетевых устройств

2.4 Подтверждение адекватности модели через оптимизацию порогов идентификации вида технического состояния элементов ИТКС ОП

2.5 Модельный пример

Выводы по второму разделу

3 МЕТОД ПРЕВЕНТИВНОЙ ИДЕНТИФИКАЦИИ ТЕХНИЧЕСКОГО СОСТОЯНИЯ УСТРОЙСТВ ИНФОРМАЦИОННО-ТЕЛЕКОММУНИКАЦИОННЫХ СЕТЕЙ НА ОСНОВЕ АНАЛИЗА ВРЕМЕННЫХ РЯДОВ

3.1 Постановка задачи на разработку метода превентивной идентификации технического состояния устройств ИТКС на основе анализа временных рядов

3.2 Процедуры превентивной идентификации вида технического состояния сетевых устройств на основе символьного представления временных рядов

3.2.1 Анализ временного ряда по значениям метрик параметров сетевого устройства

3.2.2 Анализ временного ряда по тенденциям изменения метрик параметров сетевого устройства

3.3 Оценка энтропии кодового слова, описывающего временной ряд наблюдаемой метрики

3.3.1 Понятие оценки энтропии сдвигов в символической динамике

3.3.2 Влияние закона распределения энтропии сдвигов метрик параметров временного ряда на прогнозирование отказа

3.4 Алгоритм обучения классификатора технического состояния сетевых устройств

3.4.1 Выбор правила классификации технического состояния сетевого устройства

3.4.2 Этап обучения классификатора технического состояний сетевого устройства на основе энтропии сдвигов

3.4.3 Этап классификации технического состояния сетевого устройства

3.4.4 Результаты вычислительного эксперимента

3.5 Методика превентивной идентификации технического состояния сетевого устройства на основе анализа временных рядов

3.5.1 Предварительный этап алгоритма методики

3.5.2 Этап кодирования временных рядов

3.5.3 Этап идентификации вида технического состояния сетевого устройства

3.5.4 Завершающий этап алгоритма методики

3.5.5 Модельный пример работы методики

3.6 Оценка достижимости цели исследования при реализации метода превентивной идентификации технического состояния устройств ИТКС на основе анализа временных рядов как технологии опережающего мониторинга

Выводы по третьему разделу

4 НАУЧНО-ТЕХНИЧЕСКИЕ ПРЕДЛОЖЕНИЯ ПО РЕАЛИЗАЦИИ МЕТОДА ПРЕВЕНТИВНОЙ ИДЕНТИФИКАЦИИ ТЕХНИЧЕСКОГО СОСТОЯНИЯ УСТРОЙСТВ ИТКС ОП

4.1 Способ мониторинга технического состояния средств связи и навигационного оборудования Росморречфлота

4.2 Устройство (система) мониторинга технического состояния средств связи

и навигационного оборудования Росморречфлота

4.3 Программа реактивного мониторинга сетевых объектов с использованием базы данных временных рядов

4.4 Формирование структуры Web-интерфейса сервера мониторинга

Выводы по четвёртому разделу

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

Введение диссертации (часть автореферата) на тему «Метод превентивной идентификации технического состояния устройств информационно-телекоммуникационных сетей на основе анализа временных рядов»

ВВЕДЕНИЕ

Актуальность темы исследования. Основным из подходов в повышении эффективности функционирования гетерогенных межведомственных географически распределённых информационно-телекоммуникационных сетей (ИТКС) общего пользования (ОП) [1] является возможность проведения мероприятий по управлению связью на основе актуального знания о техническом состоянии (ТС) сетевых элементов (устройств, каналов, маршрутов, подсетей) в реальном масштабе времени для своевременной переконфигурации сети с целью недопущения её отказа.

Благодаря предиктивной аналитике [2] можно оценить состояние сетевого оборудования в процессе его функционирования под нагрузкой (при обслуживании различных видов трафика) дистанционно, без понижения его степени готовности (например, для проведения инструментальных видов контроля в ходе технического обслуживания), а также без привлечения дополнительных людских ресурсов и контрольно-диагностического оборудования. При этом для прогноза отказа сетевых устройств и оптимизации графика его загрузки изначально использовались статистические подходы. В то же время их применение в теории надёжности сетевого оборудования не обеспечивает высокой точности. Действительно, на динамических сетевых инфраструктурах точность прогноза наступления отказа возможно при наличии априорных сведений о характере функции распределения возникновения отказов (аварий) и их причинах, что требует обработки больших объёмов статистической информации (работа с так называемыми большими данными - Big Data). Сегодня наиболее часто применяются алгоритмы регрессии при прогнозе метрик наиболее важных параметров сетевого оборудования и подходы на основе машинного обучения для идентификации и классификации их вида ТС, а также прогнозирования времени возникновения отказов в случае изменения значений параметров и вероятностно-временных характеристик (ВВХ) информационного обмена при сборе данных статистики об отказах.

Самостоятельной задачей при этом является определении объёма ретроспективных данных, которые необходимы в процессе обучения моделей классификации видов ТС сетевых устройств. Эта задача зависит от динамизма перехода сетевого

оборудования из одного состояния в другое и изменения его условий эксплуатации. При этом число статистически собранных значений (n) по каждой метрике параметров и ВВХ подконтрольного сетевого оборудования становится мерой алгоритмов предлагаемых моделей, подбор значений которых надо путём максимизации значения их качества. Зачастую в качестве параметров, подвергаемых контролю, используют сигналы, собираемые с сенсоров (датчиков), размещённых программно в сетевом оборудовании в виде интеллектуальных агентов (ИА). Однако, для наблюдения за ТС сложного сетевого устройства одного сенсора, даже если это ИА недостаточно. Поэтому метрики значений контролируемых параметров, получаемые в различные интервалы времени в виде временных рядов, должны дополнять друга и поступать с нескольких ИА (датчиков). В этом случае необходимо объединить метрики наблюдаемых параметров, полученных с одного сетевого устройства, но разными серверами мониторинга.

Все это говорит о необходимости разработки методики определения (идентификации) видов ТС по результатам аппроксимации результатов анализа временных рядов основными законами распределения, при этом задача предсказания аварии (отказа) рассматривается, как задача классификации, в которой должна использоваться вероятностная модель идентификации основных видов ТС сетевых устройств («работоспособное», «предотказное», «неработоспособное» [3], или «норма» (Normal, N); «критическое» (Critical, C); «авария» (Fault, F) [4]). Объединение результатов мониторинга сетевого устройства, полученных от нескольких серверов мониторинга, учитывает различные режимы работы устройств сетевой инфраструктуры и ведёт к повышению качества идентификации [5].

Правило разграничения наблюдаемых системой мониторинга процессов, в соответствии с законами распределения, характеризуется числом зон мониторинга, сложностью и другими особенностями рассматриваемых сетевых элементов, и определяемых, например: для стационарного характера потока измерительной информации (ИИ) - нормальным (гауссовским) законом распределения, гамма-распределением, равномерным распределением; для нестационарного характера потока ИИ - экспоненциальным, Вейбула, Парето, пуассоновским законами распределения и биномиальным (дискретным) распределением. Таким образом,

процесс обработки ИИ основан на работе с n числом распределений, равным или меньше числа зон мониторинга, а, соответственно, и числа подконтрольного сетевого оборудования. В связи с этим, распределение квазистационарных наблюдаемых процессов на выделенных временных «окнах мониторинга», осуществляется как распределение распределениями в рамках отдельного интервала времени при контроле сетевого оборудования на к уровнях разукрупнения ИТКС, характеризуемых на начальном, среднем и окончательном интервале этого временного окна. Данные значения по мере получения новых метрик будут меняться путём сдвига, увеличивая размерность процедуры анализа временного ряда до n, что ведёт к росту объёмов вычислительного ресурса. Ещё одним из параметров алгоритма идентификации является величина сдвига m (m > 1) окна наблюдения. При этом задачу идентификации приводят к определению метода классификации в моделях для каждого заданного вида ТС разнотипного сетевого оборудования.

Для обучения модели идентификации видов ТС важно сформировать статистические данные путём разбиения имеющихся данных по ИИ на группы по основным видам ТС, например: работоспособное (норма), предотказное (критическое) и неработоспособное (авария) состояния [3, 4]. Такие наборы необходимо дополнительно разделять по частям в n значений. Для оптимизации работы с наборами данных модели, которые соответствуют аварийному и нормальному состоянию, должны содержать одинаковое число наборов данных (условие симметричности), поскольку использование несимметричных выборок снижают эффект работы классификатора без применения специальных алгоритмов.

Учёт скорости развития аварийной ситуации в наблюдаемых зонах мониторинга должен влиять на скважность опроса и приоритетность сетевого оборудования. Чем выше скорость изменения метрики наблюдаемого параметра, тем выше должен быть приоритет обслуживания сетевого устройства, а также необходимо изменение частоты опроса, пропорциональное изменяющейся динамике отклоняющегося от нормы значения метрики наблюдаемого параметра.

Применение методов идентификации к результатам анализа временных рядов, получаемых от разных датчиков (ИА) обеспечивает отличающуюся для одних и тех же методов величину площади под ^ОС-кривой (receiver operating characteristic -

рабочая характеристика, или график, позволяющий оценить качество бинарной классификации, известный как кривая ошибок) [6]. Это вызвано тем, что различные датчики имеют различную чувствительность к развитию аварийных ситуаций. Поэтому можно предположить, что формирование комплекса моделей, работающих с представленной датчиками ИИ, получаемых от разных серверов мониторинга (контроль в окружении - концепция «Индустрия 4.0») обеспечит повышение эффективности работы идентификатора и, в общем, повысит адекватность модели. Для комплексирования моделей можно сложить вероятности наступления событий как вероятности совместных событий. При этом задачу идентификации аварийного режима функционирования сводят к поиску (расчёту) их максимального значения J = argmax £ F (MD), где D - множество характеристик, получаемых с датчиков,

n, m, к D

М - метод классификации на множестве известных методов, F - метрика.

В то же время каждый случай возникновения аварийного режима функционирования сети необходимо анализировать индивидуально. Качество точности идентификация аномалии на каждом устройстве влияет на скорость прогноза и возможности определения возникновение аварии, что высвобождает временной ресурс для переконфигурации сети (включение резерва, маршрутизация).

Таким образом, каждому сетевому устройству сопоставляется своя функция плотности вероятности той или иной метрики, которая при появления новых данных (режимов работы, нагрузок, видов трафика) будет уточняться и совместно с переобучением (дообучением) алгоритма идентификации отказа при выявлении актуальной ИИ обеспечивать принцип адаптивности модели [7]. Такой подход к процедуре мониторинга делает актуальным разработку метода превентивной идентификации ТС сетевых устройств на основе анализа временных рядов их метрик.

Степень разработанности темы. Процесс функционирования подсистемы мониторинга ТС сетевых элементов входящей в территориально распределённую ИТКС ОП [8] с учётом обработки больших данных в межведомственных единых информационно-управляющих пространствах (ЕИУП), предполагает использование подходов и методов мониторинга (контроля), способствующих повышению оперативности систем поддержки принятия решений (СППР), а также обладающих функциями обучения и адаптации в динамично меняющейся среде под воздействием

внешних (условия эксплуатации, воздействия естественного и искусственного характера, ошибки персонала и пр.) и внутренних (перегруженные режимы работы, производственные дефекты, программные сбои и пр.) дестабилизирующий факторов (ДФ), что позволит достичь своевременной идентификации вида ТС объекта контроля (ОК) в аварийных ситуациях и эффективного управления связью в таких условиях.

Анализ развития интеллектуальных методов в различных смежных областях науки и техники показывает отличия данных подходов от распространённых в настоящее время адаптивных, за счёт возможности накапливания и использования знаний, данных и правил в процессе эксплуатации ОК. Для исследуемых подсистем мониторинга ТС сетевых устройств ИТКС интеллектуальный подход потенциально характеризуется большей оперативностью, критичностью к аварийным ситуациям, обеспечиваемой классификационной схемой, возможностью аккумулирования и обновления совокупности знаний о наблюдаемом состоянии ОК путём применения правил использования различных методов оценивания их ТС, а также отсутствием ограничений (например, по масштабу мониторинга), свойственных адаптивной системе. На базе этого показано, что модели и методы интеллектуального мониторинга, учитывающие вышеописанные свойства современных и перспективных межведомственных ИТКС, в настоящее время отсутствуют. В связи с этим, возникает необходимость разработки новых интеллектуальных подходов, моделей и методов идентификации ТС сетевых устройств, позволяющих компенсировать «временной разрыв», техническую и технологическую отсталость современного состояния средств мониторинга от эволюционирующих ИТКС.

В существующих сегодня научных направлениях по развитию теории контроля сложных динамических систем, а именно научные школы О. В. Абрамова, Е. М. Антонюка, Л. Г. Евланова, Г. И. Козырева, В. Е. Кузнецова, В. И. Курносова, С. П. Ксенза, А. М. Лихачёва, А. В. Назарова, Ф. Л. Черноусько, В. В. Федоренко и других видных отечественных и зарубежных учёных, ведётся поиск решения научных задач как в теории контроля, так и на стыке других теорий, что однако не обеспечивает прироста эффективности на межведомственной, территориально распределённой ИТКС с учётом эволюции информационно-телекоммуникационных технологий и сетевого оборудования новых поколений (50, технологии «Инду-

стрия 4.0» и др.) из-за динамичности изменения их структур и других особенностей. Аналогичные подходы в других областях знаний не учитывают особенности развивающихся систем связи в новых условиях функционирования сетевого оборудования, однако могут быть применимы к решению задачи контроля в этих условиях и способствовать взаимоувязыванию физической природы процесса мониторинга на межведомственных ИТКС, при соответствующем применении известных математических аппаратов (теорий динамических систем, случайных процессов, контроля, классификации и др.) с обеспечением требований к системам мониторинга по оперативности, достоверности и точности.

С точки зрения решения оптимизационных задач, задача мониторинга ТС распределённых сетевых инфраструктур в гетерогенном (разнородном по принципам построения, технологиям доставки и/или защиты информации, и/или программно-аппаратным средствам [9]) межведомственном пространстве может быть отнесена к классу задач оптимизации сложных систем. Спектр научных работ в этой области достаточно обширен, в частности данными вопросами занимались: Р. Беллман, Е. И. Варакин, Ф. П. Васильев, Г. Зойтендейк, В. Н. Калинин, И. В. Кузьмин, Л. С. Понтрягин, Б. А. Резников и другие. Однако анализ подходов, изложенных в их работах и особенностей процессов функционирования систем контроля при воздействии ДФ на ОК, показывает, что приведённые в них модели и методы не в полной мере пригодны для решения задачи оптимизации подсистем мониторинга ТС сетевых элементов межведомственных ИТКС ОП. Известные работы по адаптивным системам контроля ТС средств связи, функционирующих в условиях воздействия ДФ, характеризуются с точки зрения относительно большого временного интервала, в рамках которого система идентифицирует ТС и осуществляет управляющее воздействие, что при стремительном развитии информационных технологий (ИТ) не соответствует требованиям по оперативности систем мониторинга реального времени.

Существующие на сегодня технологии распределённого искусственного интеллекта (РИИ) позволяют расширить круг решаемых задач, найти альтернативу в других областях науки, снизить некоторые ограничения в процессах мониторинга ТС сетевых устройств. Изыскания в сфере развития теории искусственного интеллекта (ТИИ) связаны с трудами Дж. Шоу, Г. Саймона, А. Ньюэлла, которые были

развиты в работах многих зарубежных и российских учёных, таких как М. М. Бонгард, М. А. Гаврилов, Л. А. Демидова, В. П. Корячко, И. В. Котенко, В. И. Мирошников, Д. А. Поспелов, С. А. Прохоров, А. Н. Пылькин, И. Б. Саенко, А. И. Яшин и другие. На сегодняшнем этапе развития науки применение интеллектуального подхода, предполагающего машинное обучение, технологии создания экспертных систем, представления знаний, интеллектуального анализа данных, технологии поиска и распознавания образов, мультиагентных систем (МАС), позволит значительно расширить возможности существующих систем мониторинга, достичь результатов, которые раньше считались невозможными.

В связи с изложенным, целью диссертационной работы является повышение эффективности процедуры мониторинга функционального состояния сетевых устройств за счёт её оперативности (превентивной идентификации перехода из работоспособного в предотказное и неработоспособное состояния методами предиктивной аналитики), достоверности (снижения степени неопределённости при идентификации вида ТС, оценивая распределение энтропии значений сетевых метрик основными законами распределения) и точности (при минимизации ошибок контроля (первого и второго рода), направленных на недопущение отказа).

Объектом исследования диссертационной работы являются подсистема сетевого мониторинга с её ключевым элементом - сервером мониторинга. При этом объектом мониторинга в работе выступают сетевые устройства, функционирующие в ИТКС ОП и характеризующиеся работоспособным, неработоспособным и пре-дотказным техническими состояниями.

Предметом исследования являются методы анализа временных рядов значений метрик наблюдаемых параметров сетевых устройств.

Применительно к объекту мониторинга - научно-методический аппарат (НМА) выявления нестационарных состояний объектов мониторинга.

Научная задача исследования состоит в разработке метода превентивной идентификации технического состояния сетевых устройств с целью повышения оперативности процедуры мониторинга, обеспечения достоверности её результатов и точности на основе анализа временных рядов их метрик.

Общая научная задача в работе декомпозирована на ряд частных задач:

1) Моделирование процесса идентификации технического состояния устройств информационно-телекоммуникационных сетей подсистемой мониторинга.

2) Разработка метода превентивной идентификации технического состояния устройств ИТКС, как совокупности предложенных в работе алгоритма обучения классификатора технического состояния сетевых устройств и методики превентивной идентификации их ТС на основе анализа временных рядов.

3) Формирование научно-технических предложений по реализации метода превентивной идентификации технического состояния устройств ИТКС ОП.

Положения, выносимые на защиту, которые соответствуют основным научным и практическим результатам работы:

1) модель идентификации технического состояния сетевого устройства подсистемой мониторинга;

2) метод превентивной идентификации технического состояния устройств информационно-телекоммуникационной сети на основе анализа временных рядов;

3) научно-технические предложения по реализации метода превентивной идентификации технического состояния устройств ИТКС ОП.

Научная новизна вышеуказанных результатов заключается в следующем:

1) модель идентификации технического состояния сетевого устройства подсистемой мониторинга в отличие от известных имеет иерархическую структуру на основе этапов обнаружения и распознавания аварийной ситуации и позволяет оценить вероятность работоспособного состояния и вероятность отказа сетевого элемента с учётом ошибок контроля первого и второго рода;

2) метод превентивной идентификации технического состояния устройств информационно-телекоммуникационных сетей на основе анализа временных рядов, отличающийся от известных, следующими элементами научной новизны:

— алгоритмом обучения классификатора технического состояния сетевых устройств, в котором на основе использования методов символьной динамики для выявления в кодовом слове-строке анализируемого временного ряда «запрещённых» слогов, идентифицирующих развитие аварии, используется оценка энтропии слов, а для обучения классификатора вида ТС применяется процедура ЕМ-алгоритма, когда на каждом Е-шаге вычисляют текущие вероятности принадлежности точек временно-

го ряда той или иной компоненте распределения вероятностей энтропии, вида ТС, а на каждом М-шаге находят новые оценки параметров энтропии путём максимизации нижней оценки логарифмической функции правдоподобия, полученной из условия её выпуклости путём применения неравенства Йенсена с подстановкой соответствующих параметров, вычисленных на предыдущем Е-шаге;

—методикой превентивной идентификации ТС сетевых устройств на основе анализа временных рядов, отличительной особенностью которой является процедура выявления запрещённых комбинаций кодовых символов в описании временного ряда и разграничение наблюдаемых процессов, соответствующих основным законам распределений: для стационарного характера (нормальное ТС) параметров потока измерительной информации - нормальным (гауссовским), равномерным и гамма-распределением; для нестационарного (критическое, аварийное ТС) - пуассо-новским, Вейбула, Парето, экспоненциальным, биномиальным (дискретным) распределениями;

— научно-технические предложения по реализации метода превентивной идентификации технического состояния устройств ИТКС на основе анализа временных рядов, отличающиеся предложенными: техническими решениями на способ и систему мониторинга ТС средств связи (СрС) и навигационного оборудования (СНО) с поэтапной процедурой выявления их аномального состояния, когда на первом этапе обнаруживают нарушение функционирования, а на последующих -распознают вид отказа и осуществляют идентификацию состояния ОК с использованием алгоритма ^-средних и процедуры вейвлет-анализа, что обеспечивает расширение перечня контролируемых береговых и плавучих СНО (СРС) и повышение оперативности процесса оценки ТС ОК до режима реального времени; специальным программным обеспечением (СПО), прошедшим государственную регистрацию программы для ЭВМ для введения особого режима мониторинга с изменением скважности опроса сетевых устройств при выявлении их предотказного ТС; вариантами формирования ^¿-интерфейса сервера мониторинга, позволяющими осуществлять предиктивную (предсказательную) аналитику.

Теоретическая значимость разработанных в диссертации научных результатов состоит в значительном вкладе соискателя в дальнейшее развитие теории

контроля в части совершенствования элементов научно-методического аппарата (модели, алгоритма, методики, метода) функционального мониторинга в режиме реального времени сетевых устройств гетерогенных, территориально распределённых ИТКС ОП в виде модели идентификации их ТС с помощью поэтапной процедуры принятия решения, а также метода превентивной идентификации состояния объектов мониторинга с правилом разграничения наблюдаемых процессов, соответствующих основным законам распределения: для стационарного характера (нормальное ТС) параметров потока ИИ - нормальным (гауссовским), равномерным и гамма-распределением; для нестационарного (критическое, аварийное ТС) - Вей-була, Парето, пуассоновским, экспоненциальным и биномиальным (дискретным) распределениями.

Практическая значимость представленных к защите научных результатов состоит в доработке теоретических положений до конкретных инструментов по разработке и внедрении на ИТКС Росморречфлота эффективной подсистемы сетевого мониторинга. При этом практическая ценность работы определяется экспериментально проверенными на имитационных моделях исследованиями процесса аппроксимации гистограмм статистики недельной загрузки процессора сервера виртуализации двумя и тремя нормальными распределениями по смешанной гауссовской модели ЕМ-алгоритмом. Предложенный подход к реализации процедуры мониторинга сетевого оборудования ИТКС ОП позволяет переназначать функции периферии и центра управления в соответствии с текущим состоянием всей системы на основании применения агентно-ориентированного метода анализа, а также повышает оперативность поэтапной идентификации ТС сетевых элементов за счёт снижения объёма передаваемой измерительной информации между логическими уровнями сети. Полученные в работе результаты доведены до инженерных расчётных формул, способа и устройства, методики и алгоритмов, а также специального программного обеспечения (СПО) и ^¿-интерфейса сервера мониторинга ИТКС ОП.

Основные результаты исследования реализованы:

1) в органах государственного управления по Министерству цифрового развития, связи и массовым коммуникациям РФ - в ФГУП «Главный радиочастотный центр» (ГРЧЦ) в техническом проекте производственного комплекса филиала ФГУП

«ГРЧЦ» в Центральном федеральном округе (ЦФО) и его управлениях по Воронежской и Рязанской областям - при мониторинге функционирования, работоспособности и состояния распределённой автоматизированной системы радиоконтроля (АСРК ЦФО) и автоматизированной системы мониторинга теле- и радиовещания (АСМТРВ), акт реализации от 30.08.2021 г.

2) в научных учреждениях - в АО «Научно-промышленная компания «Высокие технологии и стратегические системы» (АО «НПК ВТ и СС»), г. Москва - в составной части опытной конструкторской работы (СЧ ОКР) «Центр М-ЦУФ» при построении комплекса управления функционированием (КУФ) системы мониторинга средств массовой информации (СМИ), акт реализации от 10.10.2021 г.

3) в учебном процессе - в Федеральном государственном бюджетном образовательном учреждении высшего образования «Государственный университет морского и речного флота имени адмирала С.О.Макарова» - при проведении занятий на кафедре «Судоходство на внутренних водных путях» по дисциплине «Информационные технологии на водном транспорте».

Достоверность и обоснованность полученных в исследовании научных положений, рекомендаций и выводов подтверждено: системностью научной работы при решении поставленной задачи; применением специальных и общенаучных методов апробированного математического аппарата с корректно поставленными задачами; выбором полных и объективных данных по статистике метрик сетевых устройств (сервера виртуализации при недельной загрузке его процессора); сходимостью теоретических выкладок с выводами проведённых экспериментов; не противоречием научных результатов известным работам в области контроля и мониторинга; соответствием результатов моделирования результатам реализации на стендовой базе АО «НПК ВТ и СС» при проведении испытаний КУФ.

К основным методам исследования в работе отнесены: методы теории надёжности (функциональный контроль, контроллинг, мониторинг), модели МАС интеллектуальной поддержки принятия решения, методы многоуровневого синтеза сложных технических систем, методы идентификации вида ТС сетевых устройств на основе критерия Неймана-Пирсона, методы теории классификации и теории графов.

Список литературы диссертационного исследования кандидат наук Аллакин Владимир Васильевич, 2022 год

СПИСОК ЛИТЕРАТУРЫ

1. Об информации, информационных технологиях и о защите информации. Федеральный закон от 27.07.2006 г. №149-ФЗ // Собрание законодательства Российской Федерации №31 от 31 июля 2006 г. (Части I-II), ст. 3448.

2. Мыльников, Л.А. Идентификация аварийного режима работы динамического оборудования на основе данных вибродиагностики и методов машинного обучения / Л.А. Мыльников, Н.А. Ефимов // Математические методы в технике и технологиях. - 2020. - Т. 4. - C. 9-13.

3. ГОСТ 27.002-2015 Надежность в технике. Термины и определения. - М. : Стандартинформ, 2016. - 23 с.

4. Рекомендации МСЭ-Т M.3703 Общая услуга управления - Управление аварийными сигналами - Требования и анализ, нейтральные в отношении протокола / МСЭ-Т. - МСЭ-Т, 2010.

5. Ribeiro, H.M. Ensemble approach based on bagging, boosting and stacking for short-term prediction in agribusiness time series / H.M. Ribeiro, L. Coelho. - DOI 10.1016/j.asoc.2019.105837 // Applied Soft Computing. - 2020. - Vol. 86. - Pp. 1-17.

6. Hand, D. A Simple Generalisation of the Area Under the ROC Curve for Multiple Class Classification Problems / D. Hand, R. Till. - DOI 10.1023/A: 1010920819831 // Machine Learning. - 2001. - Vol. 45. - Pp. 171-186.

7. Paprotny, A. Realtime data mining: self-learning techniques for recommendation engines / A. Paprotny, M. Thess. - Cham : Birkhauser, 2013. - 313 p.

8. О связи. Федеральный закон от 07.07.2003 г. №126-ФЗ // Собрание законодательства Российской Федерации №28 от 14 июля 2003 г., ст. 3448.

9. Гетерогенная система // Большая советская энциклопедия: в 30 т / Гл. ред.

A. М. Прохоров. Издание 3-е. М : Советская энциклопедия, 1969—1978.

10. Аллакин, В.В. Общий подход к построению перспективных систем мониторинга распределенных информационно-телекоммуникационных сетей /

B.В. Аллакин, Н.П. Будко, Н.В. Васильев // Системы управления, связи и безопасности. - 2021. - № 4. - C. 125-227.

11. Аллакин, В.В. Модель идентификации технического состояния устройств информационно-телекоммуникационных сетей подсистемой сетевого мониторинга / В.В. Аллакин // Системы управления, связи и безопасности. - 2021. - № 5. - C. 4064.

12. Аллакин, В.В. Модель наступления критического события информационно-коммуникационной системе / М.А. Еремеев, В.В. Аллакин, Н.П. Будко // Наукоемкие технологии в космических исследованиях Земли. - 2017. -Т. 9. - № 6. - C. 52-60.

13. Аллакин, В.В. Методика превентивной идентификации состояния объектов мониторинга на основе символьного представления временных рядов их метрик / В.В. Аллакин // Наукоемкие технологии в космических исследованиях Земли. - 2021. - Т. 13. - № 5. - C. 13-28.

14. Аллакин, В.В. Синтез подсистемы интеллектуального мониторинга информационно-телекоммуникационной сети ведомственного ситуационного центра / В.В. Каретников, Н.П. Будко, В.В. Аллакин // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. - 2021. - № 3. - C. 64-81.

15. Allakin, V.V. Monitoring of the technical state of communication and navigation equipment used for the inland waterways / V.V. Karetnikov, V.V. Allakin, P.N. Budko, A.A. Butsanets. - DOI 10.1088/1742-6596/2032/1/012083 // Journal of Physics: Conference Series. - Novosibirsk : International Conference on IT in Business and Industry (ITBI 2021) 12-14 May 2021, 2021. - Vol. 2032. - № 012083. - Pp. 1-14.

16. Аллакин, В.В. Постановка задачи на превентивную идентификацию вида технического состояния элементов сетевых инфраструктур / В.В. Аллакин // I-methods. - 2021. - Т. 13. - № 4. - C. 1-14.

17. Аллакин, В.В. Реализация способа мониторинга функционального состояния береговых и судовых средств связи и навигационного оборудования / И.В. Мирошников, П.А. Будко, В.В. Аллакин // Морская радиоэлектроника. - 2021. -№ 2 (76). - C. 48-53.

18. Аллакин, В.В. Формирование сервера мониторинга функциональной безопасности информационно-телекоммуникационной сети общего пользования на

основе оценки SRE-метрик / В.В. Аллакин // Техника средств связи. - 2021. - № 1 (153). - C. 77-85.

19. Аллакин, В.В. Анализ методов оценки временных рядов сервером мониторинга информационно-телекоммуникационной сети общего пользования / В.В. Аллакин // Техника средств связи. - 2021. - № 2 (154). - C. 60-80.

20. Аллакин, В.В. Идентификация состояния узлов информационно-телекоммуникационных сетей общего пользования подсистемой мониторинга информационной безопасности / В.В. Аллакин, Н.П. Будко // Техника средств связи. - 2020. - № 3 (151). - C. 58-64.

21. Аллакин, В.В. Анализ научно-методического аппарата удаленного мониторинга технического состояния информационнотелекоммуникационных сетей и систем / В.В. Аллакин, М.В. Голюнов // Техника средств связи. - 2020. - № 4 (152). - C. 17-37.

22. Аллакин В. В., Будко Н. П., Васильев Н. В. Метод обучения классификатора состояний сетевых элементов / Материалы VI Международной научно-технической конференции «Радиотехника, электроника и связь» (РЭиС-2021), г Омск, ОНИИП, 6-8 октября 2021 г. - Омск: ОНИИП, С. 171-173.

23. Аллакин, В.В. Технологии и метрики поддержания функциональной безопасности информационно-телекоммуникационной сети общего назначения / В.В. Аллакин // Труды VI Межвузовской научно-практической конференции «Проблемы технического обеспечения войск в современных условиях». СПб. 2 апреля 2021 г. Военная академия связи. - СПб. : ВАС, 2021. - C. 491-496.

24. Аллакин, В.В. Построение подсистемы мониторинга распределенной информационно-телекоммуникационной сети общего назначения / В.В. Аллакин // Труды VI Межвузовской научно-практической конференции «Проблемы технического обеспечения войск в современных условиях». СПб. 2 апреля 2021 г. Военная академия связи. - СПб. : ВАС, 2021. - C. 497-501.

25. Аллакин, В.В. Анализ функционирования системы поддержки принятия решений по организации технического обеспечения связи и автоматизации на основе агентного моделирования / С.А. Кротов, А.А. Яковлев, В.В. Аллакин // Труды VI Межвузовской научно-практической конференции «Проблемы технического

обеспечения войск в современных условиях». СПб. 2 апреля 2021 г. Военная академия связи. - СПб. : ВАС, 2021. - C. 256-260.

26. Аллакин, В.В. Методика превентивной идентификации состояния объектов мониторинга на основе символьного представления временных рядов их метрик / Всероссийская НТК «Наука и АСУ - 2021» . Национальный исследовательский университет «МИЭТ», г. Зеленоград, 20 октября 2021 г. - С. 82.

27. Аллакин В. В., Будко Н. П. Программа реактивного мониторинга сетевых объектов с использованием базы данных временных рядов Программа для ЭВМ № 2021666438 от 14.10.2021 г. .

28. Будко, П.А. Инфокоммуникационные сети: энциклопедия. Кн. 4. Гетерогенные сети связи: принципы построения, методы синтеза, эффективность, цена, качество / П.А. Будко, И.А. Кулешов, В.И. Курносов, В.И. Мирошников// под редакцией В.И. Мирошникова. - М. : Наука, 2020. - 683 с.

29. Recommendation ITU-T Y.2011 General principles and general reference model for Next Generation Networks / Geneva, 2004. - URL:https://www.itu.int/rec/T-REC-Y.2011-200410-I/en (дата обращения: 30.07.2021)..

30. Tangari, G. Decentralized Monitoring for Large-Scale Software-Defined Networks. IFIP/IEEE Symposium on Integrated Network and Service Management (IM). Department of Electronic and Electrical Engineering / G. Tangari, D. Tuncer, M. Charalambides, G. Pavlou. - DOI 10.23919/INM.2017.7987291 // University College London. - 2017.

31. Будко, П.А. Управление ресурсами информационно-телекоммуникационных систем. Методы оптимизации / П.А. Будко. - СПб. : ВАС, 2012. - 512 c.

32. Винограденко, А.М. К вопросу обоснования понятийного аппарата неразрушающего экспресс-контроля технического состояния оборудования системы связи и радиотехнического обеспечения аэродрома / А.М. Винограденко,

A.В. Меженов, Н.П. Будко // Наукоемкие технологии в космических исследованиях Земли. - 2019. - Т. 11. - № 6. - C. 30-44.

33. Клюев, В.В. Неразрушающий контроль и диагностика: справочник /

B.В. Клюев, Ф.Р. Соснин. - М. : Машиностроение, 2005. - 656 c.

34. Будко, П.А. Многоуровневый синтез информационно-телекоммуникационных систем. Математические модели и методы оптимизации / П.А. Будко, О.В. Рисман. - СПб. : ВАС, 2011. - 476 с.

35. Легков, К.Е. Модели и методы управления современными мультисервисными сетями связи / К.Е. Легков, В.А. Бабошин, О.Е. Нестеренко // Техника средств связи. - 2018. - № 2 (142). - C. 181-182.

36. Легков, К.Е. Процедуры и временные характеристики оперативного управления трафиком в транспортной сети специального назначения пакетной коммутации / К.Е. Легков // T-Comm: Телекоммуникации и транспорт. - 2012. - Т. 6. - C. 42-46.

37. "О формировании системы распределенных ситуационных центров, работающих по единому регламенту взаимодействия". Указ Президента РФ № 648 от 25 июля 2013 г . // СПС "Гарант".

38. Тиханычев, В.О. Активный мониторинг как основа эффективного управления распределёнными системами / В.О. Тиханычев // Современная техника и технологии. - 2016. - № 2. - URL: http://technology.snauka.ru/2016/02/9320 (дата обращения: 08.02.2019).

39. Новиков, А.М. Активный прогноз / А.М. Новиков, Г.А. Чхартишвили. -М. : ИПУ РАН, 2002.

40. Тиханычев, В.О. Оперативное прогнозирование развития обстановки как основа успешного управления применением войск (сил) / В.О. Тиханычев, В.О. Саяпин // Военная мысль. - 2015. - № 4. - C. 3-7.

41. Ожегов, И.С. Толковый словарь русского языка / И.С. Ожегов, Ю.Н. Шведова. - М. : Азъ, 1992. - 960 с.

42. Тиханычев, В.О. Общие подходы к обеспечению автоматизированной поддержки принятия решений / В.О. Тиханычев. - М. : Эдитус, 2014. - 64 с.

43. Выпасняк, И.В. Моделирование военных действий - история, состояние, перспективы развития / И.В. Выпасняк, М.А. Гуральник, В.О. Тиханычев // Военная мысль. - 2014. - № 7. - C. 28-37.

44. Тиханычев, В.О. Автоматизация поддержки принятия решений / В.О. Тиханычев. - М. : Эдитус, 2015. - 96 с.

45. Хайруллов, Ф.Н. Новая отрасль бизнеса или опора существующего? / Ф.Н. Хайруллов // Connect. Мир информационных технологий. - 2015. - № 10. -URL: http:/www.connect-wit/njvaya-otrasl-bisnesa-ili-opora-sushhestvuyshhego.html (дата обращения: 08.02.2019).

46. Зацаринный, А.А. Технология информационной поддержки деятельности организационных систем на основе ситуационных центров / А.А. Зацаринный, А.П. Шабанов. - М. : ТОРУС ПРЕСС, 2015. - 232 с.

47. Игнатов, Н.А. Прогнозирование временных рядов с регулярными циклическими компонентами с помощью модели периодически коррелированных случайных процессов / Н.А. Игнатов // Научные труды: Институт народнохозяйственного прогнозирования РАН. - 2011. - C. 461-477.

48. Батурин А. Прогноз по методу экспоненциального сглаживания с трендом и сезонностью Хольта-Винтерса. - URL: https://4analytics.ru/prognozirovanie (дата обращения: 03.07.2021).

49. Яковлева, А.В. Эконометрика. Конспект лекций / А.В. Яковлева. - М. : ЭКСМО, 2008. - 244 с.

50. Кашкин, В.Б. Применение сингулярного спектрального анализа для выделения слабо выраженных трендов / В.Б. Кашкин, Т.В. Рублева // Известия Томского политехнического университета. - 2007. - Т. 311. - № 5. - C. 116-119.

51. Нашивочников, Н.В. Проблемные вопросы применения аналитических средств безопасности киберфизических систем предприятий ТЭК / Н.В. Нашивочников, А.А. Большаков, Ю.А. Николашин // Вопросы кибербезопасности. - 2019. - № 5 (33). - C. 26-33.

52. Макаренко, С.И. Информационное оружие в технической сфере: терминология, классификация, примеры / С.И. Макаренко // Системы управления, связи и безопасности. - 2016. - № 3. - C. 292-376. -URL: http://sccs.intelgr.com/archive/2016-03/11-Makarenko.pdf.

53. Krakovska, A. Use of False Nearest Neighbours for Selecting Variables and Embedding Parameters for State Spase Reconstruction / A. Krakovska, K. Mezeiova, N. Budacova // Journal of Complex Systems. - 2015. - Vol. 2015. - Pp. 1-12. -URL: https//doi.org/10.1155/2015/932750.

54. Пичкалев, А.В. Применение кривой желательности Харрингтона для сравнительного анализа автоматизированных систем контроля / А.В. Пичкалев // Вестник Красноярсконо государственного технического университета. - 1997. - № 1. - C. 128-132.

55. Arjovsky, M. Wasserstein Generative Adversarial Networks / M. Arjovsky, S. Chintala, L. Bottou // Proceedings of the 34th International Conference on Machine Learning. - PMLR2017. - Pp. 214-223.

56. Нашивочников, Н.В. Топологические методы анализа в системах поведенческой аналитики / Н.В. Нашивочников, В.Ф. Пустарнаков // Вопросы кибербезопасности. - 2021. - № 2. - C. 26-36.

57. Винограденко, А.М. Методология интеллектуального контроля технического состояния автоматизированной системы связи специального назначения / А.М. Винограденко. - СПб. : Наукоемкие технологии, 2020. - 180 с.

58. Kotenko, I. Applying Fuzzy Computing Methods for On-line Monitoring of New Generation Network Elements / I. Kotenko, I. Saenko, S. Ageev // Advances in Intelligent Systems and Computing. - Springer, Cham2018. - Vol. 874. - Pp. 331-340.

59. Kotenko, I. Monitoring the State of Elements of Multiservice Communication Networks on the Basis of Fuzzy Logical Inference / I. Kotenko, I. Saenko, S. Ageev // Proceedings of the Sixth International Conference on Communications. - : Computation, Networks and Technologies (INN0V-2017), 2017. - Pp. 26-32.

60. Kotenko, I.V. An Approach for Intelligent Evaluation of the State of Complex Autonomous Objects Based on the Wavelet Analysis / I.V. Kotenko, P.A. Budko, A.M. Vinogradenko, I.B. Saenko // The 18th International conference on intelligent software methodologies, tools and techniques (SOMET'2019). - : Kuching, Sarawak, Malaysia, 23-25 September 2019, 2019. - Pp. 25-38.

61. Recommendation ITU-T M.3703 Common management services. Alarm management. Protocol neutral requirements and analysis / ITU-T. - ITU-T, 2010. - 69 p.

62. Новый подход к обучению сетевым технологиям. Изучение сетевого оборудования Cisco, протоколов и механизмов посредством построения крупной корпоративной сети. - URL: https://www.darkmaycal-it.ru/cisco (дата обращения: 03.07.2021).

63. Грабуст, П. Способы оценок сходства временных рядов / П. Грабуст // Научные труды Международной НТК «Теория вероятностей, случайные процессы, математическая статистика и приложения» (Минск, БГУ, 15-19 сентября 2008 г.). -Минск : Белорусский государственный университет, 2008. - C. 23-24.

64. Ульянов, М.В. Об одном подходе к построению кластерного пространства временных рядов: колмогоровская и гармоническая сложность / М.В. Ульянов, Ю.Г. Сметанин // Proceedings of the International scientific-practical conference «Information Control Systems and Technologies» (ICST 2013). - Odessa 2013. - C. 3036.

65. Сметанин, Ю.Г. Мера символьного разнообразия: подход комбинаторики слов к определению обобщенных характеристик временных рядов / Ю.Г. Сметанин, М.В. Ульянов // Бизнес-информатика. - 2014. - № 3 (29). - C. 40-48.

66. Обзор рынка систем поведенческого анализа // User and Entity Behavioral Analytics (UBA/UEBA). - URL: https://www.antimalware.ru/analytics/Market_Analysis/ user-and-entity-behavioral-analyticsubaueba (дата обращения: 04.07.2021).

67. Сухопаров, М.Е. Модели анализа функционального состояния элементов устройств сетей и телекоммуникаций «Индустрии 4.0» / М.Е. Сухопаров, И.С. Лебедев. - СПб. : Политех-Пресс, 2020. - 121 c.

68. Альперович М. Введение в OLAP и многомерные базы данных. -URL: http://www.olap.ru/basic/alpero2i.asp (дата обращения: 04.07.2021).

69. Бейер, Б. Site Reliability Engineering. Надёжность и безопасность как в Google / Б. Бейер, К. Джоунс, Д. Петофф, Н.Р. Мёрфи. - Санкт-Петербург : Питер, 2021. - 592 c.

70. Воронков, К.Л. Автоматизация описания и построения многомерных кубов данных / К.Л. Воронков, А.И. Григорьева, Ю.М. Шерстюк // Х Санкт-Петербургская международная конференция «Региональная информатика - 2006 (РИ-2006)», Санкт-Петербург, 24-26 октября 2006 г.: Материалы конференции. -СПб. : СПОИСУ, 2006. - C. 28-29.

71. Воронков, К.Л. Организация сбора и использование ретроспективных данных мониторинга средств телекоммуникаций / К.Л. Воронков, А.И. Григорьева, Ю.М. Шерстюк // Х Санкт-Петербургская международная конференция

«Региональная информатика - 2006 (РИ-2006)», Санкт-Петербург, 24-26 октября 2006 г.: Материалы конференции. - СПб. : СПОИСУ, 2006. - C. 77.

72. Подиновский, В.В. Идеи и методы теории важности критериев в многокритериальных задачах принятия решений / В.В. Подиновский. - М. : Наука, 2019. - 103 с.

73. Васильев, Н.В. Автоматизированный программный комплекс оценки качества обслуживания в телекоммуникационной сети / Н.В. Васильев, О.В. Забродин, А.И. Яшин // Техника средств связи. - 2018. - № 3 (143). - C. 56-61.

74. Holleczek, T. Statistical Analysis of IP Performance Metrics in International Research and Educational Networks / T. Holleczek // Nuremberg. - 2008.

75. Стецюк, Е.А. Основы технической диагностики. Теория распознавания: уч. пособие / Е.А. Стецюк. - Хабаровск : Изд-во ДВГУПС, 2012. - 69 c.

76. Метод повышения достоверности контроля работоспособности электромеханических систем / Д. Шпрехер // Известия ТулГУ. Технические науки. -: Международной науч. конф. (г. Москва, ноябрь 2017 г.), 2017. - № 12. Ч. 2. -C. 148-155.

77. Клейнрок, Л. Вычислительные сети с очередями. / Л. Клейнрок. - М. : Мир, 1979. - 600 c.

78. Макаренко, С.И. Справочник научных терминов и обозначений. / С.И. Макаренко. - СПб. : Наукоемкие технологии, 2019. - 254 c.

79. Таненбаум, Э. Современные операционные системы / Э. Таненбаум, Х. Бос. - СПб. : Питер, 2018. - 1120 c.

80. Таненбаум, Э. Компьютерные сети / Э. Таненбаум, Д. Уэзеролл. - СПб. : Питер, 2018. - 960 c.

81. ГОСТ 20911-89 Техническая диагностика. Термины и определения. - М. : Союзинформ, 1989. - 10 с.

82. Абрамов, О.В. Планирование профилактических коррекций параметров технических устройств и систем / О.В. Абрамов // Информатика и системы управления. - 2017. - № 3 (53). - C. 55-66.

83. ISO 9126:1991. - URL: https://www.cse.unsw.edu.au/~cs3710/PMmaterials/ Resources/9126-1%20Standard.pdf (дата обращения: 03.09.2021).

84. Каляев, И.А. Реконфигурируемые вычислительные системы / И.А. Каляев. - Ростов-на-Дону : Изд-во Южного федерального ун-та, 2016. - 472 с.

85. Пузанков, Д.В. Интеллектуальные агенты, многоагентные системы и семантический Web: концепции, технологии, приложения. / Д.В. Пузанков, В.И. Мирошников, М.Г. Пантелеев, А.В. Серегин. - СПб. : ООО «Технолит», 2008. -292 с.

86. ISO/IEC 7498-4: Системы обработки информации - Взаимное соединение открытых систем - Базовая справочная модель - Часть 4: Система управления. -URL: http://ru.knowledgr.com/00402798/FCAPS (дата обращения: 03.07.2021).

87. Фомин, Л.А. Оптимизация ошибок при двухэтапной процедуре контроля / Л.А. Фомин, А.И. Черноскутов // Автоматизация и вычислительная техника. - 1975. - № 3. - C. 34-37.

88. Будко, Н.П. Сокращение объема измерительной информации на основе агентного подхода к построению системы мониторинга информационно-телекоммуникационной сети / Н.П. Будко // Труды VI Межвузовской научно-практической конференции «Проблемы технического обеспечения войск в современных условиях». СПб. 2 апреля 2021 г. Военная академия связи. - СПб. : ВАС, 2021. - C. 489-494.

89. Будко, Н.П. Сокращение объема измерительной информации на основе интеллектуального подхода к построению системы мониторинга информационно-телекоммуникационной системы / Н.П. Будко // Техника средств связи. - 2021. - № 1 (153). - C. 86-97.

90. Павленко, Н.А. Сокращение объемов управляющей информации за счет использования двухэтапного принципа / Н.А. Павленко, Л.А. Фомин // Инфокоммуникационные технологии. - 2007. - Т. 9. - № 3. - C. 105-107.

91. Будко, П.А. Управление в сетях связи. Математические модели и методы оптимизации: Монография / П.А. Будко, В.В. Федоренко. - М. : Издательство физико-математической литературы, 2003. - 228 с.

92. Фомин, Л.А. Эффективность и качество инфокоммуникационных систем. Методы оптимизации: Монография / Л.А. Фомин, П.А. Будко. - М. : ООО ИФ «Физико-математическая литература», 2008. - 296 с.

93. Будко, П.А. Эффективность, цена и качество информационно-телекоммуникационных систем. Методы оптимизации: Монография / П.А. Будко, Г.И. Линей, А.В. Мухин, Л.А. Фомин. - СПб. : ВАС, 2011. - 420 с.

94. Легков, К.Е. Модели и методы оперативного мониторинга информационных подсистем перспективных автоматизированных систем управления / К.Е. Легков, А.Н. Буренин // Информация и космос. - 2016. - № 4. -С. 46-60.

95. Легков, К.Е. Модели и методы мониторинга параметров, характеризующих состояние инфокоммуникационной системы специального назначения / К.Е. Легков // Т-Сотт: Телекоммуникации и транспорт. - 2016. - Т. 10.

- № 1. - С. 11-18.

96. Буренин, А.Н. Основные положения системного анализа и подход к построению модели информационной подсистемы инфокоммуникационной подсистемы специального назначения / А.Н. Буренин, К.Е. Легков, А.В. Емельянов // Системы синхронизации, формирования и обработки сигналов. - 2016. - Т. 7. - № 3.

- С. 17-23.

97. Витяев, Е.Е. Поиск регулярных контекстных сигналов в геномной ДНК / Е.Е. Витяев, А.И. Дергилев, И.В. Чадаева, Ю.Ю. Васикин, А.М. Спицина, Е.В. Кулакова, О.В. Вишневский, Ю.Л. Орлов // Сб. научн. трудов конференции «Информатика-2016» (Москва, 24-29 апреля 2016 г.). - М. : Национальный исследовательский ядерный университет «МИФИ», 2016. - С. 52-62.

98. Бенхэм, К.Д. Математические методы для анализа последовательностей ДНК / К.Д. Бенхэм, К.Дж. Бенхэм, Б.Э. Блэйсделл. - М. : Мир, 1999. - 349 с.

99. Ульянов, М.В. Об одном характеристическом функционале слов над конечным алфавитом / М.В. Ульянов, Ю.Г. Сметанин // Информационные технологии. - 2017. - Т. 23. - № 5. - С. 333-341.

100. Седякин, И. Эффективный по времени алгоритм расчета обобщенной энтропии двумерных слов методом скользящего окна / И. Седякин, М.В. Ульянов // Современные информационные технологии и ИТ-образование. - 2018. - Т. 14. -№ 3. - С. 560-566.

101. Петрушин, В.Н. Бикритериальный метод построения гистограмм / В.Н. Петрушин, М.В. Ульянов. - 2012. - № 4. - C. 22-31.

102. Сметанин, Ю.Г. Энтропийный подход к построению меры символьного разнообразия и его применение к кластеризации геномов растений / Ю.Г. Сметанин, М.В. Ульянов, А.С. Пестова // Математическая биология и биоинформатика. - 2016. - Т. 11. - № 1. - C. 114-126.

103. Lind, D. An introduction to symbolic dynamics and coding. Cambridge / D. Lind, B. Marcus. - UK : Cambridge University Press, 1995. - 495 p.

104. Королев, Ю.В. Байесовские методы анализа больших данных / Ю.В. Королев. - М. : ООО «МАКС Пресс», 2020. - 140 c.

105. ГОСТ_26600-98 Знаки навигационные внутренних судоходных путей. Общие технические условия. - Минск : Стандартинформ, 1998 . - 38 с.