Метод и алгоритмы классификации текстовой информации по индикаторам деструктивной направленности тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Гостюнина Валерия Андреевна

• Гостюнина Валерия Андреевна
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Гостюнина Валерия Андреевна

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ КЛАССИФИКАЦИИ ТЕКСТОВОЙ ИНФОРМАЦИИ

1.1 Понятия «деструктивная информация» и «деструктивный индикатор»

1.2 Постановка задачи классификации текстовой информации

1.3 Синтез перечня деструктивных индикаторов для основания классификации текстовой информации

1.4 Сравнение и анализ подходов к задаче классификации текстовой информации

1.4.1 Классификация на основе экспертного оценивания

1.4.2 Классификация при помощи словарей и правил

1.4.3 Классификация с применением машинного обучения

1.4.4 Сравнение и комбинация подходов к классификации текстовой информации

1.5 Анализ деструктивных индикаторов

1.6 Онтологическая модель понятия «деструктивная информация»

1.7 Выводы по Главе

ГЛАВА 2. РАЗРАБОТКА КОМБИНИРОВАННОГО МЕТОДА КЛАССИФИКАЦИИ ТЕКСТОВОЙ ИНФОРМАЦИИ

2.1 Исследование и анализ методов машинного обучения

2.2 Комбинированный метод классификации текстовой информации

2.2.1 Нормализация данных (предварительная обработка текста)

2.2.2 Алгоритм модифицированного поиска по словарю

2.2.3 Алгоритм Байесовского классификатора

2.3 Выводы по Главе

ГЛАВА 3. ЭКПЕРТНАЯ ПРОЦЕДУРА С ПРИМЕНЕНИЕМ АЛГОРИТМА ОЦЕНКИ СТЕПЕНИ ДОВЕРИЯ К ЭКСПЕРТУ

3.1 Классификация и анализ методов экспертной оценки

3.2 Оценка влияния степени доверия на качество экспертной оценки

3.3 Описание экспертной процедуры с применением алгоритма оценки степени доверия эксперту

3.3.1 Расчет коэффициента репутации эксперта

3.3.2 Расчет коэффициента обратной связи эксперта

3.3.3 Расчет коэффициента доверия эксперту

3.3.4 Расчет невзвешенной и взвешенной оценок

3.4 Анализ потенциальных ошибок экспертной процедуры с применением алгоритма оценки степени доверия эксперту

3.5 Выводы по Главе

ГЛАВА 4. СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ДЛЯ КЛАССИФИКАЦИИ ТЕКСТОВОЙ ИНФОРМАЦИИ ПО ДЕСТРУКТИВНЫМ ИНДИКАТОРАМ

4.1 Моделирование задачи классификации текстовой информации по деструктивным индикаторам в области веб-контента

4.2 Структура системы поддержки принятия решений классификации текстовой информации

4.3 Алгоритм формирования невзвешенной экспертной оценки

4.4 Программный комплекс для классификации текстовой информации по деструктивным индикаторам

4.4.1 Программный модуль «Поиск и идентификация деструктивной информации»

4.4.2 Программный модуль «Оценка степени доверия к эксперту»

4.4.3 Программный модуль «Опрос экспертов на основе дерева принятия решений»

4.5 Апробация разработанных метода, алгоритмов и СППР

4.5.1 Оценка эффективности комбинированного метода классификации текстовой информации

4.5.2 Оценка достоверности алгоритма оценки степени доверия эксперта

4.5.3 Оценка достоверности СППР для классификации текстовой информации по деструктивным индикаторам

4.6 Выводы по Главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А Свидетельства о государственной регистрации программ для ЭВМ

ПРИЛОЖЕНИЕ Б Примеры расчета коэффициента обратной связи

ПРИЛОЖЕНИЕ В Акты внедрения результатов исследования

ПРИЛОЖЕНИЕ Г.1 Описание программного модуля «Поиск и идентификация деструктивной

информации»

ПРИЛОЖЕНИЕ Г.2 Описание программного модуля «Оценка степени доверия к

эксперту»

ПРИЛОЖЕНИЕ Г.3 Описание программного модуля «Опрос экспертов на основе дерева принятия решений»

Введение диссертации (часть автореферата) на тему «Метод и алгоритмы классификации текстовой информации по индикаторам деструктивной направленности»

Актуальность исследования. Информационные технологии (ИТ) активно внедряются во все жизненные сферы общества. Электронные средства массовой информации, информационные системы, социальные сети, доступ к которым осуществляется с использованием сети Интернет, стали частью повседневной жизни россиян [1]. Согласно современным тенденциям каждые два года объем цифровых данных увеличивается вдвое. Такое развитие ИТ приводит к неконтролируемому росту объема всех видов информации, в том числе текстовой информации, представленной в неструктурированном виде.

Актуальной проблемой на сегодняшний день являются Интернет-ресурсы, содержащие деструктивную информацию, поскольку такая ин- формация имеет неограниченный доступ [2]. По данным Роскомнадзора в разнообразии неструктурированной текстовой информации все чаще встречаются материалы, которые направлены на разрушение не только личности, но и общества в целом, т.е. имеющие деструктивную направленность. С 2012 года по август 2020-го Роскомнадзор удалил 1,5 млн противоправных материалов. Среди них — контент, связанный с пропагандой самоубийств, с детской порнографией и распространением наркотиков [3].

Понятие информации деструктивной направленности не имеет единого определения, но повсеместно упоминается в нормативно-правовых актах РФ как: «вредоносная», «запрещенная», «противоправная» и т.д [4]. Поэтому всю информацию противоправного/вредоносного содержания, нацеленного на нарушение прав и законных интересов сторон информационных отношений, от призывов к насилию и экстремистских высказываний до распространения фейковых данных, автор в рамках диссертационного исследования объединяет в категорию «деструктивная информация» (от лат. destructio -разрушение).

Активный рост объемов деструктивного контента - глобальная проблема, реакцией на которую является принятие рядом стран соответствующих законопроектов по регулированию интернет-сферы и созданию безопасного информационного пространства (Германия, Великобритания, Франция, Австрия, Турция и др.).

Около 43 млн россиян сталкиваются с деструктивными публикациями, либо сами состоят в сообществах, распространяющих подобную информацию (при этом 8,5 млн — это подростки или дети). Еще в начале 2018 г. число пострадавших от деструктивного контента оценивалось в 34% от общего количества пользователей сети Интернет [5].

В 2020 году проблемы распространения экстремистской и иной информации деструктивной направленности в информационно-телекоммуникационных сетях, особенно в русскоязычном сегменте Интернета, усугубились массовым переходом на дистанционные

информационные технологии, что коснулось в т.ч. и всех уровней образования. Данная тенденция была отмечена Советом Безопасности РФ. За первый квартал 2020 года было зарегистрировано 263 преступления, что почти на треть больше, чем за аналогичный период 2019 года [6]. Согласно Федеральному закону «О противодействии экстремистской деятельности» (№114-ФЗ) определяются правовые и организационные основы противодействия экстремистской деятельности, устанавливает ответственность за ее осуществление [7].

В соответствии с Законом «Об информации, информационных технологиях и защите» (№149-ФЗ) блокировка сайтов может осуществляться на основании вступившего в силу решения суда. Такая система бюрократических процедур сегодня мешает даже структурам Роскомнадзора вовремя реагировать и ограничивать вредоносный контент [8].

Задача организации системного мониторинга различных информационных ресурсов на предмет наличия экстремистской или иной деструктивной информации становится особо актуальной. Попытки их решения осуществляются принятием соответствующих законодательных и нормативных актов. Так, например, этот тренд нашел отражение в новой редакции «Стратегии противодействия экстремизму в России до 2025 года», поправках к ФЗ «Об информации, информационных технологиях и о защите информации» от 8 июня 2020 г. и других нормативно-правовых документах [5].

При этом законодательство однозначно регламентирует порядок действий по блокировке уже выявленного вредоносного контента, однако не содержит четкой методологии его поиска и выявления [8]. Меры по контролю оборота информации деструктивной направленности, принятые РФ в правовом поле, по сути сводятся к рекомендациям по привлечению к указанному процессу экспертных групп и технически сложно реализуемы, поскольку при существующей скорости прироста и обновления информации контролировать ее содержание лишь силами экспертов практически невозможно. Кроме того, процедура идентификации в информационном пространстве деструктивных составляющих и дальнейшей классификации информации на данном основании является достаточно трудо- и времязатратной, и осложняется неопределенностью в системе критериев отнесения информации к деструктивной. Привлечение значительного количества экспертов к решению таких задач неизбежно повышает вероятность ошибок субъективного характера, влияет на корректность и адекватность итоговых экспертных заключений.

Поэтому возникает потребность в разработке унифицированного алгоритмического и программного обеспечения, позволяющего достоверно осуществлять классификацию больших объемов неструктурированной текстовой информации с учетом ее деструктивной направленности.

Степень разработанности темы. Решением задач в области классификации текстовой информации занимались различные отечественные и зарубежные исследователи: постановка задачи классификации текстовой информации — М.В. Губин, И.В. Соченко, Т.В. Батура; описание процедур классификации информации в специализированных областях отдельными известными методами с применением поиска по словарю, машинного обучения и т.д. — Ю.М. Рубцова, А.С. Мохо, В.О. Толчеев, И.В. Некрасов; проблемы определения оснований и информативных признаков для осуществления классификации - Е.С. Мангалова, Е.Д. Агафонов, Y. Yang, D. Lewis, R. Duda и J. Calvo-Zaragoza. Однако представленные указанными авторами подходы посвящены общим аспектам классификации информации, не учитывают специфику информации деструктивной направленности как объекта классификации и, соответственно, полноценно не удовлетворяют требованиям к этому процессу.

Исследованиями в области анализа именно деструктивной информации занимались А.В. Супруненко, И.И. Тазин, В.Д. Толстов, Ю.О. Штефанович, Е.В. Холодная, А.А. Кашкаров, Л.В. Карнаушенко, А.В. Паринов, А.А. Смирнов и др. Авторы затрагивали принципы регулирования распространения и влияния деструктивной информации на общество, но не предложили возможные способы ее идентификации и автоматизации процесса классификации деструктивной информации, единый перечень критериев отнесения информации к деструктивной. Разработки в сфере изучения процедур классификации текстовой информации по признакам деструктивности, их алгоритмизации не производились.

В итоге проведенный анализ литературных источников и нормативно-правовых актов по исследуемой тематике позволяет сделать заключение о том, что:

1) в нормативных правовых актах РФ отсутствует четкое определение понятия «деструктивной информации» и единый ее перечень, признаки отнесения информационных ресурсов к деструктивным недостаточно систематизированы и представлены описательно;

2) по причине большого объема неструктурированных текстовых данных существует острая необходимость автоматизации процесса отнесения текста к заранее определенной согласно нормативным правовым актам РФ запрещенной категории;

3) из-за наличия глубокой смысловой нагрузки применение машинных методов не позволяет полностью исключить участие экспертов в процессе принятия решения;

4) для проведения анализа большого объема текстовой информации необходимо множество экспертов, компетентность которых достоверно определить представляется весьма проблематичным;

5) современные ИТ часто применяются в дистанционном виде, в т.ч., становится актуальным заочный формат проведения экспертных процедур. В процессе заочной экспертизы, в т.ч., и в формате дистанционного опроса, необходимо производить тщательный

анализ полученных результатов и осуществлять более строгий контроль их адекватности с учетом потенциальных ошибок человеческого фактора.

Таким образом, для решения задачи классификации неструктурированной текстовой информации по признакам деструктивной направленности в условиях неопределенности данных о критериях отнесения ее к деструктивной предлагается разработать систему поддержки принятия решения (СППР), основанную на комбинации методов машинного обучения и экспертных методов с учетом специфических особенностей проведения дистанционной экспертной процедуры.

При этом разработка указанного методологического и алгоритмического обеспечения позволит решать ряд прикладных задач: определение возрастной категории публикационной продукции, анализ статей на выявление запрещенной к публикации информации, выявление в сети Интернет-ресурсов с информацией деструктивной направленности с целью включения в реестр запрещенных сайтов и т.д.

В результате определены объект и предмет исследования и выявлены цель и задачи исследования.

Объектом исследования является текстовая информация, представленная в неструктурированном виде.

Предметом исследования являются метод и алгоритмы классификации текстовой информации по деструктивным индикаторам.

Целью диссертационного исследования является повышение достоверности классификации неструктурированной текстовой информации на основе идентификации в ней критериев деструктивной направленности в условиях неопределенности и неполноты данных о деструктивных индикаторах с применением системы поддержки принятия решений на базе вновь разработанных метода и алгоритмов.

Поставленная цель достигается решением следующих задач:

1. Проведение системного анализа предметной области и анализа существующих методов классификации текстовой информации.

2. Формирование перечня деструктивных индикаторов в результате анализа действующих нормативно-правовых актов РФ.

3. Разработка комбинированного метода классификации текстовой информации по деструктивным индикаторам.

4. Создание процедуры оценки степени доверия к эксперту на базе модели системы репутаций.

5. Разработка системы поддержки принятия решений для классификации текстовой информации по деструктивным индикаторам, реализующей вновь разработанные метод и

алгоритмы, а также соответствующего алгоритмического и программного обеспечения. Апробация результатов и их внедрение в практику работы организаций.

Методы исследования. Для решения поставленных задач использованы методы системного анализа, методы машинного обучения, математического моделирования, методы получения, анализа и обработки экспертной информации, теории принятия решений, объектно-ориентированное программирование, теории вероятностей.

Научная новизна диссертационного исследования состоит в следующем:

1. Впервые построена онтологическая модель предметной области, связанной с понятием «деструктивная информация», отличающаяся введением классификационных признаков деструктивной направленности информации (деструктивных индикаторов), позволяющая проводить аналитико-синтетическую обработку текстовых данных в условиях неопределенности и неполноты информации (п. 2 паспорта специальности).

2. Разработан комбинированный метод классификации текстовой информации по деструктивным индикаторам, включающий алгоритмы модифицированного поиска по словарю и Байесовского классификатора, отличающийся осуществлением прецедентного анализа для последующего автоматического пополнения словаря деструктивными словами, что позволило автоматизировать процесс классификации текстовой информации по деструктивным индикаторам (п. 4 паспорта специальности).

3. Разработан алгоритм оценки степени доверия к эксперту по обнаружению деструктивной информации, отличающийся совместным применением модели системы репутаций в процессе ретроспективного анализа и системы оценочных показателей в процессе анализа экспертной деятельности при оперативном дистанционном опросе, позволяющий снизить степень субъективизма итоговой экспертной оценки и сократить зависимость от уровня компетентности экспертов (п. 13 паспорта специальности).

4. Разработана структура системы поддержки принятия решений, отличающаяся сочетанием модулей, реализующих комбинированный метод классификации текстовой информации по деструктивным индикаторам и алгоритм оценки степени доверия к эксперту, и адаптивностью к входным параметрам задачи классификации в условиях неопределенности или неполноты данных о деструктивных индикаторах, позволяющая определить класс анализируемого текстового информационного ресурса (п. 9 паспорта специальности).

Работа выполнена в рамках пунктов 2, 4, 9, 13 паспорта специальности 2.3.1 «Системный анализ, управление и обработка информации (технические науки)».

Обоснованность и достоверность результатов научной работы обеспечены корректным использованием методов исследования, подтверждены результатами

вычислительных экспериментов на реальных примерах и успешным внедрением результатов работы в различных организациях, что отражено в соответствующих актах.

Теоретическая значимость работы заключается в создании методов классификации информации на предмет обнаружения ее деструктивной направленности, обоснования условий их воспроизводимости с использованием вновь построенной модели знаний -онтологической модели предметной области.

Практическая значимость работы заключается в разработке алгоритмов и программ для классификации текстовой информации по деструктивным индикаторам на основе созданных метода и алгоритмов. Зарегистрированы в «Едином реестре программ для ЭВМ» программные продукты: «Модуль для осуществления экспертной деятельности с учетом степени доверия к эксперту TRUEEXPERT 1.0», «Формирование возрастной оценки Web-контента на основе дерева принятия решений», «Модуль для идентификации деструктивной информации в web-контенте с применением интеллектуальной обработки данных». Внедрение результатов диссертационной работы в организации подтверждается соответствующими актами: ФГБОУ ВО «АГТУ»,

ЗАО «ВОЛГАТРАНСТЕЛЕКОМ», филиал ПАО «МТС» Астраханской области.

Апробация результатов. Основные положения и отдельные результаты исследования докладывались и обсуждались на следующих международных и всероссийских конференциях: XIII Всероссийской научно-практической конференции «Математические методы и информационно-технические средства» (Краснодар, 2017г.), XXX Международной научной конференции «Математические методы в технике и технологиях - ММТТ-30», (Санкт-Петербург, 2017г.), IX Всероссийской научно-технической конференции с международным участием «Студенческая наука для развития информационного общества» (Ставрополь, 2018г.), XXXII - Международной научной конференции «Математические методы в технике и технологиях - ММТТ-32» (Санкт-Петербург, 2019г.), IV Всероссийской научно-практической конференции с международным участием «Актуальные вопросы естествознания» (Иваново, 2019г.), International scientific conference "Conference on applied physics, information technologies and engineering - APITECH-2019" (Красноярск, 2019г.), IX Международной научно-технической конференции «Технологии разработки информационных систем ТРИС-2019» (Геленджик, 2019г.), X Всероссийской науч.-техн. конференции с международным участием «Студенческая наука для развития информационного общества» (Ставрополь, 2019г.), XXXIII - Международной научной конференции «Математические методы в технике и технологиях - ММТТ-33» (Казань, 2020г.), а также на международных и всероссийских конференциях на базе Астраханского

государственного технического университета и Астраханского государственного университета.

Публикация результатов. Основные результаты исследования опубликованы в 26 печатных работах, из них: 4 статьи в журналах из списка, рекомендованного ВАК РФ; 1 статья в издании, входящем в международную реферативную базу данных и систему цитирования Scopus, и в Web of Science. Получены 3 свидетельства о государственной регистрации программ для ЭВМ.

Личный вклад автора в опубликованных в соавторстве работах и разработке программ для ЭВМ заключался в участии в формулировке проблемы и постановке задачи, в разработке плана исследований, теоретических положений; сборе данных; анализе и интерпретации полученных результатов; подготовке и публикации научных работ.

Основные положения, выносимые на защиту:

1. Онтологическая модель понятия «деструктивная информация», включающая перечень деструктивных индикаторов.

2. Комбинированный метод классификации текстовой информации по деструктивным индикаторам.

3. Алгоритм оценки степени доверия к эксперту.

4. Система поддержки принятия решения для классификации текстовой информации по деструктивным индикаторам.

Структура и объем работы. Работа состоит из введения, 4-х глав, заключения, списка литературы из 136 наименований, и 4-х приложений. Основная часть работы изложена на 112 страницах машинописного текста, содержит 21 таблицу и 26 рисунков.

Заключение диссертации по теме «Другие cпециальности», Гостюнина Валерия Андреевна

ЗАКЛЮЧЕНИЕ

В ходе исследований получены следующие научные и практические результаты:

1. Описано понятие «деструктивная информация», используемое в ходе диссертационного исследования, а также сформулировано понятие «деструктивный индикатор». По результатам анализа актуальных нормативных правовых актов сформирован перечень деструктивных индикаторов, на основании которого возможно классифицировать деструктивную текстовую информацию. Построена онтологическая модель предметной области.

2. Предложен комбинированный метод классификации текстовой информации по деструктивным индикаторам, включающий алгоритмы модифицированного поиска по словарю и Байесовского классификатора, обеспечивающий снижение вероятности ошибки идентификации определенного деструктивного индикатора в тексте на 12% по сравнению с другими методами и прирост скорости анализа текста в 27 раз по сравнению с экспертным оцениванием.

3. Предложена процедура оценки степени доверия эксперту, отличающаяся совместным применением модели системы репутаций и системы оценочных показателей для учета реакции эксперта, результативность которой в среднем на 20% выше, чем коллективное дистанционное экспертное оценивание без учета коэффициента доверия эксперту.

4. Разработана система поддержки принятия решений для классификации текстовой информации на базе комплекса комбинированного метода и процедуры оценки степени доверия эксперту, отличающаяся результативностью в условиях неполноты или избыточности информации о деструктивных индикаторах: отмечено повышение достоверности классификации текстовой информации по деструктивным индикаторам на 5%.

5. Разработан программный комплекс, состоящий из модулей: «Поиск и идентификации деструктивной информации», «Оценка степени доверия к эксперту», «Опрос экспертов на основе дерева принятия решений». Оригинальность программных продуктов подтверждена 3 свидетельствами о регистрации программ для ЭВМ.

Успешная апробация разработанных метода и алгоритмов позволила сделать вывод об обоснованности выдвинутых положений и достоверности результатов работы. Разработанная СППР может быть адаптирована и тиражирована для решения различных задач в сфере классификации, идентификации и поиска требуемой информации.

Список литературы диссертационного исследования кандидат наук Гостюнина Валерия Андреевна, 2021 год

СПИСОК ЛИТЕРАТУРЫ

1. Указ Президента РФ от 9 мая 2017 г. N 203 "О Стратегии развития информационного общества в Российской Федерации на 2017 - 2030 годы".

2. Веснинцева А.А., Таранов В.И., Ажмухамедов И.М. Интернет-ресурсы, содержащие деструктивную информацию / В сборнике: Каспий в эпоху цифровой экономики. материалы Международного научно-практического форума. 2019. С. 158-161.

3. Политика Роскомнадзора по контролю интернет / Tadviser - Государство. Бизнес. ИТ. 2021. URL: https://www.tadviser.ru/index.php/Статья:Политика_Роскомнадзора_по_контролю_ интернета (дата обращения: 11.03.2021).

4. Холодная Е.В. О защите несовершеннолетних от воздействия деструктивной информации / В сборнике: Современные проблемы организации и деятельности публичной власти Сборник научных трудов (по материалам Международной научно-практической конференции, посвященной 50-летию образования кафедры административного и муниципального права ФГБОУ ВПО "Саратовская государственная юридическая академия"). 2014. С. 134-137.

5. Совбез РФ отметил рост числа экстремистских преступлений на фоне пандемии / Интерфакс. 2020. URL: https://www.interfax.ru/russia/709538 (дата обращения: 10.09.2020).

6. К 5-летию принятия закона о «чёрных списках сайтов»: статистика от Роскомнадзора и от Роскомсвободы / Роскомсвобода. 2017. URL: https://roskomsvoboda.org/30817/ (дата обращения: 10.12.2019).

7. Федеральный закон № 114-ФЗ "О противодействии экстремистской деятельности" от 25 июля 2002 г.

8. Смирнов А.А. Противодействие распространению деструктивной информации в СМИ как необходимый компонент системы профилактики правонарушений / Проблемы укрепления законности и правопорядка: наука, практика, тенденции. 2009. № 2. С. 158-165.

9. Фоменко Ю.В. Глаголы психического воздействия в русском языке / Вопросы теории русского языка. 1975. Вып. 119. С.3-22.

10. Гак В.Г., Арутюнова Н.Д., Гамкрелидзе Т.В., Виноградов В.А. Большой энциклопедический словарь / Большая Российская Энциклопедия. 1998. С. 685.

11. Комлев Н.Г. Словарь иностранных слов - Москва: Эксмо-Пресс, 1999. С. 671.

12. Скляревская Г.Н. Толковый словарь русского языка начала XXI века: актуальная лексика - Москва: Эксмо-Пресс, 2008. С. 1131.

13. Большой толковый словарь русского языка. Гл. ред. С. А. Кузнецов. Первое издание: СПб.: Норинт. 1998.

14. Бунимович Н. Т., Жаркова Г. Г., Корнилова Т. М. Краткий словарь современных понятий и терминов. - Москва: Республика. 2000. С. 669.

15. Галиева Р.Р. Семантико-когнитивный анализ деструктивных глаголов в современном русском языке (на материале произведений русской литературы конца XX - начала XXI в.) / Автореферат дис. кандидата филологических наук / Башкир. гос. ун-т. - Уфа. 2016.

16. Фаткуллина Ф.Г. Категория деструктивности в современном русском языке / Диссертация на соискание ученой степени доктора филологических наук / Башкирский государственный университет. - Уфа. 2002.

17. Тазин И.И. Правовое обеспечение информационно-психологической безопасности несовершеннолетних / Вестник ТГПУ (TSPU Bulletin). 2012. 6 (121). С. 215-220.

18. Бродли Р. Психические вирусы. Как программируют наше сознание. М. 2007. С. 304.

19. Хлопьев А.Т. Средства массовой информации как источник информационно-психологической неустойчивости / Проблемы информационно-психологической безопасности: сб. ст. и мат-лов конф. М. 1996. С. 66-72.

20. Бачило И. Л., Лопатин В. Н., Федотов М. А. Информационное право: Учебник / Под ред. Акад. РАН Б. Н. Топорнина. Спб.: Издательство "Юридический центр Пресс». 2001. С. 574.

21. Губанов Д.А., Новиков Д.А., Чхартишвили А.Г. Модели репутации и информационного управления в социальных сетях / УБС. 2009. №26-1. URL: https://cyberleninka.ru/article/n/modeli-reputatsii-i-informatsionnogo-upravleniya-v-sotsialnyh-setyah (дата обращения: 30.05.2020).

22. Давидюк Н.В., Гостюнина В.А., Байдулова Д.Р. Интеллектуальный алгоритм идентификации деструктивной информации в тексте / Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2019. № 2. С. 29-39.

23. Толстов В.Д. К вопросу о распространении деструктивного контента в автоматизированной сети Facebook / В. Д. Толстов, Е. А. Шварцкопф, В. Н. Деревянко, Г. А. Остапенко, Ю. Штефанович / Информация и безопасность. -2017. - Т. 20. - № 3 (4). - С. 322329.

24. Штефанович Ю.О. Модели построения и вброса деструктивного контента в региональном интернет-пространстве через социальную сеть для обмена медиаконтентом YouTube / Ю. Штефанович, Ю.О. Гончаров, Д.А. Савинов, Н.И. Баранников, И. Л. Батаронов, В.В. Исламгулова / Информация и безопасность. Том 21. Ч.4. - 2018. - С. 477-491.

25. Паринов А.В. Регулирование рисков распространения деструктивного контента в сетях для общения/ А.В. Паринов, К.В. Зайцев, С.А. Ермолаев, Т.И. Дубинская, А.А. Остапенко, Р.К. Бабаджанов, С.С. Тихонова / Информация и безопасность. - 2017. - Т. 20. - № 2. - С. 185-201.

26. Гостюнина В.А., Давидюк Н.В. Процедура реализации требований ФЗ №436 в информационной системе возрастной классификации веб-контента / В сборнике: Проблемы

проектирования, применения и безопасности информационных систем в условиях цифровой экономики. материалы XIX Международной научно-практической конференции. Ростовский государственный экономический университет (РИНХ). Ростов-на-Дону, 2019. С. 235-241.

27. Карнаушенко Л.В. Деструктивное информационно-психологическое воздействие на массовую аудиторию: правовые аспекты противодействия / Вестник КРУ МВД России. 2017. №2 (36). URL: https://cyberleninka.ru/article/n/destruktivnoe-informatsionno-psihologicheskoe-vozdeystvie-na-massovuyu-auditoriyu-pravovye-aspekty-protivodeystviya (дата обращения: 30.05.2020).

28. Козыренко Р.Н. Противодействие деструктивной информации в республике Беларусь / Актуальные проблемы борьбы с преступлениями и иными правонарушениями. 2016. № 16-1. С. 21-22.

29. Безугленко О.С. Законодательство в области правовой защиты детей от вредной информации: сравнительно-правовой анализ / Информационное право. 2013. N 1. С. 38-40.

30. Ефимова Л.Л., Кочерга С.А. Информационная безопасность детей: российский и зарубежный опыт: Монография. М.: ЮНИТИ-ДАНА, 2013.

31. Кобзева С.В. Сравнительно-правовой анализ регулирования оборота вредной информации в телерадиовещании и кинопрокате / Информационное право. 2010. N 2. С. 8-13.

32. Лопатин В.Н. Информационное оружие: правовые запреты / Информационное право. 2007. N 2.

33. Миятович Д. Свобода выражения мнения в Интернете. Отчет представителя по вопросам СМИ / ОБСЕ, 2011.

34. Смирнов А.А. Обеспечение информационной безопасности в условиях виртуализации общества. Опыт Европейского союза: Монография. М.: ЮНИТИ-ДАНА; Закон и право, 2012. 14. Фильтрация контента в Интернете. Анализ мировой практики. Аналитический доклад. Фонд развития гражданского общества, 2013.

35. Смирнов А.А. Негативный контент: проблемы идентификации в контексте правового регулирования / Информационное право. 2015. № 2. С. 18-25.

36. "Конституция Российской Федерации" (принята всенародным голосованием 12.12.1993) (с учетом поправок, внесенных Законами РФ о поправках к Конституции РФ от 30.12.2008 N 6-ФКЗ, от 30.12.2008 N 7-ФКЗ, от 05.02.2014 N 2-ФКЗ, от 21.07.2014 N 11-ФКЗ).

37. Федеральный закон "Об основных гарантиях прав ребенка в Российской Федерации" от 24.07.1998 N 124-ФЗ (последняя редакция).

38. Федеральный закон "Об основных гарантиях избирательных прав и права на участие в референдуме граждан Российской Федерации" от 12.06.2002 N 67-ФЗ (последняя редакция).

39. Закон РФ от 27.12.1991 N 2124-1 (ред. от 01.03.2020) "О средствах массовой информации".

40. Федеральный закон "Об информации, информационных технологиях и о защите информации" от 27.07.2006 N 149-ФЗ.

41. Hasebrink U., Livingstone S., Haddon L. and lafsson K. Comparing children's on-line opportunities and risks across Europe: Crossnational comparisons for EU Kids On-line. LSE, London: EU Kids On-line, 2009.

42. Анализ международного и зарубежного опыта правового регулирования информационной безопасности детей и подростков / Коллектив авторов; под ред. В.Г. Елизарова и О.В. Пристанской / Концепция информационной безопасности детей. Роскомнадзор. 25.11.2013. URL: http://rkn.gov.ru/mass-communication/p700/p701/ (дата обращения: 30.05.2020).

43. Доктрина информационной безопасности: утв. Указом Президента РФ от 5 дек. 2016 г. № 646. URL: https://rg.ru/2016/12/06/doktrina-infobezobasnost-site-dok.html (дата обращения: 30.05.2020).

44. Цензура (контроль и анонимность) в интернете. Мировой опыт. URL: http://www.tadviser.ru/index.php/Статья:Цензура_(контроль_и_анонимность)_в_интернете._М ировой_опыт (дата обращения: 30.05.2020).

45. Воронина Е.А., Крылова Т.А., Никандрова Н.Н., Струкова М.Л. Профилактика экстремизма в подростково-молодежной среде / Сборник методических материалов для педагогов образовательных учреждений. - Вологда. 2012. URL: https://www.yarregion.ru/depts/anticom/DocLib1/Профилактика%20экстремизма%20в%20подр остково-молодежной%20среде.pdf (дата обращения: 05.05.2021).

46. Кашкаров А.А. О некоторых особенностях предупреждения распространения информации экстремистской и иной деструктивной направленности в информационно-телекоммуникационных сетях, в том числе сети "Интернет" / Ученые записки Крымского федерального университета имени В. И. Вернадского. Юридические науки. 2019. №3. URL: https://cyberleninka.ru/article/n/o-nekotoryh-osobennostyah-preduprezhdeniya-rasprostraneniya-informatsii-ekstremistskoy-i-inoy-destruktivnoy-napravlennosti-v (дата обращения: 05.05.2021).

47. Федеральный закон "О защите детей от информации, причиняющей вред их здоровью и развитию" от 29.12.2010 N 436-ФЗ.

48. Гостюнина В. А. Анализ требований Федерального закона №436 для определения возрастной оценки web-контента / В сборнике: I Международная научно-техническая конференция "Актуальные вопросы использования технологий анализа данных и искусственного интеллекта" Сборник материалов Международной конференции (Астрахань, Астраханский государственный университет, 6-8 ноября 2018 г.) - молодежная секция. Под научной редакцией С.В. Окладниковой. 2018. С. 39-43.

49. Роскомнадзор / Методика Роскомнадзора Приложение № 1. URL: http://rkn.gov.ru/mass-communications/p700/p702/ (дата обращения: 30.05.2020).

50. Роскомнадзор / Методика Роскомнадзора Приложение № 2. URL: http://rkn.gov.ru/mass-communications/p700/p703/ (дата обращения: 30.05.2020).

51. Роскомнадзор / Методика Роскомнадзора Приложение № 3. URL: http://rkn.gov.ru/mass-communications/p700/p704/ (дата обращения: 30.05.2020).

52. Роскомнадзор / Концепция информационной безопасности детей. URL: http://rkn.gov.ru/mass-communications/p700/p701/ (дата обращения: 30.05.2020).

53. Уголовный кодекс Российской Федерации" от 13.06.1996 N 63-ФЗ (ред. от 24.02.2021).

54. Лопатин В.Н. О проекте Федерального закона «О защите детей от информационной продукции, причиняющей вред их здоровью, нравственному и духовному развитию» / Информационное право. 2007. № 4.

55. Моисеев Н.Н. Современный рационализм. - М.: МГВП КОКС, 1995 - 376 с.

56. Винер Н. Кибернетика или Управление и связь в животном и машине / 2-е изд. - М.: Советское радио, 1968. С. 201.

57. Палицын В. К вопросу о соотношении понятий "знания", "информация", "данные" / Наука и инновации. 2018. №180. URL: https://cyberleninka.ru/article/n/k-voprosu-o-sootnoshenii-ponyatiy-znaniya-informatsiya-dannye (дата обращения: 30.05.2020).

58. Ожегов С.И. Словарь русского языка. - М.: «Русский язык». 1989.

59. Жмуров, В.А. Большая энциклопедия по психиатрии / В. А. Жмуров. - 2-е изд. - М.: Джангар, 2012. С. 864.

60. Hartley R.V.L. Transmission of information / Bell System Technical Journal - 7. 1928. pp. 535563.

61. Шеннон К.Э. Работы по теории информации и кибернетике. - М.: «Иностранная литература». 1963. С. 106.

62. Кусайкин Д. Попытки расчета количества информации на планете Земля / URL: https://nag.ru/articles/article/101906/popyitki-rascheta-kolichestva-informatsii-na-planete-zemlya.htm (дата обращения: 30.05.2020).

63. Соченко И.В. Метод сравнения текстов для решения поиск в аналитических задач / Искусственный интеллект и принятие решений. М.: ИСА РАН, 2013, №2, с.95-106.

64. Мохо А.С., Толчеев В.О. Способы учета структуры научных документов в задачах обработки и анализа текстовой информации / Информационные технологии, №5, 2016 г., с. 332-339.

66. Cai C.S., Yang J., Shulin S.W. A clustering based feature selection method using feature information distance for text data / In: Proc. Of the Intelligent Computing Theories and Application: 12th International Conference. — 2016 — P. 122-132.

67. Calvo-Zaragoza J., On J. An efficient approach for interactive sequential pattern recognition / Pattern Recognition. — 2017 — Vol. 64, No. Supplement C. — P. 295-304.

68. Некрасов И.В. Разработка и исследование метода классификации библиографической текстовой информации / Диссертация на соискание ученой степени кандидата технических наук - Москва, 2005.

69. Глухих И.Н., Губин М.В. Оптимизация выдачи контента в динамическом интернет-проекте на основе анализа выборов неидентифицированных пользователей / Вестник Тюменского государственного университета. Физико-математическое моделирование. Нефть, газ, энергетика. 2010. № 6. С. 182-188.

70. Рубцова Ю.М. Методы и алгоритмы построения информационных систем для классификации текстов социальных сетей по тональности. Диссертация на соискание ученой степени кандидата технических наук. - Новосибирск. Новосибирский государственный технический университет. 2020.

71. Батура Т.В. Методы автоматической классификации текстов / Программные продукты и системы. 2017. Т. 30. № 1. С. 85-99; DOI: 10.15827/0236-235X.030.1.085-099.

72. Епрев А.С. Автоматическая классификация текстовых документов / МСиМ. 2010. №1 (21). URL: https://cyberleninka.ru/article/n/avtomaticheskaya-klassifikatsiya-tekstovyh-dokumentov-1 (дата обращения: 30.05.2020).

73. Гостюнина В. А., Савельев А. Н. Использование технологии Text Mining для классификации Web-ресурсов по возрастным категориям / Математические методы в технике и технологиях - ММТТ. 2017. Т. 3. С. 111-115.

74. Гостюнина В.А. Методы возрастной классификации информационной продукции / В сборнике: Наука и практика - 2018 материалы Всероссийская междисциплинарная научная конференция. 2018. С. 52.

75. Гостюнина В. А. Методы организации экспертизы информационной продукции по возрастному критерию / В сборнике: Наука и практика - 2018 материалы Всероссийская междисциплинарная научная конференция. 2018. С. 53.

76. Liu H. MontyLingua: An end-to-end natural language processor with common sense, 2004. URL: http://web.media.mit.edu/hugo/montylingua (дата обращения: 30.05.2020).

77. Рубцова Ю.В. Методы автоматического извлечения терминов в динамически обновляемых коллекциях для построения словаря эмоциональной лексики на основе микроблоговой платформы Twitter / Доклады ТУСУР. 2014. №3 (33). URL:

https://cyberleninka.ru/article/n/metody-avtomaticheskogo-izvlecheniya-terminov-v-dinamicheski-obnovlyaemyh-kollektsiyah-dlya-postroeniya-slovarya-emotsionalnoy (дата обращения: 30.05.2020).

78. Солтон Д. Динамические библиотечно-информационные системы. - М.:Мир, 1979. С. 557.

79. Ермаков А.Е., Киселев С.Л. Лингвистическая модель для компьютерного анализа тональности публикаций СМИ / Компьютерная лингвистика и интеллектуальные технологии: труды Международной конференции Диалог. - 2005. - С. 282-285.

80. Агеев М.С. Методы автоматической рубрикации текстов, основанные на машинном обучении знаниях экспертов. 2004.

81. Мангалова Е.С., Агафонов Е.Д. О проблеме выделения информативных признаков в задаче классификации текстовых документов / Вестн. Томск. гос. ун-та. Сер.: Управление, вычислительная техника и информатика. 2013. No 1 (22). С. 96-103.

82. Воронцов К.В. Лекции по методу опорных векторов / Курс лекций «Машинное обучение». 2007.

83. Белоглазов Д.А. Особенности нейросетевых решений, достоинства и недостатки, перспективы применения / Известия ЮФУ. Технические науки. 2008. №7. URL: https://cyberleninka.ru/article/n/osobennosti-neyrosetevyh-resheniy-dostoinstva-i-nedostatki-perspektivy-primeneniya (дата обращения: 30.05.2020).

84. Николенко С.И. «Деревья принятия решений» / Конспект лекций. Машинное обучение -ИТМО. 2006. URL: https://logic.pdmi.ras.ru/~sergey/teaching/ml/01-dectrees.pdf (дата обращения: 30.05.2020).

85. «Random Forest» / Wikipedia. URL: http://ru.wikipedia.org/wiki/Random_forest (дата обращения: 30.05.2020).

86. Lewis D. The Reuters-21578 text categorizationtest collection. 1999. URL: http://www.daviddlewis.com/resources/testcollections/reuters21578/ (дата обращения: 30.05.2020).

87. Dietterich T.G. Machine learning research: four current directions / AI Magazine. 1997. V. 18. P. 97-136.

88. Quinlan J.R. Bagging, Boosting, and C4.5 / Proceedings of AAA/IAAI. 1996. P.725-730.

89. Котельников Е.В., Комбинированный метод автоматического определения тональности текста / Программные продукты и системы №3, 2012. - С. 189-195.

90. Khan A.Z.H., Atique M., Thakare V.M. Combining lexicon-based and learning-based methods for Twitter sentimnet analysis / International Journal of Electronics, Communication and Soft Computing Science & Engineering (IJECSCSE). - 2015. - C. 89.

91. Mohammad S.M., Kiritchenko S., Zhu X. NRC-Canada: Building the state-of-theart in sentiment analysis of tweets / In Proceedings of the seventh international workshop on Semantic Evaluation Exercises (SemEaval-2013). Atlanta, Georgia, USA. - 2013.

92. Супруненко А.В. Модель открытой распределенной системы фильтрации веб-контента / Журнал "Системы управления и информационные технологии". - ВГТУ, Воронеж - 2011. -№1(43), - с. 90-95.

93. Супруненко А.В. Способ экспертной оценки с использованием сети репутации для решения задачи классификации веб-контента / Журнал "Искусственный интеллект и принятие решений". - Москва - 2016. - №3.

94. Гостюнина В.А., Давидюк Н.В. Влияние репутации и обратной связи эксперта при решении задачи возрастной классификации веб-контента / В сборнике: 64-я Международная научная конференция Астраханского государственного технического университета, посвященная 90-летнему юбилею со дня образования Астраханского государственного технического университета. материалы конференции. 2020. С. 138.

95. Гостюнина В.А., Давидюк Н.В., Гостюнин Ю.А. Способ экспертной оценки веб-контента на основе модели систем репутаций / Инженерно-строительный вестник Прикаспия. 2018. № 3 (25). С. 41-44.

96. Байдулова Д.Р., Байтуменов А.З., Гостюнина В.А. Давидюк Н.В. Анализ содержательных индикаторов для решения задачи по возрастной классификации текстовой информации / В сборнике: Студенческая наука для развития информационного общества Сборник материалов IX Всероссийской научно-технической конференции. 2019. С. 60-68.

97. Data_mining / Википедия - URL: https://ru.wikipedia.org/wiki/Data_mining (дата обращения: 30.05.2020).

98. Барсегян А.А., Куприянов М. С., Холод И. И., Тесс М. Д., Елизаров С.И. Анализ данных и процессов: учеб. пособие / - 3-е издание перераб. и доп. - СПб.: БХВ-Петербург, 2009. 512 с.

99. Fayyad U., Piatetsky-Shapiro G., From Data Mining to Knowledge Discovery: An Overview / Advances in knowledge Discovery and Data Mining, Fayyad U., Piatetsky-Shapiro G: 1996. 37 - 54 с.

100.Байдулова Д.Р., Гостюнина В.А., Давидюк Н.В. Применение машинного обучения в процессе поиска деструктивной информации в web-контенте / Вопросы информационной безопасности. Материалы III межрегионального вебинара. Составители В.В. Никулин, Н.А. Фортунова. 2019. С. 62-68.

101. Байдулова Д.Р., Гостюнина В.А., Давидюк Н.В. Классификация текстовой информации с применением интеллектуальной обработки данных / Студенческая наука для развития

информационного общества: сборник материалов X Всероссийской науч.-техн. конференции с международным участием. Ч.2. - Ставрополь: Изд-во СКФУ, 2019. С. 109-118.

102. Gostyunina V.A., Davidyuk N.V. The combined method of textual information analysis for the content of destructive indicators / Journal of Physics: Conference Series.2019. Vol. 1399(1). P.033109(1-7). doi:10.1088/1742-6596/1399/3/033109 (дата обращения: 30.05.2020).

103. Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных / пер. с англ. А. А. Слинкина. - М.: ДМК Пресс, 2015. С.400.

104. Sipser M. Introduction to the Theory of Computation. Ed.3. Boston: Cengage Learning, 2013. P.445.

105. Гостюнина В. А., Давидюк Н. В. Разработка и исследование комбинированного метода классификации текстовой информации по деструктивным индикаторам / Информационные технологии. 2020. Т. 26. № 7. С. 402-409.

106. Домингос П. Верховный алгоритм: Как машинное обучение изменит наш мир / пер. с англ. В. Горохова; [науч. Ред. А.Сбрев, А. Серенко]. - М.: Манн, Иванов и Фербер, 2016. С.336.

107. Давидюк Н.В., Гостюнина В.А., Байдулова Д.Р. Идентификация деструктивной информации в web-контенте с применением интеллектуальной обработки данных / Математические методы в технике и технологиях - ММТТ. 2019. Т. 12. Ч. 1. С. 206-210.

108. Tang B. Toward optimal feature selection in naive Bayes for text categorization / IEEE Transactions on Knowledge and Data Engineering, 2016. 28(9). С. 2508-2521.

109. Байдулова Д.Р., Гостюнина В.А., Давидюк Н.В. Идентификация деструктивной информации с использованием интеллектуального метода Байеса / В сборнике: Каспий в эпоху цифровой экономики материалы Международного научно-практического форума. 2019. С. 151-154.

110. Данелян Т.Я. Формальные методы экспертных оценок / Статистика и экономика. 2015. №1. URL: https://cyberleninka.ru/article/n/formalnye-metody-ekspertnyh-otsenok (дата обращения: 30.05.2020).

111. Гостюнина В.А. Определение качества экспертной оценки при проведении категоризации Web-контента / В сборнике: Информационные технологии и технологии коммуникации: современные достижения Вторая международная молодежная конференция: материалы. 2018. С. 50.

112. Петросян Е.Р. Компетентность экспертов. Академия стандартизации метрологии и сертификации. 2013:53.

113. Федоровский А.М. Качество онлайн-опросов. Методы проверок. Мониторинг общественного мнения: экономические и социальные перемены. 2015.

114. Литвак Б.Г. Экспертные оценки и принятие решений. Теория принятия решений. Учебное пособие. А. И. Орлов.- М.: Издательство «Экзамен». 2005:656.

115. Гостюнина В.А., Давидюк Н.В., Давидюк В.В., Байтуменов А.З. Процедура оценки степени доверия эксперту на примере задачи возрастного категорирования веб-контента. Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2019;2:86-97.

116. Давидюк Н.В., Байтуменов А.З., Гостюнина В.А. Оценка степени доверия к эксперту на основе системы оценочных показателей в задачах информационной безопасности / Математические методы в технике и технологиях - ММТТ. 2019. Т. 12. Ч. 3. С. 142-147.

117. Губанов Д.А. Обзор онлайновых систем репутации/доверия. Интернет-конференция по проблемам управления. -М.: ИПУ РАН. 2009:25.

118. Давидюк Н.В., Байтуменов А.З., Гостюнина В.А. Определение степени доверия к эксперту на основе системы оценочных показателей в задачах информационной безопасности. Студенческая наука для развития информационного общества: сборник материалов X Всероссийской науч.-техн. конференции с международным участием. - Ставрополь: Изд-во СКФУ. 2019;1:45-52.

119. Гостюнина В.А., Давидюк Н.В. Модель сети репутаций для возрастной категоризации интернет-ресурсов. Технологии разработки информационных систем ТРИС - 2019: материалы конференции. - Таганрог: Издательство ЮФУ. 2019;2:100-105.

120. Моросанова Н.А., Соловьев С.Ю. Формальные свойства схемы Шортлиффа. / Управление большими системами, выпуск 36. - М.: ИПУ РАН, 2012, C. 5-38.

121. Долинский Е.Ф. Обработка результатов измерений. - М.: Изд-во стандартов. 2003. С. 192.

122. Гостюнина В.А., Давидюк Н.В. Информационная система организации безопасного доступа в Интернет на основе возрастного категорирования веб-контента согласно требованиям ФЗ №436 и методики Роскомнадзора РФ / Вопросы информационной безопасности. Материалы III межрегионального вебинара. Составители В.В. Никулин, Н.А. Фортунова. 2019. С. 58-61.

123. Моросанова Н.А., Соловьев С.Ю. Формальные свойства схемы Шортлиффа. / Управление большими системами, выпуск 36. - М.: ИПУ РАН, 2012, C. 5-38.

124. Кириченко А. В., Барложецкая Н. Ф. Акмеологический анализ причин ошибок экспертной оценки профессиональной деятельности. Акмеология. 2013;1(45). Доступно по: https://cyberleninka.ru/article/n/akmeologicheskiy-analiz-prichin-oshibok-ekspertnoy-otsenki-professionalnoy-deyatelnosti (дата обращения: 20.04.2020).

125. Байтуменов А.З., Гостюнина В.А., Давидюк Н.В. Оценка степени доверия к эксперту в задачах информационной безопасности / Вопросы информационной безопасности.

Материалы III межрегионального вебинара. Составители В.В. Никулин, Н.А. Фортунова. 2019. С. 68-72.

126. Гостюнина В.А., Давидюк Н.В. Формирование возрастной оценки web-контента на основе дерева принятия решений. Математические методы в технике и технологиях - ММТТ. 2019;6:49-52.

127. Золотарев П.А., Гостюнина В.А., Гурская Т.Г. Разработка системы поддержки принятия решений по возрастной классификации сайтов с целью защиты детей от деструктивной информации / Актуальные вопросы естествознания: материалы IV Всероссийской научно-практической конференции с международным участием, Иваново, 25 марта 2019 года / сост.: О. В. Хонгорова, М. Г. Есина. - Иваново: ФГБОУ ВО Ивановская пожарно-спасательная академия ГПС МЧС России, 2019. - 412 с.

128. Попов Г. А., Попова Е. А. Альтернативный вариант коэффициента конкордации. Вестник АГТУ. Серия: Управление, вычислительная техника и информатика. 2013;2. Доступно по: https://cyberleninka.ru/article/n/altemativnyy-variant-koeffitsienta-konkordatsii (дата обращения: 14.04.2020).

129. Федоровский А. М. Качество онлайн-опросов. Методы проверок. Мониторинг общественного мнения: экономические и социальные перемены. 2015.

130. Гостюнина В.А. Акмеологический анализ ошибок экспертной процедуры с применением метода оценки степени доверия к эксперту / Моделирование, оптимизация и информационные технологии. 2020. Т. 8. № 3 (30). С. 27-28.

131. Давидюк Н.В. Разработка системы поддержки принятия решений для обеспечения физической безопасности объектов. Диссертация на соискание ученой степени кандидата технических наук. - Астрахань. Астраханский государственный технический университет. 2010.

132. Гостюнина В.А., Давидюк Н.В. Структура системы поддержки принятия решений классификации текстовой информации по деструктивным индикаторам / Математические методы в технике и технологиях - ММТТ. 2020. Т. 7. С. 51-54.

133. Гостюнина В.А., Давидюк Н.В., Байдулова Д.Р. Модуль для идентификации деструктивной информации в web-контенте с применением интеллектуальной обработки данных / Свидетельство о регистрации программы для ЭВМ RU 2019660776, 13.08.2019. Заявка № 2019619095 от 23.07.2019.

134. Гостюнина В.А., Давидюк Н.В., Байтуменов А.З. Модуль для осуществления экспертной деятельности с учетом оценки степени доверия к эксперту TRUEXPERT 1.0 / Свидетельство о регистрации программы для ЭВМ RU 2019660240, 02.08.2019. Заявка № 2019619090 от 23.07.2019.

135. Гостюнина В.А., Давидюк Н.В., Золотарев П.А., Гурская Т.Г., Ажмухамедов И.М. Формирование возрастной оценки Web-контента на основе дерева принятия решений RU 2019660774, 13.08.2019. Заявка № 2019619093 от 23.07.2019.

136. Савинов А.Н., Иванов В.И. Анализ решения проблем возникновения ошибок первого и второго рода в системах распознавания клавиатурного почерка / Вестник Волжского университета им. В.Н. Татищева. 2011. № 18. С. 120-125.