Разработка моделей и алгоритмов выявления аномальных наблюдений в массивах данных обязательного медицинского страхования тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Щеглеватых Роман Вячеславович

• Щеглеватых Роман Вячеславович
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Щеглеватых Роман Вячеславович

Введение

Глава 1. Модели и алгоритмы выявления аномальных

наблюдений в массивах данных и методы анализа чувствительности математических моделей

1.1 Методы выявления аномальных наблюдений в массивах данных

1.1.1 Понятие аномальных наблюдений в массивах данных

1.1.2 Классификация и обзор методов обнаружения аномальных наблюдений в массивах данных

1.2 Методы анализа чувствительности математических моделей

1.2.1 Общие понятия анализа чувствительности математической модели

1.2.2 Методы анализа чувствительности по факторам математической модели

1.3 Обзор существующих систем обработки и управления медицинской информацией

1.4 Цель и задачи исследования

Глава 2. Разработка и исследование нейросетевой модели

бинарной классификации для выявление аномальных наблюдений в массивах данных

2.1 Описание области применения предлагаемых подходов

2.2 Постановка задачи бинарной классификации

2.3 Применение модели изолирующего леса для поиска аномальных наблюдений

2.4 Модифицированная модель нейросетевого бинарного классификатора для поиска аномальных наблюдений

2.5 Анализ чувствительности нейросетевых моделей, основанный на применении анализа конечных изменений

2.6 Интервальное оценивание коэффициентов чувствительности

2.7 Эффективность метода анализа чувствительности, основанного на применении анализа конечных изменений

2.8 Исследование устойчивости метода анализа чувствительности

2.9 Выводы по главе

Глава 3. Информационно-аналитическая система управления

качеством медицинской помощи

3.1 Цели создания системы, ее функции и объекты

3.2 Структура региональной информационно-аналитической медицинской системы

3.3 Принципы работы системы, характеристика обрабатываемой информации, место модуля анализа статистической информации

3.4 Выводы по главе

Глава 4. Задача нахождения ошибочных записей в массивах

данных обязательного медицинского страхования

4.1 Описание массивов анализируемых данных

4.2 Анализ чувствительности используемой модели бинарного классификатора

4.3 Определение порога разделения

4.4 Выявление ошибочных записей

4.5 Выводы по главе

Заключение

Список литературы

Приложения

Введение диссертации (часть автореферата) на тему «Разработка моделей и алгоритмов выявления аномальных наблюдений в массивах данных обязательного медицинского страхования»

Введение

Актуальность темы. Оказание медицинских услуг и контроль за их качеством является одной из критических задач государства. Автоматизированные системы для сбора аналитической информации хранят огромное количество показателей эффективности работы медицинских учреждений. Это разнородные массивы данных, содержащие в себе как простую статистическую информацию о пациентах, так и всю оцифрованную историю их лечения. Исследование полученной иформации может быть полезно для построения различных моделей для решения широкого круга задач, начиная, например, от прогнозирования необходимого количества бюджетных мест на лечебных специальностях в университетах до задач выбора схемы оптимизации лечебного учреждения и формирования оптимальной стратегии лечения пациента. В условиях страховой медицины одной из важнейших задач становится задача поиска аномальных наблюдений в зафиксированных данных об оказании медицинских услуг населению. Своевременное обнаружение таких записей позволяет вести оперативный контроль за качеством оказания медицинской помощи населению и способно минимизировать человеческие ошибки в данных (ввиду большого количества информации персонал может совершать технические ошибки), а также (в системе страховой медицины) обнаруживать возможные фальсификации предоставленной информации.

Для решения указанной проблемы необходимо построение некоторых математических модели. Задачи математического моделирования технических, социальных, экономических систем или технологических процессов требуют высокой степени уверенности в достоверности и качестве входной информации, используемой, как для их структурной, так и для параметрической идентификации. В ходе синтеза модели, ее анализа или практического использования важным условием является выявление наблюдений, которые не могут быть классифицированы как нормальные, то есть, которые не подчиняются законам системы или процесса, требуют детального исследования, могут оказать пагубное влияние на результат, полученный с помощью моде-

ли. Рассматривая различные предметные области, можно найти разные определения аномальных наблюдений (выбросы, несогласованные наблюдения, особенности, загрязнители), которые показывают главную их особенность — несоответствие зафиксированных значений ожидаемому поведению системы или процесса. Задачам исследования аномальных наблюдений, а также построения моделей и алгоритмов их обнаружения посвящены работы О.В. Есикова, В.Б. Горяинова, С.Н. Шиманова, А.Н. Кислякова, C. Kruegel, Wu Su-Yun, Agrawal Shikha, R. Leardi, Liu Fei Tony и др. Известные алгоритмы поиска аномалий в данных могут быть разделены на два больших класса — алгоритмы, помечающие наблюдения как «аномальные» или «нормальные», и алгоритмы, в ходе работы которых для каждого из наблюдений рассчитывается некоторый показатель аномальности. Также, в зависимости от использования априорной информации о наблюдениях, выделяют алгоритмы без учителя, с использованием обучения, с частичным обучением. Различные математические методы используют и для реализации этих алгоритмов — от более простой кластеризации до сложных генетических алгоритмов и использования нейронных сетей. Однако для повышения качества работы алгоритмов строят их модификации, предполагающие, например, комбинации некоторых положительных свойств одних алгоритмов при нейтрализации отрицательных свойств других.

Одним из хорошо зарекомендовавших себя инструментов моделирования, а также численного анализа систем, являются искуственные нейронные сети. Однако в случае большого количества входной информации возрастают и вычислительные, а следовательно, и временные затраты на использование этого инструмента. Для повышения точности моделирования и возможности частичной интерпретации получаемых результатов, актуальной является задача выбора наиболее влиятельных входов нейросетевой модели, используемой в последствии и в алгоритме выявления аномальных наблюдений. Решение этой задачи лежит в области анализа чувствительности по входам математической модели, одна из целей которого - редукция модели. Большой вклад в развитие анализа чувствительности математических моделей внесли Р.М. Юсупов, А.И. Рубан, И.М. Соболь, Л.Ф. Сердюцкая, A. Saltelli, S. Tarantola, D. Cacuci, W. Castaings, D.M. Hamby, J. Fruth. С целью

решения этой задачи можно применять графические методы, которые в случае большого числа входов громоздки и сложны для корректной интерпретации; заключения также могут быть сделаны и на основании исследования производных, использовании метамоделей, представлении исходной модели в некоторой новой форме, и т.п. В случае исследования нейросетевых моделей применяют алгоритмы, предполагающие объяснение характеристик нейронной сети через анализ ее весовых коэффициентов. Однако, в силу существования различных параметров нейронной сети, доставляющих схожие выходы, такие алгоритмы не являются устойчивыми. Для решения задачи анализа чуствительности в работе предлагается подход, основанный на применении метода анализа конечных изменений, рассматривающий некоторые конечные изменения факторов модели и их связь с изменением выхода модели.

Таким образом, тема диссертационного исследования является междисциплинарной, находясь на стыке математического моделирования и использования численных методов для исследования построенных моделей. Тематика работы связана с научными направлениями ФГБОУ ВО «Липецкий государственный технический университет» «Алгебраические методы прикладной математики и информатики в моделировании и управлении сложными распределенными системами» и «Современные сложные системы управления».

Цель работы и задачи исследования. Цель диссертационного исследования заключается в разработке класса эффективных математических моделей выявления аномальных наблюдений в массивах данных, алгоритмов их исследования методами анализа чувствительности, позволяющими сократить число входов модели.

Для достижения поставленной цели необходимо было решить следующие задачи:

- проанализировать существующие модели, методы, методики и алгоритмы выявления аномальных наблюдений в массивах данных различной природы;

- разработать и исследовать класс эффективных математических моделей выявления аномальных наблюдений, основанный на модификации существующих подходов;

- разработать численный метод анализа чувствительности математических моделей, основанный на использовании информации о конечных изменениях факторов модели и их связи с конечными изменениями выхода модели;

- реализовать модули информационно-аналитической системы оказания медицинской помощи населению для выявления аномальных наблюдений (ошибочных записей).

Методы исследования включают нейроструктурное моделирование, подходы к выявлению аномальных наблюдений, анализ конечных изменений, анализ чувствительности, вычислительные эксперименты. При создании программного обеспечения использовался подход объектно-ориентированного программирования.

Тематика работы. Содержание диссертационной работы соответствует следующим пунктам паспорта специальности 1.2.2 — Математическое моделирование, численные методы и комплексы программ: п. 2. «Развитие качественных и приближенных аналитических методов исследования математических моделей»; п. 3. «Разработка, обоснование и тестирование эффективных вычислительных методов с применением современных компьютерных технологий»; п. 4. «Реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента».

Научная новизна. В диссертационной работе получены следующие результаты, характеризующиеся научной новизной:

- предложен класс эффективных нейросетевых моделей для бинарной классификации, отличающихся дополнением входов модели результатами алгоритма изолирующего леса, и направленный на определение аномальных наблюдений в массивах данных;

- предложен численный метод анализа чувствительности нейросете-вых моделей, отличающийся использованием методов анализа конечных изменений, и позволяющий сократить число входов модели;

- предложен численный метод точечного и интервального оценивания массива коэффициентов чувствительности, основанный на применении взвешенного среднего Тьюки и позволяющий оценить чувствительность по входам математических моделей;

- разработана структура модулей проблемно-ориентированного программного обеспечения c применением предлагаемых методов для выявления аномальных наблюдений в массивах данных обязательного медицинского страхования.

Практическая значимость работы заключается в создании подхода для выявления ошибочных записей в массивах данных об оказании медицинской помощи населению с целью дальнейшего назначения дополнительной экспертизы сотрудниками контролирующих органов. Однако полученные теоретические результаты представляют собой решение научной задачи, имеющей значение для развития математического моделирования, и могут быть применены для исследования широкого класса технических, социально-экономических систем, а также этапов производственных процессов.

На компоненты математического и программного обеспечения получено свидетельство о регистрации программы для ЭВМ в Роспатенте.

Степень достоверности результатов. Уровень обоснованности и достоверности полученных в ходе диссертационного исследования результатов обеспечивается использованием надежных методов анализа, соотнесением их с полученными другими авторами результатами, а также апробацией на научных конференциях и практическим внедрением разработанных методов моделирования и анализа.

Реализация и внедрение результатов работы. Полученные практические результаты и разработанный модуль программного обеспечения используются для оперативного анализа данных об оказании медицинской помощи населению в Территориальном фонде обязательного медицинского страхования Липецкой области. Теоретические результаты диссертации используются в учебном процессе федерального государственного бюджетного образовательного учреждения высшего образования «Липецкий государственный технический университет» в рамках образовательной программы

по направлению 01.03.04 «Прикладная математика» при выполнении курсовых работ по дисциплине «Математическое моделирование», индивидуальных заданий по дисциплине «Компьютерные технологии математических исследований», а также при выполнении выпускных квалификационных работ.

Апробация работы.Основные результаты, полученные в диссертационной работе, докладывались и обсуждались на международных и Всероссийских конференциях и форумах: Научно-практической конференции ЦФО «25 лет ОМС: региональный опыт, практические аспекты» (Воронеж, 2018), XIII Международной научно-практической конференции «Современные сложные системы управления HTSC2018» (Старый Оскол, 2018), XXI Международной конференции «Проблемы управления и моделирования в сложных системах» (Самара, 2019), 14th International Conference on Pattern Recognition and Information Processing PRIP2019 (Республика Беларусь, Минск, 2019), 1st International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency SUMMA2019 (Липецк, 2019), 10th International Scientific and Technical Conference «Open semantic technologies for intelligent systems» 0STIS2020 (Республика Беларусь, Минск, 2020), а также на научных семинарах кафедры прикладной математики ФГБОУ ВО «ЛГТУ».

Личный вклад. Автору принадлежат следующие результаты: [87,88,91] — структура нейросетевой модели бинарного классификатора для обнаружения аномальных данных, [97] — экспертная оценка полученных результатов по выявлению аномальных наблюдений, [85,86,92] — синтез метода анализа чувствительности по факторам нейросетевой модели, алгоритм точечного и интервального оценивания коэффициентов чувствительности модели; [98] — структурная схема модуля системы обнаружения аномалий; [93] — классификация моделей, методов и алгоритмов обнаружения аномальных наблюдений в данных различной структуры; [90] — критерии эффективности информационной системы управления качеством медицинской помощи.

Публикации. Основные результаты по теме диссертации изложены в 11 печатных изданиях [85-93,97-98], 3 из которых изданы в журна-

лах, рекомендованных ВАК [86-87,97], 2 — в изданиях, входящих в базу Scopus [85,88], 5 — в тезисах докладов [89-93], получено свидетельство о регистрации программы для ЭВМ в Роспатенте [98].

Во введении обоснована актуальность идеи диссертационного исследования, сформулирована цель и задачи работы, определены научная новизна и практическая значимость работы.

В первой главе диссертационной работы проводится обзор современных моделей, алгоритмов и методов выявления необычных значений, поиска новизны, выбросов, аномальных наблюдений в массивах данных. Построена классификация существующих подходов, указаны их достоинства и недостатки. Для исследования математических моделей важной становится задача выявления входов (агрументов, факторов), оказывающих наиболее важное влияние на выход модели. Такая задача решается методами анализа чувствительности, классификация и особенности применимости которых также приведены в первой главе.

Анализ указанных моделей, алгоритмов и подходов показывает их слабые стороны, на устранение которых направлено дальнейшее исследование. В частности, за счет модификации моделей обнаружения аномальных наблюдений, возможно построение более эффективых подходов к нахождению искомых значений. Методы анализа чувствительности, в зависмости от класса моделей, могут учитывать лишь часть доступной информации, что снижает точность полученных с их применением результатов и приводит к ошибочным решениям по скоращению входов, особенно в случае большого их числа. Таким образом, определяется возможность применения новых подходов, а также обосновывается необходимость их модификации с учетом особенностей решаемых задач.

В силу специфики прикладной области исследования в главе приводятся ссылки на основные нормативные акты РФ, регулирующие разрабатываемые информационные системы, а также приводится обзор таких информационных систем.

Во второй главе формулируется задача выявления аномальных наблюдений в массивах данных на основе решения задачи бинарной классификации. Задача состоит в том, чтобы по некоторой новой реализации

вектора признаков с учетом возможной ошибки второго рода определить класс объекта, к которому его следует отнести. Другими словами необходимо построить решающее правило с некоторой функцией. В качестве такой функции выбрана нейросетевая модель. Для повышения точности классификации предложена модель определения аномальных наблюдений, которая в качестве одного из входов принимает значения аномальности наблюдений, вычисленные с помощью алгоритма изолирующего леса. В дальнейшем это позволило сократить число входов модели с сохранением приемлемого уровня точности классификации.

Для редукции нейронной сети, выход которой используется в качестве решающего правила, предложен численный метод анализа чувствительности моделей по факторам, основанный на применении методов анализа конечных изменений. Задача анализа конечных изменений заключается в построении модели зависимости конечного изменения выхода математической модели от конечных изменений ее входов. Из математического анализа известна такая связь — это теорема Лагранжа о промежуточной точке. Однако в классической формулировке эта теорема не является конструктивной. Указывается, что существует промежуточная точка, обеспечивающая выполнение приведенного равенства, но не указываются пути ее отыскания. Анализ конечных изменений создан для решения этой задачи. Полученные в результате его проведения факторные нагрузки позволяют оценить степень влияния изменения входа модели на изменение ее выхода. Примененный последовательно большое количество раз анализ формирует набор факторных нагрузок на основе которых возможно построить показатели чувствительности. На основе взвешенного среднего Тьюки предложен подход к нахождению точечных и интервальных оценкок показателей чувствительности. Исследована адекватность предложенного метода снижения размерности для класса нейросетевых моделей и показана эффективность его применения. Показана вычислительная устойчивость предлагаемой процедуры.

В третьей главе описывается модель информационно-аналитической медицинской системы с модулями анализа хранимой статистической информации. Для того, чтобы в полной мере оценить, насколько эффективно работает медицинское учреждение, в частности и при проведении экспертизы

реестров оказанной медицинской помощи населению, предлагается ввести в рассмотрение следующие группы показателей эффективности: доступность медицинской помощи, качество проведения обследования при обращении пациентами за помощью, выявляемость заболеваний, точность диагностики и мониторинга при клиническом обследовании, правильность оказания медицинской помощи. Модуль, основанный на применении нейросетевой модели бинарной классификации, позволяет производить анализ поступающей информации и в режиме реального времени сообщать о подозрительных случаях оказания медицинской помощи для оперативного назначения необходимой экспертизы и достоверного учета описанных показателей эффективности.

т-ч о V-/

В четвертой главе приводится решение прикладной задачи нахождения аномальных значений среди данных, полученных из Единой государственной информационной системы в сфере здравоохранения (ЕГИСЗ). Под найденными аномальными значениями понимаются записи, хранящиеся в системе, по своей форме, структуре или содержанию заметно отличающиеся от нормального формата или содержания. Появление и существование таких записей может быть связано, во-первых, с «человеческим фактором» (ввиду большого количества данных по каждому факту оказания медицинской помощи персонал может совершать технические ошибки), и, во-вторых, с возможными подлогами со стороны медицинского персонала (в ситуации страховой медицины не исключены умышленные искажения медицинских записей с целью получения выгоды). В связи с этим у страховых компаний и контролирующих их структур возникает необходимость проведения выборочной экспертизы записей. Проведение такой экспертизы требует привлечения технических специалистов и сопряжено с материальными и физическими затратами. В связи с этим возникает необходимость разработки комплекса подходов к выявлению возможных «ошибочных» записей в ЕГИСЗ в автоматическом режиме для выработки рекомендаций по их последующей проверке.

Для решения задачи применены модели и алгоритмы, предложенные в работе. В качестве дискриминантного правила бинарного классификатора использовано выходное значение нейросетевой модели. Для оценки каче-

ства классификации предлагается использовать точность и полноту. В качестве оценки порогового значения бинарной классификации применен подход, использующий кривые ошибок (ЯОС-кривые), представляющие собой графики зависимости полноты классификации от единицы минус величина специфичности (отношение количества истинно-отрицательных решений к сумме истинно-отрицательных и ложно-положительных решений) по всем возможным пороговым значениям. Практическая реализация подхода выполнена с применением индексов Юдена.

В заключении излагаются основные результаты диссертационного исследования.

В приложениях приведены справка об использовании результатов исследования в Территориальном фонде обязательного медицинского страхования Липецкой области, свидетельство о регистрации разработанного программного обеспечения в Роспатенте, справка об использовании результатов исследования в учебном процессе Липецкого государственного технического университета.

Объем и структура работы. Диссертация состоит из введения, четырех глав, заключения и двух приложений. Полный объём диссертации составляет 119 страниц с 24 рисунками и 10 таблицами. Список литературы содержит 98 наименований.

Глава 1. Модели и алгоритмы выявления аномальных наблюдений в массивах данных и методы анализа чувствительности математических

моделей

1.1 Методы выявления аномальных наблюдений в массивах данных

1.1.1 Понятие аномальных наблюдений в массивах данных

Выявление аномалий относится к проблеме нахождения данных, не соответствующих некоторому ожидаемому поведению процесса или показателю, возникающему в системе. В зависимости от специфики предметной области такие наблюдения являются аномалиями, выбросами, несогласованными наблюдениями, особенностями или загрязнителями. Во многих источниках наиболее часто используемыми синонимами рассматриваемых явлений являются термины «выброс» и «аномалия». Часто задачу обнаружения аномалий в системе называют также задачей поиска новизны (novelty detection) [1]. Обнаружением аномальных наблюдений исследователи начали интересоваться достаточно давно, известны работы из области статистики еще XIX в. [2], связанные с выявлением выборосов. Существуют методы, характерные для конкретных областей знаний [3-6], ровно как и существуют междисциплинарные методы [7-15].

При выявлении аномальных значений иногда трудно бывает определить, какая область зафиксированных показателей процесса или системы является нормальной. Значения, лежащие на границе нормальной области, могут быть как нормальными, так и аномальными. С целью устранения такой неопределенности для получения качественной прогнозной модели определения выбросов, необходимо проводить верификацию полученного подхода, пользуясь известными сведениями об аномальности результатов.

Важным аспектом решения задачи обнаружения аномалий является установление их типа. Если наблюдение не может рассматриваться как нормальное по сравнению с другими, то такое наблюдение является одиночной или точечной аномалией. В случае, если наблюдение аномально только в определенном контексте, то такое наблюдение является контекстуальной

или условной аномалией. В таком случае контекст определяется структурой набора данных и специфической формулировкой проблемы. Если связанные наблюдения аномальны по отношению к остальному набору данных, то такие наблюдения образуют групповую аномалию.

Вторым важным аспектом при построении схемы нахождения аномальных наблюдений является природа анализируемых данных. По своей структуре данные — это некоторый набор обучающих признаков, которые могут быть представлены в различных шкалах. В связи с этим необходимо применять методы, способные унифицировать типы переменных, входящих в рассматриваемый массив данных.

Как отмечается в работе [16], подход к синтезу метода, с помощью ко-трого возможно обнаруживать аномальные наблдения, вырабатывается исходя из: 1) типа аномалии, 2) областей математики, которые могут быть применены в конкретной задаче (методы машинного обучения, теория информации, спектральная теория, статистические подходы, методы многомерной статистики и т.п.), 3) специфики решаемой проблемы (например, задача выявления мошеннических действий, задача определения вторжений, расследование преступлений, медицинская информатика и т.п.).

Большинство существующих работ, посвященных поиску и исследованию структуры аномальных наблюдений, предлагают два типа подходов к выявлению (детектированию) аномальных наблюдений. Первый заключается в присвоении по результатам анализа каждому из наблюдений метки «нормальное» и «аномальное» наблюдение. Второй тип подходов основан на расчете некоторого определенного показателя для каждого из наблюдений с целью отнесения его к одной из указанных выше групп.

Схему работы любого алгоритма обнаружения выбросов можно представить как следующую последовательность действий [10]:

- параметризация (подготовка анализируемых данных с целью дальнейшего поиска аномалий; выявляются подозрительные наблюдения);

- выбор типа и конструирование модели для обнаружения выбросов (модель может быть построена для обнаружения данных, описывающих нормальное поведение системы или аномальные ситуации);

- обнаружение аномалий с помощью построенной модели (полученные с помощью построенной модели показатели для каждого наблюдения сравниваются с выявленными на этапе параметризации подозрительными наблюдениями и на основании некоторого порога (меры схожести) происходит отнесение данных к категории «нормальных» или «аномальных»).

1.1.2 Классификация и обзор методов обнаружения аномальных

наблюдений в массивах данных

Все методы обнаружения аномальных наблюдений в массивах данных принято разделять на три категории: методы, использующие обучение (обнаружение аномалий с учителем), методы с частичным обучением и методы без обучения.

Класс методов, использующих обучение, предполагает формирование обучающей выборки, содержащей аномальные наблюдения, для дальнейшего построения прогнозной модели обнаружения аномалий в массивах новых данных. Однако при использовании таких методов исследователи сталкиваются с рядом проблем. Во-первых, количество аномалий мало по сравнению с обычными реализациями, что делает процесс построения модели трудоемким из-за качественной подготовки обучающей выборки. И, следовательно, во-вторых, получение точной метки для каждой реализации в массиве данных является сложной задачей. Для решения второй проблемы предложен ряд методов создания искусственных аномалий в данных для построения прогнозной модели [17-19].

Список литературы диссертационного исследования кандидат наук Щеглеватых Роман Вячеславович, 2021 год

Список литературы

[1] Japkowicz, N. A novelty detection approach to classification / N. Japkowicz, C. Myers, M. Gluck // IJCAI'95: Proceedings of the 14th international joint conference on Artificial intelligence. — 1995. — P. 518-523.

[2] Edgeworth, F. Y. XLI. On discordant observations / F. Y. Edgeworth // The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science. — 1887. — Vol. 23, № 1473. — P. 364-375.

[3] A comparative study of anomaly detection schemes in network intrusion detection / A. Lazarevic, L. Ertoz, V. Kumar [et al] // Proceedings of the 2003 SIAM International Conference on Data Mining. — 2003. — P. 25-36.

[4] Kruegel, C. Anomaly detection of web-based attacks / C. Krugel, G. Vigna // Proceedings of the 10th ACM conference on Computer and communications security. — 2003. — P. 251-261.

[5] Parmar, J. Data security, intrusion detection, database access control, policy creation and anomaly response systems — A review / J. Parmar // ICAETR-2014: Proccedings of the 2014 International Conference on Advances in Engineering & Technology Research. — 2014. — P. 1-6.

[6] Wu, S.-Y. Data mining-based intrusion detectors / S.-Y. Wu and E. Yen // Expert Systems with Applications. — 2009. — P. 5605-5612.

[7] Wang, S. and Miao, Z. Anomaly detection in crowd scene / S. Wang, Z. Miao // Proccedings of the IEEE 10th International Conference on Signal Processing. — 2010. — 1220-1223.

[8] Teng, M. Anomaly detection on time series / M. Teng // Proccedings of the 2010 IEEE International Conference on Progress in Informatics and Computing. — 2010. — P. 603-608.

[9] Bhatkar, S. Dataflow anomaly detection / S. Bhatkar, A. Chaturvedi, R. Sekar // S&P'06: Proceedings of the 2006 IEEE Symposium on Security and Privacy. - 2006. - P. 1-15.

[10] Agrawal, S. Survey on anomaly detection using data mining techniques / S. Agrawal, J. Agrawal // Procedia Computer Science. — 2015. — P. 708-713.

[11] Брюховецкий, А. А. Моделирование процессов обнаружения аномалий в сложноструктурированных данных мониторинга / А. А. Брюховецкий, А. В. Скатков, Ю. Е. Шишкин // Системы контроля окружающей среды. — 2017. — № 9. — С. 45-49.

[12] Васильев, К. К. Адаптивные алгоритмы обнаружения аномалий на последовательности многомерных изображений / К. К. Васильев, В. Р. Крашенников // Компьютерная оптика. — 1995. — №14-15. — С. 125132.

[13] Басараб, М. А. Обнаружение аномалий в информационных процессах на основе мультифрактального анализа / М. А. Басараб, И. С. Строганов // Вопросы кибербезопасности. — 2014. — №4(7). — С. 30-40.

[14] Скатков, А. В. Модель обнаружения аномалий в наблюдениях параметров полей окружающей среды с использованием систем мониторинга / А. В. Скатков, Ю. Е. Шишкин // Системы контроля окружающей среды. — 2017.—№10.— С. 48-53.

[15] Скатков, А. В. Кластеризация данных в задачах обнаружения аномалий на основе ортогональных фильтров / А. В. Скатков, Ю. Е. Шишкин // Системы контроля окружающей среды. — 2018. — №11. — С. 36-43.

[16] Singh, K. Outlier detection: applications and techniques / K. Singh, S. Upadhyaya // International Journal of Computer Science Issues (IJCSI). — 2012. — Vol. 9, №1. — P. 307-323.

[17] Theiler, J. P. Resampling approach for anomaly detection in multispectral images / J. P. Theiler, D. M. Cai // Algorithms and Technologies for

Multispectral, Hyperspectral, and Ultraspectral Imagery IX. — 2003. — Vol. 5093. — P. 230-240.

[18] Abe, N. Outlier detection by active learning / N. Abe, B. Zadrozny, J. Langford // Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining. — 2006. — P. 504-509.

[19] Steinwart, I. A classification framework for anomaly detection /1. Steinwart, D. Hush, C. Scovel // Journal of Machine Learning Research. — Vol. 6. — P. 211-232.

[20] Basu, S. A probabilistic framework for semi-supervised clustering / S. Basu, M. Bilenko, R. J. Mooney // Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining. — 2004. — P. 59-68.

[21] Knorr, E. M. Distance-based outliers: algorithms and applications / E. M. Knorr, R. T. Ng, V. Tucakov // The VLDB Journal — The International Journal on Very Large Data Bases. — 2000. — Vol. 8, №3-4. — P. 237-253.

[22] Technical Report MSR-T R-99-87, Microsoft Research (MSR). Estimating the support of a high-dimensional distribution: 1999 / J. C. Platt, J. Shawe-Taylor, A. J. Smola, R. C. Williamson.

[23] Roth, V. Kernel fisher discriminants for outlier detection / V. Roth // Neural computation. — 2006. — Vol. 18, №4. — P. 942-960.

[24] He, Z. Discovering cluster-based local outliers / Z. He, X. Xu, S. Deng // Pattern Recognition Letters. — 2003. — Vol. 24, №9-10. — P. 1641-1650.

[25] Connectivity of the mutual k-nearest-neighbor graph in clustering and outlier detection / M. R. Brito, E. L. Chavez, A. J. Quiroz, J. E. Yukich // Statistics & Probability Letters. — 1997. — Vol. 35, №1. — P. 33-42.

[26] Jiang, M.-F. Two-phase clustering process for outliers detection / M.-F. Jiang, S.-S. Tseng, C.-M. Su // Pattern recognition letters. — 2001. — Vol. 22, №6-7. — P. 691-700.

[27] Патент US Patent 7,792,770. US. Method to indentify anomalous data using cascaded K-Means clustering and an ID3 decision tree: 07.09.2010 / V. V. Phoha, K. S. Balagani.

[28] Кузовлев, В. И. Метод выявления аномалий в исходных данных при построении прогнозной модели решающего дерева в системах поддержки принятия решений / В. И. Кузовлев, А. О. Орлов // Машиностроение и компьютерные технологии. — 2012. — №9. — С. 209-218.

[29] Liu, F. T. Isolation-based anomaly detection / F. T. Liu, K. M. Ting, Z.-H. Zhou // ACM Transactions on Knowledge Discovery from Data (TKDD).

— 2012.— Vol. 6, №1. —P. 1-3.

[30] Liu, F. T. Isolation forest / F. T. Liu, K. M. Ting, Z.-H. Zhou // Proccedings of the 2008 Eighth IEEE International Conference on Data Mining. — 2008.

— P. 413-422.

[31] Chintalapudi, K. K. The credibilistic fuzzy c means clustering algorithm / K. K. Chintalapudi, M. Kam // SMC'98: Proceedings of the 1998 IEEE International Conference on Systems, Man, and Cybernetics. — 1998. — Vol. 2. — P. 2034-2039.

[32] Bezdek, J. C. Fuzzy partitions and relations; an axiomatic basis for clustering / J. C. Bezdek, J. D. Harris // Fuzzy sets and systems. — 1978. — Vol. 1, №2. — P. 111-127.

[33] Bezdek, J. C. Pattern recognition with fuzzy objective function algorithms / J. C. Bezdek. — Springer Science & Business Media, 2013. — 272 p.

[34] Cateni, S. A fuzzy logic-based method for outliers detection / S. Cateni, V. Colla, M. Vannucci // AIAP'07: Proceedings of the 25th conference on Proceedings of the 25th IASTED International Multi-Conference: artificial intelligence and applications. — 2007. — P. 561-566.

[35] Математические методы геоинформатики. III. Нечеткие сравнения и распознавание аномалий на временных рядах / А. Д. Гвишиани, С. М.

Агаян, Ш. Р. Богоутдинов [и др.] // Кибернетика и системный анализ. - 2008. - №44(3). - С. 3-18.

[36] Hecht-Nielsen, R. Replicator neural networks for universal optimal source coding / R. Hecht-Nielsen // Science. - 1995. - Vol. 269, №5235. - P. 1860-1863.

[37] Клионский, Д. М. Применение искусственных нейронных сетей в задачах обнаружения аномалий в поведении сложных динамических объектов / Д. М. Клионский, А. К. Большев // Нейрокомпьютеры: разработка, применение. - 2011. - №11. - С. 32-45.

[38] Обзор методов обнаружения аномалий в потоках данных / В. П. Шко-дырев, К. И. Ягафаров, В. А. Баштовенко, Е. Э. Ильина // SEIM-2017: Proceedings of the Second Conference on Software Engineering and Information Management. - 2017. - С. 50-56.

[39] Crawford, K. D. Applying Genetic Algorithms to Outlier Detection / K. D. Crawford, R. L. Wainwright // ICGA-95: Proceedings of The Sixth International Conference on Genetic Algorithms. - 1995. - P. 546-550.

[40] Leardi, R. Application of a genetic algorithm to feature selection under full validation conditions and to outlier detection / R. Leardi // Journal of Chemometrics. - 1994. - Vol. 8, №1. - P. 65-79.

[41] Ковалев, С. М. Обнаружение особых типов паттернов во временных рядах на основе гибридной стохастической модели / С. М. Ковалев, А. В. Суханов // Известия Южного федерального университета. Технические науки. - 2014. - №4(153). - С. 142-149.

[42] Осовский, С. Нейронные сети для обработки информации / С. Осов-ский. - Москва: Финансы и статистика, 2004. - 345 с.

[43] Сараев, П. В. Нейросетевые методы искусственного интеллекта: учебное пособие / П. В. Сараев. - Липецк: ЛГТУ, 2007. - 64 с.

[44] Hawkins, S. Outlier detection using replicator neural networks / S. Hawkins, H. He, G. Williams, R. Baxter // Proceedings of the International Conference on Data Warehousing and Knowledge Discovery. — 2002. — P. 170-180.

[45] A Review on Machine Learning Approaches for Network Malicious Behavior Detection in Emerging Technologies / M. Rabbani, Y. Wang, R. Khoshkangini [et al] // Entropy. — 2021. — Vol. 23, №5. — URL: https://www.mdpi.com/1099-4300/23/5/529/pdf (дата обращения: 20.08.2020).

[46] Bramer, M. Estimating the Predictive Accuracy of a Classifier / M. Bramer // Principles of Data Mining. — 2007. — P. 79-92.

[47] Sawade, C. Active estimation of f-measures / C. Sawade, N. Landwehr, T. Scheffer // Advances in Neural Information Processing Systems. — 2010. — P. 2083-2091.

[48] Zou, K. H. Semiparametric and parametric transformation models for comparing diagnostic markers with paired design / K. H. Zou, W. J. Hall // Journal of Applied Statistics. — 2002. — Vol. 29, №6. — P. 803-816.

[49] Silverman, B. W. Density estimation for statistics and data analysis / B. W. Silverman. — CRC press, 1986. — 176 p.

[50] Upadhyaya, S. Classification based outlier detection techniques / S. Upadhyaya, K. Singh // International Journal of Computer Trends and Technology. — 2012. — Vol. 3, №2. — P. 294-298.

[51] Platt, J. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods / J. Platt // Advances in large margin classifiers. — 1999. — Vol. 10, №3. — P. 61-74.

[52] Upasani, N. Evolving fuzzy min-max neural network for outlier detection / N. Upasani, H. Om // Procedia Computer Science. — 2015. — Vol. 45. — P. 753-761.

[53] Сердюцкая, Л. Ф. Системный анализ и математическое моделирование экологических процессов в водных экосистемах / Л. Ф. Сердюцкая. — Москва: Кн. дом «ЛИБРОКОМ», 2008. — 144 с.

[54] Тихонов, А. Н. Математическая модель / А. Н. Тихонов // Математическая энциклопедия. — 1982. — №3. — С. 574-575.

[55] Розенвассер, Е. Н. Чувствительность систем управления / Е. Н. Розен-вассер, Р. М. Юсупов. — Москва: Наука, 1981. — 464 с.

[56] Рубан, А. И. Идентификация и чувствительность сложных систем / А. И. Рубан. — Томск: ТГУ, 1982. — 304 с.

[57] Global sensitivity analysis: the primer / A. Saltelli, M. Ratto, T. Andres [et al]. — John Wiley & Sons, 2008. — 304 p.

[58] Sensitivity analysis in practice: a guide to assessing scientific models / A. Saltelli, S. Tarantola, F. Campolongo, M. Ratto. — John Wiley & Sons, 2004. — 232 p.

[59] Homma, T. Importance measures in global sensitivity analysis of nonlinear models / T. Homma, A. Saltelli // Reliability Engineering & System Safety.

— 1996. — Vol. 52, №1. — P. 1-17.

[60] Turanyi, T. Sensitivity analysis of complex kinetic systems. Tools and applications / T. Turanyi // Journal of mathematical chemistry. — 1990.

— Vol. 5, №3. — P. 203-248.

[61] Cacuci, D. Sensitivity and uncertainty analysis: theory, sensitivity and uncertainty analysis / D. Cacuci. — CRC Press, 2003. — 285 p.

[62] Park, S. K. Data assimilation for atmospheric, oceanic and hydrologic applications / S. K. Park, L. Xu // Data Assimilation for Atmospheric, Oceanic and Hydrologic Applications (Vol. II). — Springer Science & Business Media, 2017. — P. 55-70.

[63] Sensitivity analysis and parameter estimation for distributed hydrological modeling: potential of variational methods / W. Castaings, D. Dartus, F.-X.

Le Dimet, G.-M. Saulnier // Hydrology and Earth System Sciences. — 2009.

— Vol. 13, №4.— P. 503-517.

[64] Saltelli, A. Evidence-based policy at the end of the Cartesian dream / A. Saltelli, S. Funtowicz // Science, Philosophy and Sustainability: The End of the Cartesian dream. — 2015. — P. 147-162.

[65] Heinze, G. Variable selection — a review and recommendations for the practicing statistician / G. Heinze, C. Wallisch, D. Dunkler // Biometrical journal. — 2018. — Vol. 60, №3. — P. 431-449.

[66] Cacuci, D. G. Sensitivity and uncertainty analysis, volume II: applications to large-scale systems / D. G. Cacuci, M. Ionescu-Bujor, I. M. Navon. — CRC press, 2005. — 359 p.

[67] Hamby, D. M. A review of techniques for parameter sensitivity analysis of environmental models / D. M. Hamby // Environmental monitoring and assessment. — 1994. — Vol. 32, №2. — P. 135-154.

[68] Box, G. E. P. An analysis for unreplicated fractional factorials / G. E. P. Box, R. D. Meyer // Technometrics. — 1986. — Vol. 28, №1. — P. 11-18.

[69] Dean, A. Screening: methods for experimentation in industry, drug discovery, and genetics / A. Dean, S. Lewis. — Springer-Verlag New York, 2006. — 332 p.

[70] Overstall, A. M. Multivariate emulation of computer simulators: model selection and diagnostics with application to a humanitarian relief model / A. M. Overstall, D. C. Woods // Journal of the Royal Statistical Society: Series C (Applied Statistics). — 2016. — Vol. 65, №4. — P. 483-505.

[71] Sobol, I. M. Sensitivity estimates for nonlinear mathematical models /1. M. Sobol // Math. Model. Comput. Exp. — 1993. — Vol. 1, №4. — P. 407-414.

[72] Соболь, И. М. Об оценке чувствительности нелинейных математических моделей / И. М. Соболь // Математическое моделирование. — 1990.

— №2(1).— С. 112-118.

[73] Fruth, J. Sensitivity Analysis and FANOVA Graphs for Computer Experiments / J. Fruth, S. Kuhnt // 46th Scientific Meeting of the Italian Statistical Society. - 2012. - P. 1-4.

[74] Prieur, C. Variance-based sensitivity analysis: Theory and estimation algorithms / C. Prieur, S. Tarantola // Handbook of uncertainty quantification. - 2017. - P. 1217-1239.

[75] Garson, G. D. Interpreting neural network connection weights / G. D. Garson // Artificial Intelligence Expert. - 1991. - Vol. 6(4). - P. 46-51.

[76] О Концепции долгосрочного социально-экономического развития Российской Федерации на период до 2020 года: Распоряжение Правительства РФ № 1662-р от 17.11.2008 (ред. от 08.08.2009) // Собрание законодательства Российской Федерации. - 2008. - №24.

[77] Столбов, А. П. Интеграция персональных данных о состоянии здоровья: этапы реализации / А. П. Столбов, П. П. Кузнецов // Врач и информационные технологии. - 2011. - №5. - С. 31-50.

[78] О внесении изменений в отдельные законодательные акты Российской Федерации по вопросам применения информационных технологий в сфере охраны здоровья: Федеральный закон № 242-ФЗ от 29.07.2017 [принят Государственной Думой 21.02.2017] // Собрание законодательства Российской Федерации. - 2017.

[79] Понятие «безопасность» в медицине / Бигунец В. Д., Резванцев М. В., Железняков Е. В., Гудзь А. А. // Вестник Санкт-Петербургского университета. Серия 11. Медицина. - 2013. - №3. - С. 219-233.

[80] Орлов, А. Е. Современные проблемы качества медицинской помощи (обзор литературы) / А. Е. Орлов // Вестник новых медицинских технологий. Электронное издание. - 2015. - №9(1). - URL: http://www.medtsu.tula.ru/VNMT/Bulletin/E2015-1/4979.pdf (дата обращения: 24.08.2020).

[81] Гришина, Н. К. Социологический мониторинг в информационном обеспечении управления здравоохранением / Н. К. Гришина // Социальные аспекты здоровья населения. — 2010. — №16(4). — URL: http://vestnik.mednet.ru/content/view/248/30/lang,ru/ (дата обращения: 24.08.2020).

[82] Гаспарян, С. А. Медико-социальный мониторинг в управлении здравоохранением / С. А. Гаспарян. — Москва: Форсикон, 2007. — 157 с.

[83] Хай, Г. А. Информационные аспекты оценки и управления качеством медицинской помощи / Г. А. Хай // Менеджер здравоохранения. — 2008. — №9. — С. 51-57.

[84] Кобринский, Б. А. Медицинская информатика / Б. А. Кобринский, Т. В. Зарубина. — Москва: Академия, 2009. — 512 с.

[85] Sensitivity Analysis of Neural Network Models: Applying Methods of Analysis of Finite Fluctuations / A. Sysoev, A. Ciurlia, R. Sheglevatych, S. Blyumin // Periodica Polytechnica Electrical Engineering and Computer Science. — 2019. — Vol. 63, №4. — P. 306-311.

[86] Щеглеватых, Р. В. Математическая модель обнаружения аномальных наблюдений с использованием анализа чувствительности нейронной сети / Р. В. Щеглеватых, А. С. Сысоев // Моделирование, оптимизация и информационные технологии. — 2020. — № 1(28). — С. 1-14.

[87] Щеглеватых, Р. В. Исследование нейросетевой модели обнаружения аномальных наблюдений в массивах данных / Р. В. Щеглеватых, А. С. Сысоев // Прикладная математика и вопросы управления. — 2021. — №1. — С. 23-40.

[88] Sysoev, A. Combined Approach to Detect Anomalies in Health Care Datasets / A. Sysoev, R. Scheglevatych// SUMMA: Proceedings of the 2019 1st International Conference on Control Systems, Mathematical Modelling, Automation and Energy Efficiency. — Lipetsk, 2019. — P. 359-363.

[89] Sheglevatych, R. V. Analysis of Finite Fluctuations as a Basis of Defining a Set of Neural Network Model Inputs / R. V. Sheglevatych, A. S. Sysoev // Open Semantic Technologies for Intelligent Systems. — 2020. — Vol. 4.

— P. 313-316.

[90] Щеглеватых, Р. В. Критерии эффективности в концептуальной модели информационной системы управления качеством медицинской помощи / Р. В. Щеглеватых, А. С. Сысоев // Прикладные информационные аспекты медицины. — 2018. — №21(1). — С. 134-140.

[91] Щеглеватых, Р. В. Комбинированный метод определения аномалий в наборах данных об оказании медицинской помощи / Р. В. Щеглеватых, А. С. Сысоев // Проблемы управления и моделирования сложных систем: Труды XXI Международной конференции. — Самара, 2019. — С. 322-326.

[92] Sysoev, A. S. Approach to Sensitivity Analysis of Neural Network Models Based on Analysis of Finite Fluctuations / A. S. Sysoev, S. L. Blyumin, R. V. Scheglevatych // PRIP'2019: Proceedings of the 14th International Conference on Pattern Recognition and Onformation Processing. — Minsk, 2019. — P. 97-100.

[93] Сысоев, А. С. Методы обнаружения аномалий в больших данных медицинской природы / А. С. Сысоев, Р. В. Щеглеватых // Современные сложные системы управления HTCS'2018: Сборник трудов XIII Международной научно-практической конференции. — Старый Оскол, 2018.

— С. 138-141.

[94] Сысоев, А. С. Моделирование и оптимизация систем с переменной структурой методами идемпотентной математики и анализа конечных изменений : специальность 05.13.18 : дис. ... канд. техн. наук / Сысоев Антон Сергеевич; науч. рук. С. Л. Блюмин ; Воронежский государственный технический университет. — Воронеж, 2014. — 129 л.

[95] Блюмин, С. Л. Применение теоремы Лагранжа о конечных приращениях для решения проблем управления транспортными системами / С.

Л. Блюмин, А. С. Сысоев // Проблемы управления. — 2014. — №1. — С. 82-87.

[96] Analysis of finite fluctuations for solving big data management problems / S. L. Blyumin, G. S. Borovkova, K. V. Serova, A. S. Sysoev // AICT: Proceedings of the 2015 9th International Conference on Application of Information and Communication Technologies. — Rostov-on-Don, 2015. — P. 48-51.

[97] Блюмин, С. Л. Система выявления аномальных наблюдений в данных об оказании медицинской помощи населению / С. Л. Блюмин, Р. В. Щеглеватых, А. А. Найденов, А. С. Сысоев // Вестник Тамбовского государственного технического университета. - 2021. - Т. 27. - №3. -С. 356-367.

[98] Свидетельство о регистрации программы для ЭВМ № 2021663205 Российская Федерация. Система обработки данных об оказании медицинской помощи : заявл. 2021662303 от 02.08.2021 : зарег. 12.08.2021 / А. А. Найденов, А. С. Сысоев, Р. В. Щеглеватых ; заявитель ФГБОУ ВО ЛГТУ. — Москва: ФГБУ ФИПС, 2021.

Приложение А Справка о внедрении результатов исследования

ТЕРРИТОРИАЛЬНЫЙ ФОНД ОБЯЗАТЕЛЬНОГО МЕДИЦИНСКОГО СТРАХОВАНИЯ ЛИПЕЦКОЙ ОБЛАСТИ

(ТФОМС Липецкой области)

М.Горькпго ул., д. 2, г. Липецк, 398059

Тел. [phone], факс 77-97-82 E-mail: [e-mail] www.ofoms48.ru ОК1Ю2М71МТ,ОГРН 10148408:3414 ИНН 48250017Я9, КТШ 4SIMKM]

mjwji^m_

HaJVs__

СПРАВКА

об использовании результатов диссертационной работы Щеглеватых Романа Вячеславовича

Настоящая справка составлена в том, что результаты диссертационной работы Щеглеватых Р.В., связанной с моделированием и исследованием алгоритмов выявления аномальных наблюдений в массивах данных по оказанию медицинской помощи населению, рассмотрены территориальным фондом обязательного медицинского страхования Липецкой области.

Установлено, что для обнаружения ошибочных записей в реестрах об оказании медицинской помощи использована нейросетевая модель бинарной классификации. Произведен анализ чувствительности указанной модели, который позволяет сократить число факторов модели нейронной сети. На разработанные модули информационно-аналитической системы получено свидетельство о регистрации программы для ЭВМ RU 2021663205 от 12.08.2021 г.

Подтверждено, что результаты, полученные в ходе анализа данных об оказанной медицинской помощи на предмет ошибочных записей, являются достоверными.

Результаты диссертационной работы Щеглеватых Р.В. могут быть рекомендованы для дальнейшего использования при автоматическом анализе массивов данных об оказании медицинской помощи населению.

Заместитель директора -начальник управления информационно-аналитических технологий

Свидетельство о регистрации программы для ЭВМ в Роспатенте

Приложение Б Справка об использовании в учебном процессе

УТВЕРЖДАЮ

Проректор по учебной работе

ФГБОУ ВО «Липецкий государственный

СПРАВКА

об использовании в учебном процессе материалов, содержащихся в кандидатской диссертации Щеглеватых Романа Вячеславовича «Разработка моделей и алгоритмов выявления аномальных наблюдений в массивах данных обязательного медицинского страхования»

Настоящей справкой удостоверяется, что результаты диссертационной работы на соискание ученой степени кандидата технических наук по специальности ] .2.2 - Математическое моделирование, численные методы и комплексы программ, а именно

класс эффективных нейросетевых моделей для бинарной классификации, отличающихся дополнением входов модели результатами алгоритма изолирующего леса, и направленный на определение аномальных наблюдений в массивах данных; численный метод аначиза чувствительности нейросетевых моделей, отличающийся использованием методов анализа конечных изменений, и позволяющий сократить число входов модели; численный метод точечного и интервального оценивания массива коэффициентов чувствительности, основанный на применении взвешенного среднего Тьюки и позволяющий оценить чувствительность по входам математических моделей; структура модулей проблемно-ориентированного программного обеспечения с применением предлагаемых методов для выявления аномальных наблюдений в массивах данных обязательного медицинского страхования

используются в учебном процессе федерального государственного бюджетного образовательного учреждения высшего образования «Липецкий государственный технический университет» в рамках образовательной программы по направлению 01.03.04 «Прикладная математика» при выполнении курсовых работ по дисциплине «Математическое моделирование», индивидуальных заданий по дисциплине «Компьютерные технологии математических исследований», а также при выполнении выпускных квалификационных работ.

Использование результатов диссертационной работы обсуждено на заседании кафедры прикладной математики от «30» августа

Декан факультета автоматизации и информатики к.т.н., доцент

Начальник отдела по науке

А.В. Галкин

П,А. Кровопусков

Заведующий кафедрой прикладной математики к.ф.-м.н., доцент

М.Н. Орешина

/