Извлечение и применение знаний из специальных данных для повышения качества прогнозных моделей в задачах поддержки принятия экспертных решений тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Деревицкий Илья Владиславович

• Деревицкий Илья Владиславович
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Деревицкий Илья Владиславович

Оглавление

Реферат

Synopsis

Введение

Глава 1. Подходы к созданию алгоритмов поддержки принятия решений на нестационарных потоковых данных

1.1 Обучение прогнозных моделей на нестационарных потоковых данных

1.1.1 Проблема дрейфа концепций

1.1.2 Ансамблевый подход к обучению прогнозных моделей на нестационарных потоковых данных

1.1.3 Инкрементный подход к обучению прогнозных моделей на нестационарных потоковых данных

1.2 Разработка интерпретируемых алгоритмов поддержки принятия решений на нестационарных потоковых данных в условиях дрейфа концепций

Глава 2. Метод поиска и применения знаний для обучения адаптивных алгоритмов машинного обучения, прогнозирующих исходы многомасштабных процессов на специальных нестационарных потоковых данных

2.1 Формальное описание предлагаемого метода и алгоритма

2.2 Эксперименты по апробации разработанного пакетно-инкрементного обучения прогнозных моделей на реальных нестационарных потоковых данных

Глава 3. Метод и алгоритм поддержки принятия решений на основе прогнозов адаптивных алгоритмов машинного обучения для оптимизации многомасштабного процесса с многокомпонентными исходами на специальных нестационарных потоковых данных

3.1 Формальное описание предлагаемого метода и алгоритма

3.2 Экспериментальные исследования по апробации предлагаемого метода и алгоритма поддержки принятия решений на реальных нестационарных потоковых данных

Глава 4. Платформа для обучения и применения алгоритмов поддержки принятия решений в задачах оптимизации многокомпонентных исходов многомасштабных процессов на нестационарных потоковых данных

4.1 Компонент сбора и обработки информации об ИП

4.2 Компонент прогноза исходов ИП на потоке наблюдений

4.3 Компонент поиска оптимального многокомпонентного решения ЛПР, оптимизирующего исходы ИП на потоке наблюдений

4.4 Компонент генерации синтетических наблюдений ИП на нестационарном потоке наблюдений

4.5 Веб-интерфейс для доступа к инструментам платформы

Заключение

Список публикаций по теме диссертации

Список литературы

Приложение 1. Акт внедрения

Приложение 2. Свидетельство о регистрации программы для ЭВМ

Приложение 3. Свидетельство о регистрации программы для ЭВМ

Приложение 4. Тексты публикаций по теме диссертации

Введение диссертации (часть автореферата) на тему «Извлечение и применение знаний из специальных данных для повышения качества прогнозных моделей в задачах поддержки принятия экспертных решений»

Реферат

Актуальность темы исследования обусловлена существованием проблемы дрейфа концепций при обучении методов машинного обучения на данных специальной структуры (специальных данных), которыми здесь и далее в работе называются большие потоковые нестационарные данные многомасштабных процессов с многокомпонентными исходами и задержкой появления информации об исходе или отсутствии такой информации (проблемами разметки). Следствием изменений концепций в потоковых данных является снижение качества прогнозных data-driven моделей. Для решения данной проблемы необходимы адаптивные к нестационарности методы, способные извлекать знания о дрейфе концепций из данных и изменять структуру алгоритма, подстраиваясь к изменениям. Для случая специальных потоковых данных необходимо дополнительно учитывать проблемы разметки данных в виде отсутствия или значительных задержек в появлении метки, и соответствующие проблемы с использованием большинства существующих подходов к решению проблемы дрейфа концепций. Все вышесказанное обуславливает актуальность изучения адаптивных методов машинного обучения и разработки новых методов работы со специальными потоковыми данными. Особенно актуальна данная тема в контексте решения задач поддержки принятия решений, в которых получение точного прогноза об эффекте конкретного возможного решения в конкретной ситуации может значительно упростить процесс поиска оптимального решения.

Задачи ППР необходимо решать в динамике в режиме реального времени с учетом нижеследующих требований:

1. Недопустимо хранить все прошлые наблюдения в памяти в связи с неограниченностью количества поступающих наблюдений и ограниченностью ресурсов для хранения информации;

2. Во многих задачах ППР требуется интерпретируемость прогнозных моделей (сложно использовать Deep Learning);

3. Недопустимы реальные эксперименты по апробации рекомендуемых алгоритмом решений (соответственно, необходимы методы проведения виртуальных экспериментов с контролируемой допустимой ошибкой и возможностью валидации структуры алгоритма экспертами);

4. Пространство решений может иметь большую размерность, перебор всех вариантов вычислительно сложен или невозможен, соответственно, комбинаторные и эвристические методы («умные переборы») неприменимы для поиска оптимального решения;

5. Часть наблюдений может быть, не размечена, т. е. исходы наблюдения неизвестны и не будут известны. Также часть меток появляются со значительным временным лагом. Необходимы методы использования таких данных.

Изучение методов и алгоритмов извлечения знаний из нестационарных потоковых данных адаптивными алгоритмами в задачах ППР является массовой и активно развивающейся тематикой в мировом научном сообществе. В частности, тема проработана Российскими исследователями О.И. Шелухиным, И. С. Лебедевым, И. В. Никифоровым, А. В. Жуковым, и зарубежными исследователями Г. Дитзлером, Б. Кравчиком, Ж. Гамой, М. Басвилем. Несмотря на большое количество исследований, в основном существующие методы и алгоритмы извлекают знания из размеченных наблюдений, тогда как неразмеченные наблюдения, также содержащие потенциально полезную для обучения прогнозных моделей информацию, игнорируются. Также редко встречаются методы и алгоритмы, способные комплексно учитывать проблему отложенных меток, требования к интерпретируемости алгоритмов и валидируемости алгоритмов предметными экспертами, диктуемые задачами поддержки принятия решений. В частности, слабо изучен аспект разработки инструментов для валидации структуры алгоритма экспертами, и выбора структуры из набора альтернатив на основе экспертных знаний. Существующие методы являются лишь удачными

находками для частных случаев задачи обучения прогнозных моделей на потоковых нестационарных данных. В целом можно заключить, что достаточно слабо развиты разработанные в диссертационном исследовании методы и алгоритмы извлечения и применения знаний из специальных потоковых нестационарных данных для повышения качества прогнозных моделей (в виде адаптивных методов машинного обучения) для задач поддержки принятия решений.

Целью исследования является повышение прогнозного качества алгоритмов машинного обучения на специальных потоковых нестационарных данных о многомасштабном процессе с многокомпонентными исходами в задачах поддержки принятия решений.

Для достижения цели в ходе диссертационного исследования ставятся следующие задачи:

- исследование и систематизация существующих подходов к поиску и применению знаний из нестационарных потоковых данных для повышения прогнозного качества адаптивных алгоритмов машинного обучения в задачах поддержки принятия решений с учетом дрейфа концепций;

- разработка инкрементного метода обучения адаптивных прогнозных моделей на специальных нестационарных потоковых данных на основе алгоритма извлечения знаний в виде динамического графа эволюции изучаемого процесса для решения проблемы дрейфа концепций;

- разработка метода и алгоритма поддержки принятия решений на основе прогнозов адаптивных алгоритмов машинного обучения для оптимизации многомасштабного процесса с многокомпонентными исходами на специальных нестационарных потоковых данных;

- проектирование и разработка предметно-независимой платформы для обучения алгоритмов поддержки принятия решений в задачах оптимизации многокомпонентных исходов многомасштабных

процессов на специальных потоковых нестационарных данных и проведения экспериментов по апробации обученных алгоритмов на реальных данных;

- экспериментальные исследования применимости разработанных методов и алгоритмов для предметных задач медицинской сферы, таких как задача поддержки принятия врачебных решений в процессе стационарного лечения COVID-19 для Российской популяции, амбулаторного лечения ментальных заболеваний в Австрийской популяции и лечения сахарного диабета второго типа;

- оценка качества предложенных подходов и алгоритмов путем сравнения результатов их практического применения с лучшими существующими решениями.

Методы исследования включают в себя методы машинного обучения, графовые вероятностные модели, методы негладкой оптимизации, классические методы теории вероятности и математической статистики, методы инженерии программных систем.

Научная новизна исследования обусловлена тем, что предложен новый подход к решению задач ППР на нестационарном потоке наблюдений многомасштабного процесса с многокомпонентными исходами, который в отличии от существующих подходов способен:

- в режиме онлайн извлекать, обновлять и использовать знания из неразмеченных наблюдений (незавершенных многомасштабных процессов с неизвестной целевой переменной) для повышения прогнозного качества адаптивных алгоритмов МЬ в задачах ППР;

- комплексно учитывать дрейф концепций, требования к интерпретируемости и необходимость валидируемости структуры прогнозных алгоритмов экспертами при проведении виртуальных экспериментов по апробации конкретного решения ЛПР для конкретного наблюдения на основе адаптивных алгоритмов машинного обучения.

Теоретическая значимость работы заключается в расширении математического и алгоритмического аппарата для разработки интеллектуальных методов прогноза многокомпонентных исходов многомасштабного процесса на нестационарном потоке наблюдений.

Практическую значимость работы составляют:

- основной результат - предметно-независимая платформа для обучения и применения алгоритмов поддержки принятия решений в задачах оптимизации многокомпонентных исходов многомасштабных процессов на специальных потоковых нестационарных данных;

репозиторий - ^^: //gitfi^ontю/r/user-

7933350/nSTsBPQ1rm4t/Platform-for-creatmg-DSS-for-spesial-processes/ (авторы Деревицкий И.В., Павловский В.В., Глазнев А.Ю.);

- алгоритм для динамического сбора, обработки, интеграции и фильтрации разнородной информации о течении процесса, репозиторий https://github.com/IlyaDer17/EUS_of_PPMD программа для ЭВМ зарегистрирована как РИД (№ 2019664674 от 12.11.2019, авторы Деревицкий И.В., Иванова Ю.Д.);

- библиотека управления системой предсказательных моделей для построения персонифицированных прогнозов развития заболеваний и выработки рекомендаций в форме REST-сервисов и Web-приложений, репозиторий https://github.com/iterater/med-model-service программа для ЭВМ зарегистрирована как РИД (№ 2020613597 от 18.03.2020, авторы Ковальчук С.В., Функнер А.А., Деревицкий И.В., Балабаева К.Ю.).

Внедрение результатов работы. Результаты исследования использовались в двух международных и девятнадцати Российских исследовательских проектах. Также практические результаты исследования внедрены в работу ФГБНУ «Институт экспериментальной медицины», о чем

свидетельствует приложенный акт внедрения. Международные проекты:

1. «Intelligent Technologies for Improving the Quality of Medical Services for Chronic Disease Management in Large-Scale Distributed Telemedicine Systems» в рамках сотрудничества с Малазийским исследовательским центром («University of Malaysia») при финансовой поддержке Министерства науки и высшего образования Российской Федерации, соглашение №2 075-15-2021-1013 от 08.10.2021. Работа соискателя над проектом проходила в период 01.01.2020-01.01.2021.

2. «Network Modeling Of Complex Medical Systems» в рамках сотрудничества с Австрийским исследовательским центром Pro mente Forschung (г. Вена) и научно-исследовательским центром «Complexity Science Hub» (г. Вена), участие соискателя финансировалось грантом Президента и правительства для обучения студентов за рубежом (конкурс 2021-2022). Работа соискателя над проектом проходила в период 01.09.2021-01.02.2022.

Также результаты исследования использовались в девятнадцати отечественных научно-исследовательских проектах, три последних проекта, в которых использовались результаты:

1. РФФИ №20-31-90135 (конкурс «Аспиранты»), тема исследования «Автоматизация и персонализация диагностики и лечения на основе предсказательного моделирования индивидуальных траекторий будущего течения болезни на примере сахарного диабета второго типа» (01.01.2020-01.01.2021);

2. Проект «Надежный и логически прозрачный искусственный интеллект: технология, верификация и применение при социально-значимых и инфекционных заболеваниях», выполняемый в рамках гранта Министерства высшего образования РФ № 075-15-2020-808 от 05.10.2020 г. (05.10.2020-01.01.2023);

3. РНФ ЦО НТО №19-11-00326-2019 и РНФ ЦО НТО №19-11-00326-

результаты использовались в рамках 4-го этапа проекта «Прототипирование ЦО на примере избранных предметных областей» (01.01.2019-01.01.2021). Положения, выносимые на защиту:

1. Метод обучения адаптивных прогнозных моделей на нестационарных потоковых данных на основе алгоритма извлечения знаний и закономерностей в виде динамического графа эволюции изучаемого процесса для решения проблемы дрейфа концепций, отличающийся динамическим использованием знаний из наблюдений с ограничениями разметки (отсутствием, задержкой меток).

2. Метод поддержки принятия решений на основе прогнозов адаптивных алгоритмов машинного обучения для оптимизации многомасштабного процесса с многокомпонентными исходами на специальных нестационарных потоковых данных, отличающийся использованием графа эволюции изучаемого процесса для выявления дрейфа концепций.

Соответствие паспорту специальности 1.2.1 (в порядке степени соответствия):

- Пункт 5. Методы и технологии поиска, приобретения и использования знаний и закономерностей, в том числе -эмпирических, в системах искусственного интеллекта. Исследования в области совместного применения методов машинного обучения и классического математического моделирования. В части разработки метода и алгоритма извлечения знаний и закономерностей для обучения адаптивных моделей машинного обучения на нестационарных потоковых данных.

- Пункт 6. Формализация и постановка задач управления и (поддержки) принятия решений на основе систем искусственного интеллекта и машинного обучения. Разработка систем управления с использованием систем искусственного интеллекта и методов

машинного обучения. В части разработки метода поддержки принятия решений на основе прогнозных адаптивных алгоритмов машинного обучения для специальных нестационарных потоковых данных.

Степень достоверности и апробация результатов.

Степень достоверности результатов подтверждается обзором значимых и актуальных работ в области исследования, апробацией предлагаемых теоретических подходов, методов и алгоритмов на прикладных задачах. Также предлагаемые алгоритмы проходили валидацию предметными экспертами, в итоге валидации разработанные алгоритмы были внедрены в работу клиники «Институт экспериментальной медицины», что подтверждает прилагаемый акт внедрения.

Результаты исследования были представлены на шести международных и шести всероссийских конференциях.

Международные конференции:

1. 18th International Conference on Wearable, Micro & Nano technologies for

Personalized Health, Генуя, 2021;

2. The International Conference on Computational Science, Краков, 2021;

3. Conference on Complex Systems, Лион, 2020;

4. 17th International Conference on Wearable, Micro & Nano technologies for

Personalized Health, Генуя, 2020;

5. The International Conference on Computational Science, Амстердам, 2020;

6. 16th International Conference on Wearable, Micro & Nano technologies for

Personalized Health, Генуя, 2019.

Формальные результаты включают два свидетельства о регистрации программ для ЭВМ, двадцать статей в рецензируемых научных изданиях, входящих в системы цитирования Scopus и Web of Science, включая три статьи в журналах ранга Q1 и одно внедрение.

Личный вклад соискателя в работах, выполняемых в соавторстве, заключается в разработке концепций предлагаемых методов, подходов и

алгоритмов и проведении экспериментов по их апробации на предметных задачах.

Ковальчук С. В. во всех работах, выполненных в соавторстве, участвовал в постановке задач и разработке концепций решений, обеспечивал доступ к данным и предметным экспертам для консультаций и валидации полученных при решении предметных задач результатов.

Содержание диссертационной работы. Во введении сформулированы цель и задачи исследования, обоснованы актуальность и научная новизна работы. Кроме того, во введении перечислены основные выносимые на защиту положения диссертационной работы и представлены теоретическая и практическая значимость. В первой главе представлен аналитический обзор существующих подходов к решению задач диссертационного исследования, показаны недостатки существующих подходов. Во второй главе приведено описание метода и алгоритма извлечения и применения знаний из специальных потоковых нестационарных данных для учета дрейфа концепций при обучении адаптивных алгоритмов машинного обучения. В третьей главе приведено описание метода и алгоритма поддержки принятия решений на нестационарных потоковых данных. В четвертой главе изложены технические детали реализации разработанной платформы для обучения и применения методов и алгоритмов, разработанных во второй и третьей главе на реальных данных.

Данная работа выполнена при поддержке РФФИ в рамках работы над научным проектом № 20-31-90135.

Заключение диссертации по теме «Другие cпециальности», Деревицкий Илья Владиславович

Заключение

В ходе выполнения диссертационного исследования были получены следующие результаты:

- Разработан инкрементный метод обучения адаптивных прогнозных моделей на специальных нестационарных потоковых данных на основе алгоритма извлечения знаний в виде динамического графа эволюции изучаемого процесса для решения проблемы дрейфа концепций. Данные метод и алгоритм описан во второй главе.

- Разработан метод и алгоритм поддержки принятия решений на основе прогнозов адаптивных алгоритмов машинного обучения для оптимизации многомасштабного процесса с многокомпонентными исходами на специальных нестационарных потоковых данных. Данный метод и алгоритм описаны в третьей главе.

- Спроектирована и разработана предметно-независимая платформа для обучения алгоритмов поддержки принятия решений в задачах оптимизации многокомпонентных исходов многомасштабных процессов на потоковые нестационарные данные и проведения экспериментов по апробации обученных алгоритмов на реальных данных.

Также были проведены экспериментальные исследования применимости разработанных методов и алгоритмов для предметных задач медицинской сферы, таких как ППР в процессах стационарного лечения COVID-19 для Российской популяции, амбулаторного лечения ментальных заболеваний в Австрийской популяции и амбулаторно-стационарного лечения сахарного диабета 2 типа.

Результаты экспериментальных исследований на реальных данных показывают, что предлагаемый метод обучения прогнозных моделей на специальных нестационарных потоковых данных для прогноза исходов изучаемого многомасштабного процесса с многокомпонентными исходами, описанный во второй главе, и являющийся первым положением,

выносимым на защиту, превосходит лучший из аналогов на 2-10% в зависимости от предметного сценария и выбранной метрики точности модели. Эксперименты показаны в практической части главы. Предлагаемый метод и алгоритм поддержки принятия решений на нестационарном потоке наборов наблюдений, описанный в третьей главе и являющийся вторым положением, выносимым на защиту, показал превосходство над лучшим из аналогов на 23-55% в зависимости от предметного сценария. Соответствующие эксперименты описаны во второй части третьей главы.

Полученные практические результаты исследования включают разработанный веб-сервис для поддержки принятия решений при назначении лечения пациентам Российской популяции с COVID-19 (http://statin-calc.onti.actcognitive.org/), веб-сервис для подбора оптимальной терапии лечения ментальных заболеваний пациентов Австрийской популяции и алгоритм для подбора терапии хронического сахарного диабета второго типа, подробно описанный в работах [29,120,121]. Данные результаты соответствуют пункту 20в документа «Стратегия научно-технологического развития Российской Федерации». Пункт 20. в) -переход к персонализированной медицине, высокотехнологичному здравоохранению и технологиям здоровъесбережения, в том числе за счет рационального применения лекарственных препаратов (прежде всего антибактериальных).

Эксперименты по апробации и внедрению. Кроме валидации на основе расчета прогнозных метрик для разработанных алгоритмов, методов и моделей использовалась валидация на основе опросов предметных экспертов. Для алгоритмов, разработанных при решении задачи подбора терапии сахарного диабета второго типа (решаемой в третьей главе с использованием предлагаемых методов и алгоритмов) был проведен опрос с участием девятнадцати практикующих врачей из различных медицинских учреждений Санкт-Петербурга. В набор учреждений - мест работы опрашиваемых врачей входили Медицинский научный центр ФНБНУ

«Институт Экспериментальной Медицины», НИМЦ им. В. А. Алмазова, Поликлиника №34 Петроградского района и другие. Из имеющихся реальных случаев лечения для каждого опрашиваемого врача выбиралось 30-40 случайных случаев. Для каждого случая врачу был показан прогноз алгоритма с интерпретацией, далее врачу было предложено оценить прогноз по пятибалльной шкале Ликерта в контексте согласия с прогнозом (1 - абсолютно не согласен, 5 - полностью согласен) и готовности использовать алгоритм в работе (1 - абсолютно точно не буду использовать, 5 - точно буду использовать). Полученные средние оценки- согласие с прогнозом 4.05 (95% ДИ 3.78, 4.32), готовность использовать 3.8 (95% 3.05, 4.80), результаты опроса врачей опубликованы в статье Q1 в 2021 году [31].

Связанные работы с апробацией:

- опубликовано 20 Scopus статьей по теме исследования, включая 3 статьи в журналах Q1 и 2 в журнале Q2;

- получено 2 свидетельства о регистрации программы для ЭВМ;

- также выполнено внедрение практических результатов исследования в работу Медицинского научного центра ФНБНУ «Институт Экспериментальной Медицины».

Список литературы диссертационного исследования кандидат наук Деревицкий Илья Владиславович, 2022 год

Список публикаций по теме диссертации

1. Derevitskii I. V., Savitskay D. A., Babenko A. Y., Kovalchuk S. V.. Hybrid predictive modelling: Thyrotoxic atrial fibrillation case // J Comput Sci. 2021. Vol. 51. (Q1)

2. Kovalchuk S. V., Kopanitsa G. D., Derevitskii I.V., Savitskaya D.A., Three-stage intelligent support of clinical decision making for higher trust, validity, and explainability // J Biomed Inform. Academic Press Inc., 2022. Vol. 127.

(Q1)

3. Pavlovskii V. V., Derevitskii I. V., Kovalchuk S. V. Hybrid genetic predictive modeling for finding optimal multipurpose multicomponent therapy // J Comput Sci. Elsevier, 2022. Vol. 63. P. 101772. (Q1)

4. Derevitskii I.V., Mramorov N. D., Usoltsev S. D., Kovalchuk S. V.. Hybrid Bayesian Network-Based Modeling: COVID-19-Pneumonia Case // J Pers Med. J Pers Med, 2022. Vol. 12, № 8. (Q2)

5. Usoltsev S.D., Derevitskii I. V. Hybrid Modeling for Predicting Inpatient Treatment Outcome: COVID-19 Case // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer Science and Business Media Deutschland GmbH, 2022. Vol. 13352 LNCS. P. 106-112.

6. Mramorov N., Derevitskii I., Kovalchuk S. Predictive Modeling of COVID and non-COVID Pneumonia Trajectories // Stud Health Technol Inform. Stud Health Technol Inform, 2021. Vol. 285. P. 112-117.

7. Kopanitsa G.D., Derevitskii I. V., Savitskaya A. D., Kovalchuk S.V.. Assessing acceptance level of a hybrid clinical decision support systems // Studies in Health Technology and Informatics. 2021. Vol. 287. P. 18-22.

8. Pavlovskii V. V., Derevitskii I. V., Savitskaya D.A. Probabilistic graphical models for finding optimal multipurpose multicomponent therapy // Procedia Computer Science. 2021. Vol. 193. P. 382-392.

9. Pavlovskii V. V., Derevitskii I. V., Kovalchuk S. V. Hybrid Predictive Modelling for Finding Optimal Multipurpose Multicomponent Therapy // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2021. Vol. 12744 LNCS. P. 479-493.

10.Derevitskii I., Funkner A., Metsker O., Kovalchuk S. Graph-Based Predictive Modelling of Chronic Disease Development: Type 2 DM Case Study. // Stud Health Technol Inform. 2019. Vol. 261. P. 150-155.

11.Derevitskii I. V., Kovalchuk S. V. Analysis course of the disease of type 2 diabetes patients using Markov chains and clustering methods. // Procedia Comput Sci. Elsevier B.V., 2019. Vol. 156. P. 114-122.

12.Бабенко А. Ю., Матвеев Г. А., Алексеенко Т. И., Деревицкий И. В., Кокина М. А., Шляхто Е. В.. Взаимосвязи компонентов метаболического синдрома с уровнем гормонов, вовлеченных в регуляцию метаболизма жировой ткани // Артериальная гипертензия.

All-Russian Public Organization Antihypertensive League, 2019. Vol. 25, № 6. P. 639-652.

13.Derevitskii I. V., Kovalchuk S. V. Machine Learning-Based Factor Analysis of Carbohydrate Metabolism Compensation for TDM2 Patients // Stud Health Technol Inform. Stud Health Technol Inform, 2020. Vol. 273. P. 123-128.

14.Derevitskii I. V. et al. Predictive Modelling of Weight-Loss-Therapy Results for Patients with Obesity. // Procedia Computer Science. 2020.

15.Derevitskii I. V., Kovalchuk S. V. Machine Learning-Based Predictive Modeling of Complications of Chronic Diabetes. // Procedia Comput Sci. Elsevier, 2020. Vol. 178. P. 274-283.

16.Derevitskii I. V. et al. The atrial fibrillation risk score for hyperthyroidism patients // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer Science and Business Media Deutschland GmbH, 2020. Vol. 12140 LNCS. P. 495-508.

17.Ponomartseva D.A. et al. Prediction model for thyrotoxic atrial fibrillation: a retrospective study // BMC Endocr Disord. BMC Endocr Disord, 2021. Vol. 21, № 1.

18.Zhukova I. V., Derevitskii I. V., Matveev G. A., Golikova T. I., Babenko A. Y.. Predictive Modeling for Decision Support in the Tasks of Selecting the Drug for Obesity Treatment // Procedia Comput Sci. Elsevier, 2021. Vol. 193. P. 371-381.

19.Kovalchuk S. V., Funkner A. A., Balabaeva K. Y., Derevitskii I. V., Fonin V.V., Bukhanov N. V.. Towards Modeling of Information Processing within Business-Processes of Service-Providing Organizations.

20.Irtyuga O., Kopanitsa G., Kostareva A., Metsker O., Uspensky V., Mikhail G., Faggian G., Sefieva G., Derevitskii I., Malashicheva A., Shlyakhto E. Application of Machine Learning Methods to Analyze Occurrence and Clinical Features of Ascending Aortic Dilatation in Patients with and without Bicuspid Aortic Valve // J Pers Med. Multidisciplinary Digital Publishing Institute (MDPI), 2022. Vol. 12, № 5. P. 12. (Q2)

Список литературы

1. Gam J. Knowledge discovery from data streams // Knowledge Discovery from Data Streams. CRC Press, 2010. P. 1-235.

2. Souza V.M.A. et al. Challenges in Benchmarking Stream Learning Algorithms with Real-world Data // Data Min Knowl Discov. Springer, 2020. Vol. 34, № 6. P. 1805-1858.

3. Hoens R. et al. Learning from streaming data with concept drift and imbalance: an overview // Progress in Artificial Intelligence 2011 1:1. Springer, 2012. Vol. 1, № 1. P. 89-101.

4. Khamassi I. et al. A New Combination of Diversity Techniques in Ensemble Classifiers for Handling Complex Concept Drift. 2019. P. 39-61.

5. Zliobaitè I. Learning under Concept Drift: an Overview. 2010.

6. Gama J. et al. Learning with drift detection // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer Verlag, 2004. Vol. 3171. P. 286-295.

7. Cheng Y. et al. Deep Nearest Class Mean Model for Incremental Odor Classification // IEEE Trans Instrum Meas. Institute of Electrical and Electronics Engineers Inc., 2018. Vol. 68, № 4. P. 952-962.

8. Barddal J.P. et al. Lessons learned from data stream classification applied to credit scoring // Expert Syst Appl. Pergamon, 2020. Vol. 162. P. 113899.

9. Zang W. et al. Comparative study between incremental and ensemble learning on data streams: Case study // J Big Data. SpringerOpen, 2014. Vol. 1, № 1. P. 1-16.

10. Ortiz Diaz A. et al. Fast adapting ensemble: A new algorithm for mining data streams with concept drift // Scientific World Journal. Hindawi Publishing Corporation, 2015. Vol. 2015.

11. Sayed-Mouchaweh M. Learning from Data Streams in Evolving Environments : Methods and Applications.

12. Kuncheva L.I., Whitaker C.J. Measures of Diversity in Classifier Ensembles and Their Relationship with the Ensemble Accuracy // Machine Learning 2003 51:2. Springer, 2003. Vol. 51, № 2. P. 181207.

13. Nguyen H.L. et al. Heterogeneous ensemble for feature drifts in data streams // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2012. Vol. 7301 LNAI, № PART 2. P. 1-12.

14. (PDF) A Note on the Utility of Incremental Learning [Electronic resource]. URL:

https : //www.researchgate.net/publication/2940797_A_Note_on_the_Ut ility_of_Incremental_Learning (accessed: 09.10.2022).

15. Montiel J. et al. Adaptive XGBoost for Evolving Data Streams. 2020.

16. Souza V., Pinho T., Batista G. Evaluating stream classifiers with delayed labels information // Proceedings - 2018 Brazilian Conference on Intelligent Systems, BRACIS 2018. Institute of Electrical and Electronics Engineers Inc., 2018. P. 408-413.

17. Wang Y. et al. Time-Dependent Graphs: Definitions, Applications, and Algorithms // Data Sci Eng. Springer, 2019. Vol. 4, № 4. P. 352-366.

18. Ахматович К.А., Игоревна С.Л., Р.А. К. Некоторые особенности применения динамических графов для конструирования алгоритмов взаимодействия подвижных абонентов // Известия Южного федерального университета. Технические науки. Федеральное государственное автономное образовательное учреждение высшего образования «Южный федеральный университет», 2015. № 1 (162).

19. Grzenda M., Gomes H.M., Bifet A. Delayed labelling evaluation for data streams // Data Min Knowl Discov. Springer, 2020. Vol. 34, № 5. P. 1237-1266.

20. Gomes H.M. et al. A Survey on Semi-Supervised Learning for Delayed Partially Labelled Data Streams // ACM Comput Surv. Association for Computing Machinery (ACM), 2021.

21. Sculley D. Web-Scale K-Means Clustering.

22. Casella G., Berger R.L., Santana D. Statistical inference-Solutions Manual // Statistical Inference. 2002. P. 195.

23. Shamout F., Zhu T., Clifton D.A. Machine Learning for Clinical Outcome Prediction // IEEE Rev Biomed Eng. IEEE Rev Biomed Eng, 2021. Vol. 14. P. 116-126.

24. Nestor B. et al. Feature Robustness in Non-stationary Health Records: Caveats to Deployable Model Performance in Common Clinical Machine Learning Tasks. 2019.

25. Bifet A., Gavalda R. Learning from time-changing data with adaptive windowing // Proceedings of the 7th SIAM International Conference on Data Mining. Society for Industrial and Applied Mathematics Publications, 2007. P. 443-448.

26. Gomes H.M., Read J., Bifet A. Streaming random patches for evolving data stream classification // Proceedings - IEEE International Conference on Data Mining, ICDM. Institute of Electrical and Electronics Engineers Inc., 2019. Vol. 2019-November. P. 240-249.

27. Buttenschen H.N. et al. Comparison of the clinical presentation across two waves of COVID-19: a retrospective cohort study // BMC Infect Dis. BioMed Central Ltd, 2022. Vol. 22, № 1. P. 1-11.

28. Satopaa V. et al. Finding a "kneedle" in a haystack: Detecting knee points in system behavior // Proc Int Conf Distrib Comput Syst. 2011. P. 166-171.

29. Pavlovskii V. v., Derevitskii I. v., Savitskaya D.A. Probabilistic graphical models for finding optimal multipurpose multicomponent therapy // Procedia Computer Science. 2021. Vol. 193. P. 382-392.

30

31

32

33

34

35

36

37

38

39

40

41

42

43

bnlearn ■ PyPI [Electronic resource]. URL: https://pypi.org/project/bnlearn/ (accessed: 13.10.2022). Kopanitsa G. et al. Assessing acceptance level of a hybrid clinical decision support systems // Studies in Health Technology and Informatics. 2021. Vol. 287. P. 18-22.

Zang W. et al. Comparative study between incremental and ensemble learning on data streams: Case study // J Big Data. SpringerOpen, 2014. Vol. 1, № 1. P. 1-16.

Sarnovsky M., Kolarik M. Classification of the drifting data streams

using heterogeneous diversified dynamic class-weighted ensemble //

PeerJ Comput Sci. PeerJ Inc., 2021. Vol. 7. P. 1-31.

Zliobaite I., Pechenizkiy M., Gama J. An Overview of Concept Drift

Applications // Studies in Big Data. Springer Science and Business

Media Deutschland GmbH, 2016. Vol. 16. P. 91-114.

Liu S. et al. Concept drift detection for data stream learning based on

angle optimized global embedding and principal component analysis in

sensor networks // Computers & Electrical Engineering. Pergamon,

2017. Vol. 58. P. 327-336.

Mukkavilli S.K., Shetty S. Mining concept drifting network traffic in cloud computing environments // Proceedings - 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing, CCGrid 2012. 2012. P. 721-722.

Lin C.C. et al. Concept drift detection and adaption in big imbalance industrial IoT data using an ensemble learning method of offline classifiers // IEEE Access. Institute of Electrical and Electronics Engineers Inc., 2019. Vol. 7. P. 56198-56207. Zenisek J., Holzinger F., Affenzeller M. Machine learning based concept drift detection for predictive maintenance // Comput Ind Eng. Pergamon, 2019. Vol. 137. P. 106031.

Black M., Hickey R. Learning classification rules for telecom customer call data under concept drift // Soft Computing 2003 8:2. Springer, 2003. Vol. 8, № 2. P. 102-108.

Chiang R.D., Wang Y.H., Chu H.C. Prediction of members' return visit rates using a time factor // Electron Commer Res Appl. Elsevier, 2013. Vol. 12, № 5. P. 362-371.

Lo Y.Y. et al. Temporal Matrix Factorization for Tracking Concept Drift in Individual User Preferences // IEEE Trans Comput Soc Syst. Institute of Electrical and Electronics Engineers Inc., 2018. Vol. 5, № 1. P. 156-168.

Stiglic G., Kokol P. Interpretability of sudden concept drift in medical informatics domain // Proceedings - IEEE International Conference on Data Mining, ICDM. 2011. P. 609-613.

Tsymbal A. et al. Handling local concept drift with dynamic integration of classifiers: Domain of antibiotic resistance in nosocomial infections // Proc IEEE Symp Comput Based Med Syst. 2006. Vol. 2006. P. 679-

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

Lifna C.S., Vijayalakshmi M. Identifying Concept-drift in Twitter Streams // Procedía Comput Sci. Elsevier, 2015. Vol. 45, № C. P. 8694.

Li C. te et al. Exploiting concept drift to predict popularity of social multimedia in microblogs // Inf Sci (N Y). Elsevier, 2016. Vol. 339. P. 310-331.

Ruano-Ordás D., Fdez-Riverola F., Méndez J.R. Concept drift in e-mail datasets: An empirical study with practical implications // Inf Sci (N Y). Elsevier, 2018. Vol. 428. P. 120-135.

Ditzler G. et al. Learning in Nonstationary Environments: A Survey // IEEE Comput Intell Mag. Institute of Electrical and Electronics Engineers Inc., 2015. Vol. 10, № 4. P. 12-25. Krawczyk B. et al. Ensemble learning for data stream analysis: A survey // Information Fusion. Elsevier, 2017. Vol. 37. P. 132-156. Basseville M., Nikiforov I. v. Detection of Abrupt Changes - Theory and Application. Prentice Hall, Inc. -http://people.irisa.fr/Michele.Basseville/kniga/, 1993. P. 550. Alippi C., Roveri M. Adaptive classifiers in stationary conditions // IEEE International Conference on Neural Networks - Conference Proceedings. 2007. P. 1008-1013.

Goldenberg I., Webb G.I. Survey of distance measures for quantifying concept drift and shift in numeric data // Knowl Inf Syst. Springer London, 2019. Vol. 60, № 2. P. 591-615.

Read J. et al. Batch-incremental versus instance-incremental learning in dynamic and evolving data // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer, Berlin, Heidelberg, 2012. Vol. 7619 LNCS. P. 313-323.

Baena-Garc M. et al. Early Drift Detection Method // undefined. 2005. Sagi O., Rokach L. Ensemble learning: A survey // Wiley Interdiscip Rev Data Min Knowl Discov. Wiley-Blackwell, 2018. Vol. 8, № 4. P. e1249.

Verdecia-Cabrera A., Blanco I.F., Carvalho A.C.P.L.F. An online adaptive classifier ensemble for mining non-stationary data streams // Intelligent Data Analysis. IOS Press, 2018. Vol. 22, № 4. P. 787-806. Frías-Blanco I. et al. Fast adaptive stacking of ensembles // Proceedings of the ACM Symposium on Applied Computing. Association for Computing Machinery, 2016. Vol. 04-08-April-2016. P. 929-934. Wang B., Pineau J. Online Ensemble Learning for Imbalanced Data Streams. 2013.

Wang B., Pineau J. Online Bagging and Boosting for Imbalanced Data Streams // IEEE Trans Knowl Data Eng. IEEE Computer Society, 2016. Vol. 28, № 12. P. 3353-3366.

Oza N.C., Russell S.J. Online Bagging and Boosting. PMLR, 2001. P.

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

229-236.

Bifet A. et al. New ensemble methods for evolving data streams // Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2009. P. 139-147. Bifet A., Holmes G., Pfahringer B. Leveraging Bagging for Evolving Data Streams.

Bifet A. Adaptive stream mining: Pattern learning and mining from evolving data streams // Frontiers in Artificial Intelligence and Applications. IOS Press, 2010. Vol. 207. P. 1-236. Olorunnimbe M.K., Viktor H.L., Paquet E. Dynamic adaptation of online ensembles for drifting data streams // J Intell Inf Syst. Springer New York LLC, 2018. Vol. 50, № 2. P. 291-313. Junior B., Nicoletti M. do C. An iterative boosting-based ensemble for streaming data classification // Information Fusion. Elsevier, 2019. Vol. 45. P. 66-78.

Bifet A., Holmes G., Pfahringer B. Leveraging bagging for evolving data streams // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer, Berlin, Heidelberg, 2010. Vol. 6321 LNAI, № PART 1. P. 135-150.

Verdecia-Cabrera A. et al. Classifier ensemble algorithm for learning from non-stationary data stream // undefined. 2019. Hunter J.S. The Exponentially Weighted Moving Average // https://doi.org/10.1080/00224065.1986.11979014. Taylor & Francis, 2018. Vol. 18, № 4. P. 203-210.

Verdecia-Cabrera A. et al. Classifier ensemble algorithm for learning from non-stationary data stream // undefined. 2019. Frías-Blanco I. et al. Online and Non-Parametric Drift Detection Methods Based on Hoeffding's Bounds // undefined. IEEE Computer Society, 2015. Vol. 27, № 3. P. 810-823.

Brzezinski D., Stefanowski J. Accuracy updated ensemble for data streams with concept drift // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer, Berlin, Heidelberg, 2011. Vol. 6679 LNAI, № PART 2. P. 155-163.

Kolter J.Z., Maloof M.A. Dynamic Weighted Majority: An Ensemble Method for Drifting Concepts // Journal of Machine Learning Research. 2007. Vol. 8, № 91. P. 2755-2790.

Junior B., Nicoletti M. do C. An iterative boosting-based ensemble for streaming data classification // Information Fusion. Elsevier, 2019. Vol. 45. P. 66-78.

Cervantes A. et al. Learning from non-stationary data using a growing network of prototypes // 2013 IEEE Congress on Evolutionary Computation, CEC 2013. 2013. P. 2634-2641.

Yeon K. et al. Model Averaging via Penalized Regression for Tracking

75

76

77

78

79

80

81

82

83

84

85

86

87

88

Concept Drift // https://doi.org/10.1198/jcgs.2010.08104. Taylor & Francis, 2012. Vol. 19, № 2. P. 457-473.

Nick Street W., Kim Y.S. A streaming ensemble algorithm (SEA) for large-scale classification // Proceedings of the Seventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2001. P. 377-382.

Gomes H.M. et al. Adaptive random forests for evolving data stream classification // Mach Learn. Springer New York LLC, 2017. Vol. 106, № 9-10. P. 1469-1495.

Montiel J. et al. Adaptive XGBoost for Evolving Data Streams // Proceedings of the International Joint Conference on Neural Networks. Institute of Electrical and Electronics Engineers Inc., 2020. Luong A.V. et al. Streaming Active Deep Forest for Evolving Data Stream Classification. 2020.

Marrón D. et al. Resource-aware Elastic Swap Random Forest for Evolving Data Streams. 2019.

Fernandez-Aleman J.L. et al. Homogeneous and heterogeneous ensemble classification methods in diabetes disease: a review // Annu Int Conf IEEE Eng Med Biol Soc. Annu Int Conf IEEE Eng Med Biol Soc, 2019. Vol. 2019. P. 3956-3959.

Domingos P., Hulten G. Mining high-speed data streams // Proceeding of the Sixth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Association for Computing Machinery (ACM), 2000. P. 71-80.

Hulten G., Spencer L., Domingos P. Mining time-changing data streams // Proceedings of the Seventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Association for Computing Machinery (ACM), 2001. P. 97-106. Chen H. et al. A simplified learning algorithm of incremental Bayesian // 2009 WRI World Congress on Computer Science and Information Engineering, CSIE 2009. 2009. Vol. 5. P. 126-128. Zheng J. et al. An online incremental learning support vector machine for large-scale data // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer, Berlin, Heidelberg, 2010. Vol. 6353 LNCS, № PART 2. P. 76-81.

Leo J., Kalita J. Incremental Deep Neural Network Learning using Classification Confidence Thresholding // IEEE Trans Neural Netw Learn Syst. Institute of Electrical and Electronics Engineers Inc., 2021. Kaggle: Your Home for Data Science [Electronic resource]. URL: https://www.kaggle.com/ (accessed: 10.10.2022). Wang B., Pineau J. Online Bagging and Boosting for Imbalanced Data Streams // IEEE Trans Knowl Data Eng. IEEE Computer Society, 2016. Vol. 28, № 12. P. 3353-3366.

Khaledi A. et al. Predicting antimicrobial resistance in Pseudomonas

aeruginosa with machine learning-enabled molecular diagnostics // EMBO Mol Med. 2020.

89. Lu J. et al. Learning under Concept Drift: A Review // IEEE Trans Knowl Data Eng. IEEE Computer Society, 2019. Vol. 31, № 12. P. 2346-2363.

90. KremplGeorg et al. Open challenges for data stream mining research // ACM SIGKDD Explorations Newsletter. ACM PUB27 New York, NY, USA , 2014. Vol. 16, № 1. P. 1-10.

91. Lu J. et al. Multi-Objective Group Decision Making. IMPERIAL COLLEGE PRESS, 2007. Vol. 6.

92. Menden M.P. et al. Machine Learning Prediction of Cancer Cell Sensitivity to Drugs Based on Genomic and Chemical Properties // PLoS One. 2013.

93. Barbieri C. et al. A new machine learning approach for predicting the response to anemia treatment in a large cohort of End Stage Renal Disease patients undergoing dialysis // Comput Biol Med. 2015.

94. Bajor J.M., Lasko T.A. Predicting Medications from Diagnostic Codes with Recurrent Neural Networks. 2022.

95. Ben-David A., Frank E. Accuracy of machine learning models versus "hand crafted" expert systems - A credit scoring case study // Expert Syst Appl. Pergamon, 2009. Vol. 36, № 3. P. 5264-5271.

96. (2) (PDF) Modelling Infectious Diseases Using Markov Chain [Electronic resource]. URL:

https://www.researchgate.net/publication/343948577_Modelling_Infect ious_Diseases_Using_Markov_Chain (accessed: 25.09.2022).

97. Asena T. et al. Semi-Markov Modelling of HIV/AIDS Disease Progression. 2021.

98. Usoltsev S.D., Derevitskii I. v. Hybrid Modeling for Predicting Inpatient Treatment Outcome: COVID-19 Case // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer Science and Business Media Deutschland GmbH, 2022. Vol. 13352 LNCS. P. 106-112.

99. Marler R.T., Arora J.S. Survey of multi-objective optimization methods for engineering // Structural and Multidisciplinary Optimization 2004 26:6. Springer, 2004. Vol. 26, № 6. P. 369-395.

100. Abakarov A., Sushkov Y., Mascheroni R.H. A multi-criteria optimization and decision-making approach for improvement of food engineering processes // International Journal of Food Studies. ISEKI Food Association, 2013. Vol. 2, № 1. P. 1-21.

101. Syakur M.A. et al. Integration K-Means Clustering Method and Elbow Method For Identification of The Best Customer Profile Cluster // IOP Conf Ser Mater Sci Eng. IOP Publishing, 2018. Vol. 336, № 1. P. 012017.

102. Shi C. et al. A quantitative discriminant method of elbow point for the

103

104

105

106

107

108

109

110

111

112

113

114

115

116

optimal number of clusters in clustering algorithm // EURASIP J Wirel Commun Netw. Springer Science and Business Media Deutschland GmbH, 2021. Vol. 2021, № 1. P. 1-16.

Liu F., Deng Y. Determine the Number of Unknown Targets in Open World Based on Elbow Method // IEEE Transactions on Fuzzy Systems. Institute of Electrical and Electronics Engineers Inc., 2021. Vol. 29, № 5. P. 986-995.

Bergstra J., Ca J.B., Ca Y.B. Random Search for Hyper-Parameter Optimization Yoshua Bengio // Journal of Machine Learning Research. 2012. Vol. 13. P. 281-305.

Hamerly G., Drake J. Accelerating lloyd's algorithm for k-means clustering // Partitional Clustering Algorithms. Springer International Publishing, 2015. P. 41-78.

river - River [Electronic resource]. URL: https://riverml.xyz/0.14.0/ (accessed: 09.11.2022).

Batch updates for simple statistics [Electronic resource]. URL: https://notmatthancock.github.io/2017/03/23/simple-batch-stat-updates.html (accessed: 09.11.2022).

Uchida T., Yoshida K. Concept Drift in Japanese COVID-19 Infection Data // Procedia Comput Sci. Elsevier, 2022. Vol. 207. P. 380-387. Duckworth C. et al. Using explainable machine learning to characterise data drift and detect emergent health risks for emergency department admissions during COVID-19 // Scientific Reports |. 123AD. Vol. 11. P. 23017.

Chekroud A.M. et al. The promise of machine learning in predicting

treatment outcomes in psychiatry // World Psychiatry. World

Psychiatry, 2021. Vol. 20, № 2. P. 154-170.

Chekroud A.M. et al. Cross-trial prediction of treatment outcome in

depression: a machine learning approach // Lancet Psychiatry. Lancet

Psychiatry, 2016. Vol. 3, № 3. P. 243-250.

Delgadillo J., Salas Duhne P.G. Targeted prescription of cognitive-

behavioral therapy versus person-centered counseling for depression

using a machine learning approach // J Consult Clin Psychol. J Consult

Clin Psychol, 2020. Vol. 88, № 1. P. 14-24.

G S. "Estimating the Dimension of a Model." // The Annals of

Statistics. 1978. Vol. 6, № 2. P. 461-464.

Liu Z., Malone B., Yuan C. Empirical evaluation of scoring functions for Bayesian network model selection. // BMC Bioinformatics. 2012. Vol. 13 Suppl 1.

De Campos C.P., Ji Q. Efficient structure learning of Bayesian networks using constraints // Journal of Machine Learning Research. 2011. Vol. 12. P. 663-689.

Park E., Chang H.J., Nam H.S. A Bayesian network model for predicting post-stroke outcomes with available risk factors // Front Neurol. 2018. Vol. 9, № SEP.

117. Van Der Gaag L.C. et al. Aligning bayesian network classifiers with medical contexts // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2009. Vol. 5632 LNAI. P. 787-801.

118. Tong L.L. et al. Application of Bayesian network and regression method in treatment cost prediction // BMC Med Inform Decis Mak. 2021. Vol. 21, № 1.

119. Package "bnlearn" Type Package Title Bayesian Network Structure Learning, Parameter Learning and Inference. 2022.

120. Pavlovskii V. v., Derevitskii I. v., Kovalchuk S. v. Hybrid genetic predictive modeling for finding optimal multipurpose multicomponent therapy // J Comput Sci. Elsevier, 2022. Vol. 63. P. 101772.

121. Pavlovskii V. v., Derevitskii I. v., Kovalchuk S. v. Hybrid Predictive Modelling for Finding Optimal Multipurpose Multicomponent Therapy // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2021. Vol. 12744 LNCS. P. 479-493.

122. Дедов И.И. et al. «Алгоритмы специализированной медицинской помощи больным сахарным диабетом». Под редакцией И.И. Дедова, М.В. Шестаковой, А.Ю. Майорова. 10-й выпуск // Сахарный диабет. Endocrinology Research Centre, 2022. Vol. 24, № 1S. P. 1-148.