Методы и алгоритмы обработки мультимодальных медицинских данных на основе переноса знаний в системах поддержки принятия клинических решений тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат наук Лобанцев Артём Андреевич

• Лобанцев Артём Андреевич
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Лобанцев Артём Андреевич

Оглавление

РЕФЕРАТ

SYNOPSIS

ВВЕДЕНИЕ

Глава 1. МОДЕЛЬ ПРЕДСТАВЛЕНИЯ МУЛЬТИМОДАЛЬНЫХ МЕДИЦИНСКИХ ДАННЫХ ПРИ ОБУЧЕНИИ НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ ДОМЕННОЙ АДАПТАЦИИ

1.1. Предварительная обработка данных на основе актуального распределения яркости изображений

1.2. Перенос знаний на основе корреляции между изображением и латентным признаковым пространством

Выводы

Глава 2. МОДЕЛЬ ПРЕДСТАВЛЕНИЯ МУЛЬТИМОДАЛЬНЫХ МЕДИЦИНСКИХ ДАННЫХ ПРИ ОБУЧЕНИИ НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ ПЕРЕНОСА ПРЕДСТАВЛЕНИЯ ПРИЗНАКОВ

2.1. Специфика изображений головного мозга и методы их исследований

2.2. Оценка эффективности слияния визуальной и текстовой информации

2.3. Оценка влияния уровня слияния на эффективность классификации

Выводы

Глава 3. МОДЕЛЬ ПРЕДСТАВЛЕНИЯ МУЛЬТИМОДАЛЬНЫХ МЕДИЦИНСКИХ ДАННЫХ ПРИ ОБУЧЕНИИ НЕЙРОННЫХ СЕТЕЙ ПРИ НАЛИЧИИ НЕГАТИВНОГО ПЕРЕНОСА ЗНАНИЙ (NEGATIVE TRANSFER), ПОЗВОЛЯЮЩАЯ УЧЕСТЬ ЕСТЕСТВЕННЫЕ ШУМЫ АППАРАТУРЫ КАК ИСТОЧНИК НЕГАТИВНЫХ ЗНАНИЙ

3.1. Исследование причин появления АE в медицинских изображениях

3.2. Характеристики шумов в высокотехнологичных медицинских изображениях

3.3. Методика эксперимента

3.4. Результаты эксперимента

Выводы

Глава 4. ЭКСПЕРИМЕНТАЛЬНАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ ПРЕДЛОЖЕННЫХ МЕТОДОВ И АЛГОРИТМОВ В РАМКАХ СПКР

4.1. Необходимость и возможность построения СПКР в форме интернет-ресурса

4.2. Формирование требований к СПКР в форме интернет-ресурса

4.3. Бизнес-процесс и системная архитектура

4.4. Экспериментальные исследования разработанной СПКР в форме интернет-ресурса

Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ

Приложение А. Код реализации ContextLSTM для экстрактора признаков отчетов радиолога

Приложение Б. Код реализации Deep CORAL для AlexNet

Приложение В. Примеры карт активации классов для классификатора пневмонии на основе только изображений

Приложение Г. Примеры карт активации классов для классификатора пневмонии с ранним слиянием

Приложение Д. Тексты публикаций

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы обработки мультимодальных медицинских данных на основе переноса знаний в системах поддержки принятия клинических решений»

РЕФЕРАТ

Общая характеристика диссертации

Актуальность темы исследований. Экспертные системы и, в частности, системы поддержки принятия клинических решений (СПКР) занимают важное место в управлении современным здравоохранением. Их развитие в настоящее время базируется на применении методологий искусственного интеллекта, которые разделяются на основанные на знаниях (knowledge-based) и управляемые данными (data-driven). Каждая из них применительно к СПКР имеет свои ограничения. Для построения СПКР, основанных на знаниях, требуется извлечение знаний из эксперта и их последующая формализация - крайне дорогостоящие и ресурсоемкие операции. В свою очередь, выводы СПКР, управляемых данными, недостаточно прозрачны для практикующих врачей. Однако в обоих случаях эффективность СПКР критически зависит от достаточного количества и качества данных, в том числе тех, на которых основаны экспертные знания.

Проблема нехватки данных, особенно остро ощущаемая в области медицинских информационных систем, во многом обусловлена объективными причинами: как правило, имеющиеся данные не могут охватить все многообразие клинических проявлений исследуемого заболевания, и даже доступные данные остаются неиспользуемыми, так как их разметка является ресурсоёмкой процедурой. Например, для заболеваний, связанных с возникновением новообразований, наиболее ценные медицинские данные извлекаются из высокотехнологичных медицинских изображений, в первую очередь КТ-и МРТ-снимков. Однако номенклатура таких заболеваний очень широка, и, соответственно, клинических случаев по каждому из них недостаточно для формирования полноценного набора данных для обучения нейронной сети. Кроме того, для разметки одного снимка требуется от 40 до 60 минут работы высококвалифицированного специалиста - врача-радиолога, и при этом вероятность ошибки разметки доходит до 25% у одного врача. Дополнительные сложности в этот процесс вносят шумы, вариации параметров и артефакты аппаратуры, на которой формируется снимок.

Для решения обозначенной проблемы используются разнотипные подходы, среди которых: использование нейронных сетей архитектурой U-Net и его современных модификаций (V-Net, UNet++, etc.), ориентированных на обработку медицинских наборов данных небольшого объема; поддержка эффективного краудсор-синга среди специалистов по разметке снимков, в том числе создание инструментов фасилитации разметки; параметрическое моделирование высокотехнологичных медицинских изображений посредством генеративных состязательных сетей (GAN). Среди этих подходов перспективно одновременное использование в медицинских информационных системах мультимодальных медицинских данных (например, при классификации пневмонии). Подход направлен на то, чтобы использовать знания, извлекаемые из данных одной модальности, для повышения эффективности решения, принимаемого на основе данных другой модальности.

Мультимодальные медицинские данные определяются как данные об одном и том же явлении (из области медицины), имеющие различную природу и структуру (формат представления), но содержательно дополняющие друг друга. Их номенклатура весьма широка. Например, при диагностике новообразований используются визуальные модальности (медицинские изображения), получаемые такими высокотехнологичными методами, как позитронно-эмиссионная томография, компьютерная томография (КТ), магниторезонансная томография (МРТ). В рамках последней, в свою очередь, существует деление на модальности Т1, Т2 и FLAIR, различающиеся по интенсивности и контрасту изображений одной и той же контролируемой зоны. Параллельно с ними используются текстовые модальности, в том числе данные электронных медицинских карт, заключения врачей-радиологов по анализу снимков, учебники, научные статьи и пр.

В настоящее время совместное использование знаний, извлекаемых из разных модальностей, выполняется через посредство человека-эксперта. Например, лечащий врач, анализируя МРТ-снимок, учитывает текстовое заключение эксперта-радиолога по этому же снимку. В парадигме искусственного интеллекта органичным является автоматизированная интеграция знаний внешнего эксперта в СПКР, что

помогает пользователю (лечащему врачу) принять более эффективное решение о ходе заболевания.

Таким образом, разработка методов совместного использования мультимо-дальных медицинских данных в системах поддержки принятия клинических решений является актуальной проблемой.

Степень разработанности проблемы. Базой для решения указанной проблемы является перенос знаний (Transfer Learning, TL) - подход в машинном обучении, состоящий в применении знаний, полученных при решении одной задачи, к другой, но связанной задаче. Формальное определение TL дается в работах Weiss, K. et al. и Pan, S. et al.

Одним из аспектов проблемы переноса знаний согласно формальному определению является неравенство условных распределений исходных меток над исходными данными и целевых меток над целевыми данными, которое соответствует случаю, когда наборы данных исходного и целевого доменов не сбалансированы относительно решаемой задачи, т.е. содержат существенно различное число объектов разных классов. Это направление хорошо изучено в работах Wong, S., Gatt, A., Stamatescu, V. и McDonnell M. D, и имеет ряд практических решений, в первую очередь аугментация данных.

Следующим аспектом проблемы переноса знаний является несовпадение маргинальных распределений признаков исходного и целевого домена. Он соответствует различию в маргинальных распределениях входных признаков исходного и целевого домена. Этот аспект изучен в работах Shimodara, H. et al., Daumé, H.. Решения с использованием моделей нейронных сетей предложены авторами Sun, В., Saenko, K. и Feng, J. Однако, если оба домена достаточно похожи, эти методы склонны к ухудшению качества работы и требуют дополнительного изучения.

Ещё одним важным аспектом проблемы переноса знаний является неравенство пространства признаков исходного и целевого домена, что в литературе обозначается как перенос представления признаков (feature representation transfer). Базовая идея заключается в преобразовании распределения признаков обоих доменов в общее латентное признаковое пространство более низкой размерности. Этот аспект

исследуется в работах Shi, X., Wang, C., Sorber, L., Duan, L. и Daoude, D. Во многих работах показана эффективность использования весовых коэффициентов промежуточных слоев сверточных нейронных сетей в качестве искомого признакового пространства сниженной размерности.

Для объединения визуальных и текстовых модальностей широко распространено предварительное тегирование изображений текстовыми метками. Такие подходы изучаются в работах Oquab, M., Xie, M., Mikolov, T. Однако для высокотехнологичных медицинских изображений такое тегирование оказывается ресурсоемким и семантически неоднозначным. Альтернативой может служить использование векторных представлений текстовых данных в пространстве более низкой размерности, в том числе с использованием глубоких нейронных сетей, что показано в работах Frome, A., Peters, M. а также Devlin, J.

Прикладной аспект неравенства пространства признаков исходного и целевого домена применительно к нейронным сетям носит название проблемы слияния данных (data fusion) и исследуется в работах Zhe, G. et al., Weng, W.-H., Hsu, T.-M. H.. Однако практические решения проблемы обладают рядом недостатков. Например, в работе Zhang, Z. не приводится обоснование выбора параметров слияния. Следует также отметить высокую ресурсоемкость, вычислительную неустойчивостью и плохую сходимость примененного подхода В работе Luong, M.-T. для организации слияния заявлен механизм внимания на основе контекста, но как именно формируется вектор контекста, в работе не раскрыто.

Аспекты возникновения эффекта негативного переноса (Negative Transfer) при обучении с использованием доменной адаптации исследуется в работах Ge, L., Seah, C., Weiss, K. Однако, изучение причин негативного переноса в различных предметных областях является открытой областью исследований, и робастных методов борьбы с его последствиями еще не создано.

Проведенный анализ литературы показал, что применительно к обработке мультимодальной медицинской информации на основе переноса знаний в СПКР критически важными являются следующие позиции: перенос представления признаков; несовпадение маргинальных распределений признаков исходного и

целевого домена; негативный перенос. В то же время подходы к их решению слабо или совсем не освещены в литературе.

Целью работы является повышение эффективности поддержки принятия клинических решений при использовании мультимодальных медицинских данных.

Задачи работы:

1. Разработать алгоритм обработки мультимодальных медицинских данных в СПКР, отличающийся применением механизма доменной адаптации, позволяющий повысить точность диагностики.

2. Разработать алгоритм обучения нейронных сетей для СПКР, отличающийся использованием переноса признаков, обеспечивающий синтез более компактных структур нейросетей.

3. Разработать метод предобработки мультимодальных медицинских данных для обучения нейронных сетей в СПКР при наличии негативного переноса знаний (Negative Transfer), позволяющий устранить естественные шумы аппаратуры как источник негативных знаний.

4. Разработать программный комплекс для СПКР и экспериментально оценить его влияние на эффективность работы радиолога.

Объектом исследования является перенос знаний в мультимодальных медицинских данных, предметом исследования - методы и алгоритмы обработки мультимодальных медицинских данных на основе переноса знаний в системах поддержки принятия клинических решений.

Методы исследования. В диссертационной работе применялась методы переноса знаний (transfer learning), методы машинного обучения в аспекте глубоких нейронных сетей, в том числе таких, как сверточные нейронные сети (convolutional neural networks, CNN), а также рекуррентные нейронные сети (recurrent neural networks, RNN), методы оптимизации нейронных сетей (feature squeezing, adversarial training, information fusion), методы статистического анализа. При разработке программного комплекса использованы методы объектно-ориентированного программирования.

Научная новизна работы состоит в разработке алгоритма обработки мульти-модальных медицинских данных в системах поддержки клинических решений, от-личающиймся применением механизма доменной адаптации, позволяющий повысить точность диагностики за счет выравнивания распределения признаков во всех слоях нейронной сети; алгоритма обучения нейронных сетей для систем поддержки клинических решений, отличающимся использованием переноса признаков, обеспечивающий адаптацию структурной схемы обучения модели за счет переноса позиции слияния; метода предобработки мультимодальных медицинских данных для обучения нейронных сетей в системах поддержки клинических решений при наличии негативного переноса знаний (Negative Transfer), отличающимся наличием детекции негативного переноса знаний, позволяющий устранить естественные шумы аппаратуры как источник негативных знаний.

Теоретическая значимость работы состоит в развитии методического и алгоритмического аппарата для создания проблемно-ориентированных систем поддержки принятия клинических решений, направленных на управление обработкой мультимодальных медицинских данных на основе переноса знаний.

Практическая значимость результатов диссертации состоит в разработанной СПКР в форме интернет-ресурса. СПКР обеспечивает интерактивное участие врачей, пациентов и студентов/интернов в оценке состояния и диагностике заболеваний пациентов, а встроенные в СПКР инструменты глубокого обучения позволяют врачу получить предварительную комплексную оценку имеющейся клинической информации. Экспериментальные оценки эффективности разработанной СПКР показали высокий уровень удобства использования (юзабилити) и безопасности дистанционной работы с точки зрения защиты персональных медицинских данных. При выполнении типовых сценариев взаимодействия пациентов, врачей и студентов/интернов время выполнения наиболее критичных этапов сценариев сократилось от 20% до 15 раз. Разработанная СПКР в форме интернет-ресурса программно реализована и размещена в домене ИТМО по адресу: http://mcp.itmo.ru

На защиту выносятся следующие положения, обладающие научной новизной:

1. Алгоритм обработки мультимодальных медицинских данных в системах поддержки клинических решений.

2. Алгоритм обучения нейронных сетей для систем поддержки клинических решений.

3. Метод предобработки мультимодальных медицинских данных для обучения нейронных сетей в системах поддержки клинических решений при наличии негативного переноса знаний (Negative Transfer).

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на отечественных и международных конференциях: 24th Conference of Open Innovations Association (FRUCT24 2019, Москва); International Conference on Pattern Recognition and Artificial Intelligence (PRAF19, Wenzhou, China); Multi Conference on Computer Science and Information Systems 2019, EH 2019, Porto. Portugal); 25th Conference of Open Innovations Association (FRUCT, 2019, Хельсинки, Финляндия); 13th International Conference on ICT, Society and Human Beings 2020 (ICT 2020, Zagreb, Croatia).

Достоверность положений и результатов, представленных в диссертации, подтверждается корректной и обоснованной постановкой задач, результатами экспериментальных исследований, проведенных совместно с врачами-клиницистами, а также внедрением полученных результатов в медицинскую практику.

Соответствие паспорту специальности. Работа выполнена в соответствии с паспортом специальности ВАК РФ 05.13.10 «Управление в социальных и экономических системах» по п. 10 «Разработка методов и алгоритмов интеллектуальной поддержки принятия управленческих решений в экономических и социальных системах».

Внедрение результатов работы. Результаты работы использованы в следующих НИОКР: «Разработка алгоритмов распознавания медико-биологических объектов методом переноса знаний с использованием глубоких нейронных сетей»,

грант РНФ №219-19-00696 от 29.04.2019 г.; «Повышение точности диагностики рака легких посредством анализа КТ изображений с использованием технологий глубокого обучения и передачи знаний», НИР №618270 от 01.09.2018 г.; «Повышение точности диагностики рака легких посредством анализа КТ изображений с использованием глубокого обучения, а также интеграции разнородной медицинской информации», НИР №617042 от 13.11.2017г.; «Создание публично-доступного ресурса для увеличения объема свободно-распространяемого информационного обеспечения в области медицины», НИР №619419 от 01.09.2019 г.; «Применение методов Transfer Learning для извлечения, интерпретации и использования разнородной медицинской информации с целью поддержки персонализированной диагностики заболеваний головного мозга», НИР №618276 от 01.09.2018г.; «Методы, модели и технологии искусственного интеллекта в биоинформатике, социальных медиа, киберфизических, биометрических и речевых системах», НИР №718574 от 01.01.2018 г.; получены акты о внедрении результатов работы в практическую деятельность ФГБУ «НМИЦ им. В. А. Алмазова» Минздрава России, а также в практическую деятельность УЗ «Городская детская инфекционная клиническая больница» г. Минска.

Публикации. Основное содержание диссертации опубликовано в 5 статьях, рецензируемых Web of Science или Scopus, и двух охранных документах на результаты интеллектуальной деятельности.

Личный вклад соискателя состоит в планировании работы, в постановке и решения задач диссертационного исследования, в самостоятельном обзоре литературы по изучаемой проблематике, подготовке теоретических моделей, разработке методик экспериментов и проведении экспериментов, в обработке и анализе экспериментальных данных, в оценке эффективности СПКР, в анализе и оформлении результатов в виде публикаций и научных докладов, в написании и оформлении рукописи диссертации. В публикациях (см. «Публикации по теме диссертации») вклад соавторов заключался в следующем:

1. В публикации Lobantsev A. А., Gusarova N. F., Vatian А. S., Kapitonov А. А., Shalyto А. А. «Comparative assessment of text-image fusion models for medical

diagnostics» вклад соискателя заключался в формировании идеи исследования, изучении предыдущих работ по теме исследования, подготовке и проведении экспериментов с применением нейронных сетей в предсказании пневмонии на основе рентгенологических исследований; вклад Гусаровой, Н. заключается в формулировании методики исследования, изучении предыдущих работ по теме исследования; вклад Ватьян, А. заключается в изучении предыдущих работ по теме публикации и подготовке публикации; вклад Капитонова, А. как студента-радиолога заключается в консультировании по медицинским аспектам исследования; вклад Шалыто, А. заключается в консультировании по методике исследования.

2. В публикации Vatian, A., Gusarova, N., Dobrenko, N., Dudorov, S., Nigmatullin, N., Shalyto, A., & Lobantsev, A. «Impact of Adversarial Examples on the Efficiency of Interpretation and Use of Information from High-Tech Medical Images» личный вклад соискателя заключается в подготовке исследования, формировании методики исследования , проведении экспериментов с нейронными сетями и построении выводов на основании экспериментов; вклад Ватьян, А заключается в формулировании направления исследования, изучении предыдущих работ по теме исследования; вклад Гусаровой, Н. заключается в формировании методики исследования; вклад Добренко, Н. заключается в исследовании предыдущих работ по теме исследования и подготовке публикации; вклад Дудорова, С заключался в проведении экспериментов, консультации по методам повышения робастности нейронных сетей к шумам в даных; вклад Нигматуллина, Н и Шалыто, А. заключается в консультации по идейной составляющей исследования, оценке предлагаемых методик исследования.

3. В публикации Vatian, A., Gusarova, N., Dobrenko, N., Klochkov, A., Nigmatullin, N., Lobantsev, A., & Shalyto, A. «Fusing of Medical Images and Reports in Diagnostics of Brain Diseases» вклад соискателя заключается в изучении предыдущих работ по теме исследования, постановке задач исследования, и проведении экспериментов с моделями нейронных сетей, построении выводов по результатам экспериментов; вклад Ватьян, А. заключается в формулировании направления исследования, изучении предыдущих работ по теме, консультации по отдельным аспектам

реализации экспериментов; вклад Гусаровой, Н. заключается в изучении предыдущих работ по теме исследования, консультировании по отдельным аспектам проведения исследования, взаимодействии с врачами-клиницистами для консультаций по отдельным аспектам исследования; вклад Добренко, Н. заключается в подготовке публикации и изучении предыдущих работ по теме исследования; вклад Клочкова, А. заключается в подготовке данных для проведения экспериментов и проведении экспериментов с моделями нейронных сетей, программной реализации эксперимента; вклад Нигматуллина, Н. и Шалыто, А. заключается в консультации по идейной составляющей исследования, оценке предлагаемых методик исследования.

4. В публикации Vatian, A., Lobantsev, A., Gorokhov, N., Mirzayanov, M., Korneev, G., Gusarova, N., & Shalyto, A. «Data processing approaches for lung CT-image analysis under resource constraints» вклад соискателя заключается в формулировании идеи исследования, изучении предыдущих работ по теме исследования, формировании задач исследования, подготовке и проведении экспериментов с моделями нейронных сетей, построении выводов по результатам экспериментов, подготовке публикации; вклад Ватьян, А. заключается в формировании направления исследования, изучении предыдущих работ по теме исследования, подготовке публикации; вклад Горохова, Н., Мирзаянова, М. и Корнеева, Г заключается в проведении экспериментов по поиску лучшего способа нормализации данных; вклад Гу-саровой, Н. и Шалыто, А. заключается в консультировании по методике исследования и предыдущим работам по теме исследования.

5. В публикации Boitsov, V., Vatian, A., Egorov, N., Klochkov, A., Lobantsev, A., Markova, E., Niyogi, R. «Software Tools for Manual Segmentation of Tomography Images Supporting Radiologist's Personal Context» личный вклад соискателя заключается в формулировании идеи исследования, проведении экспериментов по анализу различных подходов применения моделей нейронных сетей в качестве инструмента предварительной разметки медицинских снимков, а также формированию направления исследования создания сервиса разметки медицинских снимков как инструмента, позволяющего повысить эффективность радиолога; вклад Бойцова,

В., Ватьян, А. и Егорова, Н. заключается в формировании методики исследования, взаимодействии с врачами-клиницистами, изучении предыдущих работ по теме исследования, подготовке публикации и доклада на конференцию; вклад Клочкова, А. заключается в проведении экспериментов с моделями нейронных сетей; вклад Марковой, Е. заключается в проведении эксперментов с алгоритмами компьютерного зрения для упрощения разметки медицинских снимков лежащих в основе предлагаемых инструментов разметки; вклад Нийоги, Р. заключается в консультации по зарубежным медицинским практикам исследования медицинских снимков.

На основании проведенного исследования автором: 1. Разработан алгоритм обработки мультимодальных медицинских данных в СПКР, отличающийся применением механизма доменной адаптации, позволяющий повысить точность диагностики за счет выравнивания распределения признаков во всех слоях нейронной сети. 2. Разработан алгоритм обучения нейронных сетей для СПКР, отличающийся использованием переноса признаков, обеспечивающий синтез более компактных структур нейросетей за счет адаптации позиции слияния в структуре сети. 3. Разработан метод предобработки мультимодальных медицинских данных для обучения нейронных сетей в СПКР при наличии негативного переноса знаний (Negative Transfer), отличающийся наличием детекции негативного переноса знаний, позволяющий устранить естественные шумы аппаратуры как источник негативных знаний. 4. Разработана СПКР в форме интернет-ресурса и экспериментально оценена его эффективность.

Структура диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы (143 источника) и пяти Приложений. Содержит 217 страниц текста, включая 18 таблиц и 27 рисунков.

Заключение диссертации по теме «Управление в социальных и экономических системах», Лобанцев Артём Андреевич

ЗАКЛЮЧЕНИЕ

В рамках проведенного диссертационного исследования были получены следующие результаты, обладающие научной и практической значимостью.

Показано, что мультимодальность медицинских данных может проявляться в различных аспектах, в том числе: (а) данные внутри одного домена имеют разные статистические характеристики (например, КТ-изображения, полученные с разнотипного оборудования); (б) шумы высокотехнологичной аппаратуры, имеющие сложную природу, могут вызвать явление, когда отдельные экземпляры данных работают как ложно-положительные, т.е. выступают источниками негативного знания; в частности, нами показано, что на МРТ-изображениях они могут достигать 5% от общего объема датасета; (в) содержательно идентичная информация фиксируются в разных доменах (например, информация о состоянии больного органа - в виде КТ-изображений разных типов и текстовых заключений по ним). В разработанной СПКР реализован ряд подходов, которые более полно используют мульти-модальную информацию при обучении нейронных сетей, выполняющих разметку изображения.

1. В аспекте доменной адаптации (а) предложены алгоритмы, позволяющие учесть особенности распределения яркости КТ-изображений зоны интереса в предварительной обработке, а также интегрировать конкретную функцию потерь в архитектуру сети. В результате требуемая эффективность классификации достигается при обучении сети за значительно меньшее время и на небольшом количестве вычислительных ресурсов. Это снижает требования к объему обучающего датасета для любых визуальных медицинских модальностей, что крайне важно для медицинской практики.

2. В аспекте учёта негативного переноса знаний (б) предложен алгоритм, который при обучении нейросетей на КТ и МРТ изображениях позволяет уменьшить пропорции неверно распознанных объектов с 2% до 0.12% на КТ изображениях и с 2.85% до 0.15% на МРТ изображениях соответственно.

3. В аспекте совместного использования информации из разных доменов (в) предложена методика слияния медицинских изображений и текстовых заключений в единой нейронной сети с использованием адаптации позиции слияния. Это, в частности, позволило улучшить качество диагностики рассеянного склероза на 35% по сравнению с классификацией только на данных одного домена. При этом обучение при раннем слиянии обеспечивает значительно меньшую нагрузку на сеть и, следовательно, более высокое конечное качество обучения в сети. Обучение при позднем слиянии более стабильно, поскольку процесс выбора оптимальных гиперпараметров происходит быстрее и проще, но требует большего объема тренировочных данных.

4. Предложенные в работе методы и алгоритмы использованы в составе разработанной СПКР. Экспериментально показано, что СПКР обеспечивает сокращение времени выполнения наиболее критичных этапов сценариев работы врачей-радиологов от 20% до 15 раз. СПКР реализована в форме интернет-ресурса, размещена в домене ИТМО по адресу http://mcp.itmo.ru и используется в практике работы ФГБУ «Национальный медицинский исследовательский центр имени В.А. Алмазова» Минздрава РФ. Предложенные методы используются в НИР РНФ №2 19-19-00696 «Разработка алгоритмов распознавания медико-биологических объектов методом переноса знания с использованием глубоких нейронных сетей», а также в практической деятельности УЗ «Городская детская инфекционная клиническая больница» г. Минска.

Эффективность и практическая значимость результатов исследования подтверждены актами о внедрении результатов работы в практическую деятельность ФГБУ «Национальный медицинский исследовательский центр имени В.А. Алмазова» Минздрава РФ, НИР РНФ № 19-19-00696 «Разработка алгоритмов распознавания медико-биологических объектов методом переноса знания с использованием глубоких нейронных сетей», а также в практическую деятельность УЗ «Городская детская инфекционная клиническая больница» г. Минска.

Предложенная система рекомендуется к применению в клиниках, институтах и индивидуальным практикующим радиологам для повышения эффективности анализа исследований и повышения качества обучения студентов-медиков. Разработанные алгоритмы борьбы с негативным переносом знаний, а также мультимо-дальных данных могут быть также рекомендованы к внедрению в аналогичные системы поддержки принятия клинических решений, включающие в себя модули с принятием решений на основе нейронных сетей.

Дальнейшая разработка темы исследования может быть перспективной в аспекте автоматической генерации предварительных текстовых заключений на основе радиологических исследований различных модальностей, включения в предварительный анализ данных сердечного ритма и исследований ЭКГ, а также включения в систему ежедневных наблюдений с «умных» устройств.

Список литературы диссертационного исследования кандидат наук Лобанцев Артём Андреевич, 2020 год

СПИСОК ЛИТЕРАТУРЫ

1. Deep learning for brain MRI segmentation: state of the art and future directions / Z. Akkus [et al.] // Journal of digital imaging. — 2017. — v. 30, No 4. — p. 449—459.

2. Allyn J. International Radiology Societies Tackle Radiologist Shortage [Электронный ресурс]. — 2020. — Режим доступа: https://www.rsna.org/en/news/2020/February/ Radiology-Societies-And-Shortage.

3. Publicly available clinical BERT embeddings / E. Alsentzer [et al.] // arXiv preprint arXiv:1904.03323. — 2019.

4. Medical image analysis using convolutional neural networks: a review / S. M. Anwar [et al.] // Journal of medical systems. — 2018. — V. 42, No 11. — P. 226.

5. The lung image database consortium (LIDC) and image database resource initiative (IDRI): a completed reference database of lung nodules on CT scans / S. G. Armato III [et al.] // Medical physics. — 2011. — V. 38, No 2. — P. 915—931.

6. Advancing the cancer genome atlas glioma MRI collections with expert segmentation labels and radiomicfeatures / S. Bakas [et al.] // Scientific data. — 2017. — V. 4. — P. 170117.

7. Barkhof F. The clinico-radiological paradox in multiple sclerosis revisited // Current opinion in neurology. — 2002. — V. 15, No 3. — P. 239—245.

8. Software Tools for Manual Segmentation of Tomography Images Supporting Radiologist's Personal Context / V. Boitsov [et al.] // 2019 25th Conference of Open Innovations Association (FRUCT). — IEEE. 2019. — P. 64—76.

9. Brendel W., Rauber J., Bethge M. Decision-based adversarial attacks: Reliable attacks against black-box machine learning models // arXiv preprint arXiv:1712.04248. — 2017. — 12 p.

10. Adversarial patch / T. B. Brown [et al.] // arXiv preprint arXiv:1712.09665. — 2017. — 6 p.

11. Carlini N., Wagner D. Towards evaluating the robustness of neural networks // 2017 ieee symposium on security and privacy (sp). — IEEE. 2017. — P. 39—57.

12. Caruana R., Lawrence S., Giles C. L. Overfitting in neural nets: Backpropagation, conjugate gradient, and early stopping // Advances in neural information processing systems.

— 2001. — P. 402—408.

13. Improving signal to noise ratio of low-dose CT image using wavelet transform / A. Chaudhari [et al.] // International Journal on Computer Science and Engineering (IJCSE).

— 2012. — V. 4, No 05. — P. 779—787.

14. Decaying relevance of clinical data towards future decisions in data-driven inpatient clinical order sets / J. H. Chen [et al.] // International journal of medical informatics. — 2017.

— V. 102. — P. 71—79.

15. How to fool radiologists with generative adversarial networks? a visual turing test for lung cancer diagnosis / M. J. Chuquicusma [et al.] // 2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018). — IEEE. 2018. — P. 240—244.

16. Clevert D.-A., Unterthiner T., Hochreiter S. Fast and accurate deep network learning by exponential linear units (elus) // arXiv preprint arXiv:1511.07289. — 2015. — 14 p.

17. Automatic semantic segmentation of brain gliomas from MRI images using a deep cascaded neural network / S. Cui [et al.] // Journal of healthcare engineering. — 2018. — V. 2018. — 14 p.

18. Diagnostic radiology physics: A handbook for teachers and students. Endorsed by: American Association of Physicists in Medicine, Asia-Oceania Federation of Organizations for Medical Physics, European Federation of Organisations for Medical Physics / D. Dance [et al.] // International Atomic Energy Agency (IAEA): IAEA. — 2014. — 682 p.

19. Daum e III H. Frustratingly easy domain adaptation // arXiv preprint arXiv:0907.1815.

— 2009. — 8 p.

20. Bert: Pre-training of deep bidirectional transformers for language understanding / J. Devlin [et al.] // arXiv preprint arXiv:1810.04805. — 2018. — 24 p.

21. DICOM Standard: Medical Imaging Technology Alliance [Электронный ресурс]. — 2020. — Режим доступа: https://www.dicomstandard.org/current/.

22. Mustra M., Delac K., Grgic M. Overview of the DICOM standard // 2008 50th International Symposium ELMAR. V. 1. — IEEE. 2008. — P. 39—44.

23. Diwakar M., Kumar M. A review on CT image noise and its denoising // Biomedical Signal Processing and Control. — 2018. — V. 42. — P. 73—88.

24. Duan L., Xu D., Tsang I. Learning with augmented features for heterogeneous domain adaptation // arXiv preprint arXiv:1206.4660. — 2012. — 7 p.

25. Ebersbach M., Herms R., Eibl M. Fusion Methods for ICD10 Code Classification of Death Certificates in Multilingual Corpora. // CLEF (Working Notes). — 2017. — 12 p.

26. Methods for clinical evaluation of noise reduction techniques in abdominopelvic CT / E. C. Ehman [et al.] // Radiographics. — 2014. — V. 34, No 4. — P. 849—862.

27. Filippi M., Preziosa P., Rocca M. A. Magnetic resonance outcome measures in multiple sclerosis trials: time to rethink? // Current opinion in neurology. — 2014. — V. 27, No 3.

— P. 290—299.

28. Adversarial attacks against medical deep learning systems / S. G. Finlayson [et al.] // arXiv preprint arXiv:1804.05296. — 2018. — 10 p.

29. Fornell D. Glimpse Into Radiology in the Developing World in Africa [Электронный ресурс]. — 2017. — Режим доступа: https://www.itnonline.com/con-tent/blogs/dave- fornell-itn-editor-rsna/glimpse-radiology-developing-world-africa.

30. Devise: A deep visual-semantic embedding model / A. Frome [et al.] // Advances in neural information processing systems. — 2013. — P. 2121— 2129.

31. On handling negative transfer and imbalanced distributions in multiple source transfer learning / L. Ge [et al.] // Statistical Analysis and Data Mining: The ASA Data Science Journal. — 2014. — V. 7, No 4. — P. 254— 271.

32. Differential motivations for pursuing interventional radiology: implications for residency recruitment / D. Goldman [et al.] // Journal of the American College of Radiology. — 2019. — V. 16, No 1. — P. 82—88.

33. Generative adversarial nets [C]//Advances in neural information processing systems / I. Goodfellow [et al.]. — 2014. — V. 27 — P.2672—2680.

34. Goodfellow I. J., Shlens J., Szegedy C. Explaining and harnessing adversarial examples // arXiv preprint arXiv:1412.6572. — 2014. — 15 p.

35. Hammack D. Forecasting lung cancer diagnoses with deep learning // Technical Report.

— 2017. — 6 p.

36. Synthesizing diverse lung nodules wherever massively: 3D multi-conditional GAN-based CT image augmentation for object detection / C. Han [et al.] // 2019 International Conference on 3D Vision (3DV). — IEEE. 2019. — P. 729—737.

37. Deep learning for lung cancer prognostication: A retrospective multi-cohort radiomics study / A. Hosny [et al.] // PLoS medicine. — 2018. — V. 15, No 11. — P 1—25.

38. Brain CT and MRI medical image fusion using convolutional neural networks and a dualchannel spiking cortical model / R. Hou [et al.] // Medical & biological engineering & computing. — 2019. — V. 57, No 4. — P. 887—900.

39. Unsupervised multimodal representation learning across medical images and reports / T.-M. H. Hsu [et al.] // arXiv preprint arXiv:1811.08615. — 2018. — 10 p.

40. Hu J., Shen L., Sun G. Squeeze-and-excitation networks // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2018. — P. 7132—7141.

41. Ioffe S., Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift // arXiv preprint arXiv:1502.03167. — 2015. — 7 p.

42. Brain tumor segmentation in multi-spectral MRI using convolutional neural networks (CNN) / S. Iqbal [et al.] // Microscopy research and technique. — 2018. — V. 81, No 4. — P. 419—427.

43. Islam A., Reza S. M., Iftekharuddin K. M. Multifractal texture estimation for detection and segmentation of brain tumors // IEEE transactions on biomedical engineering. — 2013. — V. 60, No 11. — P. 3204—3215.

44. Denoising for low-dose CT image by discriminative weighted nuclear norm minimization / L. Jia [et al.] // IEEE Access. — 2018. — V. 6. — P. 46179—46193.

45. CT-realistic lung nodule simulation from 3D conditional generative adversarial networks for robust lung segmentation / D. Jin [et al.] // International Conference on Medical Image Computing and Computer-Assisted Intervention. — Springer. 2018. — P. 732—740.

46. MIMIC-III, a freely accessible critical care database / A. E. Johnson [et al.] // Scientific data. — 2016. — V. 3, No 1. — P. 1—9.

47. Preprocessing of heteroscedastic medical images / P. Joris [et al.] // IEEE Access. — 2018. — V. 6. — P. 26047—26058.

48. Evaluating performance of biomedical image retrieval systems—An overview of the medical image retrieval task at ImageCLEF 2004-2013 / J. Kalpathy- Cramer [et al.] // Computerized Medical Imaging and Graphics. — 2015. — V. 39. — P. 55—61.

49. Progressive growing of gans for improved quality, stability, and variation / T. Karras [et al.] // arXiv preprint arXiv:1710.10196. — 2017. — 12 p.

50. GANs for medical image analysis / S. Kazeminia [et al.] // Artificial Intelligence in Medicine. — 2020. — P. 101938.

51. Khan W., Zaki N., Ali L. Intelligent pneumonia identification from chest x-rays: A systematic literaturereview // medRxiv. — 2020. — 11 p.

52. Design characteristics of studies reporting the performance of artificial intelligence algorithms for diagnostic analysis of medical images: results from recently published papers / D. W. Kim [et al.] // Korean journal of radiology. — 2019. — V. 20, No 3. — P. 405— 410.

53. Ahmed S., Iftekharuddin K. M., Vossough A. Efficacy of texture, shape, and intensity feature fusion for posterior-fossa tumor segmentation in MRI // IEEE transactions on information technology IN BIOMEDICINE. — 2011. — V. 15, No 2. — P. 206—213.

54. Automatic tissue image segmentation based on image processing and deep learning / Z. Kong [et al.] // Journal of healthcare engineering. — 2019. — V. 2019.

55. A voyage on medical image segmentation algorithms / S. Kumar [et al.]. — 2018.

56. Kurakin A., Goodfellow I., Bengio S. Adversarial examples in the physical world // arXiv preprint arXiv:1607.02533. — 2016. — 13 p.

57. Lahat D., Adali T., Jutten C. Multimodal data fusion: an overview of methods, challenges, and prospects // Proceedings of the IEEE. — 2015. — V. 103, No 9. — P. 1449—1477.

58. Lashari T. A., Ibrahim R. A framework for medical image classification using soft set. — 2013. — V. 8C. — P. 535—545.

59. Evaluate the malignancy of pulmonary nodules using the 3-d deep leaky noisy-or network / F. Liao [et al.] // IEEE transactions on neural networks and learning systems. — 2019. — V. 30, No 11. — P. 3484—3495.

60. Learn to combine modalities in multimodal deep learning / K. Liu [et al.] // arXiv preprint arXiv:1805.11730. — 2018. — 10 p.

61. Loshchilov I., Hutter F. Sgdr: Stochastic gradient descent with warm restarts // arXiv preprint arXiv:1608.03983. — 2016. — 7 p.

62. Lundervold A. S., Lundervold A. An overview of deep learning in medical imaging focusing on MRI // Zeitschrift fu r Medizinische Physik. — 2019. — V. 29, No 2. — P. 102—127.

63. Comparisons of the accuracy of radiation diagnostic modalities in brain tumor: A nonrandomized, nonexperimental, cross-sectional trial / Q. Luo [et al.] // Medicine. — 2018. — V. 97, No 31.

64. Luong M.-T., Pham H., Manning C. D. Effective approaches to attention- based neural machine translation // arXiv preprint arXiv:1508.04025. — 2015. — 11 p.

65. Towards deep learning models resistant to adversarial attacks / A. Madry [et al.] // arXiv preprint arXiv:1706.06083. — 2017. — 28 p.

66. How I do it: managing radiation dose in CT / W. W. Mayo-Smith [et al.] // Radiology. — 2014. — V. 273, No 3. — P. 657—672.

67. DeepInfer: Open-source deep learning deployment toolkit for image-guided therapy / A. Mehrtash [et al.] // Medical Imaging 2017: Image-Guided Procedures, Robotic Interventions, and Modeling. V. 10135. — International Society for Optics, Photonics. 2017. — 101351K.

68. Distributed representations of words and phrases and their compositionality / T. Mikolov [et al.] // Advances in neural information processing systems. — 2013. — P. 3111—3119.

69. Automatic quality assessment in structural brain magnetic resonance imaging / B. Mor-tamet [et al.] // Magnetic Resonance in Medicine: An Official Journal of the International Society for Magnetic Resonance in Medicine. — 2009. — V. 62, No 2. — P. 365—372.

70. Multimodal Brain Tumor Segmentation Challenge 2018 [Электронный ресурс]. — 2018. — Режим доступа: https://www.med.upenn.edu/sbia/brats2018.html.

71. Myronenko A. 3D MRI brain tumor segmentation using autoencoder regularization // International MICCAI Brainlesion Workshop. — Springer. 2018. — P. 311—320.

72. Deep learning for predicting enhancing lesions in multiple sclerosis from noncontrast MRI / P. A. Narayana [et al.] // Radiology. — 2020. — V. 294, No 2. — P. 398—404.

73. Computer-aided diagnosis of lung nodule classification between benign nodule, primary lung cancer, and metastatic lung cancer at different image size using deep convolutional neural network with transfer learning / M. Nishio [et al.] // PloS one. — 2018. — V. 13, No 7. — P. 1—12.

74. Lung nodule classification via deep transfer learning in CT lung images / R. V. M. da No brega [et al.] // 2018 IEEE 31st International Symposium on Computer-Based Medical Systems (CBMS). — IEEE. 2018. — P. 244— 249.

75. Medical image segmentation methods, algorithms, and applications / A. Norouzi [et al.] // IETE Technical Review. — 2014. — V. 31, No 3. — P. 199—213.

76. Learning and transferring mid-level image representations using convolutional neural networks / M. Oquab [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2014. — P. 1717—1724.

77. Oztu rk S y, Akdemir B. Effects of histopathological image pre-processing on convolutional neural networks // Procedia computer science. — 2018. — V. 132. — P. 396—403.

78. Pan S. J., Yang Q. A survey on transfer learning // IEEE Transactions on knowledge and data engineering. — 2009. — V. 22, No 10. — P. 1345— 1359.

79. The limitations of deep learning in adversarial settings / N. Papernot [et al.] // 2016 IEEE European symposium on security and privacy (EuroS&P). — IEEE. 2016. — P. 372— 387.

80. Data analysis strategies in medical imaging / C. Parmar [et al.] // Clinical cancer research. — 2018. — V. 24, No 15. — P. 3492—3499.

81. Generalizability vs. robustness: adversarial examples for medical imaging / M. Paschali [et al.] // arXiv preprint arXiv:1804.00504. — 2018. — 12 p.

82. Perumal S., Velmurugan T. Preprocessing by contrast enhancement techniques for medical images // International Journal of Pure and Applied Mathematics. — 2018. — V. 118, No 18. — P. 3681—3688.

83. A structured global health training program for radiology residents / K.-L. Pool [et al.] // Journal of the American College of Radiology. — 2018. — V. 15, No 2. — P. 334—339.

84. Radiomics-based convolutional neural network for brain tumor segmentation on mul-tiparametric magnetic resonance imaging / P. Prasanna [et al.] // Journal of Medical Imaging. — 2019. — V. 6, No 2. — P. 024005.

85. Pratt L., Thrun S. Machine Learning-Special Issue on Inductive Transfer. — 1997.

86. FDA permits marketing of artificial intelligencebased device to detect certain dia-betes-related eye problems [Электронный ресурс]. — 2018. — Режим доступа: https://www.fda.gov/NewsEvents/Newsroom/PressAnnounce-ments/ucm604357.html

87. Fusion of deep learning models of MRI scans, Mini-Mental State Examination, and logical memory test enhances diagnosis of mild cognitive impairment / S. Qiu [et al.] // Alzheimer's & Dementia: Diagnosis, Assessment & Disease Monitoring.

— 2018. — V. 10. — P. 737—749.

88. Rajalingam B., Priya R. Multimodal medical image fusion based on deep learning neural network for clinical treatment analysis // International Journal of ChemTech Research.

— 2018. — V. 11, No 06. — P. 160—176.

89. Rajalingam B., Priya R. Multimodality medical image fusion based on hybrid fusion techniques // International Journal of Engineering and Manufacturing Science. — 2017. — V. 7, No 1. — P. 22—29.

90. Radiologist-level pneumonia detection on chest x-rays with deep learning / P. Rajpurkar [et al.] // arXiv preprint arXiv:1711.05225 [cs, stat]. — 2017. — 7 p.

91. Razzak M. I., Naz S., Zaib A. Deep learning for medical image processing: Overview, challenges and the future // Classification in BioApps. — Springer, 2018. — P. 323— 350.

92. Faster r-cnn: Towards real-time object detection with region proposal networks / S. Ren [et al.] // IEEE transactions on pattern analysis and machine intelligence. — 2016. — V. 39, No 6. — P. 1137—1149.

93. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // International Conference on Medical image computing and computerassisted intervention. — Springer. 2015. — P. 234—241.

94. Generalization of deep neural networks for chest pathology classification in x-rays using generative adversarial networks / H. Salehinejad [et al.] // 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE. 2018. — P. 990—994.

95. The Hungarian validation of the Brief International Cognitive Assessment for Multiple Sclerosis (BICAMS) battery and the correlation of cognitive impairment with fatigue and quality of life / D. Sandi [et al.] // Multiple sclerosis and related disorders. — 2015. — V. 4, No 6. — P. 499—504.

96. Seah C.-W., Ong Y.-S., Tsang I. W. Combating negative transfer from predictive distribution differences // IEEE transactions on cybernetics. — 2012. — V. 43, No 4. — P. 1153—1165.

97. Shen D., Wu G., Suk H.-I. Deep learning in medical image analysis // Annual review of biomedical engineering. — 2017. — V. 19. — P. 221—248.

98. Transfer learning on heterogenous feature spaces via spectral transformation / X. Shi [et al.] // 2010 IEEE international conference on data mining. — IEEE. 2010. — P. 1049— 1054.

99. Shimodaira H. Improving predictive inference under covariate shift by weighting the log-likelihood function // Journal of statistical planning and inference. — 2000. — V. 90, No 2. — P. 227—244.

100.Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning / H.-C. Shin [et al.] // IEEE transactions on medical imaging. — 2016. — V. 35, No 5. — P. 1285—1298.

101.Shokrollahi P., Drake J. M., Goldenberg A. A. Signal-to-noise ratio evaluation of magnetic resonance images in the presence of an ultrasonic motor // Biomedical engineering online. — 2017. — V. 16, No 1. — P. 1—12.

102.Sorber L., Van Barel M., De Lathauwer L. Structured data fusion // IEEE Journal of Selected Topics in Signal Processing. — 2015. — V. 9, No 4. — P. 586—600.

103.Steels L., L opez de Mantaras R. The Barcelona declaration for the proper development and usage of artificial intelligence in Europe // AI Communications. — 2018. — V. 31, No 6. — P. 485—494.

104.STVC Video Codec [Электронный ресурс]. — 2012. —Режим доступа: https://www.sial.iias.spb.su/files/

105.Sun B., Feng J., Saenko K. Return of frustratingly easy domain adaptation // arXiv preprint arXiv:1511.05547. — 2015. — 13 p.

106.Sun B., Saenko K. Deep coral: Correlation alignment for deep domain adaptation // European conference on computer vision. — Springer. 2016. — P. 443—450.

107.Sunshine J. H., Meghea C. How could the radiologist shortage have eased? // American Journal of Roentgenology. — 2006. — V. 187, No 5. — P. 1160—1165.

108.System Usability Scale (SUS) [Электронный ресурс]. — 2018. — Режим доступа: https://www.usability.gov/how-to-and-tools/methods/system-usability-scale.html.

109.Intriguing properties of neural networks / C. Szegedy [et al.] // arXiv preprint arXiv:1312.6199. — 2013. — 7 p.

110.Taghanaki S. A., Das A., Hamarneh G. Vulnerability analysis of chest x- ray image classification against adversarial attacks // Understanding and Interpreting Machine Learning in Medical Image Computing Applications. — Springer, 2018. — P. 87—94.

111.A review on a deep learning perspective in brain cancer classification / G. S. Tandel [et al.] // Cancers. — 2019. — V. 11, No 1. — P. 111.

112.Optimize transfer learning for lung diseases in bronchoscopy using a new concept: sequential fine-tuning / T. Tan [et al.] // IEEE journal of translational engineering in health and medicine. — 2018. — V. 6. — P. 1—8.

113.Generating medical student interest in the field of radiology / C. S. Taylor [et al.] // Journal of the American College of Radiology. — 2018. — V. 15, No 2. — P. 340—342.

114.The contribution of various MRI parameters to clinical and cognitive disability in multiple sclerosis / E. To th [et al.] // Frontiers in Neurology. — 2019. — V. 9. — P. 1172.

115.Triantafyllou C., Polimeni J. R., Wald L. L. Physiological noise and signal-to-noise ratio in fMRI with multi-channel array coils // Neuroimage. — 2011. — V. 55, No 2. — P. 597—606.

116.Maaten L. v. d., Hinton G. Visualizing data using t-SNE // Journal of machine learning research. — 2008. — V. 9, Nov. — P. 2579—2605.

117.Impact of Adversarial Examples on the Efficiency of Interpretation and Use of Information from High-Tech Medical Images / A. Vatian [et al.] // 2019 24th Conference of Open Innovations Association (FRUCT). — IEEE. 2019. — P. 472—478.

118.Blockchain vehicles for efficient medical record management / A. A. Vazirani [et al.] // npj Digital Medicine. — 2020. — V. 3, No 1. — P. 1—5.

119.Statistical characterization of noise for spatial standardization of CT scans: enabling comparison with multiple kernels and doses / G. Vegas- Sa nchez-Ferrero [et al.] // Medical image analysis. — 2017. — V. 40. — P. 44—59.

120.Deep learning and texture-based semantic label fusion for brain tumor segmentation / L. Vidyaratne [et al.] // Medical Imaging 2018: Computer- Aided Diagnosis. V. 10575. — International Society for Optics, Photonics. 2018. — P. 105750D.

121.Visual Question Answering in the Medical Domain [Электронный ресурс]. — 2019. — Режим доступа: https://www.imageclef.org/2019/medical/vqa/.

122.Wang C., Mahadevan S. Heterogeneous domain adaptation using manifold alignment // IJCAI proceedings-international joint conference on artificial intelligence. V. 22. — 2011. — P. 1541.

123.Tienet: Text-image embedding network for common thorax disease classification and reporting in chest x-rays / X. Wang [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2018. — P. 9049—9058.

124.Wattjes M., Steenwijk M., Stangel M. MRI in the diagnosis and monitoring of multiple sclerosis: an update // Clinical neuroradiology. — 2015. — V. 25, No 2. — P. 157—165.

125.Weiss K., Khoshgoftaar T. M., Wang D. A survey of transfer learning // Journal of Big data. — 2016. — V. 3, No 1. — P. 9.

126.Weng W.-H., Chung Y.-A., Szolovits P. Unsupervised clinical language translation // Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. — 2019. — P. 3121—3131.

127.Technical basis for user interface design of health IT / M. E. Wiklund [et al.]. — 2015. — 647 p.

128.Understanding data augmentation for classification: when to warp? / S. C. Wong [et al.] // 2016 international conference on digital image computing: techniques and applications (DICTA). — IEEE. 2016. — P. 1—6.

129.Adversarial examples for semantic segmentation and object detection / C. Xie [et al.] // Proceedings of the IEEE International Conference on Computer Vision. — 2017. — P. 1369—1378.

130.Transfer learning from deep features for remote sensing and poverty mapping / M. Xie [et al.] // arXiv preprint arXiv:1510.00098. — 2015. — 13 p.

131.Aggregated residual transformations for deep neural networks / S. Xie [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2017. — P. 1492—1500.

132.Xu W., Evans D., Qi Y. Feature squeezing: Detecting adversarial examples in deep neural networks // arXiv preprint arXiv:1704.01155. — 2017. — 12 p.

133.Deep learning predicts lung cancer treatment response from serial medical imaging / Y. Xu [et al.] // Clinical Cancer Research. — 2019. — V. 25, No 11. — P. 3266—3275.

134.A method to assess image quality for low-dose PET: analysis of SNR, CNR, bias and image noise / J. Yan [et al.] // Cancer Imaging. — 2016. — V. 16, No 1. — P. 1—12.

135.A deep convolutional neural network-based automatic delineation strategy for multiple brain metastases stereotactic radiosurgery / Y. Liu [et al.] // PloS one. — 2017. — V. 12, No 10. — e0185844. — P. 1—15

136.The stability of factors influencing the choice of medical specialty among medical students and postgraduate radiology trainees / A. J. Yen [et al.] // Journal of the American College of Radiology. — 2018. — V. 15, No 6. — P. 886—891.

137.Zantedeschi V., Nicolae M.-I., Rawat A. Efficient defenses against adversarial attacks // Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security. — 2017. — P. 39—49.

138.Tandemnet: Distilling knowledge from medical images using diagnostic reports as optional semantic references / Z. Zhang [et al.] // International Conference on Medical Image Computing and Computer-Assisted Intervention. — Springer. 2017. — P. 320—328.

139.Deep learning-based image segmentation on multimodal medical imaging / Z. Guo [et al.] // IEEE Transactions on Radiation and Plasma Medical Sciences. — 2019. — V. 3, No 2. — P. 162—169.

140.Learning deep features for discriminative localization / B. Zhou [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — P. 2921— 2929.

141.Open Health Imaging Foundation Viewer: An Extensible Open-Source Framework for Building Web-Based Imaging Applications to Support Cancer Research / E. Ziegler [et al.] // JCO Clinical Cancer Informatics. — 2020. — V. 4. — P. 336—345.

142.Clinical radiology UK workforce census report 2018 [Электронный ресурс]. — 2019. — Режим доступа: https://www.rcr.ac.uk/publication/clinical-radiology-uk-workforce-census-report-2018