Моделирование интеллектуального анализа дерматологических данных на основе ансамблевой мультимодальной классификации тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Ляхова Ульяна Алексеевна

• Ляхова Ульяна Алексеевна
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Ляхова Ульяна Алексеевна

ВВЕДЕНИЕ

ГЛАВА 1. Обоснование необходимости исследования интеллектуальных систем классификации дерматологических визуальных данных

1.1. Анализ актуальности выбора объекта исследования - интеллектуальных систем классификации пигментных новообразований кожи

1.2. Обзор современных интеллектуальных систем нейросетевой обработки дерматологических визуальных данных

1.2.1. Общедоступные цифровые базы дерматологических визуальных и статистических данных

1.2.2. Методы статистической оценки интеллектуальных систем

1.2.3. Сверточные нейросетевые системы распознавания пигментных новообразований кожи на дерматологических изображениях

1.2.4. Ансамблевые и мультимодальные нейросетевые системы распознавания пигментных новообразований кожи

1.3. Несовершенство существующих моделей, алгоритмов и программных комплексов и обоснование необходимости повышения точности систем интеллектуальной классификации

1.4. Постановка научной задачи и ее декомпозиция на частные задачи исследования

1.5. Выводы по первой главе

ГЛАВА 2. Математическое моделирование системы интеллектуального анализа гетерогенных данных повышенной точности на основе ансамблевых мультимодальных нейронных сетей

2.1. Математическая модель мультимодальной нейронной сети обработки гетерогенных дерматологических данных

2.1.1. Модель линейной многослойной нейросетевой архитектуры для

обработки статистических данных

2.1.2. Модель сверточной нейросетевой архитектуры для обработки визуальных многомерных данных

2.2. Математическая модель ансамблевой нейронной сети на основе мультимодальных нейронных сетей

2.3. Выводы по второй главе

ГЛАВА 3. Вычислительный метод предварительного улучшения визуального качества дерматологических изображений за счет применения цифровой фильтрации на основе морфологических операций

3.1. Особенности алгоритмов цифровой обработки цветных RGB дерматологических изображений и их цветовых компонент

3.2. Идентификация местоположения шумовых структур на отдельных цветовых компонентах с применением морфологических операций

3.3. Алгоритм удаления идентифицированных шумовых структур путем обработки выделенных масок морфологическими операциями

3.4. Выводы по третьей главе

ГЛАВА 4. Комплекс программных решений при моделировании системы нейросетевого распознавания пигментных новообразований кожи на основе ансамблевой мультимодальной интеллектуальной системы с этапом предварительной обработки данных

4.1. Методика формирования базы дерматологических визуальных и статистических данных для программного моделирования

4.2. Программная реализация метода предварительного улучшения визуального качества дерматологических изображений на основе морфологических операций в качестве этапа предварительной обработки

4.3. Компьютерное моделирование мультимодальной интеллектуальной системы обработки гетерогенных дерматологических данных

4.4. Компьютерное моделирование ансамблевой нейросетевой системы на основе разработанных мультимодальных интеллектуальных систем распознавания пигментных новообразований кожи

4.5. Практические рекомендации по распознаванию пигментных новообразований с использованием ансамблевой мультимодальной нейросетевой системы

4.6. Выводы по четвертой главе ЗАКЛЮЧЕНИЕ

173

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

СПИСОК ЛИТЕРАТУРЫ

Приложение А. Акты о внедрении результатов диссертационного исследования

Приложение Б. Свидетельства о государственной регистрации программ для ЭВМ

Приложение В. Сводные таблицы современных исследований, посвященных интеллектуальным системам обработки визуальных данных

Приложение Г. Листинг программного модуля системы нейросетевого распознавания пигментных новообразований кожи

Введение диссертации (часть автореферата) на тему «Моделирование интеллектуального анализа дерматологических данных на основе ансамблевой мультимодальной классификации»

ВВЕДЕНИЕ

Актуальность работы. На сегодняшний день значительно выросла роль цифровых и интеллектуальных вычислительных алгоритмов в обработке визуальных и статистических данных. При этом, одной из стратегических и перспективных областей для внедрения систем на основе искусственного интеллекта считается биомедицина, поскольку происходит усовершенствование математических моделей и методов, а также увеличение объемов цифровой информации в связи с накоплением данных из электронных историй болезни, результатов лабораторных и инструментальных исследований, мобильных устройств для мониторинга физиологических функций человека и прочих. Развитие технологий искусственного интеллекта позволило алгоритмам компьютерного анализа данных по эффективности сравняться и, в некоторых, задачах превзойти возможности человека, что активно влияет на смещение области применения цифровых технологий в биомедицине от необходимых вспомогательных обследований к интеллектуальной помощи в диагностике и лечении [146]. С появлением больших объемов цифровой информации алгоритмы машинного обучения стали стремиться к увеличению скорости и точности извлечения информации из обрабатываемых данных. Таким образом, в настоящее время существует большой интерес к разработке автоматизированных систем вспомогательной компьютерной диагностики, которые могут помочь специалистам в клинической оценке различных случаев патологий, в том числе онкогенного характера.

Рак кожи является наиболее часто диагностируемой формой онкопатологии у людей и одной из ведущих причин смертности в мире. Среди всех случаев диагностированных онкопаталогий на рак кожи приходится более 40 % [99]. Основной формой выявления рака кожи в области дерматологии является визуальное клиническое обследование при помощи дерматоскопии [173], средняя точность которой у опытного врача-дерматолога составляет 65-75 % [184]. При

подозрении на возможную онкогенность пигментного поражения выполняется гистопатологическое исследование биопсией, которая является инвазивным методом диагностики, а также затратным по времени и может быть неубедительным в пограничных случаях, когда расхождение в диагнозе у патологоанатомов может составлять до 25 % [55, 127]. В то время, как средняя точность распознавания пигментных новообразований кожи при помощи систем искусственного интеллекта достигает более 80 % [54, 110, 208]. Основной задачей таких систем является предварительная оценка подозрительных пигментных поражений кожи при помощи качественных гистопатологически-подтвержденных клинических изображений и методов машинного обучения. Однако, подобные системы не могут заменить решающее мнение патологоанатома и дерматолога-онколога в диагностике рака кожи в связи с возможностью ложноотрицательных случаев прогнозирования [207]. Поэтому в настоящее время актуальной является разработка высокоточных интеллектуальных систем, которые могут использоваться в качестве вспомогательных диагностических инструментов для выявления различных медицинских патологий на ранних стадиях. Использование искусственного интеллекта в качестве основы для систем вспомогательного анализа и классификации биомедицинских данных дает возможность минимизировать воздействие человеческого фактора, а также оказывает помощь при принятии врачебных решений, расширяет возможности раннего выявления и профилактики заболеваний.

Однако применение таких систем в клинической практике сильно ограничено из-за отсутствия обобщаемости и рисков потенциальной ошибочной классификации [73]. Для успешного внедрения вспомогательных инструментов на основе искусственного интеллекта в клинико-патологическую практику необходимо комплексное изучение эффективности и производительности существующих моделей [89, 93, 108], а также разработка перспективных методов и алгоритмов повышения точности при существенном снижении риска возникновения ложных классификаций, когда потенциально злокачественная патология может быть распознана как доброкачественная. Поэтому объектом

исследования является интеллектуальная система классификации пигментных новообразований кожи. Предмет исследования - методы интеллектуальной классификации пигментных новообразований кожи на основе анализа визуальных и статистических данных пациентов.

Хотя системы искусственного интеллекта могут значительно улучшить процесс клинического анализа пигментных новообразований кожи, они также могут сталкиваться с ограничениями, которые требуют дальнейших исследований и улучшений. Для успешного внедрения вспомогательных инструментов на основе искусственного интеллекта в клинико-патологическую практику необходимо комплексное изучение эффективности и производительности существующих моделей, а также дальнейших перспективных областей для потенциального развития исследований. Из чего можно сформулировать противоречие в практике - в связи с отсутствием более эффективных нейросетевых моделей, вычислительных методов и программных комплексов, использование известных технических и технологических решений для интеллектуального анализа пигментных новообразований кожи не позволяет достичь более высоких показателей тестовой точности классификации. Для преодоления противоречия в практике сформулирована цель исследования - повышение точности нейросетевой классификации на основе ансамблевых систем мультимодального искусственного интеллекта для анализа и обработки дерматологических данных.

Значительный научный вклад в биомедицинские системы на основе искусственного интеллекта внесли такие отечественные и зарубежные исследователи как А.М. Мещерякова, А.С. Слинин, Д.Н. Борисов, А.С. Катасёв, Л.Н. Ясницкий, Т.Ю. Кузнецова, П.П. Кузнецов, О.Б. Жуков, И.А. Шадёркин, А.И. Зубов, М.Ю. Новиков, О. Ю. Колесниченко, В.М. Фершт, А.П. Латкин, В.Н. Иванова, W.D. Penny, J. Haglin, R.K. Goyal, F. Sadoughi, J. Jiang, S.M. Anwar, M. Majid, K. Suzuki, J.S. Utikal, R.C. Maron, T.B. Jutzi, E.I. Krieghoff-Henning, T. Holland-Letz, A. Hauschild, D. Schadendorf, T.J. Brinker, E.J. Beltrami, A.C. Brown, P.J. Salmon, D.J. Leffell, J.M. Ko, J.M. Grant-Kels и другие. В большом количестве публикаций отечественных и зарубежных исследователей за последнее время

системы на основе искусственного интеллекта предлагаются в качестве вспомогательного инструмента. Научные труды показывают актуальность и перспективность использования нейросетевых технологий в области медицины для вспомогательной диагностики и прогнозирования путем извлечения значимой информации из большого количества собранных и оцифрованных данных. Интеллектуальный анализ данных и создание экспертных систем основаны на большом количестве предыдущих данных, касающихся диагностики, лечения и профессионального суждения, которые преобразуются в текст и числа. Фактическая клиническая оценка и лечение осуществляются специалистом постоянно и искусственный интеллект может стать неотъемлемой частью вспомогательной диагностики и дальнейшего лечения. Эффективность в применении технологий искусственного интеллекта достигается за счет поиска диагностически-значимых признаков, которые могут быть не всегда очевидны для специалиста при первичном анализе данных. При этом, несмотря на высокие результаты эффективности работы интеллектуальных систем по сравнению с методами визуального анализа данных у специалистов, существуют риски возникновения ошибочных прогнозов, которые могут иметь критическое значение в различных областях. Таким образом, противоречие в науке заключается в невозможности достижения более высоких показателей тестовой точности интеллектуального распознавания пигментных новообразований кожи на основе известного научно-методического аппарата без усовершенствования существующих математических нейросетевых моделей, вычислительных методов предварительной обработки данных и комплексов программных решений. Для разрешения сформулированных противоречий поставлена научная задача -совершенствование методов интеллектуальной классификации дерматологических гетерогенных данных за счет применения этапа предварительной очистки волосяных структур на изображениях и алгоритмов мультимодального ансамблевого нейросетевого анализа, при использовании которых будет увеличена точность распознавания пигментных новообразований кожи.

Для решения поставленной общей научной задачи диссертационного исследования произведена ее декомпозиция на ряд частных задач:

1. Разработка математической модели системы интеллектуального анализа дерматологических данных повышенной точности на основе ансамблевых мультимодальных нейронных сетей.

2. Разработка вычислительного метода предварительного улучшения визуального качества дерматологических изображений за счет применения цифровой фильтрации на основе морфологических операций.

3. Разработка комплекса программ интеллектуального распознавания пигментных поражений кожи на основе ансамблевой мультимодальной интеллектуальной системы с этапом предварительной обработки данных.

Методы исследования. Для решения поставленных в работе частных научных задач использованы методы цифровой обработки изображений и статистических данных, теории чисел, теории алгоритмов, численных методов, теории модулярной арифметики, математического моделирования и системного анализа, а также методы математического и компьютерного моделирования с использованием языка программирования высокого уровня Python версии 3.11.0.

Положения, выносимые на защиту:

1. Математическая модель системы интеллектуального анализа дерматологических данных на основе ансамблевых мультимодальных нейронных сетей, позволяющая распознавать пигментные новообразования кожи с тестовой точностью в 87,38 %.

2. Вычислительный метод предварительного улучшения визуального качества дерматологических изображений за счет применения цифровой фильтрации на основе морфологических операций для удаления волосяных структур, повышающий тестовую точность распознавания на 2,13-3,17 процентных пункта по сравнению с моделями распознавания оригинальных изображений.

3. Комплекс программ интеллектуального распознавания пигментных новообразований кожи на основе ансамблевой мультимодальной интеллектуальной системы с этапом предварительной обработки данных,

демонстрирующий повышение тестовой точности на 10,25-11,71 процентных пункта по сравнению с оригинальными сверточными моделями.

Достоверность и обоснованность полученных в диссертационной работе теоретических результатов и формулируемых на их основе выводов обеспечивается строгостью производимых математических выкладок. Справедливость выводов относительно эффективности предложенных методов подтверждена результатами моделирования и тестирования интеллектуальных систем вспомогательной классификации пигментных новообразований кожи. Все предложенные модели, методы и программные комплексы разработаны и обоснованы согласно требованиям ГОСТ Р 59525-2021, ГОСТ Р 59921.0-2022, ГОСТ Р 59921.1-2022, ГОСТ Р 59921.2-2021, ГОСТ Р 59921.4-2021, ГОСТ Р 59921.5-2022, ГОСТ Р 59921.7-2022, ГОСТ Р 70462.1-2022.

Практическая значимость заключается в том, что разработанные математическая модель, вычислительный метод и комплекс программных решений могут быть использованы для классификации пигментных новообразований кожи на основе анализа разнородных дерматологических данных при помощи ансамблевой модели из мультимодальных нейросетевых систем. Результаты проведенного практического моделирования демонстрируют повышение точности распознавания по сравнению с известными современными интеллектуальными системами классификации новообразований кожи и могут быть использованы в качестве высокоточного вспомогательного диагностического инструмента для выявления пигментных онкопатологий.

Научная новизна заключается в том, что в процессе исследований:

1. Разработана математическая модель системы интеллектуального анализа дерматологических данных на основе ансамбля из мультимодальных нейронных сетей, отличающаяся от известных моделей параллельным ансамблевым мультимодальным нейросетевым анализом разнородных дерматологических визуальных и статистических данных.

2. Создан вычислительный метод предварительного улучшения визуального качества дерматологических изображений за счет применения

цифровой фильтрации на основе морфологических операций, который отличается от известных методов предварительной обработки процессом идентификации и удаления волосяных структур, повышающим тестовую точность интеллектуального распознавания.

3. Предложен комплекс программ интеллектуального распознавания пигментных новообразований кожи на основе ансамблевой мультимодальной нейросетевой системы с этапом предварительной обработки данных, отличающийся от известных увеличением тестовой точности за счет применения метода идентификации и удаления волосяных структур и параллельного ансамблевого мультимодального анализа разнородных данных.

Моделирование и вычислительный эксперимент проводились с использованием языка программирования высокого уровня Python версии 3.11.0. Все расчеты проводились на ПК с процессором Intel(R) Core(TM) Í5-8500 с частотой 3,00 ГГц 3,00 ГГц с 16 ГБ ОЗУ и 64-битной операционной системой Windows 10. Для моделирования нейросетевых систем применялся фреймворк машинного обучения PyTorch. Для разработки и моделирования вычислительного метода предварительного улучшения визуального качества дерматологических изображений на основе морфологических операций использовалась библиотека OpenCV. Для моделирования метода предварительной обработки статистических метаданных применялись библиотеки NumPy, Pandas и ScikitLearn. Для визуализации данных использовалась библиотека Matplotlib. Обучение и тестирование ансамблевых мультимодальных архитектур проводилось с использованием графического процессора (GPU) на базе видеочипсета NVIDIA GeForce GTX 1050TI.

Соответствие паспорту научной специальности. Результаты исследования соответствуют паспорту научной специальности 1.2.2. «Математическое моделирование, численные методы и комплексы программ» по следующим пунктам:

6 - «Разработка систем компьютерного и имитационного моделирования, алгоритмов и методов имитационного моделирования на основе анализа

математических моделей (технические науки)», а именно разработана система компьютерного моделирования для сравнения тестовой точности разработанных и известных интеллектуальных моделей анализа изображений пигментных новообразований кожи;

8 - «Комплексные исследования научных и технических проблем с применением современной технологии математического моделирования и вычислительного эксперимента», а именно проведено комплексное исследование проблемы низкой точности интеллектуальных систем распознавания изображений пигментных поражений кожи с применением математического моделирования и вычислительного эксперимента при помощи программирования на языке Python версии 3.11.0.;

9 - «Постановка и проведение численных экспериментов, статистический анализ их результатов, в том числе с применением современных компьютерных технологий (технические науки)», а именно проведен ряд численных экспериментов и статистический анализ полученных результатов нейросетевого распознавания изображений пигментных новообразований кожи с этапом предварительной обработки визуальных и статистических гетерогенных данных.

Внедрение. Результаты проведенного диссертационного исследования внедрены в следующие организации:

1. В образовательный процесс программы 01.03.02 «Прикладная математика и информатика», профиль «Вычислительная математика и математическое моделирование» кафедры математического моделирования факультета математики и компьютерных наук имени профессора Н.И. Червякова ФГАОУ ВО «Северо-Кавказский федеральный университет». Полученные результаты использованы в учебном процессе при разработке учебно -методических материалов и проведении занятий по дисциплинам:

- Основы искусственного интеллекта;

- Программирование под операционную систему Android;

- Современные методы обработки больших данных.

Акты о внедрении результатов диссертационной работы представлены в Приложении А.

Результаты диссертационного исследования использованы при проведении научно-исследовательских работ в рамках проектов и грантов:

- гранта фундаментальных и поисковых научных исследований, поддержанного Российским научным фондом (РНФ) 23-71-10013 «Перспективные методы интеллектуальной обработки сигналов на основе глубоких нейронных сетей и модулярных вычислений»;

- гранта фундаментальных и поисковых научных исследований, поддержанного Российским научным фондом (РНФ) 22-71-00009 «Новые подходы к цифровой обработке биомедицинских данных на основе параллельных вычислений и искусственных нейронных сетей»;

- гранта Президента Российской Федерации для государственной поддержки молодых российских ученых - кандидатов наук МК-371.2022.4 «Аппаратные ускорители с параллельными масштабированными вычислениями для обработки трехмерных медицинских изображений»;

- гранта Президента Российской Федерации для государственной поддержки молодых российских ученых - кандидатов наук МК-3918.2021.1.6 «Высокопроизводительные устройства цифровой обработки медицинских изображений на основе параллельной математики»;

- проекта СТАРТ-1 № С1-117757 «Разработка программного обеспечения поддержки принятия врачебных решений при установке дентальных имплантатов, с учетом прогнозирования нейронными сетями на основе индивидуальных особенностей' пациента»;

- проекта «Северо-Кавказский центр математических исследований» по договорам № 075-02-2023-938 и № 075-02-2024-1451 с Министерством науки и высшего образования Российской Федерации;

- проекта, одобренного к финансированию по конкурсу поддержки проектов научных групп и отдельных ученых Северо-Кавказского федерального

университета «Перспективные подходы к улучшению эксплуатационных и качественных показателей систем цифровой обработки и передачи сигналов и изображений»;

- проекта, одобренного к финансированию по конкурсу поддержки проектов научных групп и отдельных ученых Северо-Кавказского федерального университета «Новые аппаратные средства интеллектуальной обработки изображений с использованием параллельной математики».

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих научных конференциях:

- VI-й ежегодной научно-практическая конференция СевероКавказского федерального университета «Университетская наука - региону», Россия, Ставрополь, 2018;

- I Международная конференция «Innovative Informational and Engineering Technologies (IIET-2020)», Россия, Ставрополь, 2020;

- VIIII Средиземноморская международная конференция «9th Mediterranean Conference on Embedded Computing (MECO-2020)», Будва, Черногория, 2020;

- III Международный научно-практический форум «Россия, Европа, Азия: цифровизация глобального пространства», Россия, Невинномысск, 2020;

- Международная конференция «2021 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT-2021)», Россия, Екатеринбург, 2021;

- III Международная научно-практическая конференция «3rd International Scientific and Practical Conference on Mathematical Modeling, Programming and Applied Mathematics (MMPAM 2021)», Россия, Великий Новгород, 2021;

- Международная конференция «International Conference on Mathematics and its Applications in new Computer Systems (MANCS-2021)», Россия, Ставрополь, 2021;

- XI Средиземноморская международная конференция «11th Mediterranean Conference on Embedded Computing (MECO-2022)», Будва, Черногория, 2020;

- Международная конференция «International Conference on Actual Problems of Applied Mathematics and Computer Science (APAMCS-2022)», Россия, Ставрополь, 2022;

- Международная конференция «2023 International Conference on Quality Management, Transport and Information Security, Information Technologies (IT&QM&IS)», Россия, Петрозаводск, 2023.

Публикации. По теме диссертационного исследования опубликовано 18 работ в журналах и трудах конференций, из них: - 2 журнальные статьи в рецензируемых научных изданиях, рекомендованных ВАК при Министерстве науки и высшего образования Российской Федерации для опубликования основных научных результатов диссертаций на соискание ученой степени кандидата наук; -6 журнальных статей в рецензируемых научных изданиях, внесенных в библиографические и реферативные базы данных Scopus и Web of Science; - 7 тезисов докладов в научных изданиях Scopus и Web of Science; - 3 тезиса докладов в изданиях, проиндексированных в национальной библиографической базе данных научного цитирования РИНЦ. Получено 4 свидетельства о государственной регистрации программы для ЭВМ.

Личный вклад соискателя. Все представленные в диссертационном исследовании результаты и выносимые на защиту положения получены автором лично. В опубликованных совместных научных работах постановка и решение задач проводимых исследований осуществлялись при непосредственном участии соискателя. В статьях [79, 131, 137, 140] личным авторским вкладом соискателя является выведенные формулы вычислительного метода предварительного улучшения визуального качества дерматологических изображений за счет применения цифровой фильтрации на основе морфологических операций, позволяющего предварительно подготовить изображения для дальнейшей нейросетевой классификации. В статьях [17, 132, 133, 136] автором

диссертационного исследования разработана математическая модель системы интеллектуального анализа дерматологических визуальных данных на основе сверточных архитектур. В статьях [134, 135] соискателем разработана математическая модель системы интеллектуального анализа дерматологических данных повышенной точности на основе мультимодальных нейронных сетей, позволяющая более эффективно классифицировать пигментные поражения кожи по сравнению с одномодальными нейросетевыми системами. В статье [19] личным авторским вкладом соискателя является разработка математической модели ансамблевой системы распознавания пигментных новообразований кожи на основе различных мультимодальных архитектур. В статьях [18, 138] автором диссертационного исследования проведено экспериментальное исследование разработанного комплекса программных решений системы интеллектуального анализа дерматологических данных повышенной точности на основе мультимодальных нейронных сетей с этапом предварительной очистки при помощи вычислительного метода предварительного улучшения визуального качества дерматологических изображений. В статье [141] соискателем проведен анализ существующих моделей, алгоритмов и программных комплексов нейросетевой классификации дерматологических визуальных данных.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, списка литературы и 4 приложений. Работа содержит 63 рисунка и 23 таблицы. Список использованных источников литературы насчитывает 219 названий. В диссертационной работе используется двойная нумерация формул, рисунков и таблиц, где первая цифра указывает на номер главы, а вторая на порядковый номер рисунка, таблицы или формулы внутри главы.

Первая глава диссертационного исследования посвящена анализу различных алгоритмов глубокого обучения, используемых при распознавании и классификации статистических и визуальных дерматологических данных. Представлен всесторонний обзор развития и последних достижений в алгоритмах искусственного интеллекта для классификации пигментных новообразований кожи. Представлено несовершенство существующих моделей, алгоритмов и

программных комплексов нейросетевой классификации данных. Отмечено, что известные интеллектуальные системы вспомогательной медицинской диагностики, при высоких показателях тестовой точности, не способны применяться в качестве самостоятельного диагностического инструмента из-за риска возникновения ложного прогнозирования, отсутствия обобщаемости и доверительной интерпретируемости результатов классификации.

Рассмотрены современные модели интеллектуальных систем анализа и классификации пигментных новообразований кожи и выявлены их основные недостатки. Основной проблемой рассмотренных интеллектуальных алгоритмов, моделей и методов является недостаточный уровень тестовой точности систем классификации. Существующие системы искусственного интеллекта обычно работают с одним типом данных, используя диагностически-значимые признаки только текстовой или визуальной информации для дальнейшего получения возможных результатов классификации посредством сопоставления извлеченных функций в обученных нейросетевых моделях. Алгоритмам искусственного интеллекта, использующим только одну модальность данных при классификации, трудно обеспечить высокую точность из-за огромной вариабельности диагностически-значимых признаков при недостаточном количестве обучающих данных. При этом, каждый отдельный базовый интеллектуальный классификатор имеет свои преимущества в методах извлечения признаков и, в то же время, ограниченную возможность улавливать разброс выходных данных. Таким образом, возникает необходимость в разработке более сложных интеллектуальных систем, за счет построения ансамблевых и мультимодальных архитектур. Сформулирована основная задача диссертационного исследования, заключающаяся в совершенствовании методов интеллектуальной классификации дерматологических гетерогенных данных за счет применения этапа предварительной очистки волосяных структур на изображениях и алгоритмов мультимодального ансамблевого нейросетевого анализа при использовании которых будет увеличена точность распознавания пигментных новообразований кожи.

Список литературы диссертационного исследования кандидат наук Ляхова Ульяна Алексеевна, 2024 год

- 20 с.

6. ГОСТ Р 59921.2-2021. Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний. -М.: Стандартинформ, 2022. - 12 с.

7. ГОСТ Р 59921.4-2021. Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров.

- М.: Стандартинформ, 2022. - 16 с.

8. ГОСТ Р 59921.5-2022. Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения

набора данных для обучения и тестирования алгоритмов. - М.: Стандартинформ, 2022. - 24 с.

9. ГОСТ Р 59921.7-2022. Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа медицинских изображений. Методы испытаний. Общие требования. - М.: Стандартинформ, 2023. - 36 с.

10. ГОСТ Р 70462.1-2022. Информационные технологии. Интеллект искусственный. Оценка робастности нейронных сетей. Часть 1. Обзор. - М.: Стандартинформ, 2023. - 32 с.

11. Довганич, А. А. Адаптивные методы обработки медицинских изображений: специальность 05.13.18 "Математическое моделирование, численные методы и комплексы программ": диссертация на соискание ученой степени кандидата физико-математических наук / Довганич Андрей Артурович, 2022. - 103 с.

12. Здравоохранение. Здравоохранение / Росстат. Федеральная служба государственной статистики [Электронный ресурс]. Режим доступа: https://rosstat.gov.ru/folder/13721. (дата обращения: 19.02.2024).

13. Исхаков, А. Р. Методы математического моделирования обработки и анализа изображений в модифицированных дескриптивных алгебрах изображений: специальность 05.13.18 "Математическое моделирование, численные методы и комплексы программ": диссертация на соискание ученой степени кандидата физико-математических наук / Исхаков Алмаз Раилович. - Челябинск, 2017. - 164 с.

14. Каприн, А. Д., Старинский, В. В., Шахзадов, А. О. Злокачественные новообразования в России в 2021 году (заболеваемость и смертность) / А. Д. Каприн, В. В. Старинский, А. О. Шахзадов // М.: МНИОИ им П. А. Герцена -филиал ФГБН «НМИЦ радиологии» Минздрава России. - 2022. - 252 с.

15. Катасева, Д. В. Нейронечеткая модель и программный комплекс формирования баз знаний интеллектуальных систем поддержки принятия решений по оценке состояния объектов: специальность 05.13.18 "Математическое моделирование, численные методы и комплексы программ": диссертация на

соискание ученой степени кандидата технических наук / Катасева Дина Владимировна, 2022. - 185 с.

16. Лагунов, Н. А. Нейросетевое моделирование распознавания многопараметрических объектов: специальность 05.13.18 "Математическое моделирование, численные методы и комплексы программ": диссертация на соискание ученой степени кандидата технических наук / Лагунов Никита Алексеевич, 2016. - 207 с.

17. Ляхов, П. А. Применение методов машинного обучения для медицинской диагностики новообразований кожи / П. А. Ляхов, У. А. Ляхова, М. В. Валуева, Г. В. Валуев // Россия, Европа, Азия: цифровизация глобального пространства : Сборник научных трудов III Международного научно-практического форума, Невинномысск, 16-21 ноября 2020 года / Под редакцией И. В. Пеньковой. - Невинномысск: Общество с ограниченной ответственностью "СЕКВОЙЯ", 2020. - С. 473-477.

18. Ляхова, У. А. Высокоточный программный комплекс интеллектуального анализа гетерогенных дерматологических данных для выявления потенциально злокачественных новообразований кожи / У. А. Ляхова, П. А. Ляхов // Сборник проектов конкурса "Всероссийская научная школа "МЕДИЦИНА МОЛОДАЯ": Международный фонд развития биомедицинских технологий им. В.П. Филатова, Москва, 07 декабря 2022 года. - Москва: Международный фонд развития биомедицинских технологий им. В.П. Филатова, 2023. - С. 1006-1028.

19. Ляхова, У. А. Мультимодальная ансамблевая нейросетевая система обнаружения рака кожи на гетерогенных дерматологических данных / У. А. Ляхова, П. А. Ляхов // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. - 2024. - ^ 20. - №. 2. - С 231243.

20. Ляхова, У. А. Интеллектуальная система анализа несбалансированных гетерогенных дерматологических данных на основе мультимодальной нейронной

сети / У. А. Ляхова // Инфокоммуникационные технологии. - 2022. - Т. 20, № 4. -С. 79-88. - DOI 10.18469Ш.2022.20.4.П.

21. Ляхова, У. А. Мультимодальная нейросетевая система анализа гетерогенных данных для распознавания рака кожи / У. А. Ляхова // Сборник трудов международной научной конференции «Современные проблемы прикладной математики, информатики и механики». - 2023. - С. 45-47.

22. Ляхова, У. А. Ансамблевая система распознавания рака кожи на основе мультимодальных нейросетевых архитектур / У. А. Ляхова // Инженерный вестник Дона. - 2023. - №5. - С. 1-9.

23. Немков, Р. М. Разработка нейросетевых алгоритмов инвариантного распознавания образов: специальность 05.13.18 "Математическое моделирование, численные методы и комплексы программ": диссертация на соискание ученой степени кандидата технических наук / Немков Роман Михайлович, 2015. - 162 с.

24. Сбоев, А. Г. Нейросетевое моделирование и машинное обучение на основе экспериментальных и наблюдательных данных: специальность 05.13.18 "Математическое моделирование, численные методы и комплексы программ": диссертация на соискание ученой степени доктора физико-математических наук / Сбоев Александр Георгиевич, 2021. - 389 с.

25. Свидетельство о государственной регистрации программы для ЭВМ № 2021660729 Российская Федерация. Среда морфологической фильтрации с нейросетевым распознаванием дерматоскопических изображений пигментных новообразований кожи: № 2021619535: заявл. 21.06.2021: опубл. 01.07.2021 / П. А. Ляхов, У. А. Ляхова, А. С. Данченко, М. В. Бергерман; заявитель Федеральное государственное автономное образовательное учреждение высшего образования «Северо-Кавказский федеральный университет».

26. Свидетельство о государственной регистрации программы для ЭВМ № 2022616725 Российская Федерация. Программный комплекс для семантической нейросетевой сегментации пигментных новообразований кожи: № 2022614479: заявл. 24.03.2022: опубл. 15.04.2022 / П. А. Ляхов, У. А. Ляхова; заявитель

Федеральное государственное автономное образовательное учреждение высшего образования «Северо-Кавказский федеральный университет».

27. Свидетельство о государственной регистрации программы для ЭВМ №2 2022615092 Российская Федерация. Среда мультимодального нейросетевого анализа гетерогенных дерматологических данных для распознавания пигментных новообразований кожи: № 2022614467: заявл. 24.03.2022: опубл. 29.03.2022 / П. А. Ляхов, У. А. Ляхова; заявитель Федеральное государственное автономное образовательное учреждение высшего образования «Северо-Кавказский федеральный университет».

28. Свидетельство о государственной регистрации программы для ЭВМ № 2023662645 Российская Федерация. Интеллектуальная система классификации пигментных новообразований кожи на основе взвешенного ансамбля мультимодальных нейронных сетей: № 2023660863: заявл. 29.05.2023: опубл. 09.06.2023 / П. А. Ляхов, У. А. Ляхова; заявитель Федеральное государственное автономное образовательное учреждение высшего образования «СевероКавказский федеральный университет».

29. Сообщение Минздрава России / Министерство здравоохранения Российской Федерации [Электронный ресурс]. Режим доступа: https://minzdrav.gov.ru/news/2018/03/01/7263-soobschenie-minzdrava-rossii. (дата обращения: 19.02.2024).

30. Стрункин, Д. Ю. Математическое и программное обеспечение прогнозирования выживаемости пациентов на основе нечеткой нейронной сети: специальность 05.13.18 "Математическое моделирование, численные методы и комплексы программ": диссертация на соискание ученой степени кандидата технических наук / Стрункин Дмитрий Юрьевич. - Казань, 2012. - 119 с.

31. Толстых, А. А. Математическое моделирование и исследование алгоритмов обучения и выбора гиперпараметров искусственных нейронных сетей для классификации объектов на цифровых изображениях: специальность 1.2.2. "Математическое моделирование, численные методы и комплексы программ":

диссертация на соискание ученой степени кандидата технических наук / Толстых Андрей Андреевич, 2023. - 150 с.

32. Управление Федеральной службы государственной статистики по Северо-Кавказскому федеральному округу - Население. / Росстат. Федеральная служба государственной статистики [Электронный ресурс]. Режим доступа: https://26.rosstat.gov.ru/folder/28386. (дата обращения: 19.02.2024).

33. Шеожев, А. М. Разработка нейросетевых алгоритмов для автоматизации медико-биологических исследований: специальность 05.13.18 "Математическое моделирование, численные методы и комплексы программ": диссертация на соискание ученой степени кандидата технических наук / Шеожев Альберт Мухамедович. - Нальчик, 2004. - 137 с.

34. Шепелев, И. Е. Модель нейронной сети с преднастройкой для решения задач формирования сенсомоторной координации робота-манипулятора: специальность 05.13.18 "Математическое моделирование, численные методы и комплексы программ": диссертация на соискание ученой степени кандидата технических наук / Шепелев Игорь Евгеньевич. - Ростов-на-Дону, 2004. - 134 с.

35. Adepu, A. K. Melanoma classification from dermatoscopy images using knowledge distillation for highly imbalanced data / A. K. Adepu, S. Sahayam, U. Jayaraman, R. Arramraju // Computers in Biology and Medicine. - 2023. - Vol. 154. -P. 106571. - DOI 10.1016/j.compbiomed.2023.106571.

36. Akilandasowmya, G. Skin cancer diagnosis: Leveraging deep hidden features and ensemble classifiers for early detection and classification / G. Akilandasowmya, G. Nirmaladevi, S. U. Suganthi, A. Aishwariya // Biomedical Signal Processing and Control. - 2024. - Vol. 88. - P. 105306.

37. Akter, M. S. Multi-class skin cancer classification architecture based on deep convolutional neural / M. S. Akter, H. Shahriar, S. Sneha, A. Cuzzocrea // 2022 IEEE International Conference on Big Data (Big Data). - IEEE, 2022. - P. 5404-5413.

38. Albahar, M. A. Skin lesion classification using convolutional neural network with novel regularizer / M. A. Albahar // IEEE Access. - 2019. - Vol. 7. - P. 3830638313.

39. Ali, M. S. An enhanced technique of skin cancer classification using deep convolutional neural network with transfer learning models / M. S. Ali, M. S. Miah, J. Haque, M. M. Rahman, M. K. Islam // Machine Learning with Applications. - 2021. -Vol. 5. - P. 100036.

40. Alizadeh, S. M. Automatic skin cancer detection in dermoscopy images by combining convolutional neural networks and texture features / S. M. Alizadeh, A. Mahloojifar // International Journal of Imaging Systems and Technology. - 2021. - Vol. 31. - №. 2. - P. 695-707.

41. Allais, B. S. Five-year survival in patients with nodular and superficial spreading melanomas in the US population / B. S. Allais, M. Beatson, H. Wang, S. Shahbazi, L. Bijelic, S. Jang, S. Venna // Journal of the American Academy of Dermatology. - 2021. - Vol. 84. - №. 4. - P. 1015-1022.

42. Aloupogianni, E. Hyperspectral and multispectral image processing for gross-level tumor detection in skin lesions: a systematic review / E. Aloupogianni, M. Ishikawa, N. Kobayashi, T. Obi // Journal of Biomedical Optics. - 2022. - Vol. 27. - №. 6. - P. 060901-060901.

43. Alphonse, A. S. A hybrid stacked restricted boltzmann machine with sobel directional patterns for melanoma prediction in colored skin images / A. S. Alphonse, J. B. Benifa, A. Y. Muaad, C. Chola, M. B. B. Heyat, B. A. H. Murshed, M. A. Al-Antari // Diagnostics. - 2023. - Vol. 13. - №. 6. - P. 1104.

44. Andreu-Perez, J. Big data for health / J. Andreu-Perez, C. C. Poon, R. D. Merrifield, S. T. Wong, G. Z. Yang // IEEE journal of biomedical and health informatics. - 2015. - Vol. 19. - №. 4. - P. 1193-1208.

45. Apalla, Z. Epidemiological trends in skin cancer / Z. Apalla, A. Lallas, E. Sotiriou, E. Lazaridou, D. Ioannides // Dermatology Practical & Conceptual. - 2017. -Vol. 7. - №. 2. P. 1-6.

46. Arora, G. Multiple skin lesion classification using deep, ensemble, and shallow (DEnSha) neural networks approach / G. Arora, A. K. Dubey, Z. A. Jaffery // International Journal of System Assurance Engineering and Management. - 2023. - Vol. 14. - №. 1. - P. 385-393.

47. Attik, M. Neural network topology optimization / M. Attik, L. Bougrain, F. Alexandre // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2005. - №. 3697. - P. 5358.

48. Aurelio, Y. S. Learning from imbalanced data sets with weighted cross-entropy function / Y. S. Aurelio, G. M. De Almeida, C. L. De Castro, A. P. Braga // Neural processing letters. - 2019. - Vol. 50. - P. 1937-1949.

49. Balch, C. M. A multifactorial analysis of melanoma: III. Prognostic factors in melanoma patients with lymph node metastases (stage II) / C. M. Balch, S. J. Soong, T. M. Murad, A. L. Ingalls, W. A. Maddox // Annals of surgery. - 1981. - Vol. 193. - №№. 3. - P. 377.

50. Bao, H. Beit: Bert pre-training of image transformers / H. Bao, L. Dong, S. Piao, F. Wei // arXiv preprint arXiv:2106.08254. - 2021.

51. Bassel, A. Automatic malignant and benign skin cancer classification using a hybrid deep learning approach / A. Bassel, A. B. Abdulkareem, Z. A. A. Alyasseri, N. S. Sani, H. J. Mohammed // Diagnostics. - 2022. - Vol. 12. - №. 10. - P. 2472.

52. Bechelli, S. Machine learning and deep learning algorithms for skin cancer classification from dermoscopic images / S. Bechelli, J. Delhommelle // Bioengineering. - 2022. - T. 9. - №. 3. - C. 97.

53. Benardos, P. G. Optimizing feedforward artificial neural network architecture / P. G. Benardos, G. C. Vosniakos // Engineering applications of artificial intelligence. - 2007. - T. 20. - №. 3. - C. 365-382.

54. Bhatt, H. State-of-the-art machine learning techniques for melanoma skin cancer detection and classification: A comprehensive review / H. Bhatt, V. Shah, K. Shah, R. Shah, M. Shah // Intelligent Medicine. - 2023. - T. 3. - №. 03. - C. 180-190.

55. Brochez, L. Inter-observer variation in the histopathological diagnosis of clinically suspicious pigmented skin lesions / L. Brochez, E. Verhaeghe, E. Grosshans, E. Haneke, G. Pierard, D. Ruiter, J. M. Naeyaert // The Journal of Pathology: A Journal of the Pathological Society of Great Britain and Ireland. - 2002. - T. 196. - №. 4. - C. 459-466.

56. Brock, A. High-performance large-scale image recognition without normalization / A. Brock, S. De, S. L. Smith, K. Simonyan // International Conference on Machine Learning. - Proceedings of Machine Learning Research. - 2021. - C. 10591071.

57. Cassidy, B. Analysis of the ISIC image datasets: Usage, benchmarks and recommendations / B. Cassidy, C. Kendrick, A. Brodzicki, J. Jaworek-Korjakowska, M. H. Yap // Medical image analysis. - 2022. - T. 75. - C. 102305.

58. Chatterjee, S. Mathematical morphology aided shape, texture and colour feature extraction from skin lesion for identification of malignant melanoma / S. Chatterjee, D. Dey, S. Munshi // 2015 International Conference on Condition Assessment Techniques in Electrical Systems (CATCON). - IEEE, 2015. - C. 200-203.

59. Chen, M. AI-Skin: Skin disease recognition based on self-learning and wide data collection through a closed-loop framework / M. Chen, P. Zhou, D. Wu, L. Hu, M. M. Hassan, A. Alamri // Information Fusion. - 2020. - T. 54. - C. 1-9.

60. Chen, Q. MDFNet: application of multimodal fusion method based on skin image and clinical data to skin cancer classification / Q. Chen, M. Li, C. Chen, P. Zhou, X. Lv, C. Chen // Journal of Cancer Research and Clinical Oncology. - 2023. - T. 149. -№. 7. - C. 3287-3299.

61. Chen, S. Recursive erosion, dilation, opening, and closing transforms / S. Chen, R. M. Haralick // IEEE Transactions on image processing. - 1995. - T. 4. - №. 3. - C. 335-345.

62. Chicco, D. The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation / D. Chicco, G. Jurman // BMC genomics. - 2020. - T. 21. - C. 1-13.

63. Chin, Y. P. H. A patient-oriented, general-practitioner-level, deep-learning-based cutaneous pigmented lesion risk classifier on a smartphone / Y. P. H. Chin, Z. Y. Hou, M. Y. Lee, H. M. Chu, H. H. Wang, Y. T. Lin, Y. C. J. Li // British Journal of Dermatology. - 2020. - T. 182. - №. 6. - C. 1498-1500.

64. Chollet, F. Xception: Deep learning with depthwise separable convolutions / F. Chollet // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2017. - C. 1251-1258.

65. Codella, N. C. F. Skin lesion analysis toward melanoma detection: A challenge at the 2017 international symposium on biomedical imaging (ISBI), hosted by the international skin imaging collaboration (ISIC) / N. C. Codella, D. Gutman, M. E. Celebi, B. Helba, M. A. Marchetti, S. W. Dusza, A. Halpern // 2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018). - 2018. - C. 168-172.

66. Collier V. et al. Sex disparity in skin carcinogenesis and potential influence of sex hormones / V. Collier, M. Musicante, T. Patel, F. Liu-Smith // Skin health and disease. - 2021. - T. 1. - №. 2. - C. 27.

67. Combalia, M. Bcn20000: Dermoscopic lesions in the wild / M. Combalia, N. C. Codella, V. Rotemberg, B. Helba, V. Vilaplana, O. Reiter, J. Malvehy // arXiv preprint arXiv: 1908.02288. - 2019.

68. Crowley, J. L. Convolutional Neural Networks / J. L. Crowley // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2023. - C. 67-80.

69. Curteanu, S. Optimization strategy based on genetic algorithms and neural networks applied to a polymerization process / S. Curteanu, F. Leon // International Journal of Quantum Chemistry. - 2008. - T. 108. - №. 4. - C. 617-630.

70. Das, K. Machine learning and its application in skin cancer / K. Das, C. J. Cockerell, A. Patil, P. Pietkiewicz, M. Giulini, S. Grabbe, M. Goldust // International Journal of Environmental Research and Public Health. - 2021. - T. 18. - №. 24. - C. 13409.

71. Deng, J. Imagenet: A large-scale hierarchical image database / J. Deng, W. Dong, R. Socher, L. J. Li, K. Li, L. Fei-Fei // 2009 IEEE conference on computer vision and pattern recognition. - IEEE, 2009. - C. 248-255.

72. Diame, Z. E. Deep learning architiectures for aided melanoma skin disease recognition: a review / Z. E. Diame, M. N. Al-Berry, M. A. M. Salem, M. Roushdy //

2021 International Mobile, Intelligent, and Ubiquitous Computing Conference (MIUCC).

- IEEE, 2021. - C. 324-329.

73. Dildar M. et al. Skin cancer detection: a review using deep learning techniques / M. Dildar, S. Akram, M. Irfan, H. U. Khan, M. Ramzan, A. R. Mahmood, M. H. Mahnashi // International journal of environmental research and public health. -2021. - T. 18. - №. 10. - C. 5479.

74. Dong, Y. Recognition of imbalanced underwater acoustic datasets with exponentially weighted cross-entropy loss / Y., Dong, X. Shen, Z. Jiang, H. Wang // Applied Acoustics. - 2021. - T. 174. - C. 107740.

75. Dorj, U. O. The skin cancer classification using deep convolutional neural network / U. O. Dorj, K. K. Lee, J. Y. Choi, M. Lee // Multimedia Tools and Applications.

- 2018. - T. 77. - C. 9909-9924.

76. Dosovitskiy, A. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale / A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, N. Houlsby // ICLR 2021 - 9th International Conference on Learning Representations. - 2020. - P. 1-22.

77. Dubey, S. R. DiffGrad: an optimization method for convolutional neural networks / S. R. Dubey, S. Chakraborty, S. K. Roy, S. Mukherjee, S. K. Singh, B. B. Chaudhuri // IEEE transactions on neural networks and learning systems. - 2019. - T. 31.

- №. 11. - C. 4500-4511.

78. Elizondo, D. A. Analysis and test of efficient methods for building recursive deterministic perceptron neural networks / D. A. Elizondo, R. Birkenhead, M. Gongora, E. Taillard, P. Luyima // Neural Networks. - 2007. - T. 20. - №. 10. - C. 1095-1108.

79. Fedorenko, V. V. Semantic Segmentation System of Pigmented Skin Lesions Based on Convolutional Neural Networks / V. V. Fedorenko, U. A. Lyakhova, N. N. Nagornov, G. A. Efimenko, D. I. Kaplun // 2022 11th Mediterranean Conference on Embedded Computing (MECO). - IEEE, 2022. - C. 1-5.

80. Foahom-Gouabou, A. C. End-to-end decoupled training: A robust deep learning method for long-tailed classification of dermoscopic images for skin lesion

classification / A. C. Foahom Gouabou, R. Iguernaissi, J. L. Damoiseaux, A. Moudafi, D. Merad // Electronics. - 2022. - T. 11. - №. 20. - C. 3275.

81. Gajera, H. K. comprehensive analysis of dermoscopy images for melanoma detection via deep CNN features / H. K. Gajera, D. R. Nayak, M. A. A. Zaveri // Biomedical Signal Processing and Control. - 2023. - T. 79. - C. 104186.

82. Gao, S. Bearing fault diagnosis based on adaptive convolutional neural network with Nesterov momentum / S. Gao, Z. Pei, Y. Zhang, T. Li // IEEE Sensors Journal. - 2021. - T. 21. - №. 7. - C. 9268-9276.

83. Gerken, W. C. Genetic algorithm for optimization and specification of a neuron model / W. C. Gerken, L. K. Purvis, R. J. Butera // Neurocomputing. - 2006. - T. 69. - №. 10-12. - C. 1039-1042.

84. Geyer, L. H. Feature lists and confusion matrices / L. H. Geyer, C. G. DeWald // Perception & Psychophysics. - 1973. - T. 14. - №. 3. - C. 471-482.

85. Giotis, I. MED-NODE: A computer-assisted melanoma diagnosis system using non-dermoscopic images / I. Giotis, N. Molders, S. Land, M. Biehl, M. F. Jonkman, N. Petkov // Expert systems with applications. - 2015. - T. 42. - №. 19. - C. 6578-6585.

86. Gouabou, A. C. F. Ensemble Method of Convolutional Neural Networks with Directed Acyclic Graph Using Dermoscopic Images: Melanoma Detection Application / A. C. F. Gouabou, J. L. Damoiseaux, J. Monnier, R. Iguernaissi, A. Moudafi, D. Merad, // Sensors. - 2021. - T. 21. - №. 12. - C. 3999.

87. Goyal, M. Artificial intelligence-based image classification methods for diagnosis of skin cancer: Challenges and opportunities / M. Goyal, T. Knackstedt, S. Yan, S. Hassanpour // Computers in biology and medicine. - 2020. - T. 127. - C. 104065.

88. Gutman, D. Skin lesion analysis toward melanoma detection: A challenge at the international symposium on biomedical imaging (ISBI) 2016, hosted by the international skin imaging collaboration (ISIC) / D. Gutman, N. C. Codella, E. Celebi, B. Helba, M. Marchetti, N. Mishra, A. Halpern // arXiv preprint arXiv: 1605.01397. - 2016.

89. Haggenmuller, S. Skin cancer classification via convolutional neural networks: systematic review of studies involving human experts / S. Haggenmuller, R. C. Maron,

A. Hekler, J. S. Utikal, C. Barata, R. L. Bamhill, T. J. Brinker // European Journal of Cancer. - 2021. - T. 156. - C. 202-216.

90. Han, S. S. Classification of the clinical images for benign and malignant cutaneous tumors using a deep learning algorithm / S. S. Han, M. S. Kim, W. Lim, G. H. Park, I. Park, S. E. Chang // Journal of Investigative Dermatology. - 2018. - T. 138. - №2. 7. - C. 1529-1538.

91. Han, S. S. Augmented intelligence dermatology: deep neural networks empower medical professionals in diagnosing skin cancer and predicting treatment options for 134 skin disorders / S. S. Han, I. Park, S. E. Chang, W. Lim, M. S. Kim, G. H. Park, J. I. Na // Journal of Investigative Dermatology. - 2020. - T. 140. - №. 9. - C. 1753-1761.

92. Harangi, B. Classification of skin lesions using an ensemble of deep neural networks / B. Harangi, A. Baran, A. Hajdu // 2018 40th annual international conference of the IEEE engineering in medicine and biology society (EMBC). - IEEE, 2018. - C. 2575-2578.

93. Hauser, K. Explainable artificial intelligence in skin cancer recognition: A systematic review / K. Hauser, A. Kurz, S. Haggenmüller, R. C. Maron, C. von Kalle, J. S. Utikal, T. J. Brinker // European Journal of Cancer. - 2022. - T. 167. - C. 54-69.

94. He, K. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - C. 770-778.

95. Hekler, A. Superior skin cancer classification by the combination of human and artificial intelligence / A. Hekler, J. S. Utikal, A. H. Enk, A. Hauschild, M. Weichenthal, R. C. Maron, A. Thiem // European Journal of Cancer. - 2019. - T. 120. - C. 114-121.

96. Ho, Y. The real-world-weight cross-entropy loss function: Modeling the costs of mislabeling / Y. Ho, S. Wookey // IEEE access. - 2019. - T. 8. - C. 4806-4813.

97. Höhn, J. Combining CNN-based histologic whole slide image analysis and patient data to improve skin cancer classification / J. Höhn, E. Krieghoff-Henning, T. B. Jutzi, C. von Kalle, J. S. Utikal, F. Meier, T. J. Brinker // European Journal of Cancer. -2021. - T. 149. - C. 94-101.

98. Höhn, J. Integrating patient data into skin cancer classification using convolutional neural networks: systematic review / J. Höhn, A. Hekler, E. Krieghoff-Henning, J. N. Kather, J. S. Utikal, F. Meier, T. J. Brinker // Journal of medical Internet research. - 2021. - T. 23. - №. 7. - C. e20708.

99. Hu, W. Changing trends in the disease burden of non-melanoma skin cancer globally from 1990 to 2019 and its predicted level in 25 years / W. Hu, L. Fang, R. Ni, H. Zhang, G. Pan // BMC cancer. - 2022. - T. 22. - №. 1. - C. 836.

100. Huang, G. Densely connected convolutional networks / G. Huang, Z. Liu, L. Van Der Maaten, K. Q. Weinberger // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2017. - C. 4700-4708.

101. Huynh, T. Semi-supervised learning for medical image classification using imbalanced training data / T. Huynh, A. Nibali, Z. He // Computer methods and programs in biomedicine. - 2022. - T. 216. - C. 106628.

102. Iandola, F. N. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size / F. N. Iandola, S. Han, M. W. Moskewicz, K. Ashraf, W. J. Dally, K. Keutzer // arXiv preprint arXiv: 1602.07360. - 2016.

103. Indraswari, R. Melanoma image classification based on MobileNetV2 network / R. Indraswari, R. Rokhana, W. Herulambang // Procedia computer science. -2022. - T. 197. - C. 198-207.

104. Ioffe, S. Batch normalization: Accelerating deep network training by reducing internal covariate shift / S. Ioffe, C. Szegedy // International conference on machine learning. - pmlr, 2015. - C. 448-456.

105. Jackway, P. T. Scale-space properties of the multiscale morphological dilation-erosion / P. T. Jackway, M. Deriche // IEEE transactions on pattern analysis and machine intelligence. - 1996. - T. 18. - №. 1. - C. 38-51.

106. Jeong, H. K. Deep learning in dermatology: a systematic review of current approaches, outcomes, and limitations / H. K. Jeong, C. Park, R. Henao, M. Kheterpal // JID Innovations. - 2023. - T. 3. - №. 1. - C. 100150.

107. Jodelet, Q. Balanced softmax cross-entropy for incremental learning / Q. Jodelet, X. Liu, T. Murata // International conference on artificial neural networks. -Cham: Springer International Publishing, 2021. - C. 385-396.

108. Jones, O. T. Artificial intelligence and machine learning algorithms for early detection of skin cancer in community and primary care settings: a systematic review / O. T. Jones, R. N. Matin, M. Van der Schaar, K. P. Bhayankaram, C. K. I. Ranmuthu, M. S. Islam, F. M. Walter // The Lancet Digital Health. - 2022. - T. 4. - №. 6. - C. 466-476.

109. Juszczak, A. M. Skin cancer, including related pathways and therapy and the role of luteolin derivatives as potential therapeutics / A. M. Juszczak, U. Wo elfle, M. Z. Koncic, M. Tomczyk // Medicinal research reviews. - 2022. - T. 42. - №. 4. - C. 14231462.

110. Jutzi, T. B. Artificial intelligence in skin cancer diagnostics: the patients' perspective / T. B. Jutzi, E. I. Krieghoff-Henning, T. Holland-Letz, J. S. Utikal, A. Hauschild, D. Schadendorf, T. J. Brinker // Frontiers in medicine. - 2020. - T. 7. - C. 233.

111. Kausar, N. Multiclass skin cancer classification using ensemble of fine-tuned deep learning models / N. Kausar, A. Hameed, M. Sattar, R. Ashraf, A. S. Imran, M. Z. U. Abidin, A. Ali // Applied Sciences. - 2021. - T. 11. - №. 22. - C. 10593.

112. Kawahara, J. Seven-point checklist and skin lesion classification using multitask multimodal neural nets / J. Kawahara, S. Daneshvar, G. Argenziano, G. Hamarneh // IEEE journal of biomedical and health informatics. - 2018. - T. 23. - №. 2. - C. 538-546.

113. Keerthana, D. Hybrid convolutional neural networks with SVM classifier for classification of skin cancer / D. Keerthana, V. Venugopal, M. K. Nath, M. Mishra // Biomedical Engineering Advances. - 2023. - T. 5. - C. 100069.

114. Kim, Y. Imbalanced image classification with complement cross entropy / Y. Kim, Y. Lee, M. Jeon // Pattern Recognition Letters. - 2021. - T. 151. - C. 33-40.

115. Kingma, D. P. Adam: A method for stochastic optimization 3rd International Conference on Learning Representations / D. P. Kingma, J. L. Ba // ICLR 2015-Conference Track Proceedings. - 2015. - T. 1.

116. Monika M. K. et al. Skin cancer detection and classification using machine learning / M. K. Monika, N. A. Vignesh, C. U. Kumari, M. N. Kumar, E. L. Lydia // Materials Today: Proceedings. - 2020. - T. 33. - C. 4266-4270.

117. Krizhevsky, A. Imagenet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G. E. Hinton // Advances in neural information processing systems. - 2012. - T. 25.

118. Kurtansky, N. R. An epidemiologic analysis of melanoma overdiagnosis in the United States, 1975-2017 / N. R. Kurtansky, S. W. Dusza, A. C. Halpern, R. I. Hartman, A. C. Geller, A. A. Marghoob, M. A. Marchetti // Journal of Investigative Dermatology. - 2022. - T. 142. - №. 7. - C. 1804-1811.

119. Lee, J. R. H. Cancer-Net SCa: tailored deep neural network designs for detection of skin cancer from dermoscopy images / J. R. H. Lee, M. Pavlova, M. Famouri, A. Wong // BMC Medical Imaging. - 2022. - T. 22. - №. 1. - C. 143.

120. Lee, T. Dullrazor®: A software approach to hair removal from images / T. Lee, V. Ng, R. Gallagher, A. Coldman, D. McLean // Computers in biology and medicine. - 1997. - T. 27. - №. 6. - C. 533-543.

121. Li, Z. Artificial intelligence in dermatology image analysis: current developments and future trends / Z. Li, K. C. Koban, T. L. Schenck, R. E. Giunta, Q. Li, Y. Sun // Journal of clinical medicine. - 2022. - T. 11. - №. 22. - C. 6826.

122. Lideikaite, A. Analysis of prognostic factors for melanoma patients / A. Lideikaite, J. Mozuraitiene, S. Letautiene // Acta medica Lituanica. - 2017. - T. 24. - №2. 1. - C. 25-34.

123. Lillicrap, T. P. Backpropagation and the brain / T. P. Lillicrap, A. Santoro, L. Marris, C. J. Akerman, G. Hinton // Nature Reviews Neuroscience. - 2020. - T. 21. - №. 6. - C. 335-346.

124. Lim, J. S. Two-dimensional signal and image processing / J. S. Lim // Prentice-Hall. - 1990.

125. Lima, D. M. Dermadl: advanced convolutional neural networks for computer-aided skin-lesion classification / D. M. Lima, J. F. Rodrigues-Jr, B. Brandoli, L. Goeuriot, S. Amer-Yahia // SN Computer Science. - 2021. - T. 2. - C. 1-13.

126. Linares, M. A. Skin cancer / M. A. Linares, A. Zakaria, P. Nizran // Prim Care.

- 2015. - T. 42. - №. 4. - C. 645-659.

127. Lodha, S. Discordance in the histopathologic diagnosis of difficult melanocytic neoplasms in the clinical setting / S. Lodha, S. Saggar, J. T. Celebi, D. N. Silvers // Journal of cutaneous pathology. - 2008. - T. 35. - №. 4. - C. 349-352.

128. Lu, Y. Feature ensemble learning based on sparse autoencoders for image classification / Y. Lu, L. Zhang, B. Wang, J. Yang // 2014 International Joint Conference on Neural Networks (IJCNN). - IEEE, 2014. - C. 1739-1745.

129. Lucieri, A. ExAID: A multimodal explanation framework for computer-aided diagnosis of skin lesions / A. Lucieri, M. N. Bajwa, S. A. Braun, M. I. Malik, A. Dengel, S. Ahmed // Computer Methods and Programs in Biomedicine. - 2022. - T. 215. - C. 106620.

130. Luo, N. Artificial intelligence-assisted dermatology diagnosis: from unimodal to multimodal / N. Luo, X. Zhong, L. Su, Z. Cheng, W. Ma, P. Hao // Computers in Biology and Medicine. - 2023. - C. 107413.

131. Lyakhov, P. A. Neural network classification system for pigmented skin neoplasms with preliminary hair removal in photographs / P. A. Lyakhov, U. A. Lyakhova // Computer Optics. - 2021. - T. 5. - №. 45. - C. 728-735.

132. Lyakhov, P. A. Non-convex optimization with using positive-negative moment estimation and its application for skin cancer recognition with a neural network / P. A. Lyakhov, U. A. Lyakhova, R. I. Abdulkadirov // Computer Optics. - 2024. - T. 48. - №. 2. - C. 260-271.

133. Lyakhov, P. A. Neural network classification of dermatoscopic images of pigmented skin lesions / P. A. Lyakhov, U. A. Lyakhova, V. A. Baboshina // International Conference on Mathematics and its Applications in new Computer Systems. Cham: Springer International Publishing. - 2021. - C. 41-49.

134. Lyakhov, P. A. Multimodal Analysis of Unbalanced Dermatological Data for Skin Cancer Recognition / P. A. Lyakhov, U.A. Lyakhova, D. I. Kalita // IEEE Access.

- 2023. - T. 11. - C. 131487-131507.

135. Lyakhov, P. A. System for the recognizing of pigmented skin lesions with fusion and analysis of heterogeneous data based on a multimodal neural network / P. A. Lyakhov, U. A. Lyakhova, N. N. Nagornov // Cancers. - 2022. - T. 14. - №. 7. - C. 1819-1835.

136. Lyakhova, U. A. Method for determining skin lesions from images using neural network / U. A. Lyakhova, P. A. Lyakhov, N. I. Chervyakov, D. I. Kaplun, A. S. Voznesensky // 2020 9th Mediterranean Conference on Embedded Computing (MECO).

- 2020. - C. 1-4.

137. Lyakhova, U. A. System for neural network recognition of malignant pigmented skin neoplasms with image pre-processing / U. A. Lyakhova, P. A. Lyakhov, R. I. Abdulkadirov, G. A. Efimenko, S. A. Romanov, D. I. Kaplun // Journal of Physics: Conference Series. - 2021. - T. 2052. - №. 1. - C. 012023.

138. Lyakhova, U. A. Cloud-Based Service for Recognizing Pigmented Skin Lesions Using a Multimodal Neural Network System / U. A. Lyakhova, D. N. Bondarenko, E. E. Boyarskaya, N. N. Nagornov // International Conference on Actual Problems of Applied Mathematics and Computer Science. - Cham: Springer Nature Switzerland. - 2022. - C. 401-409.

139. Lyakhova, U. A. Neural Network Skin Cancer Recognition with a Modified Cross-Entropy Loss Function / U.A. Lyakhova // International Conference on Actual Problems of Applied Mathematics and Computer Science. Cham: Springer Nature Switzerland. - 2022. - C. 353-363.

140. Lyakhova, U. A. Method of cleaning hair structures for intellectual image classification of skin neoplasms / U. A. Lyakhova, P. A. Lyakhov // 2021 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). IEEE. - 2021. - C. 0020-0023.

141. Lyakhova, U. A. Systematic review of approaches to detection and classification of skin cancer using artificial intelligence: Development and prospects / U.A. Lyakhova, P. A. Lyakhov // Computers in Biology and Medicine. - 2024. - T. 178.

- 108742-108779.

142. Lynn, N. C. Segmentation and classification of skin cancer melanoma from skin lesion images / N. C. Lynn, Z. M. Kyu // 2017 18th international conference on parallel and distributed computing, applications and technologies (PDCAT). - 2017. - C. 117-122.

143. Lyu, J. Prediction model for suicide based on back propagation neural network and multilayer perceptron / J. Lyu, H. Shi, J. Zhang, J. Norvilitis // Frontiers in neuroinformatics. - 2022. - T. 16. - C. 961588.

144. Ma, N. Shufflenet v2: Practical guidelines for efficient cnn architecture design / N. Ma, X. Zhang, H. T. Zheng, J. Sun // Proceedings of the European conference on computer vision (ECCV). - 2018. - C. 116-131.

145. Mahbod, A. Transfer learning using a multi-scale and multi-network ensemble for skin lesion classification / A., Mahbod, G. Schaefer, C. Wang, G. Dorffner, R. Ecker, I. Ellinger // Computer methods and programs in biomedicine. - 2020. - T. 193. - C. 105475.

146. Marka, A. Automated detection of nonmelanoma skin cancer using digital images: a systematic review / A. Marka, J. B. Carter, E. Toto, S. Hassanpour // BMC medical imaging. - 2019. - T. 19. - C. 1-12.

147. Maron, R. C. A benchmark for neural network robustness in skin cancer classification / R. C. Maron, J. G. Schlager, S. Haggenmuller, C. von Kalle, J. S. Utikal, F. Meier, T. J. Brinker // European Journal of Cancer. - 2021. - T. 155. - C. 191-199.

148. Melarkode, N. AI-powered diagnosis of skin cancer: a contemporary review, open challenges and future research directions / N. Melarkode, K. Srinivasan, S. M. Qaisar, P. Plawiak // Cancers. - 2023. - T. 15. - №. 4. - C. 1183.

149. Mendonfa, T. Ph2: A public database for the analysis of dermoscopic images / T. Mendonfa, M. Celebi, T. Mendonca, J. Marques // Dermoscopy image analysis. -2015. - T. 2.

150. Meswal, H. A weighted ensemble transfer learning approach for melanoma classification from skin lesion images / H. Meswal, D. Kumar, A. Gupta, S. Roy // Multimedia Tools and Applications. - 2024. - T. 83. - №. 11. - C. 33615-33637.

151. Ibnu, C. R. M., Santoso J., Surendro K. Determining the neural network topology: A review / C. R. M. Ibnu, J. Santoso, K. Surendro // Proceedings of the 2019 8th International Conference on Software and Computer Applications. - 2019. - C. 357362.

152. Ahmed, K. T. Predicting skin cancer melanoma using stacked convolutional neural networks model / K. T. Ahmed, F. Rustam, A. Mehmood, I. Ashraf, G. S. Choi // Multimedia Tools and Applications. - 2024. - T. 83. - №. 4. - C. 9503-9522.

153. Naeem, A. Malignant melanoma classification using deep learning: datasets, performance measurements, challenges and opportunities / A. Naeem, M. S. Farooq, A. Khelifi, A. Abid // IEEE Access. - 2020. - T. 8. - C. 110575-110597.

154. Navarrete-Dechent, C. Automated dermatological diagnosis: hype or reality? / C. Navarrete-Dechent, S. W. Dusza, K. Liopyris, A. A. Marghoob, A. C. Halpern, M. A. Marchetti // The Journal of investigative dermatology. - 2018. - T. 138. - №. 10. - C. 2277.

155. O'shea, K. An introduction to convolutional neural networks / K. O'shea, R. Nash // arXiv preprint arXiv:1511.08458. - 2015.

156. Ou, C. A deep learning based multimodal fusion model for skin lesion diagnosis using smartphone collected clinical images and metadata / C. Ou, S. Zhou, R. Yang, W. Jiang, H. He, W. Gan, J. Li // Frontiers in Surgery. - 2022. - T. 9. - C. 1029991.

157. Ozaydin, B. Data mining and clinical decision support systems / B. Ozaydin, J. M. Hardin, D. C. Chhieng // Clinical Decision Support Systems: Theory and Practice. - 2016. - C. 45-68.

158. Pacheco, A. G. C. PAD-UFES-20: A skin lesion dataset composed of patient data and clinical images collected from smartphones / A. G. Pacheco, G. R. Lima, A. S. Salomao, B. Krohling, I. P. Biral, G. G. de Angelo, L. F. de Barros // Data in brief. -2020. - T. 32. - C. 106221.

159. Pacheco, A. G. C. The impact of patient clinical information on automated skin cancer detection / A. G. C. Pacheco, R. A. Krohling // Computers in biology and medicine. - 2020. - T. 116. - C. 103545.

160. Pacheco, A. G. C. An attention-based mechanism to combine images and metadata in deep learning models applied to skin cancer classification / A. G. C. Pacheco, R. A. Krohling // IEEE journal of biomedical and health informatics. - 2021. - T. 25. -№. 9. - C. 3554-3563.

161. Pai, K. Convolutional Neural Networks for classifying skin lesions / K. Pai, A. Giridharan // TENCON 2019-2019 IEEE Region 10 Conference (TENCON). - 2019. - C. 1794-1796.

162. Pious, I. K. A review on early diagnosis of skin cancer detection using deep learning techniques / I. K. Pious, R. Srinivasan // 2022 International Conference on Computer, Power and Communications (ICCPC). - 2022. - C. 247-253.

163. Piuleac, C. G. Ten steps modeling of electrolysis processes by using neural networks / C. G. Piuleac, M. A. Rodrigo, P. Cañizares, S. Curteanu, C. Sáez // Environmental Modelling & Software. - 2010. - T. 25. - №. 1. - C. 74-81.

164. Polikar R. Ensemble learning / R. Polikar // Ensemble machine learning: Methods and applications. - 2012. - C. 1-34.

165. Potdar, K. A comparative study of categorical variable encoding techniques for neural network classifiers / K. Potdar, T. S. Pardawala, C. D. Pai // International journal of computer applications. - 2017. - T. 175. - №. 4. - C. 7-9.

166. Qureshi, A. S. Transfer learning with ensembles of deep neural networks for skin cancer detection in imbalanced data sets / A. S. Qureshi, T. Roos // Neural Processing Letters. - 2023. - T. 55. - №. 4. - C. 4461-4479.

167. Ramlakhan, K. A mobile automated skin lesion classification system / K. Ramlakhan, Y. Shang // 2011 IEEE 23rd International Conference on Tools with Artificial Intelligence. - 2011. - C. 138-141.

168. Raza, R. Melanoma classification from dermoscopy images using ensemble of convolutional neural networks / R. Raza, F. Zulfiqar, S. Tariq, G. B. Anwar, A. B. Sargano, Z. Habib // Mathematics. - 2021. - T. 10. - №. 1. - C. 26.

169. Real, E. Regularized evolution for image classifier architecture search / E. Real, A. Aggarwal, Y. Huang, Q. V. Le // Proceedings of the aaai conference on artificial intelligence. - 2019. - T. 33. - №. 01. - C. 4780-4789.

170. Redmon, J. YOLO9000: better, faster, stronger / J. Redmon, A. Farhadi // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2017.

- C. 7263-7271.

171. Redmon, J. Yolov3: An incremental improvement / J. Redmon, A. Farhadi // arXiv preprint arXiv:1804.02767. - 2018.

172. Rezk, E. A comprehensive review of artificial intelligence methods and applications in skin cancer diagnosis and treatment: Emerging trends and challenges / E. Rezk, M. Haggag, M. Eltorki, W. El-Dakhakhni // Healthcare Analytics. - 2023. - C. 100259.

173. Ring, C. Dermatoscopy / C. Ring, N. Cox, J. B. Lee // Clinics in Dermatology.

- 2021. - T. 39. - №. 4. - C. 635-642.

174. Rojas, R. The backpropagation algorithm / R. Rojas // Neural networks: a systematic introduction. - 1996. - C. 149-182.

175. Rotemberg, V. A patient-centric dataset of images and metadata for identifying melanomas using clinical context / V. Rotemberg, N. Kurtansky, B. Betz-Stablein, L. Caffery, E. Chousakos, N. Codella, H. P. Soyer // Scientific data. - 2021. -T. 8. - №. 1. - C. 34.

176. Sandler, M. Mobilenetv2: Inverted residuals and linear bottlenecks / M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, L. C. Chen // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2018. - C. 4510-4520.

177. Schmid-Saugeona, P. Towards a computer-aided diagnosis system for pigmented skin lesions / P. Schmid-Saugeona, J. Guillodb, J. P. Thirana // Computerized Medical Imaging and Graphics. - 2003. - T. 27. - №. 1. - C. 65-78.

178. Seger, C. An investigation of categorical variable encoding techniques in machine learning: binary versus one-hot and feature hashing / C. Seger // Degree project technology. - 2018.

179. Shahjahan, M. A pruning algorithm for training cooperative neural network ensembles / M. Shahjahan, K. Murase // IEICE TRANSACTIONS on Information and Systems. - 2006. - T. 89. - №. 3. - C. 1257-1269.

180. Sharafudeen, M. Detecting skin lesions fusing handcrafted features in image network ensembles / M. Sharafudeen // Multimedia Tools and Applications. - 2023. - Т. 82. - №. 2. - С. 3155-3175.

181. Shorfuzzaman, M. An explainable stacked ensemble of deep learning models for improved melanoma skin cancer detection / M. Shorfuzzaman // Multimedia Systems.

- 2022. - Т. 28. - №. 4. - С. 1309-1323.

182. Siegel, J. A. Current perspective on actinic keratosis: a review / J. A. Siegel, K. Korgavkar, M. A. Weinstock // British Journal of Dermatology. - 2017. - Т. 177. -№. 2. - С. 350-358.

183. Simonyan, K.Very Deep Convolutional Networks for Large-Scale Image Recognition / K. Simonyan, A. Zisserman // 3rd International Conference on Learning Representations, ICLR 2015 - Conference Track Proceedings. - 2014.

184. Sinz, C. Accuracy of dermatoscopy for the diagnosis of nonpigmented cancers of the skin / C. Sinz, P. Tschandl, C. Rosendahl, B. N. Akay, G. Argenziano, A. Blum, H. Kittler // Journal of the American Academy of Dermatology. - 2017. - Т. 77. - №. 6.

- С. 1100-1109.

185. Song, L. An end-to-end multi-task deep learning framework for skin lesion analysis / L. Song, J. Lin, Z. J. Wang, H. Wang // IEEE journal of biomedical and health informatics. - 2020. - Т. 24. - №. 10. - С. 2912-2921.

186. Srivastava, S. Omnivec: Learning robust representations with cross modal sharing / S. Srivastava, G. Sharma // Proceedings of the IEEE/CVF winter conference on applications of computer vision. - 2024. - С. 1236-1248.

187. Sureerattanan, S. New training method and optimal structure of backpropagation networks / S. Sureerattanan, N. Sureerattanan // International Conference on Natural Computation. Berlin, Heidelberg: Springer Berlin Heidelberg. -2005. - С. 157-166.

188. Szegedy, C. Going deeper with convolutions / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, A. Rabinovich // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2015. - С. 1-9.

189. Szegedy, C. Rethinking the inception architecture for computer vision / C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - C. 2818-2826.

190. Szegedy, C. Inception-v4, inception-resnet and the impact of residual connections on learning / C. Szegedy, S. Ioffe, V. Vanhoucke, A. Alemi // Proceedings of the AAAI conference on artificial intelligence. - 2017. - T. 31. - №. 1.

191. Tajjour, S. A novel hybrid artificial neural network technique for the early skin cancer diagnosis using color space conversions of original images / S. Tajjour, S. Garg, S. S. Chandel, D. Sharma // International Journal of Imaging Systems and Technology. - 2023. - T. 33. - №. 1. - C. 276-286.

192. Tan, M. Mnasnet: Platform-aware neural architecture search for mobile / M. Tan, B. Chen, R. Pang, V. Vasudevan, M. Sandler, A. Howard, Q. V. Le // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. - 2019. - C. 2820-2828.

193. Tan, M. Efficientnet: Rethinking model scaling for convolutional neural networks / M. Tan, Q. Le //International conference on machine learning. - PMLR, 2019. - C. 6105-6114.

194. Tang, E. K. An analysis of diversity measures / E. K. Tang, P. N. Suganthan, X. Yao // Machine learning. - 2006. - T. 65. - C. 247-271.

195. Tasci, E. Bias and class imbalance in oncologic data—towards inclusive and transferrable AI in large scale oncology data sets / E. Tasci, Y. Zhuge, K. Camphausen, A. V. Krauze // Cancers. - 2022. - T. 14. - №. 12. - C. 2897.

196. Thurnhofer-Hemsi, K. Skin lesion classification by ensembles of deep convolutional networks and regularly spaced shifting / K. Thurnhofer-Hemsi, E. Lopez-Rubio, E. Dominguez, D. A. Elizondo // IEEE Access. - 2021. - T. 9. - C. 112193112205.

197. Touvron, H. Fixing the train-test resolution discrepancy / H. Touvron, A. Vedaldi, M. Douze, H. Jegou // Advances in neural information processing systems. -2019. - T. 32.

198. Tschandl, P. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions / P. Tschandl, C. Rosendahl, H. Kittler // Scientific data. - 2018. - T. 5. - №. 1. - C. 1-9.

199. Turkay, C. Hypothesis generation by interactive visual exploration of heterogeneous medical data / C. Turkay, A. Lundervold, A. J. Lundervold, H. Hauser // Human-Computer Interaction and Knowledge Discovery in Complex, Unstructured, Big Data: Third International Workshop, HCI-KDD 2013, Held at SouthCHI 2013, Maribor, Slovenia, July 1-3, 2013. Proceedings. Springer Berlin Heidelberg. - 2013. - C. 1-12.

200. Vestergaard, M. E. Dermoscopy compared with naked eye examination for the diagnosis of primary melanoma: a meta-analysis of studies performed in a clinical setting / M. E. Vestergaard, P. H. Macaskill, P. E. Holt, S. W. Menzies // British Journal of Dermatology. - 2008. - T. 159. - №. 3. - C. 669-676.

201. Vo, N. H. Classification of unbalanced medical data with weighted regularized least squares / N. H. Vo, Y. Won // 2007 Frontiers in the Convergence of Bioscience and Information Technologies. - 2007. - C. 347-352.

202. Wang, Q. A comprehensive survey of loss functions in machine learning / Q. Wang, Y. Ma, K. Zhao, Y. Tian // Annals of Data Science. - 2020. T. 9. - № 2. - C. 126.

203. Wang, Y. Deep learning enhances polarization speckle for in vivo skin cancer detection / Y. Wang, D. C. Louie, J. Cai, L. Tchvialeva, H. Lui, Z. J. Wang, T. K. Lee // Optics & Laser Technology. - 2021. - T. 140. - C. 107006.

204. Wang, Y. Ssd-kd: A self-supervised diverse knowledge distillation method for lightweight skin lesion classification using dermoscopic images / Y. Wang, Y. Wang, J. Cai, T. K. Lee, C. Miao, Z. J. Wang // Medical Image Analysis. - 2023. - T. 84. - C. 102693.

205. Wei, L. Automatic skin cancer detection in dermoscopy images based on ensemble lightweight deep learning network / L. Wei, K. Ding, H. Hu // IEEE Access. -2020. - T. 8. - C. 99633-99647.

206. Wen, D. Characteristics of publicly available skin cancer image datasets: a systematic review / D. Wen, S. M. Khan, A. J. Xu, H. Ibrahim, L. Smith, J. Caballero, R. N. Matin // The Lancet Digital Health. - 2022. - T. 4. - №. 1. - C. 64-74.

207. Wiens, J. Do no harm: a roadmap for responsible machine learning for health care / J. Wiens, S. Saria, M. Sendak, M. Ghassemi, V. X. Liu, F. Doshi-Velez, A. Goldenberg // Nature medicine. - 2019. - T. 25. - №. 9. - C. 1337-1340.

208. Wu, Y. Skin cancer classification with deep learning: a systematic review / Y. Wu, B. Chen, A. Zeng, D. Pan, R. Wang, S. Zhao // Frontiers in Oncology. - 2022. - T. 12. - C. 893972.

209. Xie, S. Aggregated residual transformations for deep neural networks / S. Xie, R. Girshick, P. Dollar, Z. Tu, K. He // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2017. - C. 1492-1500.

210. Xu, Z. Adversarial uni-and multi-modal stream networks for multimodal image registration / Z. Xu, J. Luo, J. Yan, R. Pulya, X. Li, W. Wells, J. Jagadeesan // Medical Image Computing and Computer Assisted Intervention-MICCAI 2020: 23rd International Conference, Lima, Peru, October 4-8, 2020, Proceedings, Part III 23. Springer International Publishing. - 2020. - C. 222-232.

211. Yang, T. Y. Web-based skin cancer assessment and classification using machine learning and mobile computerized adaptive testing in a Rasch Model: development study / T. Y. Yang, T. W. Chien, F. J. Lai // JMIR Medical Informatics. -2022. - T. 10. - №. 3. - C. e33006.

212. Yin, W. A study on skin tumor classification based on dense convolutional networks with fused metadata / W. Yin, J. Huang, J. Chen, Y. Ji // Frontiers in Oncology. - 2022. - T. 12. - C. 989894.

213. Yu, J. Coca: Contrastive captioners are image-text foundation models / J. Yu, Z. Wang, V. Vasudevan, L. Yeung, M. Seyedhosseini, Y. Wu // arXiv preprint arXiv:2205.01917. - 2022.

214. Yuan, L. Florence: A new foundation model for computer vision / L. Yuan, D. Chen, Y. L. Chen, N. Codella, X. Dai, J. Gao, P. Zhang // arXiv preprint arXiv:2111.11432. - 2021.

215. Zaheer, M. Adaptive methods for nonconvex optimization / M. Zaheer, S. Reddi, D. Sachan, S. Kale, S. Kumar // Advances in neural information processing systems. - 2018. - Т. 31.

216. Zhang, N. Skin cancer diagnosis based on optimized convolutional neural network / N. Zhang, Y. X. Cai, Y. Y. Wang, Y. T. Tian, X. L. Wang, B. Badami // Artificial intelligence in medicine. - 2020. - Т. 102. - С. 101756.

217. Zhiou, A. AZ-skin: Inclusive system for skin disease recognition from hybrid data / A. Zhiou, H. Njah // Multimedia Tools and Applications. - 2024. - Т. 83. - №. 14. - С. 43199-43221.

218. DermNet | Dermatology Resource [Электронный ресурс]. Режим доступа: https://dermnetnz.org/ (дата обращения: 19.11.2023).

219. ISIC | International Skin Imaging Collaboration [Электронный ресурс]. Режим доступа: https://www.isic-archive.com/ (дата обращения: 15.11.2023).

Приложение А. Акты о внедрении результатов диссертационного

исследования

Рисунок А.1 - Акт внедрения результатов диссертационной работы в образовательный процесс программы 01.03.02 «Прикладная математика и информатика», профиль «Вычислительная математика и информатика» кафедры математического моделирования факультета математики и компьютерных наук имени профессора Н.И. Червякова ФГАОУ ВО «Северо-Кавказский федеральный

университет»

УТВЕРЖДАЮ

Проректор I ¡чввучяхяк^инновационной деятельной |';С|1$Г,Э'О^ЭТИ>>

.А. Семенов

2024 г.

АКТ

о внедрении результатов диссертационной работы Ляховой Ульяны Алексеевны «Моделирование интеллектуального анализа дерматологических данных на основе ансамблевой мультимодальной классификации» в реализацию научного проекта в рамках государственного задания Министерства науки и высшего образования Российской Федерации №07501024-21-02 от 29.09.2021 (проект Р8ЕЕ-2021-0015) «Разработка фундаментальных основ для построения интеллектуальных систем промышленного уровня и обеспечения их комплексной защиты»

Научно-техническая комиссия (НТК) факультета компьютерных технологий и информатики (ФКТИ) установила, что результаты диссертационной работы Ляховой Ульяны Алексеевны на тему «Моделирование интеллектуального анализа дерматологических данных на основе ансамблевой мультимодальной классификации» были использованы при реализации научного проекта в рамках государственного задания Министерства науки и высшего образования Российской Федерации №075-01024-21-02 от 29.09.2021 (проект 1:8ЕЕ-2021-0015) «Разработка фундаментальных основ для построения интеллектуальных систем промышленного уровня и обеспечения их комплексной защиты».

В результате проведенных исследований была разработана и внедрена модель интеллектуальной системы распознавания пигментных новообразований кожи с объединением и анализом гетерогенных дерматологических данных на основе мультимодальной нейронной сети и этапом предварительной очистки волосяных структур. Применение разработанного вычислительного метода улучшения изображений на основе морфологических операций в качестве этапа предварительной обработки позволило повысить точность распознавания пигментных новообразований кожи на 2.13-3.17 процентных пункта. Использование разработанной мультимодальной модели позволило повысить точность распознавания пигментных новообразований кожи на 4.93-6.28 процентных пункта по сравнению с одномодальными моделями.

Председатель НТК ФКТИ:_

к.т.н., доцент

/ С.Н. Ежов

Члены НТК ФКТИ:

Декан ФКТИ:

/Д.И. Каплун

к.т.н., доцент -й^к, /М.А. Шиголева

к.т.н., доцент

/И.И. Холод

д.т.н., доцент

Рисунок А. 2 - Акт внедрения результатов диссертационной работы в реализацию научного проекта в рамках государственного задания Министерства науки и высшего образования Российской Федерации №075-91923-21-92 от 29.09.2021 (проект Б8ЕЕ-2021-0015) «Разработка фундаментальных основ для построения интеллектуальных систем промышленного уровня и обеспечения их комплексной

защиты»

Приложение Б. Свидетельства о государственной регистрации программ для

ЭВМ

Рисунок Б.1 - Свидетельство о государственной регистрации программы для ЭВМ «Интеллектуальная система классификации пигментных новообразований кожи на основе взвешенного ансамбля мультимодальных нейронных сетей» №

2023662645 от 09.06.2023 [28]

Рисунок Б.2 - Свидетельство о государственной регистрации программы для

ЭВМ «Среда мультимодального нейросетевого анализа гетерогенных дерматологических данных для распознавания пигментных новообразований

кожи» № 2022615092 от 29.03.2022 [27]

Рисунок Б.3 - Свидетельство о государственной регистрации программы для ЭВМ «Программный комплекс для семантической нейросетевой сегментации пигментных новообразований кожи» № 2022616725 от 15.04.2022 [26]

Рисунок Б.4 - Свидетельство о государственной регистрации программы для ЭВМ «Среда морфологической фильтрации с нейросетевым распознаванием дерматоскопических изображений пигментных новообразований кожи» №

2021660729 от 01.07.2021 [25]

Приложение В. Сводные таблицы современных исследований, посвященных интеллектуальным системам

обработки визуальных данных

Таблица В.1 - Сводная таблица исследований, посвященных разработке сверточных нейросетевых систем автоматизированной классификации пигментных новообразований кожи

№ Статья Год Архитектура Предварительная обработка Аугментация Сегментация Датасет Точность, % AUC F-1, % Se, % Sp, % Pr, % Rc, %

HAM10000 и

1. [95] 2019 ResNet50 X X X часть архива ISIC (мк) 81,6 - 86,1 89,2 - - -

2. [205] 2020 DenseNet Создание пар обучающих примеров Отдельный инструмент ISIC-2016 (бинарный) 85,5 84,5 - - - - -

3. [91] 2020 СНС X X X Общий набор ASAN, Web, MED-NODE (мк) 56,7 92,8 - - - - -

Преобразование

4. [185] 2020 Faster R СНС (FPN) размера; Нормализация нулевого центра изображения; Выделение области интереса (ROI) СС при помощи FPN Часть архива ISIC 13780 случаев (бинарный) 81,3 79,4 - 99,1 73,1 - -

Преобразование

5. [125] 2021 СНН на основе AG и SE размера; Метод CLAHE для улучшения X 7-POINT (мк) 84,2 92,6 - 62,7 94,6 - -

контрастности и уменьшения шума

6. [203] 2021 ResNet-101 Преобразование размера; Создание дубликатов спекл-интерференционного поля X Собственный набор 318 случаев (бинарный) 82,0 - - 78,0 85,0 - -

7. [119] 2022 Cancer-Net SCa-B X X ше 23906 примеров (бинарный) 84,4 - - 91,4 - - -

8. [103] 2022 MobileNet_V2 X X Общий набор Часть архива ше, ше- 2016, МЕБ-ШБЕЕ, РН2 (бинарный) 85,0 - - 85,0 85,0 83,0 -

9. [51] 2022 ResNet50 X X X Часть набора ШС 2287 случаев (бинарный) 81,6 - 78,8 82,1 - - -

10. [204] 2023 MobileNet_V2 Преобразование размера ^ X ШС 2019 (мк) 84,0 97,7 - - - - -

EfficientNetB0 86,6 97,6 - - - - -

11. [81] 2023 DenseNet-121 Выделение области интереса (ROI); Преобразование размера; Нормализация цветовых каналов X X ШС 2017 (мк) 81,2 - - - - - -

12. [152] 2023 16-слойная СНС Ручное удаление зашумленных изображений; Извлечение признаков цветовых каналов Увеличение при помощи фильтра резкого ядра (sharp kernel filter) X ШС 2020 (бинарный) 73,0 - 74,0 71,0 - 77.0 -

Таблица В.2 - Сводная таблица исследований, посвященных разработке ансамблевых и мультимодальных нейросетевых систем автоматизированной классификации пигментных новообразований кожи

№ Статья Год Архитектура Предварительная обработка Аугментация Сегментация Датасет Точность, % AUC F-1, % Se, % Sp, % Pr, % Rc, %

Ансамблевые нейросетевые системы

2 СНС НАМ10000 (мк)

1. [196] 2021 (MobileNetV2 и GoogLeNet) X X X 83,6 - 68,8 65,6 95,5 76,6 -

2. [86] 2021 3 СНС (ResNet50, VGG16 и VGG19) Преобразование размера; Нормализация цветовых каналов и значений пикселей ^ X ШС 2018 (мк) 75,2 - - - - - -

Удаление

волосяных

3. [40] 2021 3 базовых классификато ра (VGG-19, NB и kNN) структур методом БиШагог [120]; Извлечение признаков текстурных особенностей X X ШС 2016 (бинарный) 85,2 - - 52,0 93,4 - -

4. [52] 2022 5 моделей машинного обучения (LR, LDA, kNN, CART, GNB) Преобразование размера X Часть архива ШС 3297 случаев (бинарный) 75,0 83,0 66,0 - - 55,0 83,0

Мультимодальные нейросетевые системы

5. [159] 2020 Изображения: Яе8№г-50 Метаданные: МЛП Нормализация цветовых каналов; Преобразование метаданных One-Hot Использование взвешенной функции потерь X собственный набор 1612 случаев (мк) 78,8 95,8 79,0 - - 80,0 78,8

6. [160] 2021 Изображения: ResNet-50 Метаданные: MetaBlock на основе LSTM Преобразование размера изображений; Преобразование метаданных методом бинарной кодировки и One-Hot Использование взвешенной функции потерь X ISIC 2019 (мк) 80,4 96,6 - - - - -

PAD-UFES-20 (мк) 73,5 93,5 - - - - -

7. [97] 2021 Изображения: СНС Метаданные: МЛП Преобразование метаданных числовым кодированием X X собственный набор 431 случаев (бинарный) 78,8 90,6 - - - - -

8. [156] 2022 Изображения: ResNet-50 Метаданные: МЛП Преобразование метаданных методом бинарной кодировки X X PAD-UFES-20 (мк) 76,8 94,7 - - - - -

9. [129] 2022 Изображения: SEResNeXt Метаданные: МЛП Преобразование размера изображений X X Derm7pt (бинарный) 83,6 85,0 - - - 81,7 78,0

10. [212] 2022 Изображения: DenseNet-169 Метаданные: MetaNet+Meta Block Преобразование размера изображений X X PAD-UFES-20 (мк) 79,6 95,6 - - - - -

HAM10000 (мк) 84,1 98,0 - - - - -

11. [60] 2023 Изображения: DenseNet121 Метаданные: МЛП Преобразование изображений методов экстрактора признаков; Преобразование метаданных методом One-Hot X X PAD-UFES-20 (мк) 75,8 93,0 - - - - -

12. [191] 2023 Изображения: EfficientNetB 1 Метаданные: МЛП Извлечение цветовой медианы изображений; Преобразование размера изображений; Нормализаций значений пикселей; Преобразование метаданных бинарным кодированием Сегментация пороговым методом Оцу HAM10000 (мк) 84,0 97,0 84,0 - - - 84,0

Мультимодальная ансамблевая интеллектуальная модель

13. - 2023 Изображения различные СНС Метаданные: МЛП 4 МНС (AlexNet Inception_v4 DenseNet-161 ResNeXt 50) Удаление волосяных структур методом на основе морфологических операций; Преобразование размера изображений; Преобразование метаданных методом One-Hot Л Использовани е взвешенной функции потерь X Часть архива ШС 41725 случаев (мультикласс ) 87,4 - 86,9 86,9 98,6 86,9 86,9

Часть архива ШС 41725 случаев (бинарный) 94,1 - 96,1 96,0 88,5 - -

Таблица В.3 - Сводная таблица диссертаций на соискание ученых степеней по паспорту специальности 1.2.2. (05.13.18)

«Математическое моделирование, численные методы и комплексы программ»

№ Автор Год Ссылка Математическая модель Численный метод Комплекс программ

1. Шепелев И. Е. 2004 [34] Модель нейронной сети с преднастройкой, обладающая свойством локальной адаптивности при распределенном представлении аппроксимируемых в нейросети функций Метод преднастройки на требуемое функциональное преобразование как механизм адаптации нейросети к изменяющимся условиям функционирования Реализация механизма преднастройки в нейронных структурах

2. Шеожев А. М. 2004 [33] Модификация рекуррентной конструктивной модели обучения нейронной сети для решения задачи развернутой медицинской диагностики. Метод многозначного целочисленного кодирования признаков; Методы построения нейросетевых алгоритмов полиноМНСльного типа по многозначному дереву решений Программного-алгоритмический комплекс для нейросетевой развернутой диагностики хронических гастритов

3. Стрункин Д. Ю. 2012 [30] Модель представления знаний для прогнозирования выживаемости, допускающая работу с различными типами данных Модифицированный генетический алгоритм обучения нечеткой нейросети с небинарным определением хромосомы и генетическими операторами, не допускающими нарушения логического порядка следования значений нечетких входов сети Программный комплекс, позволяющий строить модели выживаемости пациентов и прогнозировать выживаемость пациента на заданных временных интервалах

4. Немков Р. М. 2015 [23] Алгоритм изменения форм РП для различных комбинаций сверточных слоев СНС, приводящих к изменению ее архитектуры; Алгоритм синтеза параметров математической модели СНС с расширенным обучающим множеством Метод синтеза параметров математической модели СНС с расширенным обучающим множеством; Численный метод редукции расширенного обучающего множества Программный комплекс, интегрированный в состав робототехнических систем (РТС), позволяющий распознавать различные классы объектов

5. Лагунов Н. А. 2016 [16] Параллельный алгоритм обработки данных в СНС второго порядков, ориентированный на процессоры векторно-матричной архитектуры Метод выделения и распознавания объектов на основе модели R-СНС, отличающийся от известных использованием СНС высокого порядка и численного метода отсеивания гипотез; Численный метод отсеивания гипотез расположения объекта, отличающийся использованием дополнительного нормализованного градиента для анализа низкочастотной структуры изображения Программный комплекс, реализующий разработанный метод выделения и распознавания объектов

6. Исхаков А. Р. 2017 [13] Математический аппарат модифицированных дескриптивных алгебр изображений, представляющий специализацию дескриптивных алгебр изображений на случай универсальных алгебр Численный метод многопараметрической стохастической оптимизации (генетический алгоритм) параметров математической модели обработки и анализа изображений Программный комплекс, позволяющий получить комбинаторную оценку воронки пространства обработки и анализа изображений

7. Ахметвалеев А. М. 2018 [2] Нейросетевая модель в виде коллектива нейронных сетей (КНС) для определения функционального состояния опьянения человека по его зрачковой реакции на световое импульсное воздействие Численный метод редукции нейросетевой модели и алгоритм двухэтапной генетической оптимизации структуры составляющих ее нейронных сетей Комплекс программ, реализующий предложенные метод и алгоритм, позволяющий строить и использовать модель КНС для определения функционального состояния опьянения человека

8. Сбоев А. Г. 2021 [24] Нейросетевая модель глубокого обучения для комплексного морфологического и морфосинтаксического разбора русскоязычного текста Метод с использованием вероятностно-энтропийных метрик для эффективного выделения документов, тематически схожих с заданной небольшой коллекцией текстов Программный пакет для модифицированного алгоритма растущего нейронного дерева для решения задач иерархической кластеризации данных при анализе текстов

9. Аврутский В. И. 2021 [1] Модель градиентного обучения многослойных нейронных сетей с использованием дополнительных производных, свойства этой процедуры и результаты экспериментов с её применением; Модельные краевые задачи для линейного и нелинейного уравнения Пуассона в пространствах размерности 2-5 решены с помощью нейронных сетей Метод обучения с исключением, позволяющий увеличить относительную точность глубоких нейронных сетей; Метод случайных направлений, снижающий сложность обучения с исключением для задач размерности более 2 Разработан программный комплекс «epde-2», эффективно использующий GPU и предназначенный для дифференцирования многослойных переептронов, минимизации отклонения их производных, а также для решения уравнений в частных производных

10. Толстых А. А. 2022 [31] Модель и алгоритм автоматизированного выбора количества нейронов в полносвязных слоях, выступающих в качестве нейроклассификатора; Модель и алгоритм автоматизированного выбора гиперпараметров нейропараметризатора на основе сверточной нейронной сети Численный метод и гибридный алгоритм обучения сверточных нейронных сетей для задач классификации объектов на цифровых изображениях; Методика сравнения архитектур искусственных нейронных сетей на основе использования метода интегральных градиентов Комплекс программ для ЭВМ, подтверждающие адекватность разработанных моделей и эффективность предложенных методов и алгоритмов

11. Довганич А. А. 2022 [11] Алгоритм нелокального среднего, основанный на модифицированном индексе структурного сходства; Алгоритм классификации ренгеновских снимков легких при диагностике туберкулеза Методы предобработки, визуализации структурных особенностей, определения качества, классификации и сегментации медицинских изображений могут применяться как в виде связных модулей в качестве вспомогательных систем при постановке диагноза врачом, так и в качестве независимой системы медицинской компьютерной диагностики Программный комплекс предобработки, визуализации структурных особенностей, определения качества, классификации и сегментации медицинских изображений, основанные на методах математического моделирования

12. Катасева Д. А. 2022 [15] Математический метод моделирования состояния объектов на основе формирования нечетких баз знаний, отличающийся применением группового сэмплинга с замещением для получения однородных обучающей, тестовой и валидационной выборок данных, использованием нового вида нечетких правил Методы и алгоритмы построения нейронечеткой модели и формирования баз знаний для оценки состояния объектов Комплекс программ для формирования и использования нечетких баз знаний по оценке состояния объектов в условиях разнотипности и некомплектности входных данных

13. Ляхова У.А. 2023 - Математическая модель системы интеллектуального анализа дерматологических данных повышенной точности на основе ансамблевых мультимодальных нейронных сетей Вычислительный метод предварительного улучшения визуального качества дерматологических изображений за счет применения цифровой фильтрации на основе морфологических операций Комплекс программ интеллектуального распознавания пигментных поражений кожи на основе ансамблевой мультимодальной интеллектуальной системы с этапом предварительной обработки данных

Приложение Г. Листинг программного модуля системы нейросетевого распознавания пигментных новообразований кожи

import pandas as pd import os

import numpy as np import cv2

from PIL import Image

import torch import torch.nn as nn

from torchvision import datasets, models, transforms from torch.utils.data import Dataset, DataLoader

from sklearn.preprocessing import LabelEncoder

import matplotlib.pyplot as plt import glob import re

from tqdm import tqdm import time

from sklearn.metrics import confusion_matrix import seaborn as sns

from torchmetrics.classification import MulticlassSpecificity from sklearn.metrics import recall_score from sklearn.metrics import precision_score

from sklearn.metrics import fl_score from sklearn.metrics import jaccard_score from sklearn.metrics import accuracy_score from sklearn.metrics import matthews_corrcoef

class CombineDataset(Dataset):

def_init_(self, frame, id_col, label_name, path_imgs, use_cache = False,

transform = None):

self.frame = frame self.id_col = id_col self.label_name = label_name self.path_imgs = path_imgs self.inputs_dtype = torch.float32

self.transform = transform

self.use_cache = use_cache

if self.use_cache: self.cached_data = []

progressbar = tqdm(range(len(self.path_imgs)), desc='Caching')

for i, img in zip(progressbar, self.path_imgs):

img = Image.open(img) if self.transform is not None:

img= self.transform(img) self.cached_data.append(img)

def_len_(self):

return (self.frame.shape[0])

def_getitem_(self, idx):

if torch.is_tensor(idx): idx = idx.tolist()

img = self.cached_data[idx]

feats = [feat for feat in self.frame.columns if feat not in

[self.label_name,self.id_col]]

feats = np.array(self.frame[feats].iloc[idx])

feats = feats.tolist()

feats = torch.FloatTensor(feats)

label = np.array(self.frame[self.label_name].iloc[idx]) label = torch.tensor(label, dtype=torch.long)

name = self.frame[self.id_col].iloc[idx]

data_dir = "C:\\Users\\...\\CLEAN DATASET\\"

metadata = pd.read_csv('\\MetaData2.csv')

numbers = re.compile(r'(\d+)')

def numericalSort(value): parts = numbers.split(value) parts[1::2] = map(int, parts[1::2]) return parts

data_dir2 = sorted(glob.glob('\\CLEAN DATASET\\* .jpg'), key=numericalSort)

labels_cat = ['0. vascular lesions', '1. nevus', '2. solar lentigo', '3. dermatofibroma', '4. seborrheic ketarosis', '5. benign ketarosis', '6. actinic keratosis', '7. basal cell carcinoma', '8. squamous cell carcinoma', '9. melanoma']

img_size = 224, 224

batch_size = 5

metadata_age = metadata[['age']] Age_grup = []

for i in metadata_age['age']:

if i <= 44: Age_grup += ['young'] #print('MonogoH')

elif 45 <= i <= 59: Age_grup += ['middle'] #print('cpegHHH') elif 60 <= i <= 74: Age_grup += ['elderly'] #prmt('no^H.roH') elif 75 <= i: Age_grup += ['senile'] #print('go.ro^HTe.H') else:

Age_grup += ['error'] #print('offlH6Ka') metadata['age'] = Age_grup

encode_map_categor = {'0. vascular lesions': 0, '1. nevus': 1, '2. solar lentigo': 2, '3. dermatofibroma': 3, '4. seborrheic ketarosis': 4, '5. benign ketarosis': 5, '6. actinic keratosis': 6, '7. basal cell carcinoma': 7, '8. squamous cell carcinoma': 8, '9. melanoma': 9}

encode_map_age = {'young': 0, 'middle': 1, 'elderly': 2, 'senile': 3} encode_map_sex = {'male': 0, 'female': 1}

encode_map_anatomloc = {'anterior torso': 0, 'head/neck': 1, 'lateral torso': 2, 'lower extremity': 3, 'oral/genital': 4, 'palms/soles': 5, 'posterior torso': 6, 'upper extremity': 7}

metadata['diagnosis'].replace(encode_map_categor, inplace=True) metadata['age'].replace(encode_map_age, inplace=True)

metadata['sex'].replace(encode_map_sex, inplace=True) metadata[,anatomloc'].replace(encode_map_anatomloc, inplace=True)

test_indices = torch.load('\\test_indices.pt')

transform_test = transforms.Compose([

transforms.Resize((img_size)), transforms .ToTensor(),

transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994,

0.2010)),

])

Data_set = CombineDataset(metadata, 'name', 'diagnosis', data_dir2, use_cache = True, transform = transform_test)

Dataloader = torch.utils.data.DataLoader(Data_set, batch_size = 1, shuffle = False, sampler = test_indices)

age = ['меньше 44 лет', 'от 45 до 59 лет', 'от 60 до 74 лет', 'больше 75 лет'] sex = ['Мужчина', 'Женщина']

anatomloc = ['торс', 'голова/шея', 'боковая часть туловища', 'нижняя конечность', 'оральная/генитальная зона', 'ладони/подошвы', 'задняя часть туловища', 'верхняя конечность']

lab = ['сосудистое поражение', 'невус', 'солнечное лентиго', 'дерматофиброма', 'себорейный кератоз', 'доброкачественный кератоз', 'актинический кератоз', 'базально-клеточная карцинома', 'плоскоклеточный рак', 'меланома']

examples = enumerate (Dataloader)

batch_idx, (example_data, example_meta, example_targets, example_name) = next(examples)

#%matplotlib qt %matplotlib inline

plt.figure(1, figsize=[9,9]) for i in range(5): plt.subplot(3, 3, i+1) plt.tight_layout()

plt.imshow(example_data[i] [0], cmap='gray', interpolation='none') agel = example_meta[i][0].type(torch.LongTensor) sexl = example_meta[i][1].type(torch.LongTensor) anatomlocl = example_meta[i][2].type(torch.LongTensor) plt.title(мДиагноз: \n| {} |\n Метаданные: {}; \n {}; \n {} \n Имя файла: {}".format(lab[example_targets[i]], age[age1], sex[sex1], anatomloc[anatomloc1], example_name[i])) plt.xticks([]) plt.yticks([])

def get_default_device(): if torch.cuda.is_available():