Разработка и исследование полуавтоматических и автоматического алгоритмов оконтуривания левого желудочка сердца на эхокардиографических изображениях сердца тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Зюзин Василий Викторович

• Зюзин Василий Викторович
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Зюзин Василий Викторович

Введение

Глава 1. Анализ состояния предметной области. Постановка

задач исследования

1.1 Диагностирование состояния сердечной мышцы с использованием эхокардиографии

1.2 Сравнительный анализ программ для построения контура ЛЖ, поставляемых различными производителями УЗИ-сканеров

1.3 Математическая постановка задачи оконтуривания ЛЖ сердца

1.4 Анализ методов, используемых для автоматизации оконтуривания ЛЖ сердца на УЗИ-изображениях

1.4.1 Методы предобработки УЗИ-кадров

1.4.2 Методы идентификации контура ЛЖ на УЗИ-изображении

1.4.3 Методы идентификации области ЛЖ сердца на УЗИ-изображении

1.5 Постановка задач исследований

Глава 2. Анализ особенностей эхокардографических

наборов данных и экспертной разметки ЛЖ

2.1 Анализ выбранных наборов ультразвуковых изображений

2.1.1 Набор данных CAMUS

2.1.2 Набор данных USEKB

2.1.3 Набор данных CETUS

2.1.4 Обобщенные результаты анализа наборов данных УЗИ-изображений

2.2 Анализ набора экспертных контуров ЛЖ

2.2.1 Алгоритм поиска реперных точек экспертного контура

2.2.2 Влияние числа базовых точек контура на точность его интерполяции

2.3 Выводы

Глава 3. Разработка полуавтоматических и автоматического

алгоритмов оконтуривания ЛЖ

3.1 Полуавтоматические методы оконтуривания ЛЖ

3.1.1 Алгоритм, основанный на использовании морфологических операций, для определения границ контура ЛЖ

3.1.2 Метод оконтуривания ЛЖ на основе уровневых

множеств и активных контуров

3.1.3 Метод, основанный на использовании оптического потока Лукаса-Канаде

3.2 Автоматический алгоритм сегментации области ЛЖ на основе

сверточной нейронной сети (СНС)

3.2.1 Модификация архитектуры U-Net

3.3 Выводы

Глава 4. Результаты работы алгоритмов оконтуривания ЛЖ

4.1 Методика экспериментального исследования

4.2 Обоснование выбора оптимальных параметров алгоритмов оконтуривания ЛЖ

4.3 Анализ результатов применения разработанных алгоритмов к набору УЗИ-изображения сердечной мыщцы USEKB

4.4 Выводы

Заключение

Список сокращений и условных обозначений

Список литературы

Список рисунков

Список таблиц

Приложение А. Листинги файлов набора данных CAMUS

Приложение Б. Гистограммы распределений значений

коэффициентов Dice и Jaccard и их

аппроксиммации Розенблатта-Парзена

Приложение В. Программный листинг

Приложение Г. Типичные результаты применения алгоритма

оптического потока Лукаса-Канаде

Приложение Д. Копии актов об использовании результатов

диссертационного исследования

Введение диссертации (часть автореферата) на тему «Разработка и исследование полуавтоматических и автоматического алгоритмов оконтуривания левого желудочка сердца на эхокардиографических изображениях сердца»

Введение

Актуальность темы. Болезни сердца являются причинами большого числа скоропостижных смертей, в том числе людей не пожилого возраста. В этой связи врачам кардиологам требуется максимально точная и своевременная информация о состоянии сердечной мышцы пациента, которая во многих случаях позволяет диагностировать ее заболевания и назначить необходимое лечение.

Сегодня одним из наиболее распространенных методов диагностики являются ультразвуковые исследования (УЗИ) сердечно-сосудистой системы (эхокардиография - ЭхоКГ), предоставляющие кардиологам визуальные изображения сердечной мышцы в различных проекциях. Следует отметить, что в задачах кардиологии наиболее часто используется апикальная проекция сердца, которая с точки зрения врачей-кардиологов является наиболее информативной, потому что они имеют возможность провести анализ УЗИ-изображений сердца и построить эндокардиальный (внутренний) контур левого желудочка (ЛЖ). Далее оказывается возможным вычислить количественные показатели, характеризующие состояние сердечной мышцы.

Для проведения ЭхоКГ-исследований сегодня применяют УЗИ-сканеры различных производителей (Philips, Aloka Hitachi, Toshiba, Siemens, General Electric и др.), которые оснащены тем или иным инструментарием для построения контура ЛЖ вручную. Используя данный инструментарий, врачи-кардиологи на основе собственных представлений о форме ЛЖ, зачастую субъективных, строят на УЗИ-изображении контур ЛЖ. (Например, они достраивают границы областей сердца с низкой контрастностью (рис. 1), а также в ряде случаев сглаживают контур ЛЖ, отбрасывая на изображении те или иные области повышенной плотности.) При этом, несмотря на имеющиеся рекомендации американской кардиологической ассоциации [1], обобщить опыт оконтуривания ЛЖ сердца на УЗИ-изображениях в виде некоторого набора правил врачам-кардиологам не удается. В этой ситуации разработка полуавтоматических и автоматических алгоритмов для построения контуров ЛЖ является актуальной.

Степень разработанности темы. Известно большое число работ, авторы которых предпринимали попытки реализации алгоритмов оконтуривания ЛЖ на УЗИ-изображениях сердца с использованием:

2:2005 18:25:00 V

Юч

15 V

ШЩ *

Рисунок 1 — Пример УЗИ-изображения, имеющего области с низким контрастом тканей сердца

— геометрических моделей [2—5];

— методов уровневых множеств [6—11];

— алгоритмов, основанных на вычислении оптического потока пикселей изображения [12—14];

— статистических моделей контуров ЛЖ [15—22];

— методов морфологической обработки УЗИ-изображений [23—25];

— искусственных нейронных сетях [26—34].

Также отметим работы [35; 36], в которых приведены обзоры наиболее значимых результов в области разработки алгоритмов оконтуривания ЛЖ на момент написания обзоров. Однако универсальных алгоритмов, пригодных к различным наборам УЗИ-изображений, не существовало.

Целью данной работы является научно обоснованная разработка математического и алгоритмического обеспечения для полуавтоматического и автоматического оконтуривания ЛЖ на УЗИ-изображениях апикальной проекции сердца человека на основе обоснованного выбора набора первичных данных, адаптации известных алгоритмов, используемых в задачах компьютерного зрения, к решаемой задаче.

Для достижения поставленной цели сформулированы и решены следующие задачи:

1. Анализ состояния предметной области и инструментов для оконтури-вания ЛЖ на УЗИ-изображениях, поставляемых с УЗИ-сканерами.

2. Оценка возможности использования доступных наборов УЗИ-изобра-жений сердца для разработки полуавтоматических и автоматических алгоритмов оконтуривания ЛЖ.

3. Разработка полуавтоматических и автоматических алгоритмов оконту-ривания ЛЖ на УЗИ-изображениях апикальной проекции сердца на основе адаптации и модернизации известных алгоритмов компьютерного зрения к решаемой задаче.

4. Сравнительный анализ точности разработанных полуавтоматических и автоматических алгоритмов оконтуривания ЛЖ.

Объектом исследования являются компьютерные методы обработки и анализа УЗИ-изображений сердца.

Предметом исследования являются полуавтоматические и автоматические компьютерные методы оконтуривания ЛЖ на УЗИ-изображениях сердца.

Научная новизна:

1. Проведен комплексный анализ доступных наборов данных, содержащих УЗИ-изображения сердца и размеченные экспертами контуры ЛЖ, и обоснована возможность их использования для разработки и исследования полуавтоматических и автоматических алгоритмов оконтуривания ЛЖ на УЗИ-изображениях сердца человека (соответствует п. 13 паспорта специальности).

2. Разработаны научно-обоснованные полуавтоматические и автоматические алгоритмы оконтуривания ЛЖ на УЗИ-изображениях сердца на основе адаптации и модернизации известных алгоритмов компьютерного зрения к особенностям решаемой задачи (соответствует п. 5, 12 паспорта специальности).

3. Разработана научно-обоснованная методика количественного сравнения разработанных полуавтоматических и автоматических алгоритмов оконтуривания ЛЖ на УЗИ-изображениях сердца (соответствует п. 3 паспорта специальности).

Теоретическая и практическая значимость работы заключается в:

1. обосновании достаточности использования 9 базовых точек экспертного контура ЛЖ для его восстановления (при этом отличие области ЛЖ, охватываемой восстановленным контуром, от области ЛЖ, охватываемой экспертным контуром, по коэффициенту Dice не превосходит 2.0%, а по коэффициенту Jaccard - 3.7%);

2. в научно-обоснованном выборе параметров известных и модифицированных полуавтоматических и автоматического алгоритмов оконтури-вания ЛЖ, обеспечивающих наилучшее качество оконтуривания ЛЖ на УЗИ-изображениях по коэффициенту Dice;

3. разработке программных реализаций полуавтоматических и автоматических алгоритмов оконтуривания ЛЖ на УЗИ-изображениях сердца, готовых к использованию врачами-кардиологами.

Методология и методы исследования. В работе использованы теория распознавания образов, методы теории глубоких нейронных сетей, цифровой обработки сигналов, прикладной математической статистики, методы интерполяции и аппроксимации функций.

Основные положения, выносимые на защиту:

1. Работоспособность автоматического алгоритма нахождения реперных точек экспертного контура подтверждена результатами проведенного анализа 1800 УЗИ-изображений сердца.

2. Для восстановления контура ЛЖ на УЗИ-изображениях сердца достаточно использовать 9 базовых точек, принадлежащих контуру эндокарда.

3. Точность по коэффициенту Dice автоматического алгоритма оконтуривания ЛЖ на УЗИ-изображениях набора данных USEKB с помощью обученной на наборе данных CAMUS сверточной нейронной сети (СНС) с модифицированной архитектурой U-Net, равная 0.854, превосходит на 0.015 аналогичный показатель СНС с оригинальной архитектурой U-Net, а после дообучения на начальных кадрах УЗИ-видеопоследо-вательностей набора данных USEKB данные показатели достигают значений 0.891, 0.038, соответственно.

4. Из полуавтоматических методов оконтуривания ЛЖ на УЗИ-изображениях наибольшую точность по коэффициенту Dice на наборе данных USEKB имеет метод оптического потока Лукаса-Канаде (0.901).

Достоверность полученных результатов обеспечивается использованием известных математических методов, адекватных задачам исследования, а также их согласованностью с результатами, полученными другими авторами и с экспертными оценками врачей-кардиологов качества контуров ЛЖ на УЗИ-изображениях.

Внедрение результатов диссертационного исследования. Результаты диссертационного исследования используются в федеральном государственном автономном образовательном учреждении высшего образования «Уральский федеральный университет им. первого Президента России Б.Н. Ельцина» (акт об использовании результатов № 1 от 10.02.2021); федеральном государственном бюджетном учреждении науки «Институт иммунологии и физиологии» Уральского отделения Российской академии наук (акт об использовании результатов № 16381.01-69 от 20.02.2021); ООО «Институт информационных датчиков и технологий» (акт об использовании результатов от 23.02.2021).

Апробация работы. Основные результаты работы докладывались на следующих каучных конференциях: 9-я Международная научно-техническая конференция «Физика и технические приложения волновых процессов», Екатеринбург, Россия, 26-28 сентября 2012 г.; 23-я Международная Крымская конференция «СВЧ-техника и телекоммуникационные технологии» (КрыМиКо-2013), Севастополь, Крым, Украина, 8-13 сентября 2013 г.; 24-я Международная Крымская конференция «СВЧ-техника и телекоммуникационные технологии» (КрыМиКо-2014), Севастополь, Крым, Россия, 7-13 сентября 2014 г.; 25-я Международная Крымская конференция «СВЧ-тех-ника и телекоммуникационные технологии» (КрыМиКо-2015), Севастополь, Крым, Россия, 6-12 сентября 2015 г.; 9-й Открытый немецко-российский семинар «Распознавание образов и понимание изображений» (0GRW-9-2014), Кобленц, Германия, 1-5 декабря 2014 г.; 17-я Всероссийская конференция с международным участием «Математические методы распознавания образов» (ММРО-17), Светлогорск, Калининградская область, Россия, 20-24 сентября 2015 г.; 4-я Международная конференция «Анализ изображений, социальных сетей и текстов» (AIST 2015), Екатеринбург, Россия, 9-11 апреля 2015 г.; 1-й Международный семинар Распознавания образов (IWPR 2016), Токио, Япония, 11-13 мая 2016 г.; 9-я Международная IEEE научно-техническая конференция «Динамика систем, механизмов и машин» (DYNAMICS-2018), Омск, Россия,

14-16 ноября 2017 г.; 2018 Уральский сипмозиум биомедицинской инженерии, радиоэлектроники и информационных технологий (USBEREIT 2018), Екатеринбург, Россия, 7-8 мая 2018 г.; 2019 Уральский сипмозиум биомедицинской инженерии, радиоэлектроники и информационных технологий (USBEREIT 2019), Екатеринбург, Россия, 25-26 апреля 2019 г.; 2020 Уральский сипмозиум биомедицинской инженерии, радиоэлектроники и информационных технологий (USBEREIT 2020), Екатеринбург, Россия, 14-15 мая 2020 г.

Личный вклад. Автор обосновал возможность использования наборов данных для решения задач исследования, разработал полуавтоматические и автоматические алгоритмы оконтуривания ЛЖ на УЗИ-изображениях и их программные реализации, обосновал методику для количественного оценивания точности разработанных алгоритмов и получил соответствующие оценки точности, оконтуривания ЛЖ на УЗИ-изображениях.

Публикации. По теме диссертации опубликовано 17 научных работ, в том числе 16 научных статей в изданиях, определенных ВАК и Аттестационным советом УрФУ, из них 15 статей в изданиях, индексируемых в международных цитатно-аналитических базах Scopus и Web of Science. Зарегистрирована 1 программа для ЭВМ.

Объем и структура работы. Диссертация состоит из введения, 4 глав, заключения и 5 приложений. Полный объём диссертации составляет 151 страницу, включая 94 рисунка и 3 таблицы. Список литературы содержит 84 наименования.

Глава 1. Анализ состояния предметной области. Постановка задач

исследования

1.1 Диагностирование состояния сердечной мышцы с использованием эхокардиографии

Кардиологи диагностируют различные заболевания по форме эндокар-диального контура левого желудочка (ЛЖ) и динамике его изменения в процессе сердечного цикла. Примерами таких заболеваний являются стеноз клапанов, недостаточность клапанов, инфекционный эндокардит, приобретенные пороки, ишемическая болезнь, гипертоническая болезнь сердца, дилатацион-ная кардиомиопатия (ДКМП), гипертрофическая кардиомиопатия (ГКМП), рестрективная кардиомиопатия (РКМП), патологии клапанов сердца, тромбы, опухоли и другие [37].

Обычно для описания динамики изменения формы ЛЖ оценивается его глобальная сократимость, которая характеризуется следующими показателями [38—40]:

— фракция выброса (ФВ) - показатель, отражающий объем крови, выталкиваемой ЛЖ в момент его сокращения в просвет аорты. ФВ рассчитывается исходя из соотношения объема крови, выбрасываемой в аорту, к объему крови, находящейся в ЛЖ в момент его расслабления

[41]:

Уя - К

ЕР = , (1.1) Уа

где У я - конечно-диастолический объем ЛЖ (КДО), У8 - конечно-систолический объем ЛЖ (КСО). По ФВ может быть диагностирована, например, ДКМП (заболевание, характеризующееся развитием растяжения полостей сердца);

— индекс сферичности — отношение короткой к длинной оси ЛЖ;

— индекс Гибсона — отношение площади области ЛЖ, ограниченной эндо-кардиальным контуром, к площади круга, длина окружности которого равна периметру контура ЛЖ, отражающий степень близости контура к окружности;

— индекс конусности — отношение радиуса окружности, аппроксимирующей верхушечную область контура, к короткой оси ЛЖ, который отражает степень заостренности (конусности) верхушечной зоны;

— индекс Фурье, вычисляемый на основе аппроксимации контура ЛЖ рядом Фурье, который указывает на степень сложности формы.

Однако для своевременного диагностирования в ряде случаев оценок глобальной сократимости оказывается недостаточно, поэтому проводят анализ локальной сократимости ЛЖ, так как именно она является первичным показателем возникновения сердечной недостаточности, ишемической болезни, предынфарктных состояний (рис. 1.1).

Акинезия ] Дискинезия ] | Нормскинвзия | | Гипокинезия"

Рисунок 1.1 — Иллюстрация нарушения локальной сократимости ЛЖ [37]

При оценке локальной сократимости кардиологи разделяют ЛЖ на сегменты (или секторы), количество которых может быть произвольным [37]. Например, Американское сообщество эхокардиографов рекомендует разделять ЛЖ на три части: апикальную, среднюю и базальную (рис. 1.2). Далее проводится анализ локальной сократимости по отдельности для каждого сегмента. В [38—40] получены оценки показателей локальной сократимости:

— показатель асинхронизма движения каждого сегмента;

— относительное уменьшения сектора по отношению к площади сектора в конечно-диастолической фазе сердечного цикла.

На практике для исследования состояния сердечной мышцы используют эхокардиографию. Эхокардиография (ЭхоКГ) - это неинвазивный метод ультразвукового исследования. Он основан на применении высокочастотных ультразвуковых волн, излучаемых в известном направлении специальным датчиком, которые отражаются от сердца и кровеносных сосудов и рассеиваются. Анализ рассеянного акустического поля позволяет визуализировать динамическое изображение мышцы сердца. Изменяя положение и угол наклона датчика,

врач может рассмотреть в различных плоскостях сердце и основные кровеносные сосуды и дать экспертную оценку состояния сердечной мышцы.

'Апикальная/ Средняя I Базальная | треть " треть 1 треть

Рисунок 1.2 — Сегменты ЛЖ, используемые при анализе локальной сократимости

Обычно ЭхоКГ проводят в проекциях по длинным и коротким осям сканирования.

Форма сечения сердца зависит от позиции датчика. Существует три стандартные эхокардиографические позиции (рис. 1.3):

— апикальная;

— парастеральная;

— супарастеральная.

Апикальная позиция, Парастеральна позиция, Супрастернальная позиция,

длинная ось длинная ось длинная ось

Рисунок 1.3 — Схемы получения проекций сердца по длинной оси ЛЖ [41]

Соответственно, в ЭхоКГ используется четыре основных проекции сердца (рис. 1.4):

— ПДП - парастеральная проекция по длинной оси ЛЖ;

— ПКП - парастеральная проекция по короткой оси ЛЖ;

— А2П - апикальная двухкамерная проекция (проекция на плоскость, проходящую через длинную ось ЛЖ);

— А4П - апикальная четырехкамерная проекция сердца (проекция на плоскость, ортогональную к плоскостям, используемым в А2П и ПКП проекциям).

А4П А2П

Рисунок 1.4 — Основные проекции сердца, используемых в ЭхоКГ [41].

Анализ опыта работы кардиологов показал, что с медицинской точки зрения для диагностики состояния сердечной мышцы наиболее информативны проекции А2П и А4П, так как на них удается полностью визуализировать сечение ЛЖ по длинной оси, включая его вершину, что позволяет построить контур внутренних границ ЛЖ и количественно оценить глобальную и локальную сократимости ЛЖ.

Перечислим основные мышечные ткани, ограничивающие область ЛЖ на УЗИ-изображениях:

— митральный клапан ЛЖ (рис. 1.5);

— межжелудочковая перегородка (левая стенка ЛЖ) (рис. 1.6);

— миокард (правая стенка ЛЖ) (рис. 1.7);

— верхушка сердца (рис. 1.8).

Рисунок 1.5 — УЗИ-кадр с отмеченным митральным клапаном

Рисунок 1.6 — УЗИ-кадр с отмеченной межжелудочковой перегородкой

Рисунок 1.7 — УЗИ-кадр с отмеченной Рисунок 1.8 — УЗИ-кадр с отмеченной областью миокарда областью верхушки сердца

Проиллюстрируем возможности диагностирования заболеваний сердечной мышцы с помощью ЭхоКГ следующим примером. Рассмотрим УЗИ-изоб-ражения ЛЖ в проекции А4П для здорового пациента и пациента с диагнозом ДКМП, представленные на рисунке 1.9.

Из рис. 1.9 видно, что:

— у больного пациента площадь в пикселях области ЛЖ в состояниях диастолы (15905 пикселей) и систолы (14944 пикселей) больше, чем у здорового пациента (13225 и 9717, соответственно);

— с технической точки зрения УЗИ-изображение представляет собой полутоновое изображение, на котором присутствует спекл-шум, обусловленный физическими особенностями распространения ультразвуковых волн в теле человека [42];

А

Б

РН11!Р5 N1

□7340920131007

РЯ 49Н2

07/10/2013 03:35:31 Т1Н0 8 М1 1.4 И-ПАЙиК

V / \

РНШР! ОйАЧ^УЛМ N0 ДН1ТМ

РН 45Н:

18ст

ЯЛШ013 10:35:10 Т150.7 М1 1.4 Н-1ГАв1111

\ яь

ВГ

Рисунок 1.9 — УЗИ-кадры здорового пациента (слева) и пациента с ДКМП

(справа) в состоянии диастолы (сверху) и систолы (снизу)

— из-за спекл-шумов на УЗИ-изображениях отсутствуют четкие границ областей ЛЖ;

— информационно значимой частью кадра является круговой сектор, в котором находится изображение ЛЖ.

Важно отметить, что наибольшую сложность в процессе оконтуривания ЛЖ представляют верхняя и правая части контура. Здесь имеют место следующие проблемы:

— Слабая формализуемость принципов построения границ. (Эксперт, как правило, проводит их, исходя из своих интуитивных представлений и опираясь на свой предыдущий профессиональный опыт.)

— Субъективность. (Мнения различных экспертов могут существенно отличаться друг от друга.)

Отметим, что для анализа динамики сокращения сердечной мышцы врач-кардиолог также использует визуальный анализ всей УЗИ-видеопосле-довательности. В этой связи, построение контура ЛЖ на каждом кадре УЗИ-видеопоследовательности будет облегчать ее визуальный анализ.

Использование других представлений УЗИ-изображения, например, в виде 3Э поверхности также не облегчает решение задачи построения контура левого желудочка (рис. 1.10).

/

Рисунок 1.10 — Представление УЗИ-изображения в виде 3Э поверхности

Задачу количественного анализа результатов ЭхоКГ можно разбить на следующие подзадачи:

1. Получение УЗИ-изображений с помощью УЗИ-сканеров.

2. Анализ УЗИ-изображений и построение контуров ЛЖ.

3. Количественная оценка глобальной и локальной сократимости ЛЖ, проводимая врачом-кардиологом.

В следующем разделе анализируются программы, которые поставляются вместе с современными УЗИ-сканерами и могут быть использованы для ее решения.

1.2 Сравнительный анализ программ для построения контура ЛЖ, поставляемых различными производителями УЗИ-сканеров

Проведем на основе информации доступной сети Интернет на сайтах производителей УЗИ-сканеров сравнительный анализ инструментов оконтури-вания ЛЖ, входящих в состав программно-аппаратных ЭхоКГ комплексов известных производителей:

— Philips;

— General Electric;

— Canon;

— Mindray;

— Siemens.

Отметим, что детальный анализ используемых в них алгоритмов оконту-ривания, являющихся коммерческой тайной, не представляется возможным.

Фирма Philips производит множество различных ЭхоКГ комплексов: EPIQ 7, EPIQ 5, ClearVue 850, ClearVue 650, Affiniti 50, CX50, HD5, Affiniti 70, CX50 xMATRIX [43]. Данные ЭхоКГ комплексы поставляются совместно с программой QLAB. Она позволяет строить контур ЛЖ в полуавтоматическом режиме и вычислять различные количественные характеристики контура ЛЖ, которые представляют интерес для врача-кардиолога. Для этого необходимо отметить специальным маркером на первом кадре УЗИ-видеопоследовательности три точки: две точки крепления митрального клапана и верхушку ЛЖ. Далее QLAB, используя информацию о координатах этих точек, строит контур ЛЖ автоматически. При этом оказывается, что форма полуавтоматически построенных контуров, в ряде случаев может не соответствовать представлениям врачей, поэтому в QLAB предусмотрен инструмент для их визуальной корректировки.

Примеры контуров, построенных с помощью QLAB, приведены на рисунках 1.11 и 1.12. Из рисунка 1.12 видно, что в ряде случаев форма контуров ЛЖ, построенных полуавтоматически, может существенно отличаться от реальной формы ЛЖ.

Фирма General Electric (GE) производит ЭхоКГ комплексы серии Vivid. Они поставляются совместно с программой EchoPAC [44; 45], которая позволяет строить контур ЛЖ в полуавтоматическом режиме. Для этого врач-кардиолог должен нанести 18 точек контура на первом кадре. На последующих кадрах

Рисунок 1.11 — Примеры работы модуля 3DQ в системе QLAB [43]

Рисунок 1.12 — Пример работы модуля TMQ Advanced в системе QLAB [43]

контуры строятся автоматически. Далее по данным контурам рассчитываются различные количественные показатели сократимости сердечных тканей: скорость сокращения, объемы ЛЖ на всей временной петле. Кроме того, данный программный инструмент на основе 2Э УЗИ-изображений по проекциям А4П и А2П восстанавливает 3Э изображение сердца (рис. 1.13).

Рисунок 1.13 — Пример работы программы EchoPAC от GE [44; 45]

Сходный принцип построения контуров используется в программном обеспечении ЭхоКГ комплексов, производимых фирмой Canon (бывшие аппараты Toshiba). В состав данного программного обеспечения также встроен инструмент для ручной корректировки контуров ЛЖ. Также отметим, что в ЭхоКГ комплексах Canon (серия Aplio, Artida [46]) имеется возможность построения на основе двумерной информации 3D-изображений сердечной мышцы. Для этого

необходимо отметить три точки на А4П (рис. 1.14, А) и три точки на А2П (рис. 1.14, В).

Рисунок 1.14 — Типичные результаты контуров ЛЖ на УЗИ-изображениях сканера Canon [46]

Программное обеспечение ЭхоКГ комплексов, производимых фирмами Mindray серия DC (DC-8 Exp, DC-8, DC-70 Exp, DC-70 и др. [47]) и Siemens серия ACUSON (SC2000, S2000, X700, X300PE [48]), также имеет инструменты для полуавтоматического построения контура ЛЖ на отдельном кадре видеопоследовательности сердечных сокращений. Здесь эксперт отмечает места крепления митрального клапана. Далее при перемещении курсора автоматически строится усеченный эллипс, опирающийся на отрезок, соединяющий точки крепления митрального клапана. Затем эксперту предоставляется возможность корректировки построенного усеченного эллипса в соответствии с его представлениями о правильной границе ЛЖ. Примеры изображений, полученных на аппарате Siemens, представлены на рисунке 1.15.

Результаты сравнительного анализа инструментов оконтуривания ЛЖ, реализованных в ПО УЗИ-сканерах различных производителей, показывают.

— При построении контура ЛЖ используется информация о координатах реперных точек (как минимум, двух точек основания контура и вершины контура), которые эксперт должен отмечать на изображениях вручную.

— Далее границы ЛЖ аппроксимируются теми или иными кривыми.

— В связи с возможными существенными отличиями формы контура ЛЖ, построенного полуавтоматически, от правильной по мнению эксперта границы ЛЖ, предусмотрена его визуальная корректировка в ручном режиме.

Рисунок 1.15 — Типичные результаты контуров ЛЖ на УЗИ-изображениях сканера Siemens [48]

— С помощью рассмотренных программных инструментов врач-кардиолог осуществляет построение границ эндокарда ЛЖ либо вручную, либо в полуавтоматическом режиме. При этом точность построения контура ЛЖ оказывается напрямую зависящей от квалификации врача-кардиолога.

Таким образом, можно изобразить походы и этапы решения задачи окон-туривания в виде структурной схемы, представленной на рисунке 1.16.

Полуавтоматическое и автоматическое выделение

Выделение пикселей, принадлежащих внутренней области ЛЖ (рис. 1.18)

Рисунок 1.16 — Подходы и этапы решения задачи оконтуривания ЛЖ

Из рисунка 1.16 видно, что для нахождения контура ЛЖ необходимо решить одну из следующих задач:

1. задачу идентификации пикселей, ограничивающих область ЛЖ (рис. 1.17);

2. задачу классификации пикселей, принадлежащих внутренней области ЛЖ и определение координат точек, принадлежащих границе данной области (рис. 1.18).

Рисунок 1.17 — Идентификация пик- Рисунок 1.18 — Классификация пик-

селей границы эндокарда ЛЖ селей, принадлежащих области ЛЖ

Отметим, что наличие соответствующего ПО, поставляемого в комплекте с УЗИ-сканерами, не отменяет участия квалифицированных экспертов в решении данных задач. В этой связи был проведен опрос врачей-кардиологов, работающих в медицинских учреждениях г. Екатеринбурга, в которых используются УЗИ-сканеры перечисленных выше производителей. Всего в опросе участвовали 7 человек. Результаты опроса показали.

— Опрошенные высококвалифицированные врачи-кардиологи не смогли четко формализовать принципы, которыми они руководствуются при построении границ ЛЖ на УЗИ-изображениях.

— В ряде случаев мнение экспертов о положении границ ЛЖ существенно отличались друг от друга, не смотря на существующие и известные опрошенным врачам методические рекомендации Американской кардиологической ассоциации [1].

Таким образом, при анализе УЗИ-изображений ЛЖ влияние субъективных факторов оказывается достаточно велико. В этой связи, задачи совершенствования полуавтоматических и разработки автоматических алгоритмов оконтуривания, обеспечивающих построение адекватной границы ЛЖ, являются актуальными.

Список литературы диссертационного исследования кандидат наук Зюзин Василий Викторович, 2021 год

Список литературы

1. Recommendations for cardiac chamber quantification by echocardiography in adults: an update from the American Society of Echocardiography and the European Association of Cardiovascular Imaging [текст] / R. M. Lang [et al.] // Journal of the American Society of Echocardiography. — 2015. — Vol. 28, no. 1. - P. 1-39.

2. Mignotte, M. A multiscale optimization approach for the dynamic contour-based boundary detection issue [текст] / M. Mignotte, J. Meunier // Computerized Medical Imaging and Graphics. — 2001. — Vol. 25, no. 3. — P. 265-275.

3. Mishra, A. A GA based approach for boundary detection of left ventricle with echocardiographic image sequences [текст] / A. Mishra, P. K. Dutta, M. K. Ghosh // Image and Vision Computing. — 2003. — Vol. 21, no. 11. — P. 967-976.

4. Efficient model-based quantification of left ventricular function in 3-D echocardiography [текст] / O. Gerard [et al.] // IEEE Transactions on Medical Imaging. - 2002. - Vol. 21, no. 9. - P. 1059-1068.

5. Rapid online quantification of left ventricular volume from real-time three-dimensional echocardiographic data [текст] / L. D. Jacobs [et al.] // European Heart Journal. - 2006. - Vol. 27, no. 4. - P. 460-468.

6. Lin, N. Combinative multi-scale level set framework for echocardiographic image segmentation [текст] / N. Lin, W. Yu, J. S. Duncan // Medical Image Analysis. - 2003. - Vol. 7, no. 4. - P. 529-537.

7. Yan, J. Applying improved fast marching method to endocardial boundary detection in echocardiographic images [текст] / J. Yan, T. Zhuang // Pattern Recognition Letters. - 2003. - Vol. 24, no. 15. - P. 2777-2784.

8. A GPU Level-Set Segmentation Framework for 3D Echocardiography [текст] / F. Galluzzo [et al.]. - 2012.

9. Left ventricular endocardial surface detection based on real-time 3D echocardiographic data [текст] / C. Corsi [et al.]. — 2001.

10. Fabbri, C. A Nearly-Automated Approach for Left Ventricular Segmentation using Feature Asymmetry from Real-time 3D Echocardiography [текст] / C. Fabbri, S. Pertutti, C. Corsi. - 2015.

11. Tsibanov, V. Image edge detection with the use of the Tikhonov regularization method [текст] / V. Tsibanov, A. Krylov // Moscow University Computational Mathematics and Cybernetics. - 2008. - Vol. 32, no. 2. - P. 69-75.

12. Fast tracking of the left ventricle using global anatomical affine optical flow and local recursive block matching [текст] / D. Barbosa [et al.] // MIDAS J. - 2014. - Vol. 10.

13. Fast and fully automatic left ventricular segmentation and tracking in echocardiography using shape-based B-spline explicit active surfaces [текст] / J. Pedrosa [et al.] // IEEE transactions on medical imaging. — 2017. — Vol. 36, no. 11. - P. 2287-2296.

14. Nascimento, J. C. Robust shape tracking with multiple models in ultrasound images [текст] / J. C. Nascimento, J. S. Marques // IEEE Transactions on Image Processing. - 2008. - Vol. 17, no. 3. - P. 392-406.

15. Building a three-dimensional dynamic model of left cardiac ventricle from ultrasonic data [текст] / A. Yatchenko [et al.] // Pattern Recognition and Image Analysis. - 2012. - Vol. 22, no. 3. - P. 483-488.

16. Orderud, F. Real-time active shape models for segmentation of 3D cardiac ultrasound [текст] / F. Orderud // Proceedings of the 12th. — 2007. — P. 157-164. - URL: http://dl.acm.org/citation.cfm?id=1770927.

17. Model driven quantification of left ventricular function from sparse single-beat 3D echocardiography [текст] / M. Ma [et al.] // Medical Image Analysis. — 2010. - Vol. 14, no. 4. - P. 582-593.

18. Constrained active appearance models for segmentation of triplane echocardiograms [текст] / J. Hansegard [et al.] // IEEE Transactions on Medical Imaging. - 2007. - Vol. 26, no. 10. - P. 1391-1400.

19. Automatic Segmentation of the Left Ventricle in 3D Echocardiography Using Active Appearance Models [текст] / M. V. Stralen [et al.] // Ultrasound. — 2007. - P. 1480-1483.

20. Segmentation of ultrasound images multiresolution 2D and 3D algorithm based on global and local statistics [текст] / D. Boukerroui [et al.] // Pattern Recognition Letters. - 2003. - Vol. 24, no. 4/5. - P. 779-790.

21. Fast 3D Echocardiographic Segmentation using B-Spline Explicit Active Surfaces : A validation study in a clinical setting [текст] / D. Barbosa [et al.]. — 2011.

22. Automated contour detection of the left ventricle in short axis view and long axis view on 2D echocardiograms [текст] / L. Maes [et al.]. — 2002.

23. Segmentation of echocardiographic images using mathematical morphology [текст] / J. W. Klingler [et al.] // IEEE Transactions on Biomedical Engineering. - 1988. - Vol. 35, no. 11. - P. 925-934.

24. Choy, M. M. Morphological image analysis of left-ventricular endocardial borders in 2D echocardiograms [текст] / M. M. Choy, J. S. Jin // Medical Imaging 1996: Image Processing. - 2005. - Vol. 2710, May. - P. 852-863.

25. Detecting Left Ventricular Endocardial and Epicardial Boundaries by Digital Two-Dimensional Echocardiography [текст] // IEEE Transactions on Medical Imaging. - 1988. - Vol. 7, no. 2. - P. 81-90.

26. Carneiro, G. The segmentation of the left ventricle of the heart from ultrasound data using deep learning architectures and derivative-based search methods [текст] / G. Carneiro, J. C. Nascimento, A. Freitas // IEEE Transactions on Image Processing. - 2012. - Vol. 21, no. 3. - P. 968-982.

27. Alcevska, E. Segmentation of the Left Ventricle of the Heart in 2D Ultrasound Images using Convolutional Neural Networks [текст] / E. Alcevska // Master, Department of Signals and Systems, CHALMERS UNIVERSITY OF TECHNOLOGY, CHALMERS UNIVERSITY OF TECHNOLOGY, EX093/2016. -2016.

28. 2D left ventricle segmentation using deep learning [текст] / E. Smistad, A. 0stvik, [et al.] // 2017 IEEE international ultrasonics symposium (IUS). — IEEE. 2017. - P. 1-4.

29. Anatomically Constrained Neural Networks (ACNNs): Application to Cardiac Image Enhancement and Segmentation [текст] / O. Oktay [et al.] // IEEE transactions on medical imaging. — 2018. — Vol. 37, no. 2. — P. 384—395.

30. Segmentation of Left Ventricle in 2D echocardiography using deep learning [текст] / N. Azarmehr [et al.] // Annual Conference on Medical Image Understanding and Analysis. — Springer. 2019. — P. 497—504.

31. Deep learning for segmentation using an open large-scale dataset in 2D echocardiography [текст] / S. Leclerc [et al.] // IEEE transactions on medical imaging. - 2019. - Vol. 38, no. 9. - P. 2198-2210.

32. Handcrafted features vs ConvNets in 2D echocardiographic images [текст] /

C. Raynaud [et al.] // Biomedical Imaging (ISBI 2017), 2017 IEEE 14th International Symposium on. - IEEE. 2017. - P. 1116-1119.

33. Coppini, G. Recovery of the 3-D shape of the left ventricle from echocardiographic images [текст] / G. Coppini, R. Poli, G. Valli // IEEE Transactions on Medical Imaging. - 1995. - Vol. 14, no. 2. - P. 301-317.

34. Standardized evaluation system for left ventricular segmentation algorithms in 3D echocardiography [текст] / O. Bernard [et al.] // IEEE transactions on medical imaging. — 2015. — Vol. 35, no. 4. — P. 967—977.

35. Noble, J. A. Ultrasound image segmentation: a survey [текст] / J. A. Noble,

D. Boukerroui // IEEE Transactions on medical imaging. — 2006. — Vol. 25, no. 8. - P. 987-1010.

36. Leung, K. Y. E. Automated border detection in three-dimensional echocardiography: Principles and promises [текст] / K. Y. E. Leung, J. G. Bosch // European Journal of Echocardiography. — 2010. — Vol. 11, no. 2. — P. 97-108.

37. Кэмм, А. Д. Болезни сердца и сосудов. Руководство Европейского общества кардиологов [текст] / А. Д. Кэмм, Т. Ф. Люшер, П. В. Серруис. — 2-е изд. — М.: ГЭОТАР-Медиа, 2011.

38. Функциональная геометрия левого желудочка при дилатационной кардио-миопатии до и после ресинхронизирующей терапии [текст] / Т. Чумарная [и др.] // Кардиоваскулярная терапия и профилактика. — 2016. — т. 15, № 1.

39. Функциональная геометрия левого желудочка у пациентов после ортото-пической трансплантации сердца в раннем послеоперационном периоде [текст] / Т. В. Чумарная [и др.] // Трансплантология. — 2016. — № 2.

40. Особенности функциональной геометрии левого желудочка при миокар-диальных заболеваниях с различной степенью нарушения систолической функции [текст] / Т. В. Чумарная [и др.] // Бюллетень экспериментальной биологии и медицины. — 2016. — т. 162, № 7. — с. 37—41.

41. Armstrong, W. F. Feigenbaum's echocardiography [текст] / W. F. Armstrong, T. Ryan. - Lippincott Williams & Wilkins, 2012.

42. Hill, C. R. Physical principles of medical ultrasonics [текст] / C. R. Hill, J. C. Bamber, G. R. ter Haar. - 2004.

43. Каталог и техническая информация УЗИ-диагностических комплексов Philips [текст]. — URL: http : / / www . philips . ru / healthcare / solutions / ultrasound/ultrasound-cardiology.

44. Каталог и техническая информация УЗИ-диагностических комплексов GE [текст]. — URL: https://www.gehealthcare.com/products/ultrasound/vivid.

45. Рекламная информация о программе EchoPAC для УЗИ-сканеров GE [текст]. — URL: https://www.gehealthcare.com/products/ultrasound/vivid/ echopac.

46. Каталог и техническая информация УЗИ-диагностических комплексов Canon [текст]. — URL: https://global.medical.canon/products/ultrasound.

47. Каталог и техническая информация УЗИ-диагностических комплексов Mindray [текст]. — URL: http : / / www . mindray. com / ru / productlist / Cardiology.html.

48. Каталог и техническая информация УЗИ-диагностических комплексов Siemens [текст]. — URL: http://w5.siemens.com/web/ua/ru/medecine/ detection % 5C _ diagnosis / ultrasaund / Cardiovascular / Pages / Cardiovascular. aspx.

49. Detmer, P. R. Matched Filter Identification of Left-Ventricular Endocardial Borders in Transesophageal Echocardiograms [текст] / P. R. Detmer, G. Bashein, R. W. Martin // IEEE Transactions on Medical Imaging. — 1990. - Vol. 9, no. 4. - P. 396-404.

50. Loupas, T. An adaptive weighted median filter for speckle suppression in medical ultrasonic images [текст] / T. Loupas, W. McDicken, P. L. Allan // IEEE transactions on Circuits and Systems. — 1989. — Vol. 36, no. 1. — P. 129—135.

51. Karaman, M. An adaptive speckle suppression filter for medical ultrasonic imaging [текст] / M. Karaman, M. A. Kutay, G. Bozdagi // IEEE Transactions on medical imaging. - 1995. - Vol. 14, no. 2. - P. 283—292.

52. Loizou, C. P. Despeckle filtering algorithms and software for ultrasound imaging [текст] / C. P. Loizou, C. S. Pattichis // Synthesis lectures on algorithms and software in engineering. — 2008. — Vol. 1, no. 1. — P. 1—166.

53. Czerwinski, R. N. Ultrasound speckle reduction by directional median filtering [текст] / R. N. Czerwinski, D. L. Jones, W. D. O'Brien // Proceedings., International Conference on Image Processing. Vol. 1. — IEEE. 1995. — P. 358-361.

54. Sudha, S. Speckle Noise Reduction in Ultrasound Images by Wavelet Thresholding based on Weighted Variance [текст] / S. Sudha, G. R. Suresh, R. Sukanesh // International Journal of Computer Theory and Engineering. — 2009. - Vol. 1, no. 1. - P. 7-12.

55. Speckle noise reduction of medical ultrasound images in complex wavelet domain using mixture priors [текст] / H. Rabbani [et al.] // IEEE transactions on biomedical engineering. — 2008. — Vol. 55, no. 9. — P. 2152—2160.

56. Zhou, X. S. An information fusion framework for robust shape tracking [текст] / X. S. Zhou, A. Gupta, D. Comaniciu // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2005. — Vol. 27, no. 1. — P. 115—129.

57. Database-guided segmentation of anatomical structures with complex appearance [текст] / B. Georgescu [и др.] // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). т. 2. — IEEE. 2005. — с. 429—436.

58. Ronneberger, O. U-net: Convolutional networks for biomedical image segmentation [текст] / O. Ronneberger, P. Fischer, T. Brox // International Conference on Medical Image Computing and Computer-Assisted Intervention. - Springer. 2015. - P. 234-241.

59. Ссылка доступа набора данных CAMUS [текст]. — URL: https://www. creatis.insa-lyon.fr/Challenge/camus.

60. Caselles, V. Geodesic active contours [текст] / V. Caselles, R. Kimmel, G. Sapiro // International journal of computer vision. — 1997. — Vol. 22, no. 1. - P. 61-79.

61. Lucas, B. D. An Iterative Image Registration Technique with an Application to Stereo Vision [текст] / B. D. Lucas, T. Kanade // IJCAI. - 1981. -P. 674-679.

62. Tomasi, C. Detection and Tracking of Point Features [текст] / C. Tomasi, T. Kanade. - 1991.

63. Rumelhart, D. E. Learning representations by back-propagating errors [текст] / D. E. Rumelhart, G. E. Hinton, R. J. Williams // nature. - 1986. - Vol. 323, no. 6088. - P. 533-536.

64. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network [текст] / W. Shi [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — P. 1874-1883.

65. Datta, L. A survey on activation functions and their relation with xavier and he normal initialization [текст] / L. Datta // arXiv preprint arXiv:2004.06632. — 2020.

66. Bottou, L. Stochastic gradient learning in neural networks [текст] / L. Bot-tou // Proceedings of Neuro-Nimes. — 1991. — Vol. 91, no. 8. — P. 12.

67. Kingma, D. P. Adam: A method for stochastic optimization [текст] / D. P. Kingma, J. Ba // arXiv preprint arXiv:1412.6980. — 2014.

68. Segmentation of 2D Echocardiography Images using Residual Blocks in U-Net Architectures [текст] / V. V. Zyuzin [и др.] // 2020 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). — IEEE. 2020. — с. 499—502.

69. Zyuzin, V. V. Comparison of Unet architectures for segmentation of the left ventricle endocardial border on two-dimensional ultrasound images [текст] / V. V. Zyuzin, T. V. Chumarnaya // 2019 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). — IEEE. 2019. — с. 110—113.

70. Identification of the left ventricle endocardial border on two-dimensional ultrasound images using the convolutional neural network Unet [текст] / V. Zyuzin [и др.] // 2018 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). — IEEE. 2018. — с. 76—78.

71. Automatic system for estimating the volume of the left ventricle based on two-dimensional MRI images of the heart along the long axis [текст] / V. V. Zyuzin [и др.] // Journal of Physics: Conference Series. т. 944. — Institute of Physics Publishing. 2018.

72. Estimation of volume of the left ventricle on MRT-images of a two-chamber projection of heart on a short axis based on deep learning [текст] / V. V. Zyuzin [и др.] // 2017 Dynamics of Systems, Mechanisms and Machines (Dynamics). — IEEE. 2017.

73. Zyuzin, V. V. Usage of fully convolutional neural network for automation of extracting the left ventricle contour on the ultrasonic data images [текст] / V. V. Zyuzin, A. A. Mukhtarov, A. O. Bobkova // CEUR Workshop Proceedings. т. 2005. — CEUR-WS. 2017. — с. 75—82.

74. The usage of optical flow algorithm to the problem of recovery contour of the left ventricle of the human heart on the ultrasound image data [текст] / V. V. Zyuzin [и др.] // CEUR Workshop Proceedings. т. 1814. — CEUR-WS. 2017. — с. 91—97.

75. The application of ensemble learning for delineation of the left ventricle on echocardiographic records [текст] / V. V. Zuzin [и др.] // 2016 Dynamics of Systems, Mechanisms and Machines (Dynamics). — IEEE. 2016.

76. Experience of using of machine learning methods to identify the left ventricle region in echocardiographic records [текст] / V. V. Zyuzin [и др.] // 2016 IEEE 10th International Conference on Application of Information and Communication Technologies (AICT). — IEEE. 2016.

77. The application of decision trees algorithm for selecting the area of the left ventricle on echocardiographic images [текст] / V. V. Zyuzin [и др.] // First International Workshop on Pattern Recognition. т. 10011. — International Society for Optics, Photonics. 2016.

78. Studying features characterizing signatures of medical contours of the left ventricle on ultrasound images [текст] / V. V. Zyuzin [и др.] // Pattern Recognition and Image Analysis. — 2016. — т. 26, № 3. — с. 665—672.

79. The study of applicability of the decision tree method for contouring of the left ventricle area in echographic video data [текст] / V. V. Zyuzin [и др.] // CEUR Workshop Proceedings. т. 1710. — CEUR-WS. 2016. — с. 248—258.

80. Study of the Mass Center Motion of the Left Ventricle Area in Echocardiographic Videos. [текст] / V. V. Zyuzin [и др.] // AIST (Supplement). — 2015. — с. 137—142.

81. Анализ результатов оконтуривания левого желудочка сердца на эхографи-ческих изображениях у здоровых пациентов с помощью автоматического алгоритма [текст] / В. В. Зюзин [и др.] // Машинное обучение и анализ данных. — 2015. — т. 1, № 11. — с. 1529—1538.

82. The analysis of results of the left ventricle contouring using automatic algorithm on ultrasound images for patients with pathologies [текст] / V. V. Zuzin [и др.] // 2014 24th International Crimean Conference Microwave & Telecommunication Technology. — IEEE. 2014. — с. 1073—1074.

83. Способ полуавтоматического оконтуривания левого желудочка сердца человека на эхокардиографических изображениях [текст] / В. В. Зюзин [и др.] // Фундаментальные исследования. — 2013. — № 8—1. — с. 44—48.

84. Factor analysis of image features used for automatic analysis of echocardiography results [текст] / V. V. Zuzin [и др.] // 2013 23rd International Crimean Conference Microwave & Telecommunication Technology. — IEEE. 2013. — с. 1071—1072.

Список рисунков

1 Пример УЗИ-изображения, имеющего области с низким контрастом

тканей сердца................................................................6

1.1 Иллюстрация нарушения локальной сократимости ЛЖ [37]..........12

1.2 Сегменты ЛЖ, используемые при анализе локальной сократимости . 13

1.3 Схемы получения проекций сердца по длинной оси ЛЖ [41]..........13

1.4 Основные проекции сердца, используемых в ЭхоКГ [41]................14

1.5 УЗИ-кадр с отмеченным митральным клапаном........................15

1.6 УЗИ-кадр с отмеченной межжелудочковой перегородкой..............15

1.7 УЗИ-кадр с отмеченной областью миокарда............................15

1.8 УЗИ-кадр с отмеченной областью верхушки сердца....................15

1.9 УЗИ-кадры здорового пациента (слева) и пациента с ДКМП

(справа) в состоянии диастолы (сверху) и систолы (снизу)............16

1.10 Представление УЗИ-изображения в виде 3D поверхности..............17

1.11 Примеры работы модуля 3DQ в системе QLAB [43]....................19

1.12 Пример работы модуля TMQ Advanced в системе QLAB [43]..........19

1.13 Пример работы программы EchoPAC от GE [44; 45]....................19

1.14 Типичные результаты контуров ЛЖ на УЗИ-изображениях сканера Canon [46] ....................................................................20

1.15 Типичные результаты контуров ЛЖ на УЗИ-изображениях сканера Siemens [48]..................................................................21

1.16 Подходы и этапы решения задачи оконтуривания ЛЖ................21

1.17 Идентификация пикселей границы эндокарда ЛЖ ....................22

1.18 Классификация пикселей, принадлежащих области ЛЖ..............22

1.19 Исходное УЗИ-изображение ..............................................25

1.20 Обработанное сигма-фильтром с размером окна 15 х 15 ..............25

1.21 Обработанное медианным фильтром с размером окна 15 х 15 .... 25

1.22 Обработанное гауссовским фильтром с размером окна 15 х 15 и а = 3 25

1.23 УЗИ-изображение с контуром ЛЖ и лучами из центра ЛЖ в трех направлениях ................................................................26

1.24 Зависимости 1к(п) (А - луч №1, Б - луч №2, В - луч №3)..............27

1.25 Пример работы активных моделей формы [2] ............................29

1.26 Пример работы алгоритма с использованием фиксации уровня множеств ....................................................................31

1.27 Пример работы алгоритма с использованием моделей уровневых множеств [7] (А - экспертный контур, Б - контур, построенный алгоритмом) ................................ 32

1.28 Пример работы активных моделей внешнего вида [18] (1 - контур, построенный полуавтоматическим алгоритмом, 2 - экспертный контур) ................................... 33

1.29 Пример работы активных моделей формы [17] (1 - контур, построенный полуавтоматическим алгоритмом, 2 - экспертный контур) ................................... 33

1.30 Пример работы алгоритма с использованием морфологических операций [23] (А - экспертный контур, Б - контур, построенный алгоритмом) ................................ 34

1.31 Пример результатов работы нейронных сетей [26] (• - экспертный контур, х - контур, построенный нейронной сетью, □ - контур построенный алгоритмом MMDA [14], о - контур построенный алгоритмом COM [56; 57])......................... 35

1.32 Пример результатов работы СНС [27] и экспертный контур ЛЖ ... 36

1.33 Типичные контуры ЛЖ сердца, найденные СНС с архитектурой U-Net и методом, основанном на использовании кальмановского фильтра [28] (1 - экспертный контур, 2 - СНС с архитектурой U-Net, 3 - кальмановский фильтр): А - пример удовлетворительного результата, Б - пример неудовлетворительного результата ...... 37

1.34 Схема обучения сегментационной модели на нейронной сети [29] ... 39

1.35 Пример результатов работы нейронной сети [29] ............ 39

2.1 Структура набора данных CAMUS ................... 41

2.2 Структура файлов в папке пациента (А - пациента каталога

training, Б - пациента каталога testing) ................. 42

2.3 Распределение изображений набора данных CAMUS по размерам изображений ................................ 45

2.4 Типичный УЗИ-кадр (А) и экспертная разметка внутренних

полостей (Б) набора данных CAMUS ....................................46

2.5 Структура набора данных USEKB........................................47

2.6 Распределение изображений набора данных USEKB по размерам изображений ................................................................48

2.7 Типичный УЗИ-кадр (А) и экспертная разметка внутренних

полостей (Б) набора данных USEKB................... 48

2.8 Распределение количества кадров сердечного цикла по пациентам набора данных USEKB.......................... 49

2.9 Типичный контур ЛЖ (слева) и сигнатура контура ЛЖ (справа) относительно его центра масс....................... 51

2.10 Контур ЛЖ (слева) и сигнатура контура ЛЖ (справа) с двумя локальными максимумами относительно его центра масс ....... 52

2.11 Контур ЛЖ (слева) и сигнатура контура ЛЖ (справа) с обозначениями, используемые в обсуждаемом алгоритме....... 53

2.12 Контур ЛЖ с неправильно определенными точками основания ... 56

2.13 Сигнатура с исключенным основанием контура............ 57

2.14 Смещение части сигнатуры контура ЛЖ................ 57

2.15 Выбранные 9 точек на сигнатуре контура ЛЖ (справа), пересчет их в декартовую систему координат (слева) и построение интерполирующего квадратического сплайна.............. 58

2.16 Графики функций ^0 5 = V0 5 (п), Vos = Vos (П) и отрезки \о{Шсе)(п) 0{Шсе)(п)] \o^Jaccard^(„) Q(Jaccard)(„)] яяя

отрезки Vo .05 (п), Vo . 95 (п) , Vo . 05 (п), Vo . 95 (п) для

наборов данных USEKB и CAMUS.................... 59

3.1 Применение к изображению Mij размытия..............................62

3.2 Произведение инвертированного УЗИ-кадра и размытого изображения экспертной маски ............................................62

3.3 Гистограмма распределения интенсивностей пикселей I^J, удовлетворяющих условию I^J = 0......................................63

3.4 Функция распределения пикселей по интенсивностям F = F(I) ... 63

3.5 Произведение инвертированного УЗИ-кадра и размытого изображения экспертной маски ............................................64

3.6 Бинарное изображение, полученное после пороговой фильтрации . . 64

3.7 Бинарное изображение с выбранной максимальной областью..........64

3.8 Бинарное изображение ЛЖ с залитыми внутренними областями, у которых интенсивность пикселей равняется 0 ..........................65

3.9 Бинарное изображение области ЛЖ......................................65

3.10 Найденные 9 базовых точек контура......................................65

3.11 Восстановленный контур ЛЖ для трех пациентов по 9-ти базовым точкам (сплошная линия - экспертный контур, пунктирная линия -контур, построенный алгоритмом).................... 66

3.12 Алгоритм нахождения порогого значения интенсивности (а) и нахождение контура ЛЖ с использовнием морфологических операций (б) ................................ 67

3.13 Алгоритм уровневых множеств...................... 69

3.14 Контуры нулевого уровня функции ф(г) на выбранных шагах итераций методом уровневых множеств [7]............... 70

3.15 Алгоритм геодезических активных контуров.............. 71

3.16 Контуры нулевого уровня функции ф(г) на выбранных шагах итераций методом геодезических активных контуров [60] ....... 72

3.17 Восстановленный контур ЛЖ нулевого уровня функции ф(г) для трех пациентов (сверху вниз - метод уровневых множеств, метод геодезических активных контуров) (сплошная линия - экспертный контур, пунктирная линия - контур, построенный алгоритмом) ... 73

3.18 Алгоритм оптического потока Лукаса-Канаде............. 76

3.19 Результат применения алгоритма на основе оптического потока Лукаса-Канаде для трех пациентов (сверху вниз - пациент № 1, пациент № 2 и пациент № 3) (сплошная линия - экспертный контур, точки - базовые точки контура, найденные с помощью обсуждаемого алгоритма) ......................... 77

3.20 Архитектура U-Net для сегментации медицинских изображений (Down-sampling - уменьшение разрешения изображения на данном уровне СНС (децимация), Up-sampling - увеличение разрешения изображения на данном уровне СНС с помощью интерполяции или восстанавливающего фильтра), Skip-connection - процедура передачи изображения на данном уровне СНС между соответсвующими блоками энкодера и декодера без использования процедур Down-sampling и Up-sampling, Convolution block - блок декомпозиции изображения на данном уровне СНС в набор признаковых карт (каналов изображения)) [58]............. 78

3.21 Пример вычисления в сверточном слое тензора размером 3 х 5 х 5 с параметрами слоя к = 2, fw = fh = 3, sw = sh = 2, pw = ph = 1 ... 80

3.22 Пример вычисления свертки в виде матричных операций входного тензора размером 1 х 3 х 3 с параметрами слоя к = 1, fw = fh = 2,

Sw = Sk = 1, Pw = Ph = 0.......................... 81

3.23 Пример вычисления в слое подвыборки тензора размером 3 х 5 х 5

с параметрами слоя fw = fh = 2, sw = sh = 2.............. 82

3.24 Пример вычисления в слое обратной свертки тензора размером 3 х 2 х 2 с параметрами слоя к = 2, fw = fh = 3, sw = sh = 2,

Pw = Ph = 0................................. 83

3.25 Пример вычисления обратной свертки в виде матричных операций над входным тензором размером 3 х 2 х 2 с параметрами слоя

к = 2, fw = fh = 3, Sw = Sh = 2, pw = Ph = 1 .............. 84

3.26 Пример вычисления в сверточном слое для входного тензора размером 8 х 2 х 2 с заданным параметром к = 2........... 86

3.27 Изображениях срезов биологической ткани человека (HeLa клеток) . 87

3.28 Иллюстрация результатов применения батч-нормализации (А -входной УЗИ-кадр дополненный вокруг нулевыми строками и столбцами, Б - изображение с областью ЛЖ, отмеченной

экспертом, В - полученное изображение СНС U-Net)......... 88

3.29 Типичные результаты оконтуривания ЛЖ с использованием СНС с архитектурой U-Net (сплошная линия - экспертный контур, пунктирная линия - контур, полученный с использование СНС с архитектурой U-Net с порогом бинаризации 0.5)............ 88

3.30 Исходная СНС с архитектурой U-Net [58]................ 90

3.31 СНС с модифицированной архитектурой U-Net ............ 90

3.32 Результаты оконтуривания ЛЖ с использованием модифицированной СНС U-Net (сплошная линия - экспертный контур, пунктирная линия - контур, полученный с использование

СНС U-Net с порогом 0.5) ........................ 91

4.1 Зависимости квантилей распределений коэффициента Dice на уровнях доверительных вероятностей Qo.o5, Qo.so и Qo95 от числа итераций N = 50,100 (метод уровневых множеств) .......... 94

4.2 Зависимости квантилей распределений коэффициента Dice на уровнях доверительных вероятностей Qo.o5, Qo,5o и Qo95 от числа итераций N = 300,600 (метод геодезических активных контуров) . . 94

4.3 Зависимости квантилей распределений коэффициента Dice на уровнях доверительных вероятностей Q0.05, Q0.50 и Q095 от шх, шу (ш = шх = шу ) для значений уровней гауссовой пирамиды изображений L = 0,1,2 (метод на основе вычисления оптического потока Лукаса-Канаде).......................... 95

4.4 Зависимости D«tr>, D«v 1> (сверху), L<tr>, L<vl> (снизу), где п -номер» шага обучения, интервалы

[min (^Dice<tr>^ , max (Dice<tr>^j ],

[min (üice<v, max (^Dice<vl>^j ], [min (boss<tr>^ , max (boss<tr>^ ],

[min ^Loss<vl>^ , max ^Loss<vl>^ ] для оригинальной (слева) и модифицированной (справа) архитектур U-Net (1 - тренировочная выборка, 2 - валидационная выборка).................. 98

4.5 Иллюстрация результатов экспериментального исследования распределения коэффициента Dice для рассматриваемых алгоритмов 100

Б.1 Гистограммы распределений коэффициента Dice и их

аппроксимации Розенблатта-Парзена при восстановлении

экспертного контура по базовым точкам на наборе данных CAMUS . 134

Б.2 Гистограммы распределений коэффициента Jaccard и их аппроксимации Розенблатта-Парзена при восстановлении экспертного контура по базовым точкам на наборе данных CAMUS . 135

Б.3 Гистограммы распределений коэффициента Dice и их

аппроксимации Розенблатта-Парзена при восстановлении

экспертного контура по базовым точкам на наборе данных USEKB . 136

Б.4 Гистограммы распределений коэффициента Jaccard и их аппроксимации Розенблатта-Парзена при восстановлении экспертного контура по базовым точкам на наборе данных USEKB . 137

Г.1 Примеры видеопоследовательностей обработанных алгоритмом оптического потока Лукаса-Канеде при оптимальных значениях параметров (сплошная линия - экспертный контур, пунктирная линия - контур, построенный алгоритмом)...............148

Список таблиц

1 Обобщенные характеристики наборов данных CAMUS, USEKB, CETUS................................... 50

2 Значения квантилей на уровне доверительной вероятности 0.5 для наборов данных USEKB и CAMUS с 9 выбранными базовыми точками 59

3 Значения коэффициента Dice на основе полученных аппроксимаций Розенблатта-Парзена квартелей распределений на уровнях доверительной вероятностей Qo.o5, Qo.so, Qo.95 и длины отрезков |Qo.o5, Qo.95|*...........................101

Приложение А Листинги файлов набора данных CAMUS

Листинг А.1: Листинг файла Info_2CH.cfg

# номер кадра УЗИ-видеопоследовательности, соответствующего фазе

КД ED : 1

# номер кадра УЗИ-видеопоследовательности, соответствующего фазе

КС

ES : 18

5 # количество кадров УЗИ-видеопоследовательности NbFrame: 18

# пол пациента Sex : F

# возраст пациента 10 Age : 56

# экспертная оценка качества УЗИ-изображений ImageQuality: Good

# значение КДО ЛЖ LVedv: 94.0

15 # значение КСО ЛЖ LVesv: 34.6

# значение ФВ ЛЖ LVef: 63.2

Листинг А.2: Листинг файла Info_4CH.cfg

# номер кадра УЗИ-видеопоследовательности, соответствующего фазе

КД ED : 1

# номер кадра УЗИ-видеопоследовательности, соответствующего фазе

КС

ES : 18

5 # количество кадров УЗИ-видеопоследовательности NbFrame: 18

# пол пациента Sex : F

# возраст пациента 10 Age : 56

# экспертная оценка качества УЗИ-изображений ImageQuality: Good

# значение КДО ЛЖ LVedv: 94.0

15 # значение КСО ЛЖ LVesv: 34.6

# значение ФВ ЛЖ LVef: 63.2

10

15

20

25

30

35

# тип хранимого объекта ObjectType = Image

# размерность вокселя изображения NDims = 3

# бинарный маркер способа хранения данных

# True - хранение данных в бинарном формате,

# False - хранение данных в не бинарном формате BinaryData = True

# бинарный маркер выбранного порядка хранения байтов:

# True - MSB-формат (он же big-endian), используемый

# для процессоров SPARC и Motorola (например, Macintoshes)

# False - LSB-формат (он же little-endian), используемый

# для процессоров Intel (например, совместимых с ПК) BinaryDataByteOrderMSB = False

# бинарный маркер способа хранения данных:

# True - с использованием сжатия данных,

# False - без сжатия данных CompressedData = False

# матрица поворота изображения

TransformMatrix =100010001

# координаты точки,

# относительно которой поворачивается изображение CenterOfRotation =000

# переменная, определяющая

# анатомическую ориентацию изображения AnatomicalOrientation = RAI

# координаты вектора смещения

# изображения относительно точки поворота Offset =000

# физические координаты одного элемента вокселя ElementSpacing = 0.308 0.154 1.54

# размер вокселя изображения DimSize = 549 778 1

# количество каналов в изображении вокселя ElementNumberOfChannels = 1

# тип хранимых данных ElementType = MET_UCHAR

# указатель файла, содержащего бинарные данные,

# используемые для визуализации изображения ElementDataFile = patient0001_2CH_ED_gt.raw

5

10

15

20

25

30

35

# тип хранимого объекта ObjectType = Image

# раз мернос ть в окс еля из ображения NDims = 3

# бинарный маркер способа хранения данных:

# True - хранение данных в б инарном формате,

# False - хранение данных в не б инарном формате BinaryData = True

# бинарный маркер выбранного порядка хранения байтов:

# True - MSB-формат (он же big-endian), используемый

# для процессоров SPARC и Motorola (например, Macintoshes) для

# False - LSB-формат (он же little-endian), используемый

# процессоров Intel (например, совместимых с ПК) Bi naryDataByt eOrderMSB = False

# бинарный маркер с пос об а хранения данных

# True - с ис польз ов анием с жатия данных

# False - без сжатия данных CompressedData = False

# матрица поворота изображения

TransformMatrix =100010001

# координаты точки ,

# относительно которой поворачивается изображение CenterOfRotation =000

# переменная, определяющая

# анатомическую ориентацию изображения AnatomicalOrientation = RAI

# координаты в ектора с мещения

# изображения относительно точки поворота Offset =000

# физические координаты одного элемента вокселя ElementSpacing = 0.308 0.154 1.54

# размер вокселя изображения DimSize = 549 778 1

# количес тв о каналов в из об ражении в окселя ElementNumberOf Channels = 1

# тип хранимых данных ElementType = MET_UCHAR

# указатель файла, содержащего бинарные данные,

# используемые для визуализации изображения ElementDataFile = patient0001_2CH_ED.raw

5

10

15

20

25

30

35

# тип хранимого объекта ObjectType = Image

# размерность вокселя изображения NDims = 3

# бинарный маркер способа хранения данных:

# True - хранение данных в бинарном формате,

# False - хранение данных в не бинарном формате BinaryData = True

# бинарный маркер выбранного порядка хранения байтов

# True - MSB-формат (он же big-endian), используемый для

# процессоров SPARC и Motorola (например, Macintoshes)

# False - LSB-формат (он же little-endian), используемый

# для процессоров Intel (например, совместимых с ПК) BinaryDataByteOrderMSB = False

# бинарный маркер способа хранения данных

# True - с использованием сжатия данных

# False - без сжатия данных CompressedData = False

# матрица поворота изображения

TransformMatrix =100010001

# координаты точки,

# относительно которой поворачивается изображение CenterOfRotation =000

# переменная, определяющая

# анатомическую ориентацию изображения AnatomicalOrientation = RAI

# координаты в е ктора сме щения

# изображения относительно точки поворота Offset =000

# физиче ские координаты одного элемента вокселя ElementSpacing = 0.308 0.154 1.54

# раз ме р в оксе ля из ображе ния DimSize = 549 778 1

# количество каналов в изображении вокселя El ementNumberOf Channel s = 1

# тип хранимых данных ElementType = MET_UCHAR

# указатель файла, содержащего бинарные данные,

# используемые для визуализации изображения ElementDataFile = patient0001_2CH_ES_gt.raw

5

10

15

20

25

30

35

# тип хранимого объекта ObjectType = Image

# размерность вокселя изображения NDims = 3

# бинарный маркер способа хранения данных:

# True - хранение данных в бинарном формате,

# False - хранение данных в не бинарном формате BinaryData = True

# бинарный маркер выбранного порядка хранения байтов:

# True - MSB-формат (он же big-endian), используемый для

# процессоров SPARC и Motorola (например, Macintoshes)

# False - LSB-формат (он же little-endian), используемый

# для процессоров Intel (например, совместимых с ПК) BinaryDataByteOrderMSB = False

# бинарный маркер способа хранения данных:

# True - с использованием сжатия данных

# False - без сжатия данных CompressedData = False

# матрица поворота изображения

TransformMatrix =100010001

# координаты точки,

# относительно которой поворачивается изображение CenterOfRotation =000

# переменная, определяющая

# анатомическую ориентацию изображения AnatomicalOrientation = RAI

# координаты вектора смещения

# изображения относительно точки поворота Offset =000

# физические координаты одного элемента вокселя ElementSpacing = 0.308 0.154 1.54

# размер вокселя изображения DimSize = 549 778 1

# количество каналов в изображении вокселя ElementNumberOfChannels = 1

# тип хранимых данных ElementType = MET_UCHAR

# указатель файла, содержащего бинарные данные,

# используемые для визуализации изображения ElementDataFile = patient0001_2CH_ES.raw

5

10

15

20

25

30

35

# тип хранимого объе кта ObjectType = Image

# раз ме рность в оксе ля из ображения NDims = 3

# бинарный маркер способа хранения данных:

# True - хране ние данных в бинарном формате ,

# False - хранение данных в не бинарном формате BinaryData = True

# бинарный маркер выбранного порядка хранения байтов:

# True - MSB-формат (он же big-endian), используемый для

# процессоров SPARC и Motorola (например, Macintoshes)

# False - LSB-формат (он же little-endian), используемый

# для процессоров Intel (например, совместимых с ПК) BinaryDataByteOrderMSB = False

# бинарный маркер способа хранения данных:

# True - с использованием сжатия данных

# False - без сжатия данных CompressedData = False

# матрица поворота изображения

TransformMatrix =100010001

# координаты точки,

# относительно которой поворачивается изображение CenterOfRotation =000

# переменная, определяющая

# анатомическую ориентацию изображения AnatomicalOrientation = RAI

# координаты в е ктора сме щения

# изображения относительно точки поворота Offset =000

# физ ические координаты одного э ле ме нта в оксе ля ElementSpacing = 0.308 0.154 1.54

# раз ме р в оксе ля из ображе ния DimSize = 549 778 18

# количество каналов в изображении вокселя El ementNumberOf Channel s = 1

# тип хранимых данных ElementType = MET_UCHAR