Методы, модели и алгоритмы анализа и классификации растровых изображений рентгенограмм грудной клетки тема диссертации и автореферата по ВАК РФ 05.11.17, кандидат наук Дюдин Михаил Валерьевич

• Дюдин Михаил Валерьевич
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Дюдин Михаил Валерьевич

ВВЕДЕНИЕ

1 АНАЛИТИЧЕСКИЙ ОБЗОР МЕТОДОВ И СИСТЕМ АНАЛИЗА СЛОЖНОСТРУКТУРИРУЕМЫХ ИЗОБРАЖЕНИЙ ДЛЯ РЕНТГЕНОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ

1.1 Автоматический анализ флюорограмм грудной клетки

1.2 Автоматизированные рабочие места для анализа рентгеновских изображений

1.3 Нейронные сети и нейросетевые структуры для обработки сложноструктурируемых изображений

1.3.1 Классификация нейронных сетей и выбор их структуры

1.3.2 Гибридная нейронная сеть

1.3.3 Иерархическая нейронная сеть

1.3.4 Сверточные нейронные сети

1.4 Теоретические аспекты объединения решений на основе многоагентных моделей классификации

1.5 Цели и задачи исследования

2 МЕТОДЫ И АЛГОРИТМЫ АВТОМАТИЧЕСКОЙ СЕГМЕНТАЦИИ ПОЛУТОНОВЫХ СЛОЖНОТЕКСТУРИРОВАННЫХ РАСТРОВЫХ ИЗОБРАЖЕНИЙ

2.1 Состояние исследований и анализ технических и алгоритмических решений в области классификации сегментов сложноструктурируемых изображений

2.2 Метод сегментации сложнотекстурированных изображений

2.3 Метод контурного анализа изображения легких на рентгеновском снимке грудной клетки

2.4 Метод выделения границ ребер на флюорограмме грудной клетки

2.4.1 Идея метода

2.4.2 Синтез морфологической операции

2.4.3 Алгоритм итерационной процедуры формирования границы ребра

2.4.4 Построение математической модели границы ребра

2.5 Выводы второго раздела

3 НЕЙРО-СЕТЕВЫЕ МОДЕЛИ ДЛЯ КЛАССИФИКАЦИИ РЕНТГЕНОВСКИХ СНИМКОВ ГРУДНОЙ КЛЕТКИ

3.1 Структура автоматизированной системы классификации флюорограмм легких93

3.2 Многоагентный классификатор рентгеновских снимков

3.3 Многоагентный нозологический классификатор

3.4 Модифицированная вероятностная нейронная сеть для нозологтческого анализатора

3.5 Выводы третьего раздела

4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ РАЗРАБОТАННЫХ МЕТОДОВ АНАЛИЗА РЕНТГЕНОВСКИХ СНИМКОВ ГРУДНОЙ КЛЕТКИ

4.1 Структура АРМ врача - рентгенолога и алгоритм его работы

4.2 Экспериментальные исследования метода сегментации сложнотекстурированных изображений

4.3 Оценка эффективности методов и алгоритмов выделения патологических сегментов на рентгеновских снимках грудной клетки

4.4 Выводы четвертого раздела

Список обозначений и сокращений

Список литературы

Введение диссертации (часть автореферата) на тему «Методы, модели и алгоритмы анализа и классификации растровых изображений рентгенограмм грудной клетки»

ВВЕДЕНИЕ

Актуальность работы. Несмотря на то, что в настоящее время широко развиваются такие методы лучевой диагностики, как компьютерная томография (КТ), магниторезонансная томография (МРТ) и позитронно-эмиссионная томография (ПЭТ), имеющие высокую диагностическую информативность, обследования этими методами имеют определенные недостатки: дорогое оборудование и специализированное программное обеспечение. Все это повышает стоимость обследования, поэтому в настоящее время данные методы визуализации используются только после рентгенографии при подозрении на заболевания, требующие дополнительного обследования.

Актуальность разработки новых методов и моделей анализа рентгеновских снимков (РС), определяется, прежде всего, возросшими требованиями к качеству и надежности разрабатываемых систем и медицинских устройств, созданием перспективных информационных технологий с использованием нейронных сетей.

При анализе и обработке цифровых флюорограмм наиболее информативной количественной характеристикой является яркость пикселей изображения РС. Известно, что на яркость точек изображения РС влияет ряд факторов, например напряжение на рентгеновской трубке, габариты пациента и др. Это затрудняет постановку диагноза врачом. В связи с этим представляется целесообразным уменьшить влияние указанных факторов, а также перейти к оценке относительной яркости точек цифрового изображения. Кроме того, следует ввести дополнительные количественные характеристики патологических структур на флюорограммах.

Таким образом, разработка методов и алгоритмов автоматизированной идентификации патологических структур, в частности методов, основанных на применении нейронных сетей, позволяющих ускорить процесс диагностики заболеваний и снижающих долю повторных исследований, является актуальной задачей.

Степень разработанности темы исследования. Диссертационная работа посвящена решению задачи идентификации патологических структур на рентгеновских цифровых снимках. Врачу-рентгенологу, как правило, приходится просматривать большое количество снимков, качество которых не всегда удовлетворительно, а размер сравнительно мал. Поэтому качественный анализ снимка представляет собой большое искусство и воплощает в себе умение распознавать даже самые малые изменения яркостей точек РС, а также способность обнаруживать аномальные структуры, особенно при низком разрешении снимка. Это требует высокой квалификации и доступно немногим. Из-за особенностей субъективного зрительного восприятия значительно теряется информативность РС. При массовых обследованиях, например, с помощью флюорографии, эта работа весьма утомительна и может привести к ошибкам.

Широкое распространение компьютерной техники и информационных технологий создает условия для реализации автоматизированной обработки большого количества изображений. Примерами этого являются системы «Видеотест-размер» фирмы «ВидеоТест»; «X-ray Lab 30 X-ray Images Digital Processor компании Gilardoni; «Advanced image processor»; система «Скрининг-флюорография» центра медицинских информационных технологий «Медиал-МТ». Однако для повышения достоверности постановки диагноза по снимкам требуется реализация метода распознавания образов, которую существующие системы не содержат. В основе распознавания должно лежать сопоставление участков исследуемого изображения с шаблоном, а в качестве образов могут использоваться обработанные изображения патологических структур. Наиболее успешно задачу распознавания решают нейросетевые модели. Разработке методов и алгоритмов идентификации и классификации образов посвящены работы АН. Галушкина, АН. Горбаня, Т. Кохонена, Ф. Уоссермена, Дж. Хопфилда. Однако по причине того, что отсутствует единая методология решения прикладных задач с помощью нейросетей, целесообразно применительно к каждой конкретной задаче выбирать не только их архитектуру, но и метод обучения нейронной сети.

Следовательно, повышение качества диагностики заболеваний легких посредством диагностических интеллектуальных систем анализа растровых изображений рентгенограмм грудной клетки является важной технической задачей.

Объектом исследования являются медицинские рентгеновские снимки грудной клетки.

Предметом исследования являются методы и алгоритмы цифровой обработки и распознавания полутоновых растровых изображений рентгенограмм грудной клетки.

Цель работы. Повышение качества классификации рентгенологических синдромов путем создания методов, моделей и алгоритмов для автоматизированной идентификации анормальных структур на рентгенограммах грудной клетки.

Для достижения данной цели были поставлены следующие задачи.

1. Разработка метода обработки растровых полутоновых изображений, позволяющего выделять слжнотекстурированные морфологические образования на рентгенограммах грудной клетки.

2. Разработка методов и алгоритмов выделения границ морфологиченских образований на рентгенограммах грудной клетки.

3. Разработка моделей многоагентных классификаторов рентгеновских снимков и алгоритмов их функционирования.

4. Разработка структуры автоматизированного рабочего места врача-рентгенолога и алгоритмов его функционирования, позволяющих анализировать рентгеновские снимки грудной клетки.

5. Провести экспериментальные исследования предложенных методов, алгоритмов и моделей анализа рентгеновских снимков грудной клетки.

Научная новизна. В диссертации получены следующие результаты, характеризующиеся научной новизной:

- метод автоматической сегментации полутоновых

сложнотекстурированных растровых изображений, заключающийся в обработке

исходного изображения посредством маски локального оператора, вычисления градиента полученного изображения и пороговой обработки, отличающийся тем, что при первоначальной обработки используется оператор вычисления «центров тяжести» гистограмм в «пустом» окне, позволяющий обнаруживать границы морфологических структур на рентгенограммах грудной клетки;

- метод выделения контуров легких на изображении рентгеновского снимка грудной клетки, отличающийся последовательностью и составом процедур обработки изображения, позволяющий получить набор дескрипторов Фурье для формирования пространства информативных признаков для нейросетевых классификаторов рентгенологических синдромов и нозологий;

- метод выделения границ ребер на рентгеновском снимке грудной клетки, отличающийся использованием нелокальной информации при морфологической фильтрации изображения, полученного в результате обработки рентгеновского снимка оператором «центр тяжести гистограммы»;

- модели многоагентных классификаторов рентгеновских снимков и алгоритмы их функционирования, отличающиеся решающими модулями, водящими в их структуру, выполненными на основе гибридных нейронных сетей с макрослоями, позволяющие классифицировать рентгеновские снимки по рентгенологическим синдромам.

Теоретическая и практическая значимость работы состоит в том, что изложены методы сегментации изображений с нечеткими морфологическими образованиями, основанные на локальной обработке изображений арифметическими и морфологическими операторами со сложными частотными характеристиками, позволяющие осуществить контурный анализ морфологических образований рентгеновского снимка с последующим нейросетевым анализом получаемого пространства информативных признаков. Разработанные методы, модели и алгоритмы составили основу автоматизированного места врача-рентгенолога. Применение предложенных в диссертации методов, алгоритмов и моделей классификации рентгеновских снимков

позволит использовать интеллектуальные технологии в программах скрининговой диагностики социально значимых заболеваний.

Работа выполнена в рамках прикладных научных исследований в соответствии с федеральной целевой программой «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» (Соглашение № 14.576.21.0071 о предоставлении субсидии от 06.11.2014 г.) и в соответствии с научным направлением Юго-Западного государственного университета «Разработка медико-экологических информационных технологий».

Результаты диссертационной работы внедрены в учебном процессе Юго-Западного государственного университета при подготовке по программе бакалавров по направлению подготовки 09.03.04 Программная инженерия, реализованы в программных продуктах ООО «Научно-производственный центр «Инновационные технологии» (г. Курск) и используются при компьютерной обработке рентгеновских снимков в больнице скорой медицинской помощи г. Курска.

Методы и средства исследований. Для решения поставленных задач использовались математический аппарат линейной алгебры, теория вероятностей, аппарат морфологического анализа изображений, теория нейронных сетей и распознавания образов, методология спектрального анализа, теория множеств, методы экспертного оценивания и принятия решений. При разработке нейросетевых моделей и модулей нечеткого вывода в качестве инструментария использовался MATLAB 7.10 с графическим интерфейсом пользователя для Neural Network Toolbox и со встроенным пакетом Fuzzy Logic Toolbox.

Положения, выносимые на защиту. 1. Метод автоматической сегментации изображений, основанный на операторе вычисления «центров тяжести» гистограмм в «пустом» окне, позволяет обнаруживать границы нечетких морфологических структур сложнотекстурированного полутонового растрового изображения. 2. Метод контурного анализа, позволяющий выделять поля легких на рентгеновском снимке грудной клетки. 3. Метод, основанный на

нелокальной информации при морфологической фильтрации изображения, обеспечивает выделение границ ребер на рентгеновском снимке грудной клетки. 4. Модели многоагентных классификаторов рентгеновских снимков и алгоритмы их функционирования, включающие гибридные нейронные сети с макрослоями, обеспечивают классификацию рентгеновских снимков по рентгенографическим синдромам.

Степень достоверности и апробация работы. Результаты исследования показали их воспроизводимость в различных условиях, непротиворечивость концепциям теории цифровой обработки и классификации изображений и нейросетевого моделирования, а так же аналогичным результатам, полученным другими исследователями. Метод и алгоритмы классификации рентгеновских снимков грудной клетки построены на теории морфологического и контурного анализа изображений и согласуются с ранее опубликованными экспериментальными данными по теме диссертации.

Основные теоретические положения и научные результаты диссертационной работы докладывались, обсуждались и получили положительную оценку на 13 Международных и Всероссийских конференциях: «Медико-экологические информационные технологии» (Курск - 2013, 2014); «Физика и радиоэлектроника в медицине и экологии» (Владимир - 2014); «Интегративные процессы в образовании и медицине - 2014» (Курск - 2014); «Научный взгляд на современный этап развития общественных, технических, гуманитарных и естественных наук. Актуальные проблемы (Санкт-Петербург -2014); «Science and Education» - 2014 (Belgorod-Sheffield - 2014); «Лазерно-информационные технологии в медицине, биологии, геоэкологии и транспорте» (Новороссийск - 2014, 2015); «Современные концепции научных исследований» (Москва-2015); Распознавание - 2015 (Курск - 2015); «Современные тенденции развития науки и технологий» (Белгород-2015); «Математика и ее приложения в современной науке и практике (Курск-2015), «Современные методы прикладной математики, теории управления и компьютерных технологий (Воронеж-2015), на

научно-технических семинарах кафедры биомедицинской инженерии ЮЗГУ (Курск - 2013, 2014, 2015).

Публикации. Основные положения и результаты диссертационной работы опубликованы в 19 работах, включающих 6 статей в научных журналах, в том числе 5 статей в изданиях, входящих в перечень ВАК, 12 текстов докладов на международных и российских конференциях и 2 свидетельства о регистрации программ для ЭВМ.

Личное участие автора. Автор лично выполнил основной объем теоретических и экспериментальных исследований, разработал методы, алгоритмы и модели нейросетевых классификаторов, а также программы для обработки и анализа изображений, выполнил анализ полученных результатов и написал текст диссертации.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения и библиографического списка, включающего 99 отечественных и 21 зарубежных наименований. Работа изложена на 154 страницах машинописного текста, содержит 57 рисунков и 4 таблицы.

1 АНАЛИТИЧЕСКИМ ОБЗОР МЕТОДОВ И СИСТЕМ АНАЛИЗА СЛОЖНОСТРУКТУРИРУЕМЫХ ИЗОБРАЖЕНИЙ ДЛЯ РЕНТГЕНОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ

1.1 Автоматический анализ флюорограмм грудной клетки

В результате анализа каждая флюорограмма должна быть отнесена или к классу "нормальных" или "патологических". Важнейшей частью работы является реализация автоматического описания нормальной флюорограммы. Поскольку в данной задаче целью является автоматизация человеческой деятельности, то адекватным будет "человеческое" описание флюорограммы. Оно состоит, по меньшей мере, в умении выделять значимые объекты, описывать эти объекты и определять их взаимоотношения. Основными объектами на любой флюорограмме считаются: легочные поля; ребра (отдельно их задние части и передние части); ключицы; корни легких; сосуды [53, 74, 76].

Поставив задачу выделения на изображении основных объектов (ключиц, ребер, корней и др.), необходимо решить вопрос о том, каким образом в программe будут заложены знания об этих объектах, без чего их выделение на таком сложном изображении как флюорограмма грудной клетки невозможно. Обычно априорные знания об объектах формулировались и закладывались в программы на языке логических утверждений (например, площадь объекта не менее такой-то, кривизна границы не более такой-то и т.п.). В этом случае знания об объектах оказываются распыленными по всем программам и настолько тесно с ними переплетаются, что, в конце концов, программа становится узкоспециализированной. Это делало невозможным моделирование и исследование общих принципов обработки изображений.

В качестве альтернативы было предложено хранить знания об объекте в форме изображения самого объекта [46]. Естественно, что в этом случае

эталонное изображение есть конкретный представитель своего класса (например, класса "ключицы"). Соответственно возникают две проблемы:

• как использовать конкретное эталонное изображение для поиска на поступившей флюорограмме аналогичного (но не идентичного) объекта;

• достаточно ли единичного объекта для представления знаний о всем классе.

В [46] предлагается решать этот вопрос путем введением промежуточного языка описания объектов с помощью полей характеристик.

Пусть имеется схематическое (черно-белое) изображение системы "задних частей ребер", лежащей в пределах легочных полей. Этому эталону можно поставить в соответствие поле направлений границ ребер, определенное в тех же пределах. Оно задает в каждой точке легочных полей среднее направление границ ребер в некоторой окрестности этой точки. С учетом допустимых отклонений это поле задает допустимые направления ребер в каждом месте легочного поля для всех возможных флюорограмм, что используется для нахождения границ ребер на каждой конкретной флюорограмме.

Аналогичным образом можно задать схематический эталон "передних частей ребер" (которые на рентгеновском снимке секут задние части ребер примерно под прямым углом), построить по нему эталонное поле направлений граней передних частей ребер и по тем же самым алгоритмам, которые использовались для определения задних частей ребер, искать их передние части. Точно так же для поиска ключиц на любой конкретной флюорограмме достаточно сменить эталонное изображение ребер на эталонное изображение ключиц.

Имея эталонное изображение объекта (например, ребер), можно по нему построить не только поля направлений границ, но и поля других характеристик, например, поля размеров объектов, поля расстояний между объектами и т.п. Эти поля используются при поиске объектов на реальных флюорограммах. Таким образом, единичное изображение объекта порождает комплект эталонных полей характеристик. Такой комплект полей представляет информацию обо всем

множестве допустимых флюорограмм грудной клетки и является описанием данного класса изображений.

Язык полей характеристик является конструктивным (алгоритмы построения различных полей просты и работают как на реальном изображении, так и на эталоне). Язык этот беспереборный, ибо алгоритмы анализа изображений с помощью полей характеристик не проводят выделения объектов и сравнения их с набором эталонов, а ищут данный объект, подобный заданному эталону, игнорируя все остальные объекты на изображении. Наконец, язык полей характеристик обладает широтой (в определенном выше смысле), ибо применим к различным классам изображений.

Итак, адекватный язык дает возможность по единичному образцу построить описание класса, т.е. образовать понятие. По каноническому образцу буквы на основании правил трансформации (правил перехода одних элементов в другие) строится описание всего класса. Точно так же "прочтение" конкретной согласной на артикуляционном языке дает нам описание всего класса ("взрывной, глухой, заднеязычный"). Заметим, что такой подход в корне отличается от традиционного для распознавания образов обучения на примерах по совокупности отличительных признаков.

Следует отметить, что подход к проблеме образования понятий как к задаче построения алгоритма распознавания получил распространение и в психологии, и даже в философии. В "Философском словаре" (М.: Сов. энциклопедия, 1980) "понятие" трактуется как "мысль, представляющая собой обобщение (и мысленное выделение) предметов некоторого класса по их специфическим (в совокупности отличительным) признакам..." (с. 287). Собственно говоря, здесь описана суть алгоритма классификации объектов по косвенным признакам, и в искусственном интеллекте это очень часто и называлось образованием понятий.

В истории развития исследований по искусственному интеллекту обращает на себя внимание следующее. Если на начальном этапе распознавание образов составляло одну из важнейших областей искусственного интеллекта, то в дальнейшем, не справившись с моделированием восприятия, искусственный

интеллект вытеснил из своей сферы задачи распознавания. Процесс этот проходил методом "взгонки". Не справившись с задачей распознавания фонем, перешли к распознаванию слов и слитной речи. Не справившись с распознаванием букв и цифр, принялись за распознавание сцен. Не справившись с обработкой неподвижных изображений, перешли к обработке движущихся объектов. Неудачи в обработке плоских изображений имели своим следствием переход к анализу трехмерных сцен. И так далее. Теперь все упирается в базы данных, в представление знаний. Сосредоточившись на переработке символьной информации, искусственный интеллект тем самым отгородил себя от внешнего мира. К тому же и робототехника становится периферийной проблемой искусственного интеллекта. В связи с этими тенденциями встает вопрос о предмете искусственного интеллекта.

Кардинальной задачей мышления является посредничество между восприятием и поведением, обеспечивающее адекватную реакцию на различные внешние ситуации. Понятно, что мышление должно быть в высшей степени согласовано как с организацией восприятия, так и с организацией движения. То, что организация движения является одной из основ интеллекта, показали уже в конце 50-х годов И.М. Гельфанд, B.C. Гурфинкель, М.Л. Цетлин, М.Л. Шик. В 60-е и 70-е годы в психологии укрепилось понимание того, что восприятие не есть пассивный процесс обработки информации, продвижения ее по конвейеру, а осуществляется при участии верхних уровней, что восприятие тесно связано с организацией памяти. Фактически признано, что трудно провести грань между восприятием и мышлением, между мышлением и поведением. Такая точка зрения отразилась в выражении: глаз есть выдвинутая часть мозга.

Конечно, если рассматривать задачу распознавания как задачу принятия решения в условиях неопределенности по набору косвенных признаков, то распознавание следует считать интеллектуальной проблемой, а формирование набора признаков - "технической" работой. Однако выше мы показали, что для решения задач распознавания вовсе не обязательно строить разделяющую поверхность в многомерном пространстве, проводить обучение на множестве

примеров из каждого класса. Использование адекватного языка делает излишними "интеллектуальные" этапы процесса распознавания: описание объекта становится названием класса и определяет его содержание. Например, весь механизм нормирования изображения букв (приведение к одному размеру, к одинаковой толщине и к одинаковому наклону) оказывается излишним при описании знаков на языке траектории пера. Таким образом, класс задач, которые необходимо решать на интеллектуальном уровне, в большой мере зависит от способа восприятия.

Список примеров, свидетельствующих о глубоком взаимном проникновении того, что мы называем восприятием и мышлением, можно было бы продолжить. Из изложенного следует, что попытка изучения "чистого" мышления кажется по меньшей мере искусственной. В соответствии с этим, представление о том, что понятие "обработка символьной информации" покрывает понятие "мышления", является неадекватным. Мы пытались выше показать, что многие интеллектуальные задачи не могут быть решены в изоляции от внешнего мира, от реального времени, от топологических и метрических свойств реального пространства. С такой позиции преимущественное внимание, которое уделяется в настоящее время работе с символьной информацией, представляется спорным. По нашему мнению, изучение интеллекта, моделирование его функций должно быть тесно связано с основной задачей, которая стоит перед всяким живым существом, в том числе и перед человеком, -отражением внешнего мира для построения соответствующего поведения.

1.2 Автоматизированные рабочие места для анализа рентгеновских

изображений

Врачу-рентгенологу, как правило, приходится просматривать большое количество рентгеновских снимков (РС), качество которых не всегда

удовлетворительно, а размер сравнительно мал. Поэтому качественный анализ РС представляет собой большое искусство и воплощает в себе умение распознавать даже самые малые изменения яркостей точек РС, а также способность обнаруживать аномальные структуры, особенно при низком разрешении снимка. Это требует высокой квалификации и доступно немногим. Из-за особенностей субъективного зрительного восприятия значительно теряется информативность РС. При массовых обследованиях, например с помощью флюорографии, эта работа весьма утомительна и может привести к ошибкам.

В связи с этим в настоящее время разрабатываются и присутствуют на рынке медицинских технологий автоматизированные рабочие места (АРМ) рентгенолога.

Изображения, с которыми работает АРМ рентгенолога, предварительно могут быть введены в компьютер с усилителя рентгеновского изображения или рентгеновской плёнки с помощью сканера. Если рентгеновский аппарат имеет встроенную систему для проведения рентгеноскопии, то у него имеется стандартный видеовыход, с помощью которого можно вывести видеосигнал на экран компьютера. Также можно работать с обычным видеомагнитофоном, использующим видеозапись рентгеновского обследования. Если это цифровой рентгеновский комплекс, то в нём должен быть режим работы в формате DICOM 3.0, что делает возможным подключение этого аппарата к компьютерной сети. Таким образом, АРМ рентгенолога может получать изображения и с цифрового выхода рентгеновского аппарата.

Компьютерная система Medical Vision используется в медицинской практике при работе с рентгеновскими изображениями. Система может подключаться к стандартному видеовыходу рентгеновского аппарата, выводить видеосигнал на экран монитора и захватывать кадры. Сохранённые изображения попадают в компьютер и в дальнейшем их можно обрабатывать, сохранять в базе данных, производить поиск, просмотр и редактирование, вставлять в отчёт о проведенном обследовании и печатать. Изображения можно получать и напрямую со сканера рентгеновских плёнок. Встроенная база данных позволяет хранить не

только полную информацию о пациенте, но и данные всех обследований для каждого пациента, а также все полученные изображения, комментарии и протоколы. Специальная программа помогает очень быстро создавать формализованные протоколы обследований. Печать результатов обследований производится с помощью обычного принтера (струйного или лазерного) на обычной бумаге. Возможна поставка сетевой версии программного обеспечения Medical Vision, которое позволит врачам из других кабинетов просматривать результаты любых обследований пациентов, включая изображения, протоколы обследований и заключения (в этой базе данных могут также храниться изображения, полученные с помощью другого рентгеновского аппарата и др.). Есть специальная версия программного обеспечения, которая может быть интегрирована в существующую информационную систему больницы.

Список литературы диссертационного исследования кандидат наук Дюдин Михаил Валерьевич, 2016 год

Источник Источник

данных 1 данных 2

Локальные классификаторы источника 1

Локальные классификаторы источника 2

Локальные классификаторы источника 3

Источник Источник

данных 4 данных 5

Локальные Локальные

классификаторы классификаторы

источника 4 источника 5

Поток решений 1

Поток ешений 2

Поток решений 3

Поток решений 4

Вход: композиЦия асинхронных потоков решений

Поток решений 5

Алгоритм объединения решений (мета-классификатор)

Выход:

Класс состояния системы

Рисунок 1.9 - Структура принятия решений в системе многоагентной классификации на основе множества источников данных и множества классификаторов

В соответствии со структурной схемой рисунка 1.9 из биообъекта поступают различные данные, представленные в «сыром виде». Каждый агент

выбирает «свой» источник данных, из которого формирует векторы информативных признаков для своих классификаторов. Причем классификаторы конкретного агента могут работать с одним и тем же вектором информативных признаков или агент формирует индивидуальный вектор информативных признаков для каждого классификатора. В частном случае агент может иметь только один классификатор и, соответственно, формировать только один вектор информативных признаков.

Объединение решений производится мета-классификатором, на который поступает поток решений от каждого агента. Слияние решения классификаторов осуществляется согласно алгоритму мета-классификации. Взаимодействие алгоритмов в мета-классификаторе иллюстрирует схема, представленная на рисунке 1.10.

Уровень мета - обучения ¡

Базовый Базовый Базовый

классификатор 1 классификатор 2 классификатор к

Í

Алгоритмы обучения базовых классификаторов

±

Данные для обучения и тестирования Базового классификатора 1 (источник 1)

ш

Данные для обучения и тестирования Базового классификатора 2 (источник 2)

Т

Данные для обучения и тестирования Базового классификатора к (источник к)

Уровень обучения базовых классификаторов I

• а а' — а а а а а а а' а' а а а а а а а' а — +

Рисунок 1.10 -Схема взаимодействия алгоритмов в мета-классификаторе

Структурно-функциональная схема алгоритма мета-классификации предусматривает два уровня обучения: уровень обучения базовых классификаторов (низкий иерархический уровень) и уровень мета-обучения (высокий иерархический уровень). Каждый из этих уровней включает свои

алгоритмы обучения классификаторов. Обучение начинается с более низкого иерархического уровня классификации. В качестве обучающих выборок на этом уровне используются данные, полученные агентами в результате анализа живой системы.

Выходы классификаторов формируют мета-данные, из которых формируются обучающие выборки для алгоритма обучения мета-классификатора. Эти данные также используются блоком тестирования для проверки качества диагностики системе многоагентной классификации на основе множества источников данных и множества классификаторов.

Мета-классификатор может быть реализован на основе нейронной сети, что позволит использовать для мета-классификатора стандартные алгоритмы обучения, которые используются для обучения тех типов нейронных сетей, на основе которых выполнен мета-классификатор.

Структурная схема мета-классификатора, построенного на основе нейронных сетей, представлена на рисунке 1.11.

Решение

Вход 1 Вход 2 Вход I.

Рисунок 1.11 - Структурная схема мета-классификатора на основе нейронной сети

На схеме упрощенно показаны входы и выходы L классификаторов, которые работают по схеме «один вход - один выход». Эта схема соответствует мета-классификатору, объединяющего решения L агентов с одним классификатором или один агент с L классификаторами.

Решения всех классификаторов могут быть представлены в виде матрицы размером пхт, строки которой соответствуют множествам решений, принятых соответствующими классификаторами по каждому классу.

При построении вероятностной модели классификатора используем следующие обозначения:

(ш], ,...,шт)- классы решений;

Х{ - вектор признаков для i-го классификатора,(¡=1,...,п);

p (Х1 / (ок) -условная плотность распределения;

Р (ш\) - априорная вероятность класса ш

При заданном векторе признаков Х, /= ],..., п на входе /-го классификатора байесовское правило классификации имеет такой вид:

Присвоить метке Z ^ ш,, если

p(юj /^, x2,...XR) = тах^ p(юk /^, ^...¿ц), (П7)

где Р - размер вектора информативных признаков.

Однако строгое использование правила Байеса (1.17) затруднительно, поскольку в большинстве случаев вычислить или оценить такую плотность распределения очень трудно. Поэтому в [106] предложен ряд правил объединения решений, получаемых упрощением правила Байеса.

При выборе решений, полученных на нижнем уровне многоагентной системы классификации, часто используют подход, основанный на компетентностной оценки классификаторов в многоагентной системе классификации. Структурно-функциональную организацию этого подхода иллюстрирует рисунок 1.12.

Классификатор 1 Рефери 1

/ /

Классификатор 2 Рефери 2

Классификатор k

Данные, используемые для обучения и тестирования классификаторов и рефери

^ CD Ь сг

О 51 о °

II

^ О) Н О

о п

X! Ф Ш Я)

s т:

at г

О =1

X) ^ ft) fD

и

? о

Решение наиболее компетентного классификатора

Разбиение обучающих Разбиение данных при обучении обучающих данных классификаторов при обучении рефери

Примеры класса 1

Контр-примеры класса 1

Экземпляры данных, классифицирован ных правильно

Неверно классифицирован ные экземпляры данных

Рисунок 1.12 - Структурно-функциональная организация компетентностного подхода к выбору решения мета-классификатором

В результате анализа структур многоагентных классификаторов, приходим к выводу, что подход к выбору мета-классификатора основан на формировании нового пространства информативных признаков, которое формируют классификатора нижнего иерархического уровня. Если предположить, что все классификаторы работают в одном и том же пространстве признаков, то можем воспользоваться вероятностным подходом к выбору классификатора на основе компетентности.

При вероятностном подходе выходы классификаторов рассматриваются как новое пространство признаков, которое структурировано в виде матрицы, называемой профилем решений ("decision profile") [108], представленной на рисунке 1.13.

Такое представление решений классификаторов с мягкими метками объясняет смысл различных правил объединения решений, которые предлагаются в вероятностной модели (правила произведения, суммы, максимума, минимума и

др.)

Классы решений

4,(х) ... du(x) ... dlm(x)

Dm= ...

d- (х) Классификаторы

4д(х) ^Дх)

V

Вероятности класса j, вычисленные различными классификаторами Рисунок 1.13 - Схема формирования нового пространства информативных

признаков в многоагентной системе на основе вероятностного подхода

В другом подходе того же автора, в основе которого лежит также понятие "профиля решений" (decision profile), используется понятие "Фрейма решений" [107]. Его особенности состоят в следующем:

1 обучение состоит в вычислении среднего значения "профиля решений" для объектов каждого из классов (на основе тренировочной выборки);

2 на этапе распознавания (классификации) новых объектов (в режиме нормальной работы множества классификаторов) решение принимается на основе минимума квадрата Евклидова расстояния между профилем решения входа и средним значением такого профиля решений для каждого их классов.

Ограничения на использование вероятностного подхода:

- в большинстве задач различные классификаторы используют различные источники данных, и оперируют в различных (возможно, пересекающихся) пространствах признаков;

- распределения вероятностей измерений, поступающих на вход различных классификаторов, не являются условно независимыми;

- классификаторы могут иметь различный выход, например, они могут быть настроены на распознавание различных классов объектов, они могут использовать различные меры неопределенности и т.д.

1.5 Цели и задачи исследования

Диссертационная работа посвящена решению задачи идентификации анормальных структур на рентгеновских цифровых снимках грудной клетки. Врачу-рентгенологу, как правило, приходится просматривать большое количество снимков, качество которых не всегда удовлетворительно, а размер сравнительно мал. Поэтому целесообразно для скрининговой диагностики патологических структур на рентгеновских снимках или для автоматизации рабочего места врача-рентгенолога использовать компьютерные системы анализа и обработки изображений.

Для повышения достоверности постановки диагноза по рентгеновским снимкам требуется реализация методов и алгоритмов распознавания образов, которые отсутствуют в современных автоматизированных системах анализа и классификации рентгеновских снимков.

Целью диссертационной работы является разработка методов, моделей и алгоритмов для автоматизированной идентификации анормальных структур на рентгенограммах грудной клетки.

Из цели работы вытекают следующие задачи.

1. Разработка метода обработки растровых полутоновых изображений, позволяющего выделять морфологические образования на флюорограммах грудной клетки.

2. Разработка метода и алгоритма выделения легочных полей на изображении рентгеновского снимка грудной клетки.

3. Разработка метода и алгоритма определения границ морфологиченских образований на изображении рентгеновского снимка грудной клетки.

4. Разработка структурных схем многоагентных классификаторов рентгеновских снимков и алгоритмов их функционирования.

5. Разработка структуры автоматизированного рабочего места врача-рентгенолога и алгоритмов его функционирования, позволяющих анализировать рентгеновские снимки грудной клетки.

6. Провести экспериментальные исследования предложенных методов, алгоритмов и моделей анализа рентгеновских снимков грудной клетки.

2 МЕТОДЫ И АЛГОРИТМЫ АВТОМАТИЧЕСКОЙ СЕГМЕНТАЦИИ ПОЛУТОНОВЫХ СЛОЖНОТЕКСТУРИРОВАННЫХ

РАСТРОВЫХ ИЗОБРАЖЕНИЙ

2.1 Состояние исследований и анализ технических и алгоритмических решений в области классификации сегментов сложноструктурируемых

изображений

Для решения задач распознавания образов по результатам анализа растровых полутоновых изображений необходимо решить задачу разделения исходного изображения на части (сегменты), различающиеся по своему семантическому содержанию. От качества сегментации зависит эффективность дальнейшего анализа и классификации изображений.

Известен способ сегментации изображения, называемый наращиванием областей [98]. Суть его заключается в том, что элементы изображения с одинаковыми или близкими уровнями яркости группируют, объединяя в однородные области. Для этого на исходном изображении ищут элементарные области, где пиксели объединяются в группы, если они обладают одинаковым уровнем яркости и являются соседями в смысле четырехсвязности. Затем элементарные области, имеющие общие границы, сливаются воедино согласно различным эвристическим правилам. Недостатком этого способа является необходимость подбора яркостных порогов в интерактивном режиме.

При проведении выращивания и слияний областей часто используется текстурная информация [110]. Однако использование текстурной информации при выращивании ограничивается тем, что для анализа текстуры (обычно это вычисление различных признаков, описанных в математической статистике), как правило, уже требуется иметь область размером более одного пикселя, что при выращивании (добавление единственного пикселя к области) невозможно.

Выделение контуров объектов на полутоновых растровых изображениях можно осуществлять совместно с выделением самих объектов. Для этого обычно используют пороговые методы сегментации на основе среднего значения яркости пикселей, например, [67] предложен градиентный способ выделения контуров объектов на матрице полутонового растрового изображения, заключающийся в том, что для всех пикселей растрового изображения вычисляют норму или квадрат нормы градиента изменения их яркости, затем на новой черно -белой монохромной матрице черным цветом на белом фоне выделяют все элементы, у которых значение нормы или квадрата нормы градиента больше порогового значения, а в качестве контуров объектов на монохромной матрице принимают связные конфигурации элементов черного цвета, для выбранного способа вычисления градиента экспериментально определяют коэффициент, затем рассчитывают пороговое значение квадрата нормы градиента как произведение данного коэффициента на сумму квадратов средних величин модулей изменения яркости соседних пикселей по строкам и столбцам, у которых значения превышают общие средние уровни ненулевых изменений, соответственно, по строкам и столбцам, а среди связных конфигураций элементов черного цвета на монохромной матрице сразу отбрасывают конфигурации, у которых число входящих элементов менее 5-7 элементов, для оставшихся конфигураций вычисляют среднюю степень соседства - частное от деления суммы по всем элементам конфигурации соседних с ним элементов на сумму элементов в конфигурации, причем те конфигурации, у которых средняя степень соседства менее 3, отбрасывают, а оставшиеся принимают в качестве искомых контуров объектов.

К недостаткам данного способа можно отнести слишком большое число эмпирически настраиваемых параметров, что не позволяет получить решающие правила, пригодные для изображений одного и того же класса, полученных при различных условиях или при различных уровнях помех. При нечетких сегментах такие параметры подобрать практически невозможно.

Близким к предлагаемому способу является способ сегментации [63], который заключается в определении унимодального или бимодального типа исходной яркостной гистограммы в «пустой» маске и порогового уровня яркости. Этот пороговый уровень позволяет разделить бимодальную гистограмму на два унимодальных фрагмента, а также обеспечить обратный переход от фрагментов гистограммы к сегментам изображения. Яркостную гистограмму в «пустых» масках аппроксимируют полиномами, после чего строят кривую динамики центра гистограмм и определяют яркостные интервалы заданных значений яркости. Затем вычисляют вес области разделения для каждого интервала, идентифицируют яркостной интервал для области разделения с максимальным весом. При превышении максимального веса области разделения над нормативным весом, принимают решение о бимодальном типе исходной яркостной гистограммы. В качестве порогового уровня яркости для обеспечения операции порогового среза исходного изображения принимают глобальный минимум аппроксимирующего полинома на яркостном интервале с максимальным весом области разделения.

Недостатком данного способа заключаются в том, что гистограмма в «пустой» маске, центр которой лежит на границе сегмента, не всегда получается бимодальной. В этом случае, пиксель, лежащий на границе сегмента, не идентифицируется как граница сегмента, и, наоборот, гистограмма в «пустой» маске может быть не унимодальной или многомодальной на границе сегмента, что также ведет к потере пикселя, лежащего на границе сегмента.

Наиболее близким к предлагаемому является способ сегментации [111], принципиально состоящий из двух этапов: выращивания и последующего слияния сегментов. Выращивание областей в данном случае используется для выполнения начальной заведомо избыточной сегментации (initial oversegmentation), а слияние областей, основанное на методах теории графов, имеет своей целью достижение окончательного оптимального состояния сегментации. Определение центров кристаллизации в данном методе происходит в автоматическом режиме на основе градиентного изображения, полученного из

исходного с помощью масочного оператора Кирша (Kirsch). Использование здесь градиентного изображения позволяет достаточно универсально решить проблему автоматического обнаружения центров кристаллизации, так как минимумам функции градиентного изображения будут соответствовать точки с максимально однородной окрестностью (потенциальные центры роста сегментов). Однако недостатком применения оператора Кирша в данной ситуации является его пространственная ограниченность (анализируется окрестность только 3*3 пикселей), тогда как при поиске центров кристаллизации было бы полезным исследовать окрестность точки на больших масштабах, чтобы учесть низкочастотные изменения функции яркости изображения и, таким образом, провести более точное последующее определение центров роста.

Технической задачей предлагаемого способа является повышение точности выделения границ сегментов полутоновых изображений (большее соответствие выделяемых сегментов субъективному восприятию изображения человеком) и как следствие, повышение помехоустойчивости сегментации, а также повышение степени автоматизации процесса анализа и классификации сегментов изображения.

2.2 Метод сегментации сложнотекстурированных изображений

Поставленная задача достигается тем, что в известном методе сегментации, заключающемся в локальной обработке исходного изображения масочным оператором и вычислении градиента полученного изображения, градиент вычисляют у изображения G1, формируемого путем локальной обработки исходного изображения масочным оператором, определяющим «центры тяжести» гистограмм в «пустом» окне по формуле

s

gij = S h (q) л- q, (21)

q=1

где q - номер интервала разбиения диапазона яркостей пикселей в «пустом» окне, ^ - число интервалов разбиения диапазона яркостей пикселей в «пустом» окне, И^ (д) - q - й отсчет гистограммы в «пустом» окне с координатами

], А - ширина интервала разбиения диапазона яркостей пикселей в «пустом» окне.

Сегменты изображения выделяют посредством пороговой обработки градиентного изображения.

Способ осуществляется устройством, структурная схема которого показана на рисунке 2.1.

Рисунок 2.1 - Структурная схема устройства, осуществляющего

предлагаемый способ

Устройство состоит из компьютера 1; блока памяти данных 2, состоящего из блока памяти 3, предназначенного для хранения файлов данных с полутоновыми изображениями (изображениями К) и подключенного к первому входу компьютера 1, и блока памяти 4, предназначенного для хранения файлов данных с сегментированными изображениями (бинарными изображениями 03) и подключенного к первому выходу компьютера 1; блока памяти 5, предназначенного для хранения программного обеспечения по сегментации

полутоновых изображений, и подключенного ко второму входу и второму выходу компьютера 1; и видеомонитора 6, подключенного к третьему выходу компьютера 1.

Метод реализуется согласно схеме алгоритма, представленной на рисунке

2.2.

В блоке 7 осуществляется ввод в компьютер пикселей исходного растрового полутонового изображения К, размер которого по вертикали N1, а по горизонтали N2. В блоке 8 формируется «пустое» окно, размером М1хМ2. Блок 9 организует вычисление гистограмм фрагментов изображения, попадающих в «пустое» окно в процессе его продвижения по изображению К, и формирует из изображения К изображение 01, яркость пикселей которого определяется гистограммами фрагментов изображения К, попавших в «пустое» окно. Блок 10 организует вычисление градиента изображения 01 - формирует изображение 02. Окончательное выделение сегментов изображения осуществляется в блоке 11, в котором выполняется переход от полутонового изображения 02 к бинарному изображению 03. После анализа сегментированного изображения (блок 12) принимается решение о целесообразности изменения размеров окна (блок 13). Изменение размеров окна позволяет адаптировать процесс сегментации к выделяемым фрагментам изображения. Увеличение окна делает процесс сегментации менее чувствительным к изображениям малого размера (соизмеримым с размерами окна), но повышает помехоустойчивость сегментации.

На рисунке 2.3 представлена схема алгоритма получения изображения (изображения 01). Блоки 14 и 15 осуществляют продвижение «пустого» окна по изображению К.

На рисунке 2.4 показано интерфейсное окно с исходным изображением К, на котором обозначено «пустое» окно, и гистограммой яркостей пикселей фрагмента этого изображения, попавших в это «пустое» окно.

Сканирование по строкам изображение Б

Сканирование по столбцам изображение Б

Определение гистограммы изображения Б в окне М1хМ2 с координатами (у)

Установка яркости пикселя изображения 01 согласно формулы (2.1)

Визуализация изображения 01

Рисунок 2.3 - Схема алгоритма формирования изображения 01

Рисунок 2.4 - Интерфейсное окно с исходным изображением ^ на котором обозначено «пустое» окно с гистограммой яркостей пикселей фрагмента этого

изображения, попавших в это окно

Во вложенном цикле (блок 15) осуществляется вычисление гистограммы Ну в «пустом» окне (блок 16), формирование яркости пикселя изображения 01, соответствующего у - й координате «пустого» окна осуществляется в блоке 17 по формуле (2.1).

Определение количества интервалов ^ на гистограмме осуществляем по формуле Стерджесса [105]

5 = 1 + 3,3221§( М1 ■ М 2), (2.2)

где М1 ■ М1— общее количество пикселей в «пустом» окне.

При этом ширина интервала гистограммы А определяется согласно формуле

d - d

д _ шах шш

(2.3)

где dmax - максимальная яркость пикселя в окне, dmin - минимальная яркость пикселя в окне.

5

Рекомендуемые числа интервалов гистограммы, которые получаются при использовании формулы Стерджесса, представлены в таблице 2.1.

Таблица 2.1 Рекомендуемые числа интервалов на гистограмме в зависимости от числа пикселей в «пустом» окне

Количество пикселей в окне Число интервалов

23 — 45 6

46 — 90 7

91 - 180 8

181 - 361 9

362 — 723 10

724 — 1447 11

1448 — 2885 12

В настоящее время формула (2.2) подвергается критике за то, что она явным образом использует биномиальное распределение для аппроксимации нормального распределения, что не всегда корректно. Считается, что эта формула позволяет строить удовлетворительные гистограммы при объеме выборки менее 200.

Существует целый ряд альтернативных формул, некоторые из которых вычисляют длину интервала, после чего определяется число требуемых классов, например, формула Скотта [105]

А= . , (2.3)

1 • М 2)

где А - длина интервала гистограммы, а - стандартное отклонение значений яркостей пикселей в окне, или формула Фридмана Диакониса [105]

А = , 2^ , (2.4)

Ц(М 1 • М 2)

где А - длина интервала, - разница между верхним и нижним квартилем в окне.

Формулы (2.3) и (2.4) более обоснованы статистической теорией, и считаются предпочтительнее формулы Стерджесса. Поэтому в блоке 16 предусмотрена возможность определения числа интервалов в гистограмме различными способами.

На рисунке 2.5 приведены девять гистограмм в «пустом» окне, полученных при пересечении «пустым» окном границы сегмента (контур левого легкого на изображении флюорограммы грудной клетки рисунке 2.6 а), по которому можно наблюдать эволюцию «центров тяжести» в «пустом» окне при пересечении границы сегмента.

Рисунок 2.5 - Гистограммы яркости пикселей в «пустом» окне, полученные при пересечении окном границы левого легкого в горизонтальном направлении

На рисунке 2.6 б и в показаны результаты сегментации тестового сложнотекстурированного изображения, представленного на рисунке 2.6 а, в качестве которого выбрана флюорограмма грудной клетки у больного пневмонией, известным и предлагаемым способом, соответственно.

Рисунок 2.6 - Примеры сегментации изображения флюорограммы грудной клетки (а), реализованной посредством известного метода (б) и предлагаемого метода (в)

Сегмент изображения флюорограммы, определяющий этот диагноз, обведен на тестовом изображении окружностью. В качестве известного способа сегментации использовался контурный детектор Канни, построенный также на

градиентной обработке предварительно фильтрованного изображения. Его алгоритм реализован в виде процедуры в пакете МаНаЬ [27].

Графики на рисунок 2.7 иллюстрируют изменение величины «центра тяжести» гистограмм в окне (Ряд 1) и градиента «центра тяжести» гистограмм (Ряд 2) при пересечении окна изображения флюорограммы грудной клетки в горизонтальном направлении.

300 250 200 150 100 50 0 -50 -100 -150 -200 -250

Здоровый сегмент легкого

300 250 200 150 100 50 0 -50 -100 -150 -200 -250 -1

1 2 3

Сегмент легкого с пневмонией

Средостение

5 6 78

^-Г-1-1-

8 9 10 11

52

т-1-1-у Т* ■

12 13 14 15 16

Ряд1 Ряд2

а)

б)

Рисунок 2. 7 - Графики изменения «центра тяжести» гистограммы в «пустом» окне при его продвижении в горизонтальном направлении и пересечении границ сегментов «норма» - «патология» - «средостение»

Графики на рисунке 2.7 а и рисунок 2.7 б получены при различных размерах «пустого» окна. На рисунке 2.7 а размер окна в два раза больше, чем на рисунке 2.7 б. Эти графики иллюстрируют тот факт, что уменьшение размера «пустого» окна ведет к более четкому выделению границ малых сегментов и не оказывает влияние на четкость выделение больших сегментов, а также показывают, что снижение размерности окна приводит к увеличению зашумленности контуров границ выделяемых сегментов.

Анализ экспериментальных результатов по обработке тестовых сложнотекстурированных изображений посредством предложенного метода сегментации показал его преимущества относительно известных методов сегментации.

Экспертный анализ представленных на рисунке 2.6 изображений показывает более высокую помехозащищенность предлагаемого способа по сравнению с аналогом.

2.3 Метод контурного анализа изображения легких на рентгеновском снимке

грудной клетки

Легкие являются самыми большими объектами на РС грудной клетки. Необходимость их выделения обусловлена двумя факторами. Во-первых, контуры легких ограничивают на РС область поиска легочных патологий, а так как они занимают не менее 50% изображения РС, то это значительно сокращает число анализируемых пикселей. Во-вторых, форма и размеры контуров легких также являются релевантной информацией для установки диагноза рентгенологического синдрома или нозологической диагностики, на основе которой может быть построен интеллектуальный агент.

Работа интеллектуального агента контурного анализа ведется в следующей последовательности: выделение однопиксельного контура правого и левого

легкого (пиксели, принадлежащие контурам легких, должны иметь только два смежных пикселя) ^ преобразование длины контура (выравнивание числа отсчетов в контурах) ^ анализ Фурье замкнутой кривой^ формирование пространства информативных признаков из отсчетов спектра Фурье контуров легких (определение дескрипторов Фурье контуров легких).

Пример исходного изображения для контурного анализа показан на рисунке

2.8,а.

Для выделения объектов на изображении (сегментации изображения) используются градиентные методы (операторы выделения края). Результат работы одного из них показан на рисунке 2.8,6.

Анализ работы градиентных операторов показал, что, используя результаты такой обработки, выделить контуры легких этими методами не представляется возможным. Поэтому для выделения контуров легких был предложен способ, основанный на «скользящей» двух пороговой бинаризация исходного изображения РС и морфологическом анализе.

а) б) в)

Рисунок 2.8 - Исходное изображение флюорограммы грудной клетки - а; изображение флюорограммы после обработки градиентным оператором - б; контуры легких, выделенные двухпороговой бинаризацией - в

Сущность «скользящей» двух пороговой бинаризации состоит в делении диапазона 0...255 на десять поддиапазонов с образованием «порогового окна» между верхним и нижним порогами шириной 25 отсчетов. Для осуществления

«скольжения» необходимо продвигать это окно вдоль линейки яркости, фиксируя его через определенное число отсчетов, получая посредством этого множество бинарных изображений, некоторые из которых представлены на рисунке 2.9.

Рисунок 2.9 - Некоторые подизображения флюорограммы грудной клетки, полученные путем «скользящей» двух пороговой бинаризации

В том случае, если вместо двух пороговой бинаризации используется преобразование контрастности изображения, имеют место те же процедуры: выбор расстояния между первым и вторым пороговым уровнем и «скольжения» «порогового окна», только подизображения получаются не бинарными, а полутоновыми.

Установив «ширину» О порогового «окна» осуществлялось его «продвижение» («скольжение») вдоль динамического диапазона 0...255 яркости пикселей с заданным шагом Т. В результате формировалось множество из N бинарных изображений (см. рисунок 2.9). Из множества N бинарных изображений выделяется бинарное изображение, наиболее адекватно описывающее пиксели, соответствующие области на флюорограмме, занимаемой легкими. Процесс поиска этого изображения осуществляет двухальтернативный классификатор, построенный на основе корреляционных методов идентификации. Найденное этим классификатором такое бинарное изображение представлено на рисунке 2.10, а.

Затем осуществляется морфологическая обработка изображения, которая позволяет удалить с изображения «лишние» объекты, к которым относятся объекты, примыкающие к краю изображения, и объекты, размеры которых значительно меньше размеров легких.

д

И а И

\ ч < ? 'О

Л ] \ !/ N < < \ ^

1Л ) X \/ с___^ | \ 1

а) б) в)

Рисунок 2.10 - Контуры легких, выделенные двухпороговой бинаризацией - а; артефакты однопиксельной границы легких - б; области легких, полученные после морфологической обработки - в

Последующий морфологический анализ позволяет выделить однопиксельную границу легких без «изолированных областей» и «усов». На рисунке 2.10,б показаны характерные дефекты контура легких, не позволяющие

осуществлять Фурье-анализ контура. На рисунке 2.10,<? показано изображение однопиксельных контуров легких, полученное в результате морфологической обработки.

Области, примыкающие к раю изображения, целесообразно убрать до двух пороговой бинаризации (эти области ограничены краем изображения и плеврой).

С этой целью получаем бинарное изображение РС посредством двух пороговой бинаризации (рисунок 2.11, а). Нижний порог при этом равен единице, а верхний порог подбирается в процессе анализа серии РС (в данном случае он равен 150).

Рисунок 2.11 - Последовательность преобразования изображения РС при отстройке от областей, примыкающих к краю изображения

Алгоритм отстройки от областей, примыкающих к краю изображения, представлен на рисунке 2.12.

Начало

/ Ввод 1 изображения РС

г 2

Двухпороговая бинаризация

3

Дополнительное изображение

Умножение текущего изображения на исходное

Нижний порог равен единице. Верхний порог определяется путем статистического анализа РС

Негатив бинарного изображения, полученного после двухпороговой бинаризации

Используем

морфологический оператор гшШ1, заполняющий отверстия на исходном бинарном изображении

Вывод изображения РС с удаленными областями, примыкающими к краю

Рисунок 2.12 - Схема алгоритма удаления областей, примыкающих к краю изображения

Для выделения областей, примыкающих к краю изображения, перейдем от изображения рисунок 2.11, а к его негативному (дополнительному) изображению, представленному на рисунке 2.11, б. Такой переход позволит, используя морфологический оператор т/Ш (заполняет отверстия на исходном бинарном изображении), получить негативное изображение областей, примыкающих к краю изображения (рисунок 2.11, в). Умножив полутоновое изображение рисунок 2.8, а на бинарное изображение рисунок 2.11, в получаем изображение, представленное на рисунке 2.11, г, с удаленными фрагментами, примыкающими к краю изображения.

После получения однопиксельного изображения легких приступают к спектральному анализу контуров левого и правого легкого. Для проведения контурного анализа РС легких использовались дескрипторы Фурье.

На основе дескрипторов формировалось пространство информативных признаков, предназначенное для нейросетевой классификации рентгенологических синдромов. На рисунке 2.13,а показан спектр контура правого легкого, а на рисунке 2.13,б - спектр левого легкого.

160 г 140 -

120 -

£ 100 "

Я

э

£ 80 -

с

Е

< 60 -40 -20 -□ I-

□

Шкала частот (1)

а)

Шкал л частот б)

Рисунок 2.13 - Спектр контура правого легкого - а; спектр контура левого легкого - б

Схема алгоритма, иллюстрирующая компьютерную реализацию предлагаемого метода, представлена на рисунке 2.14.

В блоке 1 осуществляется ввод РС. Удаление областей, примыкающих к краю, осуществляется в блоке 2 согласно алгоритму, представленному на рисунке 2.12.

Начало

/ Ввод 1 изображения РС

2

Удаление областей, примыкающих к краю

Алгоритм рисунка 3.9

Получение массива из N

бинарных изображений

4

Корреляционный анализ

Двухпороговая бинаризация

Г 5

Морфологическая обработка

Спектральный анализ

Вывод двух 7 массивов дескрипторов Фурье

Конец

3

6

Рисунок 2.14 - Схема алгоритма контурного анализа изображения легких на рентгеновском снимке

Двух пороговая бинаризация изображения осуществляется в блоке 3. Выбор из изображений, полученных в результате двух пороговой бинаризации, изображения, соответствующего контурам легких, осуществляется в блоке корреляционной обработки 4. Морфологическая обработка этого изображения, в результате которой получают окончательное изображение контуров легких, реализована в блоке 5. Дескрипторы Фурье определяются в блоке 6.

2.4 Метод выделения границ ребер на флюорограмме грудной клетки

При обработке изображения флюорограммы посредством локального оператора «центр тяжести гистограммы» на изображении формируются фрагменты границ ребер, являющиеся источником интенсивных помех при дальнейшем анализе изображения РС. Поэтому, в целях повышения качества автоматического анализа флюорограммы эти фрагменты должны быть удалены с изображения, то есть пиксели, принадлежащие этим фрагментам должны иметь нулевую яркость. Но перед тем, как убрать эти фрагменты, на изображении флюорограммы должны быть полностью восстановлены границы ребер. В противном случае с РС может быть удалена полезная информация. Кроме того, восстановление границ ребер позволит провести коррекцию изображения во всех сегментах, затененных ребрами, независимо от их яркости.

2.4.1 Идея метода

Идея метода построена на морфологической фильтрации изображения, полученного в результате обработки РС оператором «центр тяжести гистограммы». На рисунке 2.15 представлен пример обработки РС оператором

«центр тяжести гистограммы». Справа, для сравнения, показано исходное изображение РС. Анализ аналогичных изображений показывает, что после обработки флюорограммы оператором «центр тяжести гистограммы» на изображении остаются наиболее яркими фрагменты границ ребер. Границы ребер могут быть восстановлены по этим фрагментам путем использования морфологического оператора, использующего нелокальную информацию. В качестве такой информации используем модели ребер, которые могут быть построены с учетом деления полей легких на области или без учета.

а) б)

Рисунок 2.15 - Пример обработки флюорограммы оператором «центр тяжести гистограммы» (а) и исходное изображение флюорограммы (б)

Построение границы ребра представляет собой итерационный процесс, схема алгоритма которого показана на рисунке 2.16.

В блоке 1 задается локальная или глобальная модель границы ребра. В блоке 2 синтезируется морфологический оператор, позволяющий усилить яркость фрагментов изображения, принадлежащих границы ребра. Процесс синтеза морфологического оператора включает формирование структурообразующего элемента и выбор морфологической операции в структурообразующем элементе.

Конец

Рисунок 2.16- Схема алгоритма построения границы ребра

Структурообразующий элемент морфологического оператора определяется сегментом модели ребра, попавшим в маску морфологического оператора. Для его формирования необходимо знать математическую модель границы ребра и смещение © структурообразующего элемента относительно начала координат, в которых построена функция, отражающая математическую модель границы ребра. На рисунке 2.17 приведена иллюстрация этого процесса.

Рисунок 2.17 - Иллюстрация процесса формирования структурообразующего элемента

Модель границы ребра задана в координатах (х,у) с началом в точке (0,0), а фрагмент модели, формирующий структурообразующий элемент, задан в координатах (х}, у1), с началом в точке (у), определяющей координаты маски морфологического оператора. Следовательно, переход от координат (л,у) к координатам (хь у?) осуществляется посредством следующей системы уравнений

Г = х - 0 IУ\ - у - /(0)'

(2.5)

где /(х) - модель границы ребра.

После формирования структурообразующего элемента задается морфологическая операция, осуществляемая в структурообразующем элементе.

Блоки 3 и 4 осуществляют процесс сканирования маской морфологического оператора исходного изображения ^ Процесс сканирования состоит в установки маски морфологического оператора в текущие координаты (¡¿) изображения ^ После этого вычисляется результат морфологической операции А (блок 5) и осуществляется сравнение его с порогом (блок 6). Если А больше порога, то начинается итерационная процедура поиска пикселей, определяющих границы ребра (блок 7), в противном случае продолжается процесс сканирования. Если итерационная процедура не завершилась определением границы ребра, то есть было ложное «срабатывание» блока 6, то алгоритм также выходит на продолжение процесса сканирования.

2.4.2 Синтез морфологической операции

При формировании морфологического оператора введем следующие обозначения. Обозначим В - множество элементов, входящих в маску морфологического оператора размером ш1*ш2. Каждый элемент множества имеет три атрибута, принимающих целочисленные значения: интенсивность Ь, координата х\ и координата у\. Полагаем, что множество бинарное (значения интенсивности элементов множества равны нулю или единицы). Множество В формируется посредством операции дилатация

В = (Ж © /г(х)),

(2.6)

где W - упорядоченное множество нулевых элементов, заданных в координатах X1OY1 (в первом квадранте) посредством прямых y1=m1 и x1=m2 (т1>0 и т2>0), таким образом, что

w(x1,у ) е Ш У((0 < х < т1) е (0 < у < т2)). (2.7)

Функция ^(х) является одномерной функцией, построенной в координатах XOY. Согласно (1) при 0=0 системы координат XOY и X1OY1 совпадают.

Под операцией дилатация в данном контексте будем понимать взаимодействие упорядоченного множества W с двумерной функцией f2(x,y), которое приводит к получению нового упорядоченного множества В, каждый пиксель которого определяется как результат морфологической операции

(Ш 0 /(х))(х,у ) = шахЦх,у ) + /2(х + 0,/(х + 0)|(х,у ) е Dw;(х,у) е 1},

(2.8)

где Dw - область на двумерной плоскости X1OY1, занимаемая маской W, Df1 -область определения функции f2(x,y), которая вычисляется как совокупность точек пересечения плоскости ^(х,у)=1 и поверхности у-[1(х)=0, построенных в трехмерном пространстве.

Обозначим Ь(х1,у1) двумерную функцию, формируемую множеством B. В качестве морфологической операции, реализуемой в структурообразующем элементе В, используем морфологическую свертку Л(д9, определяемую как

т!-1т2-1

¿(и 7) = XX р(* + х1, 7 + У1) • Кхъ у), (2.9)

х!=0 У1=0

где ¥(г,}) - элемент обрабатываемого изображения, в который установлена маска морфологического оператора.

2.4.3 Алгоритм итерационной процедуры формирования границы

ребра

Процесс поиска границы ребра начинается с определения поля сканирования. Поле сканирования задается набором реперных точек. В принципе, поле сканирования - это сегмент изображения, в котором может находиться граница ребра. Для определения этого сегмента достаточно построить на изображении модель границы ребра и выбрать вокруг полученной кривой зону пикселей, которая определяется погрешностью моделирования границы ребра и индивидуальными особенностями флюорограмм грудной клетки.

Определение границы ребра посредством итерационного приближения поясним с помощью рисунка 2.18.

Маска морфологического оператора

У

Т

1111

Рисунок 2.18 - Определение границы ребра посредством итерационного приближения

Полагаем, что локальный фрагмент начала границы был получен посредством алгоритма рисунок 2.16. Далее необходимо определить, действительно ли выявлен сегмент границы, или это артефакт. Допустим, что это действительно начало границы ребра. Тогда через этот сегмент можно провести границу ребра на основе априорно полученной математической модели. На рисунке 2.18 это граница показана штриховой линией. В действительности это может быть «ложное ребро» или «истинное ребро», но топология его границы не совпадает с топологией истиной границы.

Для прояснения ситуации осуществляем сканирование некоторой зоны пикселей вокруг глобальной модели ребра, которая задается на каждом шаге итерации. Для ускорения выполнения этой итерационной процедуры выберем по оси абсцисс шаг сканирования не один пиксель, а т1/2 . По оси ординат шаг сканирования оставим один пиксель, но при этом маска перемещается относительно реперной точки в вертикальном направлении на величину Ду и -Ду.

Таким образом, в каждом итерационном цикле определяется координата сегмента границы ребра и координата реперной точки. Координата д-й реперной точки по оси абсцисс определяется как хд1+т1/2, а по оси ординат/1(хд.1+т1/2).

Алгоритм должен отвергать модель границы ребра с началом в точке (¡¿) на плоскости изображения F в двух случаях. В первом случае фиксируется «разнос» локальных моделей относительно глобальной модели, что определяется процессом накапливания увеличения расстояния по вертикальной оси между реперными точками и соответствующими координатами глобальной модели. Второй случай предусматривает остановку итерационного процесса в связи с низкими значениями результатов морфологических операций. Здесь необходимо учитывать, что в процессе сканирования в пределах маски морфологического оператора изображения ребра может «пропасть» или оказаться низкоинтенсивным. Поэтому порог для результата морфологической операции необходимо адаптировать к общей интенсивности пикселей изображения в пределах маски. Если же изображение границы ребра «пропала» в данной реперной точки, то это не говорит о том, что имеет место артефакт. Возможно,

что оно появится вновь в следующей реперной точке. Поэтому необходим счетчик артефактов. Если число «пропаданий» границ изображения превысит определенный порог, то следует отказаться от поиска границы ребра с началом в данной координате изображения.

Перед определением границ ребер на РС необходимо выделить поля легких. Итерационный процесс заканчивается, когда реперная точка вышла за границу полей легких.

Схема алгоритма, реализующего итерационный процесс поиска границы ребра, представлена на рисунке 2.19. В блоке 1 задаются координату первой реперной точки. Эти координаты определяются на выходе алгоритма, представленного на рисунке 2.16 При реализации алгоритма определяются координаты реперных точек, которые используются при реализации последующих процедур алгоритма. Поэтому в блоке 2 организуется счетчик реперных точек. В этом же блоке организуется счетчик артефактов, при превышении установленного уровня которого прекращается процедура определения границы ребра с координатами (¡¿). В блоках 3 и 4 определяются координаты текущей реперной точки.

После определения координат текущей реперной точки может быть построен структурообразующий элемент для текущей реперной точки (блок 5). Эта процедура в основном связана с преобразованием координат глобальной модели границы ребра, в результате которого получаем локальную модель границы ребра, которая и определяет структурообразующий элемент.

В блоках 6 и 7 вычисляются морфологические операции в пикселях изображения ^ лежащих в зоне сканирования маски морфологического оператора. Зону сканирования, кроме координат реперной точки, определяет параметр Ду, который подбирается эмпирически.

■^Фиксируем первую реперную точку

Создаем счетчик артефактов и счетчик реперных точек

^Задаем абсциссы реперной точки

Формируем локальную модель ребра

Цикл сканирования окрестности реперной точки

Определяем ординату следующей реперной точки

Сохраняем координаты следующей реперной точки

■^Накопитель артефактов

Рисунок 2.19 - Схема алгоритма итерационного процесса поиска границы

ребра

В блоках 8-10 определяются координаты следующей реперной точки. Как видно, локальная граница ребра может не совпадать с глобальной границей, что определяет разброс локальных границ. Разброс может достигнуть такой величины, которая не позволяет «собрать» глобальную границу ребра из локальных границ. Поэтому в блоке 15 осуществляется количественная оценка этого разброса, и в случае превышения ею порогового значения выносится решения об отсутствии границы ребра с началом в координатах (¡¿) (блок 18).

В блоке 11 выявляются артефакты, связанные с «пропаданием» границы. Если таких артефактов слишком много, то также выносится решение об отсутствии границы ребра с началом в координатах (¡¿) (блок 18).

В блоке 14 проверяется выход реперной точки за границу поля легких, что является признаком остановки процесса определения границы ребра.

2.4.4 Построение математической модели границы ребра

Для построения математической модели границы ребра рассмотрим рисунок 2.20. Костные структуры грудной клетки поглощают и рассеивают рентгеновское излучение в значительно большей степени, чем ткань легких и другие мягкие ткани грудной клетки. Поэтому пленка за позвоночным столбом, ребрами, ключицей и лопатками получает меньшее облучение и на РС соответствующие структуры будут намного светлее относительно других структур. В рентгенологии эти участки называют «затененными». Области, через которые рентгеновские лучи проходят с минимальным поглощением называют «просветленными», хотя на РС они выглядят более темными (рисунок 2.20, а).

а) б)

Рисунок 2.20 - Задняя прямая проекция рентгенограммы грудной клетки (а) и вид грудной клетки спереди (б)

Задние сегменты ребер расположены более-менее горизонтально, а передние проходят косо кпереди и книзу (рисунок 2.20,б).

При построении модели границы ребра можно выделить два подхода. При реализации первого подхода строим две модели ребра: для заднего сегмента ребра и для переднего сегмента ребра. При реализации второго подхода делается попытка описать задний и передний сегменты ребра одной математической моделью.

При первом походе используем полиномиальные и экспоненциальные модели. При втором подходе используем только полиномиальные модели.

Модели строим по таблицам экспериментальных данных, полученных на основе оцифровки реальных РС грудной клетки. Таблица 2.2 отражает структуру данных, которые используются для построения математических моделей. Из таблиц, аналогичных таблице 2.2, данные переносятся в файлы данных текстового формата. Причем каждый файл соответствует одному столбцу таблицы.

Таблица 2.2 - Пример структуры экспериментальных данных для построения математической модели границы ребра

Ребро №7 Ребро №9

№ п/п Задний № п/п Передний № п/п Задний № п/п Передний

X У X У X У X У

1 40 402 1 38 410 1 58 513 1 58 514

2 49 346 2 39 412 2 60 511 2 56 519

3 59 326 3 41 432 3 62 506 3 54 525

4 66 314 4 43 439 4 63 502 4 53 531

5 75 303 5 45 451 5 69 490 5 52 537

6 80 296 6 49 458 6 74 478 6 51 541

7 97 277 7 53 466 7 80 468 7 50 549

8 103 269 8 57 476 8 90 455 8 49 553

9 116 260 9 60 480 9 98 443 9 48 557

10 126 253 10 65 482 10 111 428 10 47 563

11 138 243 11 69 492 11 124 415 11 48 568

12 148 237 12 72 498 12 142 400 12 49 571

13 162 229 13 75 499 13 158 386 13 50 572

14 177 222 14 81 504 14 169 373 14 51 581

15 184 217 15 85 510 15 180 363 15 52 582

16 197 214 16 88 513 16 191 350 16 53 585

17 198 213 17 93 517 17 203 343 17 54 587

18 209 212 18 100 523 18 214 335 18 55 590

19 218 208 19 105 527 19 226 329 19 58 599

20 231 210 20 106 528 20 230 326 20 63 610

21 241 212 21 111 531 21 236 324 21 66 614

22 248 211 22 112 533 22 242 324 22 70 620

23 262 215 23 125 541 23 255 323 23 73 623

24 276 218 24 133 547 24 261 320 24 80 630

25 288 222 25 143 554 25 277 323 25 85 637

Экспериментальные исследования показали, что второй подход не целесообразен, так как в результате совместного моделирования задней и передней частей ребра получаются многосвязные кривые (рисунок 2.21).

Рисунок 2.21 - Графическое отображение данных при совместном моделировании заднего и переднего сегментов ребра