Методы и системы неразрушающего контроля на основе микрофокусных источников рентгеновского излучения тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Староверов Николай Евгеньевич

• Староверов Николай Евгеньевич
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Староверов Николай Евгеньевич

ВВЕДЕНИЕ

1. СОВРЕМЕННЫЕ МЕТОДЫ ЦИФРОВОЙ ОБРАБОТКИ РЕНТГЕНОВСКИХ ИЗОБРАЖЕНИЙ, ПРИМЕНЯЕМЫЕ В ЗАДАЧАХ НЕРАЗРУШАЮЩЕГО КОНТРОЛЯ

1.1 Методы повышения качества рентгеновских изображений в задачах неразрушающего контроля

1.2 Методы повышения достоверности контроля изделий радиоэлектронной промышленности

1.3 Методы повышения достоверности неразрушающего контроля биологических объектов

1.4 Повышение качества изображений при помощи сверточных нейронных

сетей

1.5. Особенности микрофокусных рентгеновских изображений

2. МЕТОДЫ ПОВЫШЕНИЯ ИНФОРМАТИВНОСТИ МИКРОФОКУСНЫХ РЕНТГЕНОВСКИХ ИЗОБРАЖЕНИЙ

2.1 Метод коррекции неравномерного фона микрофокусных рентгеновских снимков

2.2 Модернизированный метод адаптивной медианной фильтрации

2.3 Метод повышения резкости и контрастности деталей изображения в задачах микрофокусной рентгенографии и томографии

2.4 Метод улучшения характеристик рентгеновских снимков на основе локально адаптивной эквализации гистограммы изображения

3. МЕТОДЫ РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА МИКРОФОКУСНЫХ РЕНТГЕНОВСКИХ СНИМКАХ

3.1 Метод сегментации микрофокусных рентгеновских снимков

3.2 Метод определения пустот при томографических исследованиях полимерных композитных материалов

3.3 Метод распознавания кальцинатов в легких

3.4 Метод распознавания патологий легких на основе сверточной нейронной

сети

3.5 Предсказание области интереса при томографии

4. СПЕЦИАЛИЗИРОВАННОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ, РЕАЛИЗУЮЩЕЕ РАЗРАБОТАННЫЕ МЕТОДЫ

4.1 Программный комплекс для повышения информативности неразрушающего контроля методом микрофокусной рентгенографии

4.2 Программное обеспечение для неразрушающего контроля семян

4.3 Программный комплекс для распознавания патологий на рентгеновских

снимках грудной клетки

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ А

ПРИЛОЖЕНИЕ Б

ПРИЛОЖЕНИЕ В

ПРИЛОЖЕНИЕ Г

ПРИЛОЖЕНИЕ Д

Введение диссертации (часть автореферата) на тему «Методы и системы неразрушающего контроля на основе микрофокусных источников рентгеновского излучения»

ВВЕДЕНИЕ

Актуальность работы обусловлена тем, что на сегодняшний день в промышленном рентгеновском контроле и медицинской диагностике практически в каждом комплексе или системе используется цифровая обработка получаемых снимков. Непрерывно ведется разработка математических моделей и алгоритмического обеспечения обработки результатов регистрации сигналов, а также совершенствование аппаратуры рентгеновского контроля. Автоматизация методов контроля и диагностики, внедрение цифровых информационных технологий существенно повышают достоверность анализа и оперативность работы операторов-дефектоскопистов и врачей-рентгенологов.

С целью повышения объема и качества получаемой информации (в том числе - в рентгеновском контроле) используется разнообразное программно-техническое обеспечение для обработки рентгеновских снимков: частотные методы, модификации метода эквализации гистограммы, методы локально-адаптивной эквализации гистограммы, методы локального контрастирования изображений и другие.

Все большую популярность для проведения рентгенографического контроля в различных областях промышленности получает метод микрофокусной рентгенографии и создаваемые для его реализации специализированные комплексы и системы. Однако микрофокусные снимки обладают рядом особенностей, поскольку сниженная мощность микрофокусных источников излучения зачастую ведет к меньшим дозам в плоскости приемника, и, как следствие, к увеличению шума при попытках обработки изображений традиционными методами. Кроме того, важной особенностью микрофокусной рентгенографии является частое использование схемы съемки с прямым увеличением, что, вместе с повышением выявляемости дефектов, ведет к появлению геометрических искажений на снимках.

К настоящему времени опубликованы результаты большого количества исследований, посвященных повышению информативности традиционных методов рентгеновского контроля, однако практически отсутствуют методы, ориентированные на указанные выше особенности микрофокусных снимков. Такая ситуация привела к необходимости научного обоснования методов совершенствования систем микрофокусного рентгеновского контроля и диагностирования в процессе проектирования, изготовления, эксплуатации и анализа получаемых результатов, в том числе автоматизации распознавания объектов на рентгеновских снимках.

Научный задел, созданный благодаря работам H.H. Блинова (ст.), H.H. Блинова (мл.), А.Ю. Васильева, М.И. Зеликмана, С.А. Иванова, H.A. Карловой, В.В. Клюева, Б.И. Леонова, А.И. Мазурова, H.H. Потрахова, Г.И. Прохватилова, H.A. Рабухиной, Р.В. Ставицкого, М.Л. Таубина и др. позволяет решить эту весьма актуальную проблему разработки и внедрения новых методов микрофокусной диагностики, способствующих повышению точности контроля и, как следствие, надежности изделий и увеличения их эксплуатационного ресурса.

Результаты работ последних лет, проводившихся на кафедре электронных приборов и устройств СПбГЭТУ «ЛЭТИ» при участии автора, позволили сформулировать цель диссертационного исследования -совершенствование систем микрофокусного неразрушающего контроля путем разработки алгоритмического и программно-технического обеспечения для повышения информативности микрофокусных снимков и последующего распознавания объектов на них.

Для достижения поставленной цели необходимо было решить следующие теоретические и практические задачи:

- провести анализ современной научно-технической литературы в области технического рентгеновского контроля, сравнительные исследования методического и приборного обеспечения рентгенографических систем, обобщить их недостатки в приложении к микрофокусной аппаратуре;

сформулировать требования к системам микрофокусного рентгеновского контроля в части обработки получаемых рентгеновских изображений, и на их основе разработать новые методы математического и программного обеспечения, позволяющие повысить точность и надежность диагностики;

- с учетом предложенных алгоритмов обработки микрофокусных рентгеновских снимков повысить автоматизацию средств диагностирования, способствующую снижению трудоемкости, увеличению оперативности и достоверности распознавания объектов на технических и медицинских рентгеновских снимках;

- на основе интеллектуального анализа данных создать необходимую базу технических и медицинских микрофокусных рентгеновских снимков и провести с ее использованием проверку предложенных методов повышения качества снимков и распознавания объектов на них;

внедрить предложенные методы в программно-техническое обеспечение серийно выпускаемых микрофокусных рентгенодиагностических комплексов семейства «Пардус» с целью автоматизации контроля и диагностики.

Объект исследования - методы и системы микрофокусного рентгеновского контроля.

Предмет исследования - методы и средства для контроля и диагностики материалов на основе микрофокусных источников рентгеновского излучения.

При решении поставленных задач применялись следующие методы исследования: обобщение данных в области разработки методов цифрового рентгеновского контроля, разработка математических моделей, методического и программного обеспечения, экспериментальные исследования с использованием современной аппаратуры для визуализации рентгеновских изображений.

Результаты исследований согласуются между собой и с экспертными данными, что подтверждает достоверность выводов, сделанных в работе.

В процессе работы были получены новые научные результаты:

- показано, что применение традиционных методов цифровой обработки изображений для микрофокусных снимков существенно увеличивает их зашумленность, снижая точность и достоверность полученных результатов;

- доказана эффективность совместного применения локально-адаптивной эквализации гистограммы и разработанного адаптивного медианного фильтра, эффективно подавляющего импульсные шумы, для обработки микрофокусных рентгеновских изображений с целью повышения чувствительности и информативности систем рентгеновского неразрушающего контроля;

- разработан метод, основанный на морфологической обработке и фильтрации в частотной области, существенно увеличивающий контраст мелких деталей микрофокусного изображения и, как следствие, чувствительность систем неразрушающего контроля и доказано, что его использование в сочетании с модифицированными сверточными нейронными сетями позволяет добиться повышения эффективности автоматического распознавания объектов в системах рентгенографического и томографического контроля.

Практическая значимость определяется тем, что в процессе работы:

- экспериментально подтверждено, что использование разработанных методов обработки микрофокусных рентгеновских снимков повышает информативность промышленного рентгеновского контроля, способствуя повышению надежности и увеличению их эксплуатационного ресурса;

- по результатам апробации обоснована целесообразность интеграции разработанных методов в микрофокусные аппаратно-программные комплексы и создаваемые на их основе системы автоматического контроля и диагностики;

- подтверждено, что комбинация разработанных методов обработки микрофокусных изображений и использование предобученной нейронной сети позволяет существенно снизить трудоемкость, повысить точность, оперативность и достоверность при проведении скрининговых исследований;

- осуществлена практическая реализация предложенных методов в программном обеспечении серийно выпускаемых микрофокусных рентгенодиагностических комплексов семейства «Пардус».

В результате проведенных экспериментальных и теоретических исследований на защиту выносятся следующие научные положения:

1. Применение традиционных методов обработки результатов рентгеновского контроля к микрофокусным снимкам нецелесообразно, так как приводит к снижению информативности изображения за счет роста зашумленности на 25-50%.

2. Сочетание методов локально-адаптивной эквализации гистограммы и адаптивной медианной фильтрации позволяет в 1.2-1.5 раза повысить резкость и контрастность микрофокусных изображений, увеличивая достоверность оценки и объем диагностической информации.

3. Использование предобученных сверточных нейронных сетей с предварительным применением метода повышения контраста мелких деталей микрофокусных снимков на основе фильтрации в частотной области позволяет повысить на 8-10% точность автоматической классификации в ходе неразрушающего рентгеновского контроля.

Результаты, полученные в ходе диссертационной работы, используются при производстве аппаратуры ЗАО «ЭЛТЕХ-Мед» (СПб), АО «Диагностиками (Москва), а также внедрены в учебный процесс подготовки специалистов в области рентгенотехники в СПбГЭТУ «ЛЭТИ».

Апробация работы проводилась на международных, всероссийских и региональных конференциях, съездах и научных форумах, среди которых: II-VII конференции производителей рентгеновской техники (Санкт-Петербург, 2015-2020), XII Международный конгресс "Невский радиологический форум-2021 "(Санкт-Петербург, 2021), XIII и XIV "Российско-Германская научно-техническая конференции по биомедицинской инженерии"(Аахен, Санкт-Петербург, 2018, 2019) и др.

По теме диссертации опубликовано 18 печатных работ (из них 6 в

рецензируемых научных изданиях, рекомендованных ВАК и/или индексируемых в WoS и Scopus), получены 8 патентов и свидетельств о государственной регистрации программы для ЭВМ.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы (77 наименований) и 5 приложений. Основная часть работы изложена на 125 страницах машинописного текста, содержит 62 рисунка и 13 таблиц

1. СОВРЕМЕННЫЕ МЕТОДЫ ЦИФРОВОЙ ОБРАБОТКИ РЕНТГЕНОВСКИХ ИЗОБРАЖЕНИЙ, ПРИМЕНЯЕМЫЕ В ЗАДАЧАХ

НЕРАЗРУШАЮЩЕГО КОНТРОЛЯ

1.1 Методы повышения качества рентгеновских изображений в задачах

неразрушающего контроля

Цифровая обработка изображений используется практически в любой цифровой системе рентгеновского неразрушающего контроля и применяется в алгоритмах:

• классификации (разделение изображений или объектов на изображениях на классы);

• выделения признаков (процесс снижения размерности, в котором количество данных, характеризующих объект, сокращается до некоторых групп - признаков, которые имеют меньшую размерность нежели исходные данные, однако по-прежнему точно и полно описывают объект);

• распознавания образов (выделение свойств и признаков объектов, а также определение типа объекта на основе его свойств).

Методы обработки цветных изображений наиболее часто используются для обработки снимков, полученных в видимом диапазоне. Методы, предназначенные для обработки полутоновых изображений, также широко используются для работы с инфракрасными, ультрафиолетовыми и рентгеновскими изображениями.

Так как в работе рассматриваются, прежде всего, системы рентгеновского неразрушающего контроля, то целесообразно сосредоточиться на рассмотрении методов обработки полутоновых изображений.

Улучшение качества изображений предполагает повышения таких их характеристик, как отношение сигнал/шум, контраст деталей, резкость. В случае рентгеновского неразрушающего контроля при помощи методов

цифровой обработки изображений можно повысить достоверность, эффективность и чувствительность контроля [1]. Автоматизируя распознавание дефектов, можно сократить трудозатраты и повысить комфорт работы операторов установок неразрушающего контроля.

Для уменьшения уровня шумов на изображениях используются несколько подходов, основанных на линейных и нелинейных фильтрах [2]:

• подавление шумов усредняющими фильтрами;

• низкочастотная фильтрация;

• фильтрация методами, основанными на порядковых статистиках.

Наиболее простым способом подавления шумов на изображении

является усредняющий фильтр. Для применения фильтра осуществляется двумерная свертка ядра фильтра и изображения, таким образом ядро фильтра скользящим окном проходит по изображению, коэффициенты ядра умножаются на значения изображения, после чего складываются, центральное значение окна заменяется на результат сложения. Выражение для определения отклика фильтра в произвольной точке выглядит следующим образом:

где N - число элементов в ядре фильтра, О - яркость пикселя после применения фильтра; - размер ядра фильтра, -значения

коэффициентов ядра фильтра, ЩэЛ) - значения яркости изображения, попадающие в скользящее окно. Ядро усредняющего фильтра представляет собой матрицу из единиц, таким образом, при выполнении фильтрации пиксели просто усредняются по скользящему окну. В случае усредняющего фильтра, как правило, применяют фильтры размера 5x5 или 3x3 элемента. Увеличение размеров ядра фильтра ведет к сильному размытию изображения.

Помимо усредняющего часто для снижения шума применяют фильтр Гаусса [2]. Фильтрация осуществляется таким же образом, что и при применении усредняющего фильтра. Ядро фильтра Гаусса размером 3x3

'х.у

(1.1)

элемента приведено на рисунке 1.1. Как и для усредняющего фильтра, наиболее типично применение фильтров 5x5 или 3x3 элемента.

1 2 1

2 4 2

1 2 1

Рисунок 1.1 - Ядро фильтра Гаусса

Фильтрацию в пространственной области можно заменить на фильтрацию в частотной области. Для выполнения фильтрации изображений в частотной области используется быстрое двумерное дискретное преобразование Фурье [3]. Прямое и обратное преобразование Фурье определяются выражениями (1.2) и (1.3) соответственно:

-Итг{их1М+\гуШ).

V) = ^^=0 Еу=о f(x>

мм

Ш

(1.2)

(1.3)

где МЫ - размер изображения, /(х,у) - изображение, Р(иу) - Фурье-образ изображения. Для выполнения фильтрации сначала выполняется Фурье-преобразование изображения, далее умножение Фурье-образа на передаточную функцию фильтра, после чего выполняется обратное преобразование Фурье, действительная часть которого является результатом фильтрации [3].

Прямой связи между Фурье-образом и деталями изображения нет, тем не менее, так как частота связана со скоростью изменения сигнала, то можно считать, что высокие частоты соответствуют быстрым изменениям яркости на изображении, а низкие - медленным. Из этого следует, что для того, чтобы уменьшить шум изображения, следует подавить высокие частоты его Фурье-

образа, что можно сделать, умножив Фурье-образ на передаточную функцию фильтра. Как и при пространственной фильтрации, для фильтрации в частотной области часто используется фильтр Гаусса. Передаточная функция фильтра описывается выражением 1.4 [2]:

Н= , (1.4)

где £>о - частота среза фильтра. Качественный вид спектра ФНЧ (фильтра низких частот) Гаусса приведен на рисунке 1.2.

Рисунок 1.2 - Спектр ФЕИ Гаусса

Фильтрация в частотной области позволяет более гибко настраивать параметры подавления шума, чем фильтрация сверткой в пространственной области, однако требует выполнения прямого и обратного преобразования Фурье.

Фильтры, основанные на использовании порядковых статистик, относятся к классу нелинейных фильтров. Основными методами этого типа являются медианный фильтр, фильтр минимума и фильтр максимума [4].

Медианная фильтрация представляет собой перемещение скользящего окна по изображению. Все пиксели, попадающие в скользящее окно, упорядочиваются, после чего определяется медианное значение, затем центральное значение скользящего окна заменяется на медианное значение. Процедура фильтрации описывается выражением 1.5:

f(x9y) = med(s t)eS^ {(g(s,t)}, (l.5)

где f(x,y) - результирующее изображение, Sxy - размер скользящего окна, g(s,t) - яркости пикселей, находящихся в окне. Фильтрация, соответственно, заключается в применении выражения 1.5 к каждому пикселю изображения. В отличие от усредняющего фильтра и низкочастотной фильтрации, медианный фильтр эффективно подавляет импульсные шумы, однако сильнее, чем усредняющий и низкочастотный фильтры, вызывает потерю деталей изображения. В случае рентгеновских изображений медианные фильтры используются для того, чтобы избавить изображение от «плохих» пикселей (dead pixels).

Помимо медианного фильтра для обработки изображений часто используются фильтры минимума и максимума [4].

Фильтр максимума, как и медианный фильтр, перемещает скользящее окно по изображению, заменяя центральное значение окна на максимум яркости по окрестности. Фильтр определяется выражением 1.6:

КХ>У) — max(s,t)eSxy KgCM)} (1.6)

Фильтр минимума соответственно заменяет центральное значение окна на минимум яркости по окрестности, описывается выражением 1.7:

Дх, у) = min(s t)eSx {(g(s,0}, (1.7)

Рассмотренные фильтры позволяют подавлять униполярные шумы: фильтр максимума - «черный шум», фильтр минимума - «белый шум». Подобные фильтры (особенно фильтр максимума), как и медианные фильтры, широко применяются для удаления с изображения «плохих» пикселей. Особенностью данных фильтров, помимо потери деталей, является изменение средней яркости изображений, что может быть нежелательно в некоторых задачах неразрушающего контроля.

Второй важной задачей, решаемой при цифровой обработке рентгеновских снимков, является повышение резкости изображения. Для повышения резкости изображения используются [5]:

• фильтрация с подъемом высоких частот в пространственной области;

• нерезкое маскирование;

• высокочастотная фильтрация.

Наиболее распространенным методом повышения резкости является нерезкое маскирование. На первом этапе метода выполняется создание нерезкого изображения (обычно для этого используется свертка с ядром фильтра Гаусса), на втором этапе из исходного изображения вычитается нерезкое изображение (выражение 1.8), формируя таким образом маску. Затем маска прибавляется к исходному изображению (выражение 1.9), в результате чего резкость изображения увеличивается:

т(х,у) = /(х,у)-/иЫюгр(х,у) 5 (¡.в)

ё(х,у) = Дх,у) + к-т(х,у) У (1.9)

где /(х,у) - исходное изображение, т (х,у) - маска, g(x,y) - результирующее изображение, к - положительная константа, регулирующая степень повышения резкости.

Другой способ повышения резкости - фильтрация с подъёмом высоких частот - использует лапласиан изображения. Для двумерного случая лапласиан определяется как:

1 8х2 V' (1Л0)

В дискретном виде применение оператора Лапласа эквивалентно свертке с фильтром, маска которого приведена на рисунке 1.3.

-1 -1 -1

-1 8 -1

-1 -1 -1

Рисунок 1.3 - Ядро оператора Лапласа

Для повышения резкости складываются изображение, полученное применением оператора Лапласа и исходное. В целях увеличения скорости цифровой обработки изображения можно заменить две операции (свертку и сложение) одной эквивалентной операцией свертки, для этого требуется модифицировать ядро оператора Лапласа (рисунок 1.4).

-1 -1 -1

-1 9 -1

-1 -1 -1

Рисунок 1.4-Ядро фильтра повышения резкости

Следует заметить, что использование такого ядра свертки ведет не только к повышению резкости, но и к увеличению яркости изображения. Рассмотренные методы повышения резкости известны и широко используются для обработки изображений, однако имеют некоторые недостатки, главный из которых - недостаточная устойчивость к шумам на изображении.

Для увеличения контраста изображений применяют:

• гамма-коррекцию;

• методы, основанные на изменении гистограммы изображения. Наиболее широко распространенным методом повышения контраста

является растяжение диапазона яркостей, в котором находится изображение (выражение 1.11):

g(x,y) = (h{x,y) - mm(/K*,>0)) * , (1.11)

mm (h(x,y))

где g(x,y) - результат преобразования, h(x,y) - исходное изображение. Таким образом, в случае линейного повышения контраста изображения яркость каждого пикселя умножается на константу. Такой метод позволяет повысить контраст изображения, однако в задачах рентгеновского неразрушающего

контроля такого преобразования часто бывает недостаточно. Для дальнейшего повышения контраста требуется использовать гамма-коррекцию. Гамма коррекция (выражение 1.12) обобщает линейное преобразование:

§(х,у) = ф(х,у) + £У (1.12)

где с, е и у - константы, Выражение 1.11 есть частный случай выражения 1.12, они равны, если у=1, с - отношение максимальной яркости на изображении к минимальной, а £ - минимальная яркость на изображении. Меняя значения у, можно добиться существенного увеличения контраста в определенном диапазоне яркостей. Основной недостаток такой коррекции — это то, что значения, не принадлежащие интересующему диапазону яркостей, могут выйти за диапазон поддерживаемых яркостей и тогда станут тождественно равны 0 или 255 (для 8-битного изображения), что является потерей информации.

Помимо прямого увеличения контраста широко распространены методы повышения контраста изображения, основанные на использовании гистограммы яркостей [6].

Гистограмма изображения дает информацию о количестве пикселей определенной яркости на изображении и определяется по выражению 1.13

/7 (Гк) = пк, (1.13)

где п - к уровень яркости на изображении, Пк - количество пикселей, принадлежащих уровню яркости к. Значения гистограммы малоконтрастных изображений сосредоточены в определенной области диапазона яркости [4]. Для улучшения контраста необходимо, чтобы ненулевые уровни гистограммы перекрывали большую часть диапазона яркости. Вероятность появления на цифровом изображении пикселя яркости к равна:

Р(к) = —

п , (1.14)

где /7 - количество пикселей изображения. Тогда функция распределения от О до яркости к будет равна:

к

Cdf{k) = £>(*)

О

(1.15)

Выравнивание гистограммы - это преобразование, которое можно описать выражением:

где floor - округление к меньшему, S - максимальное значение яркости изображения (для 8-битных изображений - 255).

Этот метод позволяет повысить контраст изображения, однако в случае рентгеновских снимков часто делает слабым контраст светлых участков изображения.

Одной из областей промышленности, где наиболее массово применятся рентгеновский неразрушающий контроль, является производство электронных компонентов и устройств. Рентгеновский контроль позволяет оценить пайку микросхемы на печатной плате, проверить целостность компонента, определить отсутствие дефектов выводов кристалла. Все более популярным становится внедрение в промышленность систем машинного зрения, что особенно актуально для контроля электронных компонентов.

Поскольку рассматриваемые электронные компоненты, как правило, имеют небольшой размер, то для повышения информативности контроля, выполнять их рентгенографию целесообразно по схеме съемки с увеличением изображения [7-10]. Для того, чтобы получить резкие рентгеновские снимки по схеме с увеличением изображения, требуется использовать микрофокусные источники рентгеновского излучения.

Одна из наиболее часто возникающих задач при неразрушающем контроле электронных компонентов - контроль качества пайки микросхем. Наибольшую сложность представляет контроль BGA (Balls grig array)

g = ßoor(

cdf (Je) - mm(cdf (к)) и-1

-S)

(1.16)

1.2 Методы повышения достоверности контроля изделий радиоэлектронной промышленности

микросхем. На корпусе такой микросхемы с обратной стороны находится массив шариков припоя, микросхема устанавливается на контактную площадку печатной платы, затем выполняется пайка. Проконтролировать результаты пайки визуально невозможно, поэтому основным методом контроля таких соединений является рентгеновское просвечивание. Системы неразрушающего контроля электронных компонентов выпускаются серийно, для примера на рисунке 1.5 приведена система контроля производства электронных компонентов компании ЫогсЬоп с^е. Установка позволяет анализировать электронные компоненты, печатные платы и узлы устройств.

DAG f

Рисунок 1.5 — Установка для рентгеновского контроля электронных узлов

Программное обеспечение, поставляемое с рассматриваемой установкой рентгеновского контроля, позволяет применять методы улучшения изображения описанные ранее, однако не имеет функций автоматизированного распознавания дефектов.

На сегодняшний день в большинстве систем рентгеновского неразрушающего контроля анализ рентгеновского снимка BGA микросхемы осуществляется вручную. Соответственно оператору требуется установить, имеются ли дефекты в каждом шаре припоя. Проверка дефектов в таком

режиме требует большого количества времени и может быть автоматизирована.

Автоматизированный анализ пайки BGA микросхем подробно рассмотрен в работах [11-17]. В работе [11] выделены основные параметры объектов на изображении, отвечающие за качество пайки, проведен анализ дефектов. Показаны методы автоматизированного определения таких дефектов пайки, как отклонение паяного соединения от круглой формы и короткое замыкание выводов. В работе [13] для оценки качества пайки BGA компонентов предложен специализированный фильтр. На этапе предварительной обработки локализуются места соединения элемента и печатной платы, производится локальное увеличение контраста.

На следующем этапе метод использует бинаризацию по методу Оцу, после чего производится определение пустот в паяном соединении. Пример рентгеновского снимка BGA микросхемы и результат бинаризации приведены на рисунке 1.6

а б

Рисунок 1.6 - Рентгеновский снимок BGA микросхемы (а) и результат

бинаризации (б)

Следует заметить, что рассмотренные методы неустойчивы к шуму на изображении и не могут быть применены для микрофокусных рентгеновских

Список литературы диссертационного исследования кандидат наук Староверов Николай Евгеньевич, 2021 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Потрахов Н. Н. Метод и особенности формирования теневого рентгеновского изображения микрофокусными источниками излучения //Вестник новых медицинских технологий. - 2007. - Т. 14. - №. 3.

2. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. с. 1104

3. Wmograd S. On computing the discrete Fourier transform //Mathematics of computation. - 1978. -T. 32,- №. 141. -C. 175-199.

4. Huang Т., Yang G., Tang G. A fast two-dimensional median filtering algorithm //IEEE transactions on acoustics, speech, and signal processing. - 1979. -T. 27. -№. l.-C. 13-18.

5. Van Vliet L. J., Young I. Т., Beckers G. L. A nonlinear Laplace operator as edge detector in noisy images //Computer vision, graphics, and image processing. -1989. - T. 45. - №. 2. - C. 167-195.

6. Yu S. et al. A shallow convolutional neural network for blind image sharpness assessment//PloS one. - 2017. - T. 12. - №. 5. - C. eO 176632.

7. Pizer S. M. et al. Adaptive histogram equalization and its variations //Computer vision, graphics, and image processing. - 1987. - T. 39. - №. 3. - C. 355-368.

8. Мазуров А. И., Потрахов H. H. Возможности и ограничения микрофокусной рентгенографии в медицине //Биотехносфера. - 2010. - №. 4.

9. Потрахов Н. Н., Мазуров А. И. Особенности микрофокусной рентгенографии в медицинской диагностике //ББК 32.995 У19. - 2008. - С. 97.

10. Потрахов Н. Н., Грязнов А. Ю., Жамова К. К., Бессонов.В. Б., Ободовский А. В., Староверов Н. Е., Холопова Е. Д. Микрофокусная рентгенография в медицине: физико-технические особенности и современные средства рентгенодиагностики // Биотехносфера. 2015. №5 (41).

11. Laghari М. S., Memon Q. A. Identification of faulty BGA solder joints in X-ray images //International Journal of Future Computer and Communication. - 2015. -T. 4. - №. 2. - C. 122.

12. Neeluru V. K., Ahuja V. Void region segmentation in ball grid array using u-net approach and synthetic data // arXiv preprint arXiv: 1907.04222. - 2019.

13. Peng S., Do Nam H. Void defect detection in ball grid array X-ray images using a new blob filter //Journal of Zhejiang University SCIENCE C. - 2012. - T.

13. — №. 11. — C. 840-849.

14. Sumimoto T. Et al. Detection of defects at BGA solder joints by using X-ray imaging //2002 IEEE International Conference on Industrial Technology, 2002. IEEE ICIT'02. - IEEE, 2002. - T. 1. - C. 238-241.

15. Ttirer Akdeniz C., Dokur Z., Olmez T. Detection of BGA solder defects from X-ray images using deep neural network //Turkish Journal of Electrical Engineering & Computer Sciences. - 2020. - T. 28. - №. 4.

16. Ma J. Q. et al. Detection of defects at BGA solder joints by using X-ray imaging //2005 International Conference on Machine Learning and Cybernetics. -IEEE, 2005. - T. 8. - C. 5139-5143.

17. Nuanprasert S., Baba S., Suzuki T. A simple automated void defect detection for poor contrast x-ray images of bga //Proceedings of the 3rd International Conference on Industrial Application Engineering, 2015. The Institute of Industrial Applications Engineers (IIAE). - 2015.

18. Yang L. et al. An automatic welding defect location algorithm based on deep learning //NDT & E International. - 2021. - T. 120. - C. 102435.

19. Schmidt K. et al. Enhanced X-Ray Inspection of Solder Joints in SMT Electronics Production using Convolutional Neural Networks //2020 IEEE 26th International Symposium for Design and Technology in Electronic Packaging (SIITME). - IEEE, 2020. - C. 26-31.

20. Mahmood K. et al. Real-time automated counterfeit integrated circuit detection using x-ray microscopy //Applied Optics. - 2015. - T. 54. - №. 13. - C. D25-D32.

21. Tsan T. C., Shih T. F., Fuh C. S. TsanKit: artificial intelligence for solder ball head-m-pillow defect inspection //Machine Vision and Applications. - 2021. - T. 32. - №. 3.-C. 1-17.

22. Архипов М. В. и др. Рентгеновские компьютерные методы исследований структурной целостности семян и их значение в современном семеноведении //Журнал технической физики. - 2019. - Т. 89. - №. 4. - С. 627.

23. Rahman A., Cho В. К. Assessment of seed quality using non-destructive measurement techniques: a review //Seed Science Research. - 2016. - T. 26. - №. 4.-C. 285-305.

24. Javorski M. et al. Image analysis to evaluate the physiological potential and morphology of pearl millet seeds //Journal of Seed Science. - 2018. - T. 40. - C. 127-134.

25. Medeiros A. D. et al. Quality classification of Jatropha curcas seeds using radiographic images and machine learning //Industrial Crops and Products. - 2020. -T. 146.-C. 112162.

26. Потрахов H. H., Белецкий С. JI., Архипов М. В. Аппаратно-программный комплекс для контроля качества зерна на основе передвижной рентгенодиагностической установки ПРДУ-02 //Таврический вестник аграрной науки. - 2018. - №. 4. - С. 152-159.

27. Безух Е. П., Потрахов Н. Н., Бессонов В. Б. Применение метода микрофокусной рентгенографии для контроля качества семян плодовых культур //Технологии и технические средства механизированного производства продукции растениеводства и животноводства. - 2016. - №. 89.

28. . Barboza da Silva С. et al. Convolutional Neural Networks Using Enhanced Radiographs for Real-Time Detection of Sitophilus zeamais in Maize Grain //Foods. - 2021. - T. 10. -№. 4.-C. 879.

29. Ahmed M. R. et al. Classification of Watermelon Seeds Using Morphological Patterns of X-ray Imaging: A Comparison of Conventional Machine Learning and Deep Learning //Sensors. - 2020. - T. 20. - №. 23. - C. 6753.

30. Li H. et al. A convolutional neural network cascade for face detection //Proceedings of the IEEE conference on computer vision and pattern recognition. -2015.-C. 5325-5334.

31. Li C. et al. LightenNet: A convolutional neural network for weakly illuminated image enhancement //Pattern recognition letters. - 2018. - T. 104. - C.

15-22.

32. Gharbi M. et al. Deep bilateral learning for real-time image enhancement //ACM Transactions on Graphics (TOG). - 2017. - T. 36. - №. 4. - C. 1-12.

33. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation //International Conference on Medical image computing and computer-assisted intervention. - Springer, Cham, 2015. - C. 234-241.

34. Schaefferkoetter J. et al. Convolutional neural networks for improving image quality with noisy PET data //EJNMMI research. - 2020. - T. 10. - №. 1. - C. 1-11. 3 5. Chen X, Yao L, and Zhang Y. Residual Attention U-Net for Automated Multi-Class Segmentation of COVID-19 Chest CT Images. arXiv:2004.05645vl, 2020.

36. He K. et al. Deep residual learning for image recognition //Proceedings of the IEEE conference on computer vision and pattern recogmtion. - 2016. - C. 770-778.

37. Ahmadi B. et al. Non-destructive automatic die-level defect detection of counterfeit microelectronics using machine vision //Microelectronics Reliability. -2020.-T. 114. - C. 113893

38. Sun Y. et al. Enhancement of digital radiography image quality using a convolutional neural network //Journal of X-ray Science and Technology. - 2017. -T. 25. -№. 6.-C. 857-868.

39. Wang X. et al. Chestx-ray8: Hospital-scale chest x-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2017. - C. 2097-2106.

40. He K. et al. Deep residual learning for image recognition //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - C. 770-778.

41. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition //arXiv preprint arXiv: 1409.1556. - 2014.

42. Szegedy С. et al. Rethinking the inception architecture for computer vision //Proceedings of the IEEE conference on computer vision and pattern recognition. -2016.-C. 2818-2826.

43. Потрахов H. H., Грязнов А. Ю. Технология микрофокусной рентгенографии в стоматологии и челюстно-лицевой хирургии //Биотехносфера. - 2009. - №. 3.

44. Мазуров А. И., Потрахов Н. Н. Микрофокусная рентгенография в медицине //Медицинская техника. - 2011. - №. 5. - С. 30-34.

45. Staroverov N. Е, Gryaznov A.Y, Kholopova, Е. D. Digital x-ray image processing with using adaptive histogram equalization and adaptive background correction//: Биомедицинская радиоэлектроника № 5 стр. 56-58.

46. Staroverov N. E. et al. Development of digital processing method of microfocus X-ray images Journal of Physics. - 2017.

47. Староверов, H. E., Грязнов, А. Ю., Потрахов, H. H., Холопова, E. Д., & Гук, К. К. (2018). Новые методы цифровой обработки микрофокусных рентгеновских изображений. Медицинская техника, (6), 53-55.

48. Hwang Н., Haddad R. A. Adaptive median filters: new algorithms and results //IEEE Transactions on image processing. - 1995. - T. 4. - №. 4. - C. 499-502.

49. Staroverov N. E. et al. The methods of processing of microfocus X-ray images //2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). - IEEE, 2017. - C. 745-747.

50. Pech-Pacheco J. L. et al. Diatom autofocusing in brightfield microscopy: a comparative study //Proceedings 15th International Conference on Pattern Recognition. ICPR-2000. - IEEE, 2000. - T. 3. - C. 314-317.

51. Heijmans H. J. A. M. Mathematical morphology: A modern approach in image processing based on algebra and geometry //SIAM review. - 1995. - T. 37. — №. l.-C. 1-36.

52. Автоматический анализ и классификация цифровых рентгеновских и газоразрядных изображений семян пшеницы, поврежденных клопом вредная черепашка, для прогноза их посевных качеств / Н. С. Прияткин, М. В.

Архипов, Л. П. Гусакова [и др.] // Известия СПбГЭТУ ЛЭТИ. - 2018. - № 6. -С. 60-67

53. Canny J. A computational approach to edge detection //IEEE Transactions on pattern analysis and machine intelligence. - 1986. -№. 6. - C. 679-698

54. Vincent O. R. et al. A descriptive algorithm for sobel image edge detection //Proceedings of informing science & IT education conference (InSITE). -Informing Science Institute California, 2009. - T. 40. - C. 97-107.

55. Xuan L., Hong Z. An improved canny edge detection algorithm //2017 8th IEEE international conference on software engineering and service science (ICSESS). - IEEE, 2017. - C. 275-278

56. Hossain F. Et al. Dynamic thresholding based adaptive canny edge detection //International Journal of Computer Applications. - 2016. - T. 975. - C. 8887.

57. Zhu N. et al. A fast 2d Otsu thresholding algorithm based on improved histogram //2009 Chinese conference on pattern recognition. - IEEE, 2009. - С. 1-

58. Peebles P. Z., Shi В. E. Probability Random Variables and Random Signal Principles //Probability Random Variables and Random Signal Principles. - 2015.

59. Староверов H.E. Метод автоматизированного контроля электронных компонентов на микрофокусных рентгеновских снимках. // Известия вузов России. Радиоэлектроника. 2021. Т. 24, No 4. С. 27-36

60. Gryaznov, A. Y., Staroverov, N. Е., Kholopova, Е. D., & Guk, К. К. (2019, April). Development of the technique for determining the fulfillment coefficient of seeds using microfocus x-ray. In AIP Conference Proceedings (Vol. 2089, No. 1, p. 020011). AIP Publishing LLC.

61. Разработка алгоритма поиска дефектов на томографических срезах для исследования композитных материалов методом микрофокусной томографии / В. Б. Бессонов, А. Ю. Грязнов, И. А. Ларионов [и др.] // Физические основы приборостроения. - 2020. - Т. 9. - № 4(38). - С. 60-63. - DOI 10.25210/jfop-2004-060063.

62. Cootes Т. F. et al. Active shape models-their training and application //Computer vision and image understanding. - 1995. - T. 61. - №. 1. - C. 38-59.

63. Staroverov N. E. et al. Recognition of certain types of pathologies on medical x-ray images //AIP Conference Proceedings. - AIP Publishing LLC, 2019. - T. 2140.-№. l.-C. 020076.

64. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition //arXiv preprint arXiv: 1409.1556. - 2014.

65. Szegedy C. et al. Rethinking the inception architecture for computer vision //Proceedings of the IEEE conference on computer vision and pattern recognition. -2016.-C. 2818-2826.

66. Kingma D. P., Ba J. Adam: A method for stochastic optimization //arXiv preprint arXiv: 1412.6980. - 2014.

67. Buckland M., Gey F. The relationship between recall and precision //Journal of the American society for information science. - 1994. - T. 45. - №. l.-C. 12-

68. Paszke A. et al. Pytorch: An imperative style, high-performance deep learning library //Advances in neural information processing systems. - 2019. - T. 32. - C. 8026-8037.

69. Ioffe S., Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift //International conference on machine learning. - PMLR, 2015. - C. 448-456.

70. Staroverov N. E. et al. Recognition of pathologies on chest x-rays using convolutional neural networks //AIP Conference Proceedings. - AIP Publishing LLC, 2021. - T. 2356. - №. 1. - C. 020022.

71. Свидетельство о государственной регистрации программы для ЭВМ № 2020663175 Российская Федерация. Программа для определения области интереса в томографической реконструкции ('TmageMarkupRecon") : № 2020662534 : заявл. 21.10.2020 : опубл. 23.10.2020 / Н. Е. Староверов, А. Ю. Грязнов, Е. Д. Холопова [и др.]

72. Свидетельство о государственной регистрации программы для ЭВМ № 2017663885 Российская Федерация. Программа обработки рентгеновских снимков (ImageProcessing-3) : № 2017660427 : заявл. 17.10.2017 : опубл.

13.12.2017 / H. Е. Староверов, А. Ю. Грязнов, К. К. Гук [и др.]

73. Свидетельство о государственной регистрации программы для ЭВМ № 2017663882 Российская Федерация. Программа коррекции фона (Background Correction) : № 2017660423 : заявл. 17.10.2017: опубл. 13.12.2017 / H. Е. Староверов, А. Ю. Грязнов, К. К. Гук [и др.]

74. Свидетельство о государственной регистрации программы для ЭВМ № 2016663884 Российская Федерация. Программа обработки рентгеновских снимков. (ImageProcessmg-2) : № 2016661895 : заявл. 02.11.2016 : опубл. 19.12.2016 / H. Е. Староверов, А. Ю. Грязнов, К. К. Жамова [и др.]

75. Свидетельство о государственной регистрации программы для ЭВМ № 2018662855 Российская Федерация. Программа для рентгенографического анализа семян ("SeedAnalysis") : № 2018660502 : заявл. 01.10.2018: опубл.

17.10.2018 / H. Е. Староверов, А. Ю. Грязнов, Е. Д. Холопова, К. К. Гуте

76. Свидетельство о государственной регистрации программы для ЭВМ № 2020617834 Российская Федерация. WorldPCA : № 2020616611 : заявл. 02.07.2020 : опубл. 15.07.2020 /H. Е. Староверов, H. Н. Потрахов, А. А. Евтеев;

77. Evteev, A. A. Analytical techniques and software for the study of intragroup metric variation using principal component analysis / A. A. Evteev, N. E. Staroverov, N. N. Potrakhov // Bulletins et Mémoires de la Société d'Anthropologie de Paris.-2021.-Vol. 33.-No 1,-P. 87-97.

^хлъ^й у ГВКНЖДАЮ» ^ » Itp^jHJjnt^iii» учебной работе

■.чткЯэтмгэти»

С Л Галунин

20

АКТ

о внедрении результатов диссертационной paGoibi Староверова Николая Евгеньевича «Исследование и ра ipaôn 1 ка методов повышения информативное!и микрофокусных рентгеновские снимков»

Составлен комиссией и составе:

I (рслседатсль зав. кафелрой. профессор д.т.н. Потрахов ll.il. Члены комиссии: профессор д.т.н Ухов А Д., доиет км.п. Бессонов И.1».

Комиссия составила настоящий ак! о том. ч(0 результаты диссертационной работы Староверова Николая Квгеньевнма «Методы н системы нера грушакниего контроля на основе мнкрофокусных источников рентгеновского итчення» были

использованы при обучении магистров в С1161'31У «Л'Л И» по дисциплине «Источники рентгеновского излучения» магистерской нро|раммы «'Электронные приборы и устройства». В учебном процессе найми применение методы цифровой обработки рентгеновских изображений, предложенные в диссертационной работе и реализованные на языке программирования ру|Ьоп. Использование указанных результатов повышает уровень подготовки студентов в области рентгенотехники

Председатель: Зав кафедрой

Электронных приборов и устройств д.т.н.. профессор

Члены комиссии: д.т.н.. профессор

к т.н.. доцент

/ -1

Потрахон il.H.

Ухов Д.Д. Ьсссонов В b.

(и ЗЛТЕХ Меа

Ь* »»

«22» 09.2021

АКТ

внедрения результатов научно-исследовательской работы

Тема диссертационной работы «Методы и системы неразрушаюшего контроля на основе мнкрофокусных источников рентгеновского излучения»

Автор - Староверов Николай Евгеньевич

Результаты диссертационного исследования:

- метод коррекции фона микрофокусных рентгеновских изображений;

- метод повышения резкости и контраста деталей микрофокусных рентгеновских изображений;

• метод распознавания объектов на мнкрофокусных рентгеновских снимках при помощи специализированного алгоритма сегментации изображений;

- модифицированный метод адаптивной медианной фильтрации

внедрены в программное обеспечение многофункциональной передвижной рентгеновской установки «ПРДУ».

Генеральный директор ЗАО «Электронная Техннка-М

МО.Мжц

141 »»♦♦ Я1Ц»ЛЩ1ПП^И0Ю01.0П^ ■Я.ЧМЛЖИМ ЧР{МСмгтПип*Я» I" Лдоомд Ум*

«Яниамн маме. Сдмл>Ллп*де.П|мяк ОПС * иЯ

АКТ

внедрения результатов научно-исследовательской работы

Тема диссертационной работы «Методы и системы неразрушающего контроля на основе микрофокусных источников рентгеновского излучения»

Автор - Староверов I (иколай Евгеньевич Результаты диссертационного исследования:

- метод повышения резкости и контраста деталей микрофокусных рентгеновских снимков;

- метод повышения контраста рентгеновских изображений;

- метод распознавания объектов на микрофокусных рентгеновских снимках при помощи специализированною алгоритма сегментации изображений;

внедрены в аппаратно-программный комплекс «Рентгеновский счетчик компонентов 11родис.Компонент».

Генеральный директор ООО «Продис.НДТ»

Федеральное государственное бюджетное научное учреждение «АГРОФИЗИЧЕСКИЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ»

|ф| I.H'- VMIl_

Гдодхмипр.д 14

СамтПвтеэб«* 195220

Тел [phone] ф»«г (812>SW-TM0

E-mail ofticegegrapfif» ru

hi!p www jgrophy* ru

СЖПО 004Э5697 ОГРН »027802514365

ИНИ КПП 7804006703 • 780401001

Тема диссср!анионной рабош «Методы и системы неразрушаюшего конгроля на основе чикрофокусных исючннков рентгеновского излучения ».

Автор - Староверов Николай Евгеньевич.

Разработанные в результате диссертационного исследования алгоритмы цифровой обработки и классификации рентгеновских изображений были использованы в создании программного обеспечения дли установок рентгеновского кон гроля ПРДУ. применяемых в ФГБНУ АФИ.

Данная разработка представляет собой методический блок, необходимый для более эффективного применения разработанных алгоритмов в дорожной карте по научному обеспечению цифрового рентгеновского стандарта, позволяющею проводить экспресс-досмотр скрытой поврежденноети семенного материала отечественного и импортного происхождения.

/Зсд и2 / ц. 4TG

АКТ

научно-исследовательской работы

Директор

Ю.В.Чесноков

АКТ

внедрения результатов научно-исследовательской работы

В результате выполнения Староверовым Н.Е. диссертационного исследования в практическую работу отдела лучевой диагностики СПб ГУБЗ «Городская Мариинская больница» внедрены:

- метод повышения резкости и контраста рентгеновских снимков на основе морфологической обработки изображений и фильтрации в частотной области.

- метод повышения контраста рентгеновских изображений на основе модифицированного локально адаптивного выравнивания гистограммы изображения

- метод определения патологий на рентгеновских снимках грудной клетки на основе сверточных нейронных сетей.

Заведующий отделом лучевой диагнс «Городская Мариинская больница»

д.м.н., профессор