Стереоскопические информационно-измерительные приборы с зондовыми призменно-линзовыми оптическими системами тема диссертации и автореферата по ВАК РФ 05.11.07, кандидат наук Горевой Алексей Владимирович

• Горевой Алексей Владимирович
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Горевой Алексей Владимирович

Введение

Глава 1. Системное проектирование зондовых стереоскопических измерительных

систем

1.1. Обзор литературных источников и постановка задачи разработки системного подхода к проектированию зондовых стереоскопических систем

1.1.1. Назначение видеоэндоскопических измерительных систем

1.1.2. Методы 3D измерений в видеоэндоскопических системах

1.1.3. Перечень измеряемых в видеоэндоскопии геометрических параметров

1.1.4. Подходы к проектированию стереоскопических зондовых систем с приз-менно-линзовыми оптическими системами

1.1.5. Метрологическая аттестация и оценка погрешности измерений

1.1.6. Направления совершенствования измерительных стереоскопических зондовых систем

1.1.7. Цель и задачи диссертации

1.2. Математическое описание стереоскопических измерительных систем

1.2.1. Структурная схема стереоскопической измерительной системы

1.2.2. Геометрооптические модели ОЭС

1.2.3. Источники погрешности измерений и ее описание

1.2.4. Формирование целевой функции проектирования

1.2.5. Оценка погрешности измерений на разных уровнях проектирования

1.3. Метод оценки погрешности геометрических измерений

1.3.1. Выбор метода оценки и описания погрешности

1.3.2. Результаты компьютерного моделирования для проективной и трассировочной ММ

1.3.3. Результаты компьютерного моделирования для ММ ОЭС в САПР

1.4. Оценка погрешности измерений с учетом априорной информации

1.5. Выводы к первой главе

Глава 2. Методы геометрической калибровки

2.1. Задачи и методы исследования

2.1.1. Метод калибровки с использованием аттестованного тест-объекта

2.1.2. Учет особенностей калибровки при проектировании

2.1.3. Методика компьютерного моделирования с использованием САПР

2.1.4. Стенд для экспериментальных исследований

2.2. Выбор оптимальной геометрооптической модели ОЭС

2.2.1. Сравниваемые ММ

2.2.2. Результаты компьютерного моделирования

2.2.3. Результаты экспериментальных исследований

2.3. Оптимизация процедуры калибровки и оборудования

2.3.1. Результаты компьютерного моделирования

2.3.2. Результаты экспериментальных исследований

2.4. Калибровка при работе в узких спектральных интервалах

2.4.1. Модификация метода калибровки и ММ при работе в УСИ

2.4.2. Результаты компьютерного моделирования

2.4.3. Результаты экспериментальных исследований

2.5. Выводы ко второй главе

Глава 3. Методы цифровой обработки изображений

3.1. Метод ректификации изображений

3.1.1. Разработка метода ректификации изображений для трассировочных ММ

3.1.2. Оптимизация положения плоскости ректификации

3.1.3. Ректификация изображений при работе в узких спектральных интервалах

3.1.4. Коррекция хроматических аберраций для ЯвВ изображений

3.2. Оценка погрешности координат маркеров на изображении

3.2.1. Описание метода

3.2.2. Результаты компьютерного моделирования

3.2.3. Результаты экспериментальных исследований

3.2.4. Ограничения и дальнейшее развитие метода

3.3. Выводы к третьей главе

Глава 4. Методика проектирования

4.1. Проектирование на системотехническом уровне

4.2. Проектирование ОС на схемотехническом уровне

4.3. Совместное проектирование ОС, алгоритмов обработки данных и оборудования

для калибровки на схемотехническом уровне

4.4. Разработка универсального оборудования для калибровки и аттестации

4.5. Выводы к четвертой главе

Общие выводы и заключение

Список литературы

Приложение

Список сокращений и условных обозначений

2D — двумерный 3D — трехмерный

UT-метод — метод на основе сигма-точечного преобразования (unscented transformation)

АД — апертурная диафрагма

ВИК — визуально-измерительный контроль

ГСК — глобальная система координат

ММ — математическая модель

МПИ — матричный приемник излучения

МПФ — модуляционная передаточная функция

НЗР — нормальный закон распределения

ОС — оптическая система

ОСШ — отношение сигнал/шум

ОЭС — оптико-электронная система

ПО — программное обеспечение

ПРВ — плотность распределения вероятности

РКЛ — расстояние (расхождение) Кульбака-Лейблера

САПР — система автоматизированного проектирования

СК — система координат

СКО — среднеквадратическое отклонение

УСИ — узкий спектральный интервал

ФРТ — функция рассеяния точки

ЦФ — целевая функция

Введение диссертации (часть автореферата) на тему «Стереоскопические информационно-измерительные приборы с зондовыми призменно-линзовыми оптическими системами»

ВВЕДЕНИЕ

Актуальность темы исследования. Видеоэндоскопические измерительные системы широко применяются для визуально-измерительного контроля (ВИК) при производстве, сборке и испытаниях многих промышленных объектов (авиационных и ракетных двигателей, трубопроводов, баллонов высокого давления и др.), а также в биомедицине для диагностики заболеваний внутренних органов и проведения хирургических операций. Стереоскопический метод измерения трехмерных (3D) геометрических параметров поверхности объекта является одним из основных в видеоэндоскопии, поскольку он обеспечивает одновременную визуализацию и проведение измерений во всех точках изображения и не требует получения нескольких последовательных кадров. В современных серийно выпускаемых видеоэндоскопах (Olympus Corp., General Electric, EFER) для реализации стереоскопического метода используются призменно-линзовые оптические системы (ОС), позволяющие одновременно получить два изображения объекта с разных ракурсов на одном матричном приемнике излучения (МПИ), как показано на Рисунке 1.

Метрологические характеристики стереоскопических измерительных систем определяются совокупностью параметров оптико-электронной системы (ОЭС), используемых математических моделей (ММ) и алгоритмов цифровой обработки данных. При общепринятом последовательном проектировании оптимизация параметров ОС проводится для получения изображений наилучшего качества без учета методов их дальнейшей обработки, что может приводить к неоптимальным конструкторским и программным решениям. Этот недостаток может быть устранен за счет системного подхода к проектированию ОЭС, разрабатываемого рядом отечественных и зарубежных научных школ: МГТУ имени Н.Э. Баумана, МИИГАиК, СПбНИУ ИТМО и др. Применение такого подхода к

дистальная часть

-1

съемная объектив стерео насадка \ МПИ

изобоажение

Рисунок 1. Структурная схема видеоэндоскопической измерительной системы с приз-менно-линзовой стереоскопической ОС.

площадь

стереоскопическим измерительным системам подразумевает совместное компьютерное моделирование для оптимизации параметров ОС и алгоритмов обработки зарегистрированных изображений при использовании целевой функции, основанной на погрешности измерений. Это особенно важно для призменно-линзовых ОС, в которых параметры призмы оказывают существенное влияние как на качество изображения, так и на базовое расстояние стереопары, от которого зависит погрешность измерений. Известные методы и системы автоматизированного проектирования (САПР) не позволяют реализовать системный подход к проектированию таких систем.

Кроме того, на данный момент отсутствуют общепринятые нормативные документы, в которых регламентируются методики и эталонные объекты для проведения калибровки и поверки стереоскопических видеоэндоскопов. Основным методом обеспечения заданной погрешности измерений при эксплуатации этих приборов является периодическая поверка с помощью серий контрольных измерений эталонных объектов, которые позволяют получить оценку погрешности лишь в условиях контроля, близких к идеальным. Программное обеспечение (ПО) современных видеоэндоскопов предусматривает только предупреждение пользователя о допустимости проведения измерений без указания конкретной оценки погрешности или индикацию примерного расстояния до объекта, что приводит к необходимости проверять полученные результаты альтернативными методами, в том числе методами разрушающего контроля. Таким образом, разработка оборудования для поверки и калибровки, а также методов оценки погрешности измерений при их проведении является актуальной задачей, которая также может быть решена в рамках системного подхода к проектированию.

Измерительные возможности стереоскопических зондовых систем могут быть существенно расширены за счет использования спектральной фильтрации излучения. Регистрация изображений в узких спектральных интервалах (УСИ) позволяет повысить контраст изображения, а значит, и точность измерений при надлежащем выборе спектрального диапазона. Анализ спектральных характеристик в каждом пикселе изображения имеет множество приложений в промышленности и биомедицине. При проведении ВИК промышленных объектов, как правило, имеется информация о форме их поверхности в виде 3Э модели или чертежа, позволяющего построить такую модель. Более того, в некоторых случаях ВИК проводится с использованием системы точного позиционирования зонда относительно контролируемого объекта, то есть доступна информация о взаимном расположении зонда и 3Э модели объекта. Тогда точность измерений параметров поверхностных дефектов, например, пятен ржавчины, может быть существенно повышена при учете указанной априорной информации. Рассмотренные варианты расширения возможностей требуют модификации алгоритмов обработки данных с учетом особенностей ОС, в частности, хромати-

ческих аберраций, вносимых призмой, и могут быть оптимальным образом реализованы только с использованием системного подхода к проектированию.

Целью диссертационной работы является разработка методов, реализующих системный подход к проектированию стереоскопических информационно-измерительных приборов с зондо-выми призменно-линзовыми ОС, обеспечивающих улучшение их технических характеристик и расширяющих функциональные возможности контроля.

Для достижения поставленной цели были решены следующие задачи:

• Выявлены источники погрешности и разработано математическое описание стереоскопических измерительных систем, позволяющее определить целевую функцию проектирования на основе погрешности измерений геометрических параметров и учитывать априорную информацию о форме поверхности объекта и расположении зонда относительно нее.

• Разработаны ММ ОЭС для стереоскопического метода измерения 3Э координат точек поверхности объекта по их проекциям на изображениях, учитывающие конструктивные особенности призменно-линзовых ОС и возможность выполнения измерений в УСИ, и метод калибровки.

• Адаптированы известные и предложены новые методы цифровой обработки изображений для вычисления координат соответствующих точек и координат маркеров тест-объекта, а также для оценки погрешности этих координат.

• Разработана методика проектирования стереоскопических измерительных систем на основе совместного компьютерного моделирования аппаратной части ОЭС, алгоритмов обработки данных и оборудования, используемого для калибровки и аттестации.

• Апробированы предложенные методы и методика проектирования, проведены экспериментальные исследования на серийно выпускаемых и вновь разработанных зондовых призменно-линзо-вых стереоскопических системах.

Научная новизна.

• Разработан метод оценки погрешности геометрических измерений на основе комбинации сигма-точечного преобразования и интервального анализа, который позволяет получать интервальную оценку для различных ММ стереоскопических ОЭС при известной погрешности координат соответствующих точек на изображениях и погрешности калибруемых параметров ММ. Предложена модификация метода для измерений, проводимых с учетом априорной информации о форме контролируемой поверхности и расположении зонда относительно нее.

• Показано, что для зондовой призменно-линзовой ОЭС использование трассировочной ММ позволяет обеспечить ту же величину систематической погрешности геометрических измерений при значительно (в ~ 10 раз) меньшем числе параметров, чем у проективной ММ. Систематическая погрешность геометрических измерений, обусловленная аберрациями зрачка объектива, может

быть снижена за счет введения в трассировочную ММ радиального полинома, описывающего эти аберрации.

• Разработаны модификация трассировочной ММ для призменно-линзовой ОЭС и метод совместной калибровки ее параметров в нескольких УСИ с последующей интерполяцией спектрально-зависимых параметров для других УСИ. Для зондовой призменно-линзовой ОС показано, что при калибровке в трех УСИ и интерполяции фокусного расстояния и показателя преломления призмы систематическая погрешность геометрических измерений в шести УСИ в пределах видимого диапазона практически не отличается от погрешности при калибровке в каждом УСИ по отдельности и более чем в 3 раза ниже погрешности при калибровке в одном УСИ или без спектральной фильтрации.

• Предложены метод ректификации изображений для ММ стереоскопических ОЭС с обратной трассировкой лучей, использующий проекцию на промежуточную плоскость в пространстве предметов, и метод выбора оптимального положения данной плоскости.

• Разработан метод оценки погрешности координат изображений маркеров, образованных в углах клеток тест-объекта в виде шахматной доски, который может применяться как при проектировании стереоскопических измерительных систем, так и при проведении измерений в процессе эксплуатации.

Практическая значимость работы.

• Предложенные методы системного проектирования были использованы в НТЦ УП РАН при разработке опытного образца зондовой призменно-линзовой стереоскопической системы, который прошел метрологическую сертификацию.

• На основе разработанных ММ и методов обработки данных созданы модули ПО зондовых стереоскопических систем, позволяющие получать текстурированные (в том числе мультиспектраль-ные при работе в УСИ) 3Э модели объектов, измерять геометрические параметры объектов и оценивать погрешность измерений, проводить калибровку и аттестацию системы.

• Предложенные методы компьютерного моделирования и метод оценки погрешности могут быть встроены в современные САПР ОС для оптимизации параметров стереоскопической ОС, анализа влияния допусков и температурных деформаций.

Методы исследования. При решении поставленных задач использовались методы геометрической оптики, теории ОЭС, цифровой обработки сигналов, теории вероятностей и математической статистики, математического моделирования и экспериментальные исследования.

Положения, выносимые на защиту:

• Метод интервальной оценки погрешности геометрических измерений позволяет оптимизировать конструктивные параметры стереоскопических ОЭС при заданных погрешностях определения

координат соответствующих точек на изображениях, в том числе, с учетом априорной информации о форме контролируемой поверхности и относительном положении зонда.

• Геометрооптическая ММ призменно-линзовой стереоскопической ОЭС, учитывающая аберрации зрачка объектива, и метод калибровки ее параметров в трех УСИ позволяют уменьшить систематическую погрешность геометрических измерений в пределах видимого диапазона по сравнению с известными ММ и калибровкой в одном УСИ или без спектральной фильтрации.

• Метод ректификации изображений для геометрооптической ММ призменно-линзовой стереоскопической ОЭС с обратной трассировкой лучей, использующий проекцию на одну оптимально расположенную плоскость в пространстве предметов, обеспечивает меньшую величину вертикального рассогласования соответствующих точек на ректифицированных изображениях по сравнению с известным методом ректификации для проективной ММ.

Достоверность полученных в работе результатов обеспечивается корректностью постановки задач и использованных приближений, использованием апробированных методов компьютерного моделирования и обработки экспериментальных данных, согласием результатов теоретического расчета с результатами компьютерного моделирования и экспериментальных исследований.

Апробация результатов. Результаты диссертационной работы докладывались и обсуждались на 16 международных конференциях и симпозиумах, в числе которых Международная конференция «Прикладная оптика» (Санкт-Петербург, 2014), 8-я Международная конференция «Акусто-оптические и радиолокационные методы измерений и обработки информации» (Суздаль, 2015), 26-я и 27-я Международная конференция «GraphiCon» (Нижний Новгород, 2016; Пермь, 2017), Saratov Fall Meeting 2015 - Third International Symposium on Optics and Biophotonics; and Seventh Finnish-Russian Photonics and Laser Symposium (PALS) (Саратов, 2016), 14th International Conference «Application of Contemporary Non-Destructive Testing in Engineering» (Порторож (Словения), 2017), 12th European Conference on Non-Destructive Testing (Гетеборг (Швеция), 2018), Международный симпозиум SPIE Photonics Europe (Страсбург (Франция), 2018), 4-я и 5-я Международная конференция и молодежная школа «Информационные технологии и нанотехнологии (ITNT)» (Самара, 2018, 2019), 20-я Международная конференция «Цифровая обработка сигналов и ее применение (DSPA)» (Москва, 2018), 11th, 12th International Conference on Machine Vision (ICMV) (Мюнхен (Германия), 2018; Амстердам (Нидерланды), 2019), International Conference on Digital Image and Signal Processing (DISP) (Оксфорд (Великобритания), 2019), Международный симпозиум SPIE Optical Metrology (Мюнхен (Германия), 2019), 11-я Международая конференция «Фундаментальные проблемы оптики (ФПО)» (Санкт-Петербург, 2019).

Отдельные результаты работы получены в рамках проведения исследований, поддержанных

Российским научным фондом (проект 17-19-01355) и Российским фондом фундаментальных исследований (проект 17-29-03469).

Результаты работы внедрены в АО «НПО Энергомаш имени В.П. Глушко» и ФГУП «НПО «Техномаш», получены соответствующие акты.

Публикации. По материалам диссертации опубликовано 36 печатных работ, в том числе 2 патента РФ [1, 2], 2 свидетельства о государственной регистрации программы для ЭВМ [3, 4], 19 статей в изданиях, включенных в перечень ВАК РФ и/или международные базы цитирования Web of Science и Scopus [5-23], 13 статей в других изданиях и тезисов докладов [24-36].

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Во всех работах, выполненных в соавторстве, соискатель непосредственно участвовал в постановке задач, разработке методов их решения, получении, обработке и анализе результатов исследований. Все экспериментальные результаты, вошедшие в диссертационную работу, получены совместно с соавторами работ, опубликованных по теме диссертации.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав, заключения, библиографии и приложения. Общий объем диссертации 199 страниц, без учета приложения — 180 страниц, включая 87 рисунков и 6 таблиц. Библиография содержит 240 наименований на 18 страницах, без учета публикаций автора — 204 наименования.

Во введении обоснована актуальность диссертационной работы, сформулирована цель и аргументирована научная новизна исследований, описана практическая значимость полученных результатов, представлены выносимые на защиту научные положения.

В первой главе на основе обзора литературных источников сформулирована постановка задачи исследований по разработке системного подхода к проектированию стереоскопических измерительных систем и введено математическое описание таких систем, позволяющее определить целевую функцию проектирования как зависимости погрешностей измерений от конструктивных параметров ОЭС и параметров алгоритмов обработки данных.

Во второй главе изложены методы геометрической калибровки и проанализированы связанные с ними источники погрешности. На примере зондовых стереоскопических призменно-линзовых систем осуществлен выбор оптимальной геометрооптической ММ, оптимизирована процедура и состав оборудования для калибровки, а также модифицированы ММ и метод калибровки для работы в УСИ.

В третьей главе рассмотрены методы цифровой обработки изображений для вычисления координат соответствующих точек и координат маркеров тест-объекта, которые могут быть использованы для трассировочной ММ призменно-линзовой ОЭС.

В четвертой главе изложено применение разработанных методов для создания методики проектирования стереоскопических измерительных приборов с зондовыми призменно-линзовыми ОС. В заключении подведены итоги работы и сформулированы основные результаты.

ГЛАВА 1. СИСТЕМНОЕ ПРОЕКТИРОВАНИЕ ЗОНДОВЫХ СТЕРЕОСКОПИЧЕСКИХ ИЗМЕРИТЕЛЬНЫХ СИСТЕМ

1.1. Обзор литературных источников и постановка задачи разработки системного подхода к проектированию зондовых стереоскопических систем

1.1.1. Назначение видеоэндоскопических измерительных систем

В настоящее время ВИК является обязательной процедурой при производстве, сборке и испытаниях многих промышленных объектов: авиационных и ракетных двигателей, трубопроводов, баллонов высокого давления и других [37-42]. Целями ВИК являются анализ состояния поверхности, выявление и оценка размеров имеющихся дефектов (трещин, коррозии, отложений и т.п.). Эндоскопы различных типов являются одним из основных инструментов ВИК труднодоступных внутренних полостей неразборных или не подлежащих разборке объектов. Отличием видеоэндоскопов является размещение МПИ в дистальной части зонда, что позволяет избежать передачи изображения по рабочей части зонда при помощи системы линз (как у жестких или линзовых эндоскопов (borescopes)) или оптоволоконного жгута (как у гибких или волоконных эндоскопов (fiberscopes)). За счет этого видеоэндоскопы имеют преимущество по сравнению с жесткими и гибкими эндоскопами, позволяя получить изображения лучшего качества и с большим разрешением при меньшей стоимости. Использование методов измерения 3D геометрических параметров в видеоэндоскопии дает возможность одновременно осуществлять визуальный контроль поверхности объекта и проводить геометрические измерения за счет обработки полученных изображений. Кроме того, данные методы позволяют построить 3D модель поверхности измеряемого объекта, которая может быть использована как для визуализации, так и для сравнения с номинальной формой из конструкторской документации.

Видеоэндоскопы также широко применяются в биологии и медицине для диагностики заболеваний внутренних органов и проведения хирургических операций [41, 43-45]. Использование стереоскопических видеоэндоскопов в сочетании со стереоочками, 3D мониторами и методами дополненной реальности обеспечивает хирурга стереоскопическим зрением при проведении операции, позволяя отслеживать положение инструментов и интуитивно ими управлять. Проведение геометрических измерений анатомических структур позволяет повысить точность диагноза. Полученные 3D модели поверхности анатомических структур могут использоваться для совмещения с объемными 3D данными рентгена, компьютерной и магнитно-резонансной томографии, а так-

же другими 3Э данными как для проведения диагностики и планирования операций, так и для отслеживания текущего состояния при проведении операции в реальном времени.

Несмотря на значительные успехи в развитии методов и аппаратуры измерительной видеоэндоскопии, актуальным направлением развития остается дальнейшая миниатюризация видеоэндоскопических зондов, что позволит выполнять ВИК через отверстия меньшего диаметра, проводить медицинские операции и диагностику в тех областях, которые сейчас недоступны, и еще больше снизить травмы при операциях. Из-за сложности изготовления миниатюрных электронных и оптических компонентов, решение данной задачи требует как развития технологий изготовления таких компонентов, так и развития методов проектирования измерительных видеоэндоскопических систем для оптимальной реализации различных методов 3Э измерений. Другим направлением развития измерительной видеоэндоскопии является усовершенствование методов обработки данных для построения 3Э моделей и проведения геометрических измерений с целью повышения их метрологических характеристик, а также методов визуализации 3Э данных для оператора. 1.1.2. Методы 3D измерений в видеоэндоскопических системах

Для бесконтактного измерения 3Э геометрических параметров поверхности объекта к настоящему времени разработано множество методов, однако не все из них могут быть использованы в видеоэндоскопии из-за малых размеров дистальной части зонда [41, 43, 46, 47]. Классификация используемых методов 3Э измерений показана на Рисунке 1.1.

Наиболее популярными являются триангуляционные методы: пассивный (стереоскопический) и активный (на основе структурированной подсветки). Эти методы аппаратно и программно реализованы в ряде как макетных образцов, так и серийно выпускаемых современных видеоэндоскопов. Другие известные методы измерений: дальнометрический (time-of-flight, ТоБ) [48,49], фотометрическое стерео ^аре-&от^аё^) [50-52], по дефокусировке изображающего объектива ^аре-&от-ёейэеш) [53, 54], голографические [55] и другие — были использованы в некоторых работах как для жестких и гибких эндоскопов, так и для видеоэндоскопов, но пока не получили широкого распространения и коммерческого применения в видеоэндоскопии. Причинами этого являются высокая погрешность и низкое разрешение получаемых карт глубины (ТоБ), нестабильность результатов на текстурированных поверхностях объектов ^аре-&от^аё^), необходимость регистрации нескольких изображений с изменением фокусировки объектива ^аре-&от-ёейэеи8), малая величина рабочего объема (голографические методы) и другие факторы.

Активный триангуляционный метод основан на проекции известной картины на объект (структурированной подсветке) и регистрации изображений объекта при помощи МПИ. Информация о 3Э координатах точек объекта содержится в искажениях картины на полученных изоб-

Рисунок 1.1. Классификация бесконтактных методов измерения 3D геометрических параметров поверхности объекта, используемых в видеоэндоскопии. Зеленым цветом выделены методы, используемые в серийно выпускаемых видеоэндоскопических измерительных системах.

ражениях и извлекается методами цифровой обработки [41, 43, 56]. В настоящее время серийно выпускаются видеоэндоскопы для ВИК со следующими видами структурированной подсветки: теневая проекция одной линии (General Electric ShadowProbe [57,58]), лазерная проекция нескольких точек (Karl Storz [59]), чередование нескольких периодических картин с синусоидальным профилем интенсивности и фазовым сдвигом (General Electric 3DPhaseProbe [60-62]). В этих эндоскопах для проекции картины на объект измерений не используются объективы. Метод 3DPhaseProbe фактически использует теневую проекцию, чередование картин осуществляется за счет поочередного включения светодиодов, расположенных за транспарантом с нанесенной периодической картиной. Это позволяет добиться малых диаметров дистальной части зонда: 4,4 мм у Karl Storz; 6,1 мм у General Electric ShadowProbe и 3DPhaseProbe. Для обеспечения универсальности видеоэндоско-

пических измерительных систем указанные методы реализованы при помощи сменных насадок прямого и бокового (оптическая ось повернута на 90°) обзора, которые могут быть заменены на обычные объективы, что позволяет изменять угловое поле, глубину резкости и методы измерения. Другой вариант реализации структурированной подсветки представлен в макетном образце видеоэндоскопической системы для проведения измерений на внутренних поверхностях цилиндров, осуществляющем проекцию периодических картин с синусоидальным профилем интенсивности в угловом поле 360° теневым методом при помощи цилиндрического транспаранта [63]. В данном случае используется один источник излучения, а фазовый сдвиг реализуется за счет вращения цилиндрического транспаранта, на который полосы картины нанесены по спирали подобно резьбе. Основным недостатком систем с теневой проекцией одной линии и с лазерной проекцией точек является возможность измерения 3Э координат только вдоль проецируемой линии или в проецируемых точках. Системы с проекцией периодических картин лишены этого недостатка, но требуют получения нескольких последовательных изображений объекта (три и более) без изменения его положения или положения зонда. Это сильно ограничивает возможности по измерению движущихся и меняющих форму объектов и требует специальных алгоритмов компенсации дрожания зонда. Для проведения 3Э измерений по одному изображению были разработаны макетные образцы видеоэндоскопов с проекцией статичных монохромных картин в виде сеток и шахматных клеток [64-66], а также картин с цветовым кодированием [67-69]. Однако из-за сложности создания миниатюрного проектора с фокусирующей оптикой на дистальном конце зонда, в данных устройствах проектор находится в проксимальной части эндоскопа, а сформированная картина передается через жесткий эндоскоп [64], через оптоволоконный жгут, введенный в инструментальный канал видеоэндоскопа [65], или через отдельно расположенный оптоволоконный жгут [66, 67, 69]. Единственный пример, где зеркально-линзовый объектив с МПИ и проектор с транспарантом находятся на ди-стальном конце зонда, выполненном в виде прозрачной трубки, описан в работе [68], реализующей проекцию цветных полос на внутреннюю поверхность цилиндра в угловом поле 360°. Создание промышленных видеоэндоскопических систем, использующих структурированную подсветку с цветовым кодированием представляется затруднительным из-за чувствительности данного метода к вариациям цвета и текстуры контролируемой поверхности.

Стереоскопический метод позволяет измерить 3Э координаты точки объекта на основе результатов измерения двумерных (2Э) координат ее проекций на двух и более изображениях, полученных с разных ракурсов. Изображения могут быть зарегистрированы одновременно при использовании нескольких ОЭС, или последовательно, при использовании одной перемещающейся ОЭС. В стереоскопических измерительных системах чаще всего используется одновременная регистрация изображений двумя предварительно откалиброванными ОЭС [56, 70-72]. В видео-

Список литературы диссертационного исследования кандидат наук Горевой Алексей Владимирович, 2020 год

\ / -

рабочий диапазон

10 15 20 25 30 35 40

Z, MM

1

0,9 0,8 0,7 0,6 0,5 0,4

ОЭС №1

—___

рабочий диапазон

10 15 20 25 30 35 40

Z, MM

Рисунок 3.3. Зависимость критерия Я от расстояния г до объекта при различных расстояниях до промежуточной плоскости для предложенного метода ректификации и при использовании метода ректификации для проективной ММ («проектив.»).

,мм-ю - 13 -16 20 -30 — 40 ---проектив.

алгоритма поиска соответствующих точек на основе экспериментальных данных, приведенных в конце раздела. Полученные при моделировании результаты дают возможность оценить диапазон расстояний z до объекта, в котором можно использовать преобразование ректификации, вычисленное при каждом положении плоскости. Можно сделать вывод, что для обеих зондовых систем одно преобразование ректификации, вычисленное при zrect = 15... 16 мм, можно использовать в диапазоне z = 12...30 мм.

Результаты экспериментальных исследований. С использованием стенда и ПО, описанного в разделе 2.1.4, для GE Mentor Visual iQ и ОЭС №1 были получены изображения тест-объектов в виде шахматной доски на разных расстояниях без спектральной фильтрации. Условия съемки соответствовали проверочным сериям, которые получены в разделе 2.2 для ОЭС №1 и в разделе П.2.2 Приложения для GE Mentor Visual iQ. Для вычисления преобразований ректификации предложенным методом и методом для проективной ММ были использованы те же параметры ММ Prism и Usual, что и при моделировании. На ректифицированных изображениях методом, в котором используется детектор Харриса [213], были вычислены координаты особых точек pr,i¿,k маркеров тест-объекта (углов клеток) и оценено вертикальное рассогласование Avj,k. Экспериментально полученные значения Av показаны на Рисунке 3.4 цветом кругов, центры которых соответствуют 2D координатам p2 на правой половине исходного изображения. В левой колонке приведены результаты для предложенного метода при zrect, приблизительно равном расстоянию до объекта zobj, в центральной — при zrect существенно больше или меньше zobj, в правой — для метода, использующего проективную ММ. Контурные графики Av как функции от 2D координат p2 на правой половине изображения представляют результаты компьютерного моделирования при тех же значениях zobj. Таким образом, экспериментальные результаты совпадают с результатами моделирования.

Предложенный метод ректификации был апробирован при построении 3D моделей аттестованного металлического объекта. При поиске соответствующих точек на ректифицированных изображениях был использован метод, в котором используется нормированный коэффициент корреляции [56, 71, 129] и аппроксимация параболой для вычисления значений диспаратности с

Рисунок 3.4. Значения вертикального рассогласования Ау на ректифицированных изображениях в зависимости от 2D координат р2 на правой половине исходного изображения. Графики с цветными кругами представляют экспериментальные данные, контурные графики — результаты компьютерного моделирования. В левой колонке приведены результаты для предложенного метода при ггегЛ, приблизительно равном расстоянию до объекта г0ы, в центральной — при существенно больше или меньше г0ы, в правой — для метода, использующего проективную ММ.

субпиксельной точностью [171]. Примеры вычисленных карт диспаратности и 3D моделей для объекта с трапецеидальным профилем показаны на Рисунке 3.5. Расстояние zobj до объекта составляло около 12 мм; изображения получены при использовании видеоэндоскопа GE Mentor Visual iQ. Количество верно сопоставленных точек заметно уменьшается при увеличении расстояния zrect с 12 до 30 мм. Это наиболее сильно проявляется в углах изображения, что согласуется с

результатами компьютерного моделирования (верхний ряд на Рисунке 3.4). Карты диспаратности, полученные с использованием предложенного метода при гтесЛ ~ и метода для проективной ММ, качественно совпадают. После ректификации изображений методом для проективной ММ 3D координаты точек были вычислены при помощи трассировочной ММ. Отметим, что такой подход требует калибровки двух ММ: проективной для ректификации и трассировочной для измерения 3D координат. Использование проективной ММ для получения 3D модели объекта привело бы к значительным искажениям (см. результаты в разделе 2.2).

Чтобы оценить влияние вертикального рассогласования Ау на погрешность определения соответствующих точек методом, использующим нормированный коэффициент корреляции, были проведены дополнительные эксперименты и получены изображения частей аттестованного металлического объекта с различными профилями поверхности. Для каждого объекта вначале была

(в) (г)

Рисунок 3.5. Исходные изображения (а), карты диспаратностей и 3D модели аттестованного металлического объекта, полученные при использовании предложенного метода ректификации с ¿гесл = 12 мм (б) и гтесЛ = 30 мм (г), а также при использовании метода ректификации для проективной ММ (в).

построена 3D модель, используя предложенный метод ректификации и приближенно оцененное расстояние до объекта. Затем расстояние до объекта было измерено по 3D модели и задано в качестве расстояния до плоскости ректификации при повторном построении 3D модели. Полученные ректифицированные изображения и соответствующие им карты диспаратностей были приняты за эталон. Далее были вычислены карты диспаратностей при втором изображении, искусственно сдвинутом на Av пикс.; результаты показаны в верхней части Рисунка 3.6. Было принято, что пиксель изображения является правильно сопоставленным на карте диспаратности при A^ = 0, если его значение диспаратности отличается от значения на карте при A^ = 0 менее чем на 1 пикс. (аналогично критерию, использованному в работах [167, 170]). При сопоставлении были исключены пиксели в однотонных областях (по критерию СКО значений пикселей ректифицированного изображения i (uTj, vT,i), вычисленных в пределах окна вокруг каждого пикселя [171]), пиксели с высокой вероятностью ошибки сопоставления (оценена по разности значений между первым и вторым максимумами коэффициента корреляции) и небольшие участки пикселей со значениями диспаратности, значительно отличающимися от соседних (speckle filtering). Эти пиксели не счита-

Av = 0 Av=l Av = 2 Av = 3

_5 _4 _3 _2 -1 0 1 2 3 4 5 -10 -8 -6 -4 -2 0 2 4 6 8 10

Av, пикс. Av, пикс.

Рисунок 3.6. Экспериментально полученные карты диспаратностей (вверху) и зависимости отношения количества правильно сопоставленных пикселей к общему количеству пикселей (в %) от вертикального рассогласования Ду (внизу).

лись правильно сопоставленными на всех картах диспаратности, включая карту при Av = 0, так что отношение количества правильно сопоставленных пикселей к общему количеству пикселей для Av = 0 не равно 100%. Зависимость этого отношения от вертикального рассогласования Av приведена в нижней части Рисунка 3.6. Доля правильно сопоставленных пикселей превышает 50% при Av < 2 пикс. для видеоэндоскопа GE Mentor Visual iQ и при Av < 4 пикс. для ОЭС №1, что согласуется с пороговыми значениями Avmax, использованными при компьютерном моделировании. В общем случае взаимосвязь между вертикальным рассогласованием Av и долей правильно сопоставленных пикселей зависит от свойств изображения и метода поиска соответствующих точек. Проведённый анализ подтверждает работоспособность предложенного метода ректификации при поиске соответствующих точек с использованием нормированного коэффициента корреляции.

В работе [13] также выполнен анализ влияния поворота призмы вокруг оси z на количество правильно сопоставленных пикселей и показана возможность компенсации неточной установки призменно-линзовой стереосокопической насадки по одному изображению тест-объекта в виде шахматной доски.

3.1.3. Ректификация изображений при работе в узких спектральных интервалах

Поскольку предложенный метод ректификации использует вектор параметров k трассировочной ММ ОЭС, при работе в УСИ результат может зависеть от выбранного метода калибровки и интерполяции спектрально-зависимых параметров. В связи с этим было проведено соответствующее исследование [14].

Результаты компьютерного моделирования. Чтобы проанализировать влияние отклонения спектрально-зависимых параметров на результат ректификации, было проведено компьютерное моделирование по схеме, показанной на Рисунке 3.2. Использовалась трассировочная ММ, параметры которой были получены в результате калибровки ОЭС №1 без спектральной фильтрации. Для нескольких расстояний до объекта zobj (10, 20, 30 и 40 мм) были заданы сетки точек xwJ в плоскости zw = zobj и вычислены 2D координаты p¿j их проекций. Далее был применен предложенный метод ректификации при zrect = zobj, оценено вертикальное рассогласование Avj и вычислено значения критерия R для каждого zobj. Эта процедура была повторена, причем при расчете pi,j варьировались значения следующих спектрально-зависимых параметров трассировочной ММ: отклонение фокусного расстояния общего объектива обозначено A/u и отклонение показателя преломления призмы — An. При ректификации использовался исходный набор параметров без отклонений. Полученные зависимости значения R от A/u и An показаны на Рисунке 3.7. Как было показано на Рисунке 2.30, при изменении длины волны в диапазоне от 450 до 704 нм fu изменяется в диапазоне ±10 пикс. и п — в диапазоне ±0,006. На Рисунке 3.7 видно, что при

1

0,98

0,94 0,9 0,86 0,82

Zob¡

■ 10 мм 20 мм 30 мм

■ 40 мм

-50 -40 -20 0 20

А/и, пике.

Рисунок 3.7. Зависимость критерия R от отклонения Дfu фокусного расстояния общего объектива (слева) и от отклонения Дп показателя преломления призмы (справа) при различных расстояниях zobj до объекта.

таких значениях Дfu и Дп величина R приблизительно равна 1. Следовательно, можно ожидать, что использование параметров трассировочной ММ, полученных при калибровке без спектральной фильтрации, для ректификации изображений в УСИ не приведет к заметному вертикальному рассогласованию и ошибкам сопоставления точек на ректифицированных изображениях. Как и в предыдущем случае, можно проводить аналогичное моделирование с использованием ММ в САПР, заданной конструктивными параметрами оптических элементов, и учитывать влияние неточности геометрооптической ММ на результат ректификации.

Результаты экспериментальных исследований. Для проведения экспериментальных исследований были использованы изображения проверочной серии, полученные в разделе 2.4 для ОЭС №1. При ректификации изображений в каждом УСИ использовался набор параметров трассировочной ММ, вычисленный при калибровке без спектральной фильтрации (обозначен как White), и набор параметров, полученный при калибровке в каждом УСИ по отдельности (Own). Как и в предыдущем разделе, на ректифицированных изображениях были найдены координаты особых точек pr,i,j,k,i маркеров тест-объекта (углов клеток) и оценено вертикальное рассогласование Дvj,k,l. Полученные значения Ду показаны на Рисунке 3.8 для 3 УСИ цветом кругов, центры которых соответствуют 2D координатам p2 на правой половине исходного изображения. Разница между значениями Ду, полученными для наборов параметров White и Own, не превышает 1 пикс.

Тем же методом, что и в предыдущем разделе, были вычислены карты диспаратностей и построены 3D модели для аттестованного металлического объекта (см. Рисунок 3.9). Расстояние до объекта составляло 12,5 мм. Результаты свидетельствуют о том, что использование набора параметров White не приводит к значительному вертикальному рассогласованию при ректификации и не вызывает ошибок при поиске соответствующих точек. Однако, его использование ведет к зна-

White Own Разница

800 800 800 i:

Я й 600 600 600 г

и

о чо 400 400 400 г

200 • ••••• • • • • 200 200 ••••••• b

• ••••• • • • • • .# • •••••••

1000 1400 1800 1000 1400 1800 1000 1400 1800 Av, пике.

• • • • • • • • • • п 2

800 800 • • • • • • • • • • 800 1

2 X S к 600 600 • • • • • • • • • • • • • • • • • • 600 0

(Г) о и 400 400 • • • • • • • • • • 400 -1

in • • • • • • • • • •

200 200 • • • • • • • • • • 200 Г

• ••••• • • • • • • • • •ft • • • L»

1000 1400 1800 1000 1400 1800 1000 1400 1800 Av, пике.

• • • • • • • • • п 2

800 800 • • • • • • • • • 800 L 1

а S в • • • • • • • • •

и 600 600 • • • • • • • 600 ь

о 1> 400 400 • • • • • • • • • • • • • • • • • • 400 •

200 200 • • • • • • • • • 200 г

• • f t •• • • • • • • • • • • • • •

1000 1400 1800 1000 1400 1800 1000 1400 1800 Av, пике.

и, пике. и, пике. и, пике.

Рисунок 3.8. Значения вертикального рассогласования Av на ректифицированных изображениях в зависимости от 2D координат p2 на правой половине исходного изображения в 3 УСИ: 460 нм (сверху), 503 нм (в центре) и 704 нм (снизу). В левой колонке приведены результаты для набора параметров трассировочной ММ, вычисленного при калибровке без спектральной фильтрации (White), в центре — для набора параметров, полученного при калибровке в каждом УСИ по отдельности (Own), в правой колонке — разница между ними.

чительному искажению 3D моделей объектов, что согласуется с выводами раздела 2.4. В нижней части Рисунка 3.9 видно, что 3D модели для разных УСИ имеют различный масштаб и сдвинуты друг относительно друга. При использовании набора параметров, полученного при калибровке в каждом УСИ по отдельности (Own), 3D модели для разных УСИ практически совпадают. Результаты для различных вариантов совместной калибровки в нескольких УСИ и интерполяции спектрально-зависимых параметров (All, C1C6, C2C5, C1C4C6 в соответствии с обозначениями в разделе 2.4) также подтвердили, что влияние метода калибровки и интерполяции в УСИ на результат ректификации незначителен.

3.1.4. Коррекция хроматических аберраций для RGB изображений

Разработанный метод калибровки для работы в УСИ можно применить к R, G и B каналам цветного изображения. В этом случае lM = 3: R-канал соответствует I = 1, G-канал — I = 2 и

Рисунок 3.9. Карты диспаратности и 3D модели для аттестованного металлического объекта, полученные с использованием набора параметров трассировочной ММ, вычисленного при калибровке без спектральной фильтрации (White, слева), и набора параметров, полученного при калибровке в каждом УСИ по отдельности (Own, справа). В верхней части рисунка отдельно показаны результаты для 3 УСИ (460 нм, 503 нм и 704 нм), в нижней части — совмещенные 3D модели, полученные без спектральной фильтрации и в 3 УСИ.

B-канал — I = 3. Полученные в результате совместной калибровки для 3 каналов параметры трассировочной ММ можно использовать для ректификации R, G и B каналов по отдельности и потом заново собрать из них цветное RGB изображение [5]. Для всех каналов используется одно и то же положение плоскости ректификации. Такой метод позволяет значительно уменьшить проявление хроматизма на изображениях, что повышает точность автоматического поиска соответствующих точек на изображениях, а также уменьшает вероятность ошибочной интерпретации при анализе изображений оператором.

Для проведения экспериментальных исследований были использованы цветные изображения проверочной серии, полученные в разделе 2.4 для ОЭС №1 без спектральной фильтрации. Обработка изображений и вычисление координат особых точек маркеров (углов клеток) тест-объекта проводилась независимо для каждого канала. Пример исходного изображения показан на Рисунке 3.10, а; результат ректификации при использовании параметров, полученных при калибровке по Y-каналу (luminance), для всех каналов — на Рисунке 3.10, б; результат ректификации R, G и B каналов по отдельности — на Рисунке 3.10, в. Чтобы получить количественную оценку хроматизма, для каждой точки были вычислены разности 2D координат ApR-G = Pi,j,i — Pi,j,2 (R-G, показаны в левой части Рисунка 3.11) и ApB-G = Pi,j,3 — Pi,j,2 (B-G, показаны в правой части того же рисунка). Значения длин векторов ApR-G и ApB-G показаны на Рисунке 3.11 цветом кругов, центры которых соответствуют 2D координатам pi,j,2; направления векторов показаны стрелками. Среднеквадратические значения |ApR-G| и |ApB-G|, вычисленные по всем точкам, приведены в Таблице 6. Таким образом, предложенный метод ректификации позволяет в 3...4 раза снизить смещение точек в R и B каналах изображения по сравнению с G каналом и значительно уменьшить видимое проявление хроматизма на изображении.

При необходимости возможности предложенного метода коррекции хроматизма можно оценить на этапе проектирования, используя компьютерное моделирование калибровки и измерений

Ж Ш

Рисунок 3.10. Исходное изображение (а). Изображение, ректифицированное с использованием одинаковых параметров для всех каналов (б), и с использованием разных параметров для R, G и B каналов, полученных при совместной калибровке (в).

R-G

w

к 540

1080

Or

B-G

••• •••

I • •----

----

•••••»•»----

----- ••

_____ ••••••

_____ ••••••

_____ ••••••

----- • • ••

----- v - • • •••

N « • ••• • ••

s

a 540

480

960

и, пике.

1440

1920

1080

••• ••• ••• • • • • ••---- • --- • • • ----

W w w • •• • •- -

• • • i • • -----

-

• •4 > • • • a - -

• mi 9mm«ттл

• i •тттттл

---- • •

---- • •

---- • •

---- • •

--- • •

___- • •

•••• • ••

.44 4 ч Ч v >44 4 4 % 4

ч *

480

960

и, пике.

1440

1 2 3 4 5 1АРн-с1,ппкс.

8 10

|Др:

в-

1920

g |, пикс.

(а)

R-G

Ор

• •••••• -»-

«

а 500

1000

Ог

В - G

• •••••• - - -

• ••• •• - -

• •••••• - - -

• ••••••- - -

• •••••• I»-

—••••••••

— -• •• •• — -•••••••

- - -•••••••

-•••••••

«•1•••••••

«

а 500

550

1100 и, пике.

1650

2200

1000

__, No

-.

-.

- •

• • • a i • • -

-.

• • • • • •, , ^ •«• 4

----••••••

---•••••••

---(. •• ••

----••••••

---

••••••

550

7 IaPr-gI> пике-

1100 и, пике.

1650

2200

8

а 500

1000

0 2 4 6 8 10 12 14

IaPb-gI> пике.

R

' ' ' * • • *.....

' • 1 ■ ■ ^ - - - -

В - G

ч • 1 ч - t

Ч ч 4 *

I 1 * *

4т4444444 444444444 ттт 44 44 т44444444 44 >4 ''444 444444444 44044444• 444444444

, / , М t

w

е 500

550

1100

и, пике.

0,5

1650 2200

IaPr-gI, пике.

(«)

1000

/ < / I

44

\ \

\ \

V ч

ч ч

- -

I - -

\ ч

\ ч

ч ч

*ч ч

- -

- -

- -

ч V . . . . ч • / И ✓ ^

mm*

4 a

• • I

• ••---.

у ✓ ✓ / / ✓

ff ч ччч чв/ ,, , ••

чч««« • • mm

Ч Ч ч х ---••

Ч

550

1100 и, пике.

1650

2200

0 0,5 1 1,5 2 2,5

1 |Дрв_с|, пике.

Рисунок 3.11. Разности 2D координат особых точек маркеров на изображениях для RиG каналов Дрк_с показаны в левой части рисунков) и для B и G каналов Дрв_с Ф^, показаны в

правой части). Показаны значения, вычисленные для исходного изображения (а), для изображения, ректифицированного с использованием одинаковых параметров для всех каналов (б), и с использованием разных параметров для R, G и B каналов (в).

в соответствии с Рисунком 2.2 раздела 2.1.3. Выполнив моделирование калибровки для RGB каналов и получив 2D координаты проекций точек pi,j,k,i, I = 1...3 для проверочной серии, можно оценить разницу координат ApR-G и ApB-G для каждой точки xwJ,fc до и после ректификации. Моделирование можно осуществлять как с использованием трассировочной ММ, так и ММ ОЭС в САПР, заданной конструктивными параметрами оптических элементов.

Таблица 6

Среднеквадратические значения длин векторов ApR-G и ApB-G

R-G, пикс. B-G, пикс.

Часть изображения левая правая левая правая

Исходное изображение 2,62 2,34 5,45 5,36

Изображение, ректифицированное стандартным методом 3,06 2,63 6,48 6,15

Изображение, ректифицированное предложенным методом 0,72 0,65 1,44 1,38

3.2. Оценка погрешности координат маркеров на изображении

Характеристика погрешности измерения 2D координат особых точек маркеров тест-объекта на изображениях является частью входных данных, необходимых для компьютерного моделирования геометрической калибровки стереоскопических измерительных систем, оптимизации процедуры и используемого оборудования для калибровки. Эта погрешность зависит как от аберраций ОС, так и от выбранного алгоритма вычисления координат маркеров. В связи с этим ее оценка является промежуточным этапом при переходе от конструктивных параметров ОС, определяющих ее аберрации, к погрешности калибровки, вызванной погрешностью измерения 2D координат маркеров на изображениях. Аналогичную задачу требуется решить при использовании таких маркеров для измерений в фотограмметрии, а также при измерениях по автоматически детектированным границам объектов [72, 211, 216-218]. В данном разделе для тест-объекта в виде шахматной доски рассмотрен алгоритм измерения 2D координат особых точек (углов клеток шахматной доски), предложен и апробирован метод оценки погрешности измерения этих координат на этапе проектирования и в условиях эксплуатации зондовой призменно-линзовой стереоскопической ОЭС. 3.2.1. Описание метода

Алгоритм вычисления координат углов клеток на изображении. Вычисление 2D координат углов клеток на изображении тест-объекта в виде шахматной доски может быть осуществлено методами, в которых используется детектор Харриса [213, 219], методами, использующими свойство симметрии значений пикселей в окрестности угла клетки [231, 232], и методами, основанными на вычислении параметров ММ, описывающей значения интенсивности или ее производных в окрестности угла клетки [233, 234]. В данном разделе для решения данной задачи используется метод подгонки под изображение параметрической модели, в котором функция рассеяния точки (ФРТ, point spread function, PSF) принимается подобной функции Гаусса [234]. Тогда перепад яркости на изображении представляется подобным функции ошибок (erf). Для ускорения вычислений вместо функции ошибок используются экспоненциальные сигмоиды [217, 234] или гиперболиче-

ский тангенс (tanh) [218]. В данной работе принято, что фрагмент полутонового (одноканального) изображения аппроксимирован выражением

Im (q, и, v) = Af (и', f (v', &) + В, f (t, 0) = tanh f-1^) ,

\NV (3.4)

и' = (u — uc) cos aU + (v — vc) sin aU, v' = — (u — uc) sin av + (v — vc) cos av, где uc и vc — 2D координаты угла клетки; А и В — параметры, характеризующие амплитуду полезного сигнала (контраст) и значение фонового сигнала; aU и av — углы наклона линий, разделяющих клетки, относительно горизонтали и вертикали; [За и — параметры, определяющие величину размытия границ клеток (приближенно соответствуют параметру о функции Гаусса, моделирующей ФРТ). Отличием модели, использованной в данной работе, является наличие двух параметров flU, для описания ширины ФРТ вместо одного.Это позволяет учесть асимметрию ФРТ, обусловленную аберрациями призменно-линзовой ОС. Таким образом, вектор параметров q имеет вид

U )

Pv,A,B)2. (3.5)

Для вычисления вектора параметров требуется решить нелинейную задачу минимизации вида

(3.6)

q = arg min q

^ (/ (и,у) - 1и (я,^))

где Ш (Жи, Жу) — область интереса размером Жи на на обрабатываемом изображении I (и, у). В данной работе эта задача решена методом Левенберга-Маркуардта [70]. Для учета дисторсии требуется модифицировать модель, используя локальную аппроксимацию кривой второго порядка

1м (я, и, у) = А! {и' + ТиУ,2,Ри) I (у' + тчи'2,рч) + В, (3.7)

&,А,ВУ . (3.8)

Аналогичный подход используется при измерениях геометрических параметров по автоматически детектированным границам объектов [216, 217]. В этом случае перепад яркости на границах описывается формулами, определенными в модели (3.4), но для одной прямой линии или кривой второго порядка. Все рассмотренные в данном разделе методы также применимы к решению этой задачи.

Оценка погрешности предложенного алгоритма. Запишем значения пикселей изображения I (и, у), входящих в область интереса Ш (Ии, ), в виде матрицы . Тогда вектор = Уве ^ — результат векторизации такой матрицы, полученный размещением ее столбцов один под другим. Соответственно, матрица 1—М и вектор 1—М содержат значения пикселей аппроксимированного изображения 1м (и, у). Примем, что шум на изображении является аддитивным, и будем использовать для его описания матрицу ковариации Ем = Сою [1-— значений пикселей изображения,

сгруппированных в вектор . Воспользовавшись приближением первого порядка [188] для задачи минимизации (3.6), получим следующее выражение для матрицы ковариации Сет [я] вектора параметров я

Сою [я] = )-1, (3.9)

д ¡—м

5я

Если значения шума имеют нулевое математическое ожидание, то математическое ожидание от-

где ^ = — матрица первых производных вектора по вектору параметров я при я = я.

клонения вектора параметров я от «истинного» значения также будет нулевым. Если считать шум некоррелированным и СКО шума равным в каждом пикселе, то выражение (3.9) упрощается до

Сою [я]= ^(ЗДЛ-1. (3.10)

Далее используются только СКО 2Э координат ис и ус угла клетки, вычисленные как квадратные корни из двух первых диагональных элементов матрицы Соь [я] и обозначенные как аи и сгу соответственно. Таким образом, в качестве описания погрешности входных параметров выбраны матрица ковариации или СКО шума пикселей изображения, а выходных параметров — смещение оценки (математическое ожидание) и СКО <ги, сгу 2Э координат углов клеток. Чтобы оценить смещение оценки 2Э координат углов клеток, следует применить алгоритм вычисления координат к изображению, синтезированному при помощи компьютерного моделирования. Общая схема моделирования для оценки погрешности при проектировании. Структурная схема математического моделирования, проводимого для оценки погрешности измерения 2Э координат углов клеток тест-объекта в виде шахматной доски при проектировании, показана на Рисунке 3.12. С функциональной точки зрения ММ ОЭС регистрации изображений можно разделить на три части, используемые для геометрического, аберрационного и светоэнергетического расчетов. ММ для геометрического расчета позволяет вычислить 2Э координаты точек р^ (углов клеток) на изображениях (частях изображения) по их 3Э координатам х^ в ГСК. Для определения положения линий, разделяющих клетки, используется сплайн-интерполяция по найденным 2Э координатам точек р^. Полученные данные могут использоваться для задания геометрических параметров эталонного изображения при моделировании. При этом 2Э координаты ис, ьс центра маркера совпадают с координатами р^; углы аи и ау вычисляются по направлению касательных к линиям, разделяющим клетки, в точке р^; размеры Ыа, Ыу зоны интереса определяются пропорционально расстоянию между соседними углами клеток. В другом варианте моделирования вычисленное положение линий, разделяющих клетки, используется для синтеза эталонного изображения. ММ ОЭС для аберрационного расчета служит для вычисления ФРТ или оценки параметров 0и, ее модельного описания для каждой точки х. ММ ОЭС для светоэнергети-ческого расчета должна позволять рассчитать величину амплитуды сигнала А и уровня фона В, а

ММ системы регистрации изображений

характеристики подсветки

ММ д ля геометрического расчета

ММ для аберрационного расчета

ММ для светоэнергетического расчета

центр \ [ аи, \

геометрические маркера 1 наклон [ размер 1

параметры , (угол / \ линий / 1 зоны 1

эталонного \клеток)/ \ / \интереса/

изображения

Алгоритм вычисления координат маркеров тест-обьекта на изображении

«^^погрешность 20 координат маркеров^^>

Г

Рисунок 3.12. Структурная схема моделирования для оценки погрешности измерения 2D координат углов клеток тест-объекта в виде шахматной доски на изображении.

также СКО шума на изображении по известной методике; величина А/аN соответствует ОСШ. В этом случае исходными данными помимо 3D координат х^ точек являются спектральная характеристика освещенности Еь,\ (Л) в плоскости тест-объекта от всех источников и спектральные характеристики отражения рц,\ (А), pt2,л (А) или пропускания тц,\ (А), п2,\ (А) черного и белого материалов тест-объекта соответственно.

Упрощенное моделирование на системотехническом уровне. При проектировании на системотехническом уровне в качестве ММ ОЭС для геометрического расчета используется проективная или трассировочная ММ. Для светоэнергетического расчета должны быть заданы относительное отверстие В' и характеристика светопропускания т^д (р^, А) ОС, а также ММ МПИ, определенная в соответствии с рекомендациями EMVA 1288 [235]. Светоэнергетический расчет проводится по известной методике [117, 179, 235]. ММ ОЭС для аберрационного расчета фактически не используется, задаются параметры , модельного описания ФРТ. С использованием этого математического аппарата для каждой точки Xw,j рассчитывается вектор я номинальных значений параметров, которые должны быть получены на выходе алгоритма вычисления координат маркеров на изображении, и СКО шума на изображении. Принято, что в отсутствие шума результат на выходе алгоритма соответствует номинальным значениям Я. Далее вычисляются значения производных в точке я ив соответствии с выражением (3.10) — матрица ковариации Соь [я]. При проектировании призменно-линзовой стереоскопической системы эти вычисления проводятся для обеих половин изображения (г = 1, 2). Если ОС является симметричной относительно оптической

оси (для призменно-линзовых стереоскопических ОЭС №1 и №2 это соответствует номинальному расположению элементов без учета допусков), то достаточно выполнить расчет для одной половины изображения. Аналогично проводятся вычисления для других типов стереоскопических ОС. Моделирование на схемотехническом уровне. При проектировании на схемотехническом уровне для всех расчетов используется ММ ОЭС в САПР, заданная конструктивными параметрами оптических элементов. Для светоэнергетического расчета эта ММ дополнена ММ МПИ в соответствии с EMVA 1288. С использованием модели ОС в САПР вычисляются не только 2D координаты точек pi,j на изображении, но и ФРТ PSFij (щ, Vi) для каждой точки xwJ. Производится синтез эталонного фрагмента изображения и свертка его с ФРТ для получения фрагмента изображения Ii,j (Ui, Vi) по схеме, показанной на Рисунке 3.13, а. При этом принято допущение, что в пределах области интереса W (Nu, Nv) ФРТ не изменяется. Синтезированное изображение /¿j (щ, Vi) подается на вход алгоритма вычисления координат углов клеток, вычисляются 2D координаты p¿j угла клетки и оценка их погрешности Err [p¿j ], как описано выше.

с ММ системы регистрации изображений -

___ Xyf

= -------- fc^rf; и ш P2,j

PSFhJ (иг,

с Синтез изображения )

хв

4 j(ui,vi)

<TN

ш

Вычисление координат маркеров

bjiWi)

(<ii,j>ui>vi)

Оценка уровня шума на изображении

с > Вычисление с > Оценка погрешности Pi 7

маркеров } координат маркеров

■"N

Оценка погрешности координат маркеров

Err [Pj j^

г,]

^Err[p J

(б)

(а)

Рисунок 3.13. Оценка погрешности координат маркеров на изображении: при проектировании (компьютерное моделирование) (а), при эксплуатации (б).

Оценка погрешности при эксплуатации. На этапе эксплуатации (см. Рисунок 3.13, б) для обрабатываемых изображений дополнительно требуется оценить СКО шума о^. Дальнейшая оценка погрешности 3D измерений производится аналогично разделам 1.3 и 2.1.3. Это позволяет повысить надежность калибровки системы и аттестации ее метрологических параметров. Кроме этого, появляется возможность оценки погрешности каждого проводимого измерения и выдачи соответствующей информации оператору.

Оценка уровня шума на изображении. Для оценки шума на зарегистрированном изображении используются остаточные ошибки [I (и, v) — IM (q ,и, г>)]. Предполагается, что ошибки, вызванные несовпадением реальной ФРТ и ее модели, не имеют значительной высокочастотной составляющей. Поэтому можно применить метод, основанный на свертке с фильтром размера 3 х 3 [236], и вычислить дисперсию шума по формуле

4 = 36Nn £ [('(иv) — 1м (q ,и,v)) ®F (и, ^)]2, (3.11)

u v (u,v)ew(Nu,Nv)

где F (и, v) = ((1, —2,lf, (—2, 4, —2)т, (1, —2, lf).

3.2.2. Результаты компьютерного моделирования

Целью моделирования является проверка эффективности предложенного метода оценки погрешности определения координат углов клеток на изображении в различных условиях. Вначале метод был апробирован на синтезированных фрагментах изображения, для которых ФРТ задана в виде функции Гаусса, то есть когда условия моделирования совпадают с допущениями метода. Затем было выполнено моделирование для фрагментов изображений, синтезированных при использовании САПР для зондовой призменно-линзовой ОЭС №1. Общий алгоритм проведенных Монте-Карло моделирований изложен ниже.

1. Синтезировать фрагмент изображения I (и, v).

2. Повторить NMC раз:

• Получить «зашумленное» изображение I (и, v): добавить к значению каждого пикселя случайную величину с нулевым средним и СКО aNvar (I), зависящим от значения сигнала.

• Применить предложенный метод к I (и, v): вычислить значение координат угла Uc, vc, оценку СКО шума <7N на изображении и оценку СКО координат <ru, <rv по найденной оценке СКО шума.

3. Для Nmc вычисленных значений Uc, vc найти средние значения координат MMC [Uc], Mmc [7c] и СКО StdMC [Uc], StdMC [ис], а также доверительные интервалы для средних значений и СКО (см. формулу (1.40)).

4. Для NMC вычисленных значений <ru, <rv найти средние значения MMC [7u], MMC [7v] и 95%-е интервалы Intмс,95% [<7u], Intмс,95% [7v].

5. Применить предложенный метод к изображению I (и, v), вычислить значение координат угла Uc, vc, а также вычислить СКО координат äu, av используя для этого известное СКО шума aNvar (I) или усредненное СКО aN (см. формулы (3.12) и (3.13) далее).

Модель шума на изображении. Пусть дисперсия аддитивного шума имеет две составляющие, одна из которых зависит от значения сигнала, и в каждом пикселе определяется выражением

^ (Л = + 1/0, (3.12)

где аш — СКО независимой составляющей шума, I — средняя величина сигнала в данном пикселе, 0 — параметр, зависящий от усиления видеокамеры [235]. Тогда, усредняя по области интереса Ш (Жи,Жу), получим

^ч = (^ш + 1/0) ф = + (1)цг/0, (3Л3)

Из данного выражения при заданном и аш и известном среднем значении сигнала (1)№ по фрагменту изображения можно найти требуемое значение параметра 0 и далее, используя формулу (3.12), вычислить о"Чтаг (I) в каждом пикселе.

Моделирование при заданных параметрах эталонного изображения. При проведении моделирования методом Монте-Карло синтезированные изображения вычислялись путем свертки эталонного изображения с заданными параметрами , Мч, ис, ус, аа, йу, А, В и функции Гаусса с параметрами [За и Исходными значениями параметров были: размер = = 32 пикс., [За = = 2 пикс., поворот линий аа = ач = 0,1 рад, амплитуда сигнала А = 100, СКО шума = 10, СКО независимой составляющей шума = 0,5. Количество измерений Ымс при Монте-Карло анализе было равно 10000. Таким образом, при СКО по выборке, равном 0,1, доверительные интервалы для математического ожидания и дисперсии, вычисленные по формуле (1.40) для 95%, составят ±0,002 и ±0,0003 соответственно. Далее эти интервалы не показаны на графиках для Ммс [ис], Ммс ['йс] и вЬ¿мс [ис], [£с], поскольку в принятом масштабе не превышают

размеров маркеров на этих графиках.

Результаты анализа зависимости смещения (ис — ис), (г»с — ьс) и СКО [ис], [г*с] измеренных 2D координат углов клеток от параметров эталонного изображения приведены на Рисунке 3.14. На Рисунках 3.14, в, г, д, ж, з приведены значения смещения и СКО только по и-координате, так как для -координаты получены такие же значения ввиду симметрии. Результаты оценки при известном СКО шума (ис — ис, г)с — ьс, аи, ) представлены для случая, когда при оценке использовалось одинаковое СКО для всех пикселей. Было установлено, что, если при оценке использовать СКО аЧтаг (/), имеющее различные значения для каждого пикселя, то результаты отличаются менее, чем на 0,001 пикс. При заданных условиях моделирования вычисленные 2D координаты углов клеток ис, ьс имеют распределение, близкое к нормальному закону. Поэтому для описания этого распределения далее использовано смещение и СКО. Вычисленные предложенным методом оценки СКО <ти, также имеют распределение, близкое к нормальному закону (см. Рисунок 3.14, б). Использование приближения первого порядка приемлемо, так как расхождение между

оценкой СКО координат <ги, ач предложенным методом для номинальных параметров и результатами Монте-Карло моделирования StdмG [ис], StdмG [)с] невелико. Из полученных результатов для 95%-х интервалов /п£мс,д5% [<3"и], /^¿мс,95% [¿М можно сделать вывод, что оценка СКО координат предложенным методом по найденной оценке СКО шума является достаточно устойчивой. Зависимости Std [г)с], Std [)с] от близки к линейным (см. Рисунок 3.14, в). Изменение исходных координат ис, ьс углов клеток практически не влияет на погрешность их измерения (в соответствии с Рисунком 3.14, г), поэтому далее принято, что погрешность не зависит от такого сдвига. Изменение углов аи, наклона линий в диапазоне, используемом на практике, мало влияет на

о М.

МС 1ис

пММс[Ъс\-йс х^МС^с]

■ ис — ис---аи

■ Уг ~ -----К

\ 95% ди . \ 95%

(а)

О 0,2 0,4 0,6 0,8 1 йс, пике.

(г)

0,15

0,1%

I

« 0,05

Я

Офоооооооооооф -0,02

12 20 28 36 44 52 60 Л^Л^, пике.

(ж)

-0,2 -ОД О 0,1 0,2 йс— ис, пике.

0,04 0,045 0,05 0,055 0,06 0,065

<7.., ПИКС.

(б)

0,1 0,08 0,06 0,04 0,02 0

-0,02

Ы

• Л Ж

*• г •

к

Э-ОООООоООо

0 12 3 4 /?ЦА, пике.

(д)

0,07 0,06

5 0,04

0,02

0Ф--0,01

га

од

0,3 0,5

рад

(3)

0,7

0,12 0,08

к

с 0,04

0

-0,02

ОСШ 20 10 6,7

Ы

***

•

1• '

ооооооооооооооооооо

0

10