Когерентные оптико-цифровые корреляторы изображений с нейросетевой обработкой выходных сигналов тема диссертации и автореферата по ВАК РФ 01.04.21, кандидат наук Гончаров Дмитрий Сергеевич

• Гончаров Дмитрий Сергеевич
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Гончаров Дмитрий Сергеевич

Введение

1 Оптико-цифровые дифракционные корреляторы

1.1 Метод инвариантной корреляции

1.1.1 ИФ с максимальной средней высотой корреляционного пика и оптимально-компромиссным соотношением

1.1.2 ИФ с минимумом шума и энергии корреляции

1.1.3 Метрики оценки качества корреляционного распознавания изображений

1.2 Современные возможности реализации когерентных оптико-цифровых корреляторов

1.2.1 Коррелятор с фильтрацией в плоскости пространственных частот

1.2.2 Коррелятор совместного преобразования

1.2.3 Жидкокристаллические ПВМС

1.2.4 Микрозеркальные ПВМС

1.3 Реализация КСГФ в оптической системе

1.3.1 Синтез голограмм Фурье

1.3.2 Синтез голографических фильтров

1.4 Описание исследуемой системы оптического распознавания изображений

2 Искусственные нейронные сети

2.1 Математическая модель нейрона

2.2 Основные слои искусственных нейронных сетей

2.2.1 Свёрточный слой

2.2.2 Полносвязный слой

2.2.3 Нормализация

2.2.4 Пулинг

2.2.5 Другие слои

2.3 Функции активации

2.4 Обучение свёрточных нейронных сетей для классификации изображений

2.4.1 Прямое унитарное кодирование

2.4.2 Функции потерь

2.4.3 Обратное распространение ошибки

2.4.4 Регуляризация

2.4.5 Аугментация изображений

2.4.6 Перенос обучения

2.5 Метрики оценки качества нейронных сетей

2.6 Классические архитектуры нейронных сетей

3 Реализация свёрточной нейронной сети для классификации корреляционных сигналов

3.1 Подготовка данных для обучения

3.2 Выбор архитектуры СНС

3.3 Обучение свёрточных нейронных сетей

3.4 Тестирование обученной СНС

4 Математическое и экспериментальное моделирование различных конфигураций оптического 4-£ коррелятора

4.1 Измерение характеристик дополнительной фазовой модуляции амплитудного ЖК ПВМС

4.1.1 Описание экспериментальной установки

4.1.2 Выполнение эксперимента

4.1.3 Анализ результатов эксперимента

4.2 Реализация голографических фильтров

4.3 «Идеальная» конфигурация

4.4 Моделирование работы амплитудного ЖК ПВМС

4.5 Моделирование работы фазового ЖК ПВМС

4.6 Моделирование работы конфигураций оптического коррелятора, основанных на амплитудных и фазовых ЖК ПВМС

5 Нейросетевая обработка сигналов когерентных оптико-цифровых корреляторов, использующих бинарные средства модуляции

5.1 Нейросетевая обработка сигналов когерентного оптико-цифрового коррелятора с фильтрацией в плоскости пространственных частот

5.2 Нейросетевая обработка сигналов когерентного оптико-цифрового коррелятора совместного преобразования

Заключение

Список использованных источников

Обозначения и сокращения

ИФ— Инвариантный фильтр;

OT MACH — Optimal tradeoff maximum average correlation height (ИФ с максимальной средней высотой корреляционного пика и оптимальным соотношением);

MINACE — Minimum noise and correlation energy (ИФ с минимумом шума и энергии корреляции);

СНС — Свёрточная нейронная сеть;

PSR — Peak to sidelobe ratio (отношение пик/склон);

PCE — Peak to correlation energy (отношение пик/энергия корреляции);

GMACE — Gaussian minimum average correlation energy (гауссов ИФ с минимальной средней энергии корреляции);

ПВМС — Пространственно-временной модулятор света;

^КК — Жидкокристаллический;

МЗ — Микрозеркальный;

DMD — Digital Micromirror Device (цифровое микрозеркальное устройство);

КСГФ— Компьютерно-синтезированная голограмма Фурье;

ГФ— Голографический фильтр;

ReLU — Rectified linear unit (линейный выпрямитель, функция активации);

LPCC — Linear phase coefficient composite filter (составной ИФ с линейным фазовым коэффициентом).

Введение диссертации (часть автореферата) на тему «Когерентные оптико-цифровые корреляторы изображений с нейросетевой обработкой выходных сигналов»

Введение

Различные технологии распознавания изображений начали активно развиваться в середине 20-ого века. На сегодняшний день существует два основных подхода к распознаванию изображений: использование оптических систем и компьютерных алгоритмов. Большой интерес для реализации оптических систем распознавания изображений представляет метод инвариантной корреляции [1]. Среди компьютерных алгоритмов наибольшую эффективность показывают искусственные нейронные сети.

Метод инвариантной корреляции изображений, основанный на пространственной фильтрации сигналов, в силу своей простоты может быть полностью реализован в оптической системе [1]. Использование инвариантных фильтров (ИФ) при распознавании изображений, например, OT MACH [1-4] или MINACE [1,2,5,6], обеспечивает инвариантность к пространственному повороту объектов интереса, уровню освещённости, шумам и другим искажениям. Применение современных средств высокоскоростной модуляции оптических сигналов и высокоскоростных фотокамер даёт возможность распознавать изображения со скоростью до 30 тысяч кадров в секунду при размере кадра до 1920 х 1080 пикселей [7,8]. Метод инвариантной корреляции успешно используется для ряда задач [1,7,9-11].

По мере развития искусственных нейронных сетей произошёл переход от персептронов с несколькими нейронами [12] до свёрточных нейронных сетей (СНС), содержащих десятки миллионов обучаемых параметров [13,14]. На сегодняшний день с помощью СНС решаются различные задачи компьютерного зрения. Такие архитектуры СНС, как ResNet [13,14], Inception [15], EfficientNet [16], используются для классификации изображений; СНС SSD [17], RetinaNet [18] и YOLO [19-23] применяются для детекции объектов интереса на изображениях; сегментация изображений осуществляется с помощью СНС UNet [24] и Mask R-CNN [25]. СНС обеспечивают высокое качество распознавания изображений, превосходящее человеческие возможности [13,26], а гибкость СНС позволяет эффективно использовать их для совершенно различных задач обработки изображений, например, для анализа медицинских снимков [27,28].

Современной тенденцией развития методов распознавания изображений является комбинация оптических систем и СНС. В 2016 году представлен способ оптического вычисления первого слоя СНС для снижения вычислительных и энергетических затрат при обработке изображений [29]. В 2019 году представлена концепция оптической предобработки СНС, которая заключается в модификации исходной архитектуры СНС для анализа признаков, извлечённых из изображений оптическим путём [30].

В соответствии с вышесказанным, целью диссертации является разработка и экспериментальная апробация методов создания систем распознавания образов, сочетающих высокий параллелизм когерентных оптических систем обработки информации с точностью и гибкостью свёрточных нейронных сетей.

Для достижения указанной цели были поставлены следующие задачи:

1. Проведение исследования особенностей реализации метода инвариантной корреляции изображений в когерентных оптико-цифровых системах. Разработка концепции схемы когерентного оптико-цифрового коррелятора с ней-росетевой обработкой корреляционных сигналов.

2. Исследование особенностей модуляции лазерного излучения, осуществляемой современными пространственно-временными модуляторами света. Экспериментальное исследование особенностей модуляции света, осуществляемой амплитудным жидкокристаллическим пространственно-временным модулятором света. Проведение экспериментов по реализации голографических фильтров.

3. Изучение особенностей функционирования свёрточных нейронных сетей. Выбор и реализация подходящей архитектуры свёрточной нейронной сети для обработки (классификации) корреляционных сигналов. Выполнение компьютерных экспериментов по нейросетевой обработке корреляционных сигналов и анализ результатов.

4. Численное моделирование функционирования когерентных оптико-цифровых корреляторов с обработкой выходных сигналов выбранной свёрточной нейронной сетью. Моделирование функционирования различных конфигураций когерентного оптико-цифрового коррелятора с учётом исследо-

ванных особенностей модуляции лазерного излучения. Выбор предпочтительной конфигурации когерентного оптико-цифрового коррелятора.

5. Экспериментальная апробация разработанных методов обработки корреляционных сигналов, полученных с помощью реальных когерентных оптико-цифровых корреляторов изображений.

Научная новизна диссертации состоит в следующем:

1. Впервые предложено использование свёрточной нейронной сети для классификации корреляционных сигналов на основе анализа формы центральной части корреляционного сигнала с применением инвариантных фильтров. Отмечено, что свёрточная нейронная сеть, обученная для классификации корреляционных сигналов, полученных для одного типа объектов, может быть успешно применена для классификации корреляционных сигналов, полученных для объектов других типов.

2. Впервые предложен и успешно продемонстрирован метод оптимизации синтеза инвариантных фильтров, позволяющий повысить качество корреляционного распознавания в когерентных оптических системах с учётом особенностей различных средств пространственной модуляции света.

3. Исследовано функционирование различных конфигураций когерентных оптико-цифровых корреляторов с фильтрацией в плоскости пространственных частот с учётом особенностей модуляции света, осуществляемой жидкокристаллическими пространственно-временными модуляторами света. Численным моделированием показано, что коррелятор, использующий амплитудный модулятор для ввода распознаваемых изображений и фазовый модулятор для ввода голографических фильтров, обеспечивает наилучшие характеристики распознавания.

4. Реализована система распознавания изображений, основанная на когерентном оптико-цифровом корреляторе совместного преобразования и свёр-точной нейронной сети, используемой для классификации оптических корреляционных сигналов.

5. Выполнена успешная классификация выходных оптических сигналов когерентных корреляторов изображений с использованием свёрточной ней-

ронной сети, обученной на численно-синтезированных корреляционных сигналах.

Практическое значение диссертации заключается в том, что она служит теоретической и экспериментальной базой для создания современной высокоскоростной системы распознавания изображений. Предложенные методы оптимизации инвариантных фильтров и нейросетевой обработки корреляционных сигналов позволят значительно увеличить точность работы системы по сравнению с аналогичными системами распознавания изображений.

Основные научные положения, выносимые на защиту:

1. Численным моделированием показано, что предложенная архитектура системы распознавания изображений, основанная на когерентном оптико-цифровом корреляторе и свёрточной нейронной сети, обеспечивает улучшение качества распознавания изображений не менее, чем на 10%.

2. Точность классификации по Р-мере корреляционных сигналов, с использованием известных и модифицированных архитектур свёрточных нейронных сетей и предложенных методов аугментации изображений, составляет от 85% до 93%.

3. Предложенный метод оптимизации инвариантных фильтров, учитывающий особенности модуляции амплитудных и фазовых жидкокристаллических пространственно-временных модуляторов света, используемых для ввода распознаваемых изображений, обеспечивает повышение точности инвариантного корреляционного распознавания изображений не менее, чем на 10%.

4. Численным моделированием показано, что при использовании инвариантных фильтров свёрточная нейронная сеть, обученная для классификации корреляционных сигналов, полученных для одного типа объектов, может быть успешно применена для классификации корреляционных сигналов, полученных для объектов других типов.

5. Экспериментальная демонстрация успешной классификации оптических сигналов когерентных корреляторов изображений свёрточной нейронной сетью, обученной на корреляционных сигналах, синтезированных численно.

Апробация работы. Результаты диссертации докладывались на следующих конференциях:

1. VI международная конференция по фотонике и информационной оптике (Москва, НИЯУ МИФИ, 2017);

2. X международная конференция молодых учёных и специалистов «Оп-тика-2017» (Санкт-Петербург, НИУ ИТМО, 2017);

3. VII международная конференция по фотонике и информационной оптике (Москва, НИЯУ МИФИ, 2018);

4. международная конференция «Practical Holography XXXII: Displays, Materials, and Applications» (США, Сан-Франциско, 2018);

5. XV международная конференция по голографии и прикладным оптическим технологиям «Holoexpo 2018» (Нижний Новгород, 2018);

6. X международная конференция «Фундаментальные проблемы оптики — 2018» (Санкт-Петербург, НИУ ИТМО, 2018);

7. XVI всероссийский молодежный Самарский конкурс-конференция научных работ по оптике и лазерной физике (Самара, 2018), где занял третье место;

8. VIII международная конференция по фотонике и информационной оптике (Москва, НИЯУ МИФИ, 2019);

9. XVI международная конференция по голографии и прикладным оптическим технологиям «Holoexpo 2019» (Санкт-Петербург, 2019);

10. IX международная конференция по фотонике и информационной оптике (Москва, НИЯУ МИФИ, 2020).

Публикации по теме диссертации. По теме диссертации опубликовано 24 печатных работы, среди них: 6 работ в рецензируемых изданиях, включённых в перечень ВАК РФ и/или индексируемых в базах данных Scopus и WoS, 17 работ в трудах международных конференций, индексируемых в базе данных РИНЦ и 1 работа в трудах всероссийских конференций, индексируемых в базе данных РИНЦ.

1 Оптико-цифровые дифракционные корреляторы

1.1 Метод инвариантной корреляции

Метод инвариантной корреляции изображений позволяет выполнять классификацию изображений, а также определять местоположение объекта интереса на сцене [1].

Метод инвариантной корреляции заключается в получении отклика некоторого эталонного сигнала на распознаваемый сигнал и дальнейшем анализе полученного отклика (корреляционного сигнала). Двумерный корреляционный сигнал между распознаваемым сигналом /(х,у) и эталонным сигналом к(х,у) рассчитывается по формуле 1.1:

+оо

/(х,у) к к(х,у) = JJ /)к(х + €,у + ц)(Щ(1<ч. (1.1)

—о

Используя теорему о свёртке, формулу 1.1 можно представить в виде формулы 1.2:

/кк ^Т—1[Т*(/)Т(к)], (1.2)

где оператор Т представляет собой оператор двумерного преобразования Фурье и оператор Т—1 представляет собой оператор обратного двумерного преобразования Фурье.

Несмотря на то, что автокорреляция изображений даёт более высокий корреляционный пик, чем кросс-корреляция различных объектов, использование автокорреляции для распознавания изображений не представляется возможным. Стоит только внести даже небольшие искажения в распознаваемое изображение, например, поворот объекта, шум или изменённое освещение, форма корреляционного пика искажается, а его высота становится заметно меньше. На рисунке 1.1 представлены оригинальное и повёрнутое на 30 градусов изображения тестового объекта, а также изображения автокорреляции и кросс-корреляции изображений тестового объекта. Легко заметить, что при кросс-корреляции высота корреляционного сигнала снижается, а его форма значительно меняется по сравнению с автокорреляцией изображений.

Одним из способов обеспечить инвариантность эталона к искажениям является использование инвариантных фильтров. Идея ИФ заключается в

Рис. 1.1 — (а) — оригинальное изображение тестового объекта, (б) — изображение тестового объекта, повёрнутое на 30 градусов, (в) — автокорреляция изображения (а), (г) — кросс-корреляция изображений (а)

и (б).

следующем: создать такой эталонный объект, корреляция распознаваемого изображения с которым будет давать сигнал с максимальным отношением сигнал/шум. Такой объект является искусственным, то есть он не является изображением реального объекта, зато позволяет получить корреляционные сигналы с большой высотой при корреляции с изображениями объектов истинного класса (на базе которых был синтезирован эталон) и сигналы с низкой высотой при корреляции с изображениями объектов ложного класса.

На сегодняшний день реализовано множество различных ИФ со всевозможными характеристиками. ИФ могут быть амплитудными, фазовыми, или амплитудно-фазовыми объектами. Чаще всего ИФ являются амплитудно-фазовыми, такие объекты можно представить в виде комплексных матриц. При синтезе ИФ может оптимизироваться не только отношение сигнал/шум,

но и другие параметры, например, энергия корреляционного сигнала [31-33], средняя высота корреляционного сигнала для изображений истинного объекта [3,34,35], форма корреляционного сигнала [36]. Также при синтезе ИФ могут использоваться изображения объектов ложного класса для того, чтобы снизить вероятность ложноположительных срабатываний. Кроме того, существуют ИФ, базирующиеся на других методах оптимизации, например, методе опорных векторов [37].

В данной работе используются два различных ИФ: ИФ с максимальной средней высотой корреляционного пика и оптимально-компромиссным соотношением OT MACH (optimal tradeoff maximum average correlation height [1-4]) и ИФ с минимумом шума и энергии корреляции MINACE (minimum noise and correlation energy [1,2,5,6]). Выбранные ИФ представляют собой ИФ двух различных классов, которые были подробно исследованы в множестве различных работ.

1.1.1 ИФ с максимальной средней высотой корреляционного пика и оптимально-компромиссным соотношением

ИФ с максимальной средней высотой корреляционного пика и оптимально-компромиссным соотношением OT MACH синтезируется по формуле 1.3 [1-4]:

H = ÖST^SD - (L3)

где матрица H представляет собой ИФ OT MACH, обеспечивающий фильтрацию в области пространственных частот. Для синтеза ИФ используется тренировочный набор из N изображений объектов истинного класса, где объекты могут быть представлены под различным углом поворота и в условиях различной освещенности. Для каждого тренировочного изображения вычисляется его фурье-образ. Затем вычисляются матрица M — среднее арифметическое всех фурье-образов тренировочных изображений и матрица D — средняя спектральная плотность мощности всех тренировочных изображений. Матрица S вычисляется по формуле 1.4:

N

S = - M)2, (1.4)

i=i

где Xi представляет собой матрицу, содержащую фурье-образ г-ого тренировочного изображения. Коэффициенты а и ß обеспечивают оптимально-компромиссное соотношение между матрицами S и D, в данной работе а = ß = 1.

Сравним кросс-корреляцию изображений тестового объекта, представленного на рисунке 1.1, и кросс-корреляцию этих изображений с ИФ OT MACH, синтезированным из этих же изображений. На рисунке 1.2 представлен результат кросс-корреляции. Как можно видеть, использование ИФ позволяет получить инвариантность к повороту объекта на изображении, а также значительно сузить корреляционный сигнал.

0.40 0.35 0.30 0,25 о.го 0 15 0.10 0.05

(а) (б)

Рис. 1.2 — Кросс-корреляция изображения и ИФ: (а) — двумерное изображение корреляционного сигнала, (б) — трёхмерный вид

корреляционного сигнала.

1.1.2 ИФ с минимумом шума и энергии корреляции

ИФ с минимумом шума и энергии корреляции МШАСЕ синтезируется по формуле 1.5 [1,2,5,6]:

H = T"1X(X+T"1X)"1c, 14

(1.5)

где матрица Н представляет собой ИФ МШАСЕ, обеспечивающий фильтрацию в области пространственных частот. Матрица X содержит все N фурье-образов тренировочных изображений, представленных в виде столбцов. Матрица Т (формула 1.6) является диагональной матрицей, каждый диагональный элемент которой соответствует максимальному значению спектральной плотности мощности среди эталонных изображений, определяющейся по формуле = XIX*, и спектральной плотности мощности шума С, взятой с коэффициентом V. Вектор с — единичный вектор, длина которого равна N (количество тренировочных изображений). Оператор + обозначает эрмитово сопряжение матрицы.

Т(к,к) = шах[В1(к,к);В2(к,к),...,В^(к,к), иС(к,к)]. (1.6)

На рисунке 1.3 представлен пример тренировочного набора изображений танка Т72, повёрнутых на различный угол относительно оси, проходящей через центр танка. Изображения имеют разрешение 256 х 256 пикселей. На рисунке 1.4 представлены изображения ИФ МШАСЕ, синтезированного из этого тренировочного набора. Слева представлено изображение распределения интенсивности синтезированного ИФ в области пространственных частот. Справа представлено изображение распределения интенсивности ИФ в предметной области.

Рис. 1.3 — Пример тренировочного набора изображений танка Т72.

Инвариантные фильтры OT MACH и MINACE являются амплитудно-фазовыми объектами, выполняющими фильтрацию в области пространственных частот [1]. Такие объекты представляются в виде двумерной комплексной матрицы, размеры которой совпадают с размерами тренировочных изображений.

(а) (б)

Рис. 1.4 — Пример ИФ MINACE: (а) — распределение интенсивности MINACE в области пространственных частот, (б) — распределение интенсивности MINACE в предметной области.

1.1.3 Метрики оценки качества корреляционного распознавания изображений

Поскольку корреляционный сигнал является двумерной матрицей, его необходимо подвергнуть дальнейшему анализу, чтобы корректно классифицировать распознаваемое изображение. Б.В.К.В. Кумар в своей монографии [1] описал несколько наиболее часто используемых метрик.

Высота корреляционного сигнала

Под высотой корреляционного сигнала понимается амплитуда максимума корреляционного сигнала. Эта метрика является наиболее простой и может быть рассчитана по следующей формуле:

peak = max(C), (1.7)

где C — матрица корреляционного сигнала. Из-за простоты расчёта этой метрики, для неё характерны несколько существенных минусов. Во-первых, эта метрика не использует информацию о форме корреляционного сигнала, а именно форма сигнала является наиболее информативной. Во-вторых, высо-

та корреляционного пика — величина абсолютная, поэтому достаточно сложно сравнивать корреляционные сигналы, полученные с использованием разных ИФ. В данном случае есть простой выход: можно использовать нормировку. Для этого рассчитываются метрики для всех тренировочных изображений, из них выбирается максимальная метрика, значение которой используется в качестве нормировочного коэффициента. Такой подход используется также и для других метрик. Таким образом, нормированная высота корреляционного сигнала вычисляется следующим образом:

max(C) .л оЧ

peak =-—, (1.8)

norm

где norm — нормировочный коэффициент.

Отношение пик/склон

Отношение пик/склон (англ. PSR — peak to sidelobe ratio), в отличие от высоты корреляционного сигнала, характеризует его остроту. Чем острее и выше сигнал, чем он ближе к дельта-функции, тем больше распознаваемое изображение похоже на изображения из тренировочного набора. Эта метрика рассчитывается по следующей формуле:

PSR = -L- • max(C) - теап, (1.9)

norm std

где темп и std — среднее и стандартное отклонения корреляционного сигнала в некотором окне вокруг максимума, norm — нормировочный коэффициент. Для улучшения данной метрики при расчете среднего и стандартного отклонений может использоваться окно, исключающее область, непосредственно прилегающую к максимуму.

Опыт использования этой метрики говорит о том, что она неэффективна, поскольку в реальных задачах величина этой метрики может быть примерно одинакова как для изображений истинного класса, так и для изображений ложного класса [1,38].

Отношение пик/энергия корреляции

Отношение пик/энергия корреляции (англ. PCE — peak to correlation energy) — еще одна метрика, учитывающая форму пика, однако, в отличие

от PSR, она использует полную область корреляционного сигнала. PCE рассчитывается по следующей формуле:

РСЕ = . ^(С?. (1.ю)

norm Y^ Q/

ij

Однако на самом деле PCE учитывает не форму корреляционного сигнала, а значения интенсивности корреляционного сигнала в некотором окне. Если использовать ИФ, обеспечивающие корреляционный сигнал заданной формы, например, GMACE [1,2], PCE не будет брать во внимание тот факт, что форма корреляционного сигнала в данном случае не является дельта-функцией. Соответственно, необходимо исследовать другие способы анализа корреляционных сигналов, которые позволяют эффективно анализировать в первую очередь именно форму корреляционных сигналов, а именно СНС.

1.2 Современные возможности реализации когерентных оптико-цифровых корреляторов

1.2.1 Коррелятор с фильтрацией в плоскости пространственных частот

Огромным преимуществом метода инвариантной корреляции является возможность полностью реализовать все вычисления в оптической системе. Впервые такая оптическая система, осуществляющая фильтрацию в плоскости пространственных частот (также называемая 4-f коррелятором), была предложена в 1961 году [39], а в 1964 году реализована Вандер Люгтом с использованием голограмм Фурье [40].

Схема оптического 4-f коррелятора представлена на рисунке 1.5. Лазерное излучение освещает коллиматор. Коллиматор выполняет две важные функции: выполняет пространственную фильтрацию лазерного луча и расширяет его так, чтобы лазерное излучение могло полностью освещать рабочую поверхность пространственно-временного модулятора света (ПВМС), которая обычно имеет размеры порядка 1-2 см. Далее излучение попадает на входную плоскость Tin, в которой находится первый ПВМС. ПВМС выполняет пространственную модуляцию лазерного излучения в соответствии с изображением, которое необходимо распознать. Линза 1, в передней фокальной

плоскости которой находится входная плоскость, выполняет преобразование Фурье проходящего через неё излучения, в результате чего в её задней фокальной плоскости Tf образуется пространственный спектр излучения. В этой же плоскости находится второй ПВМС, на который выводится элемент, представляющий собой эталон (голографический фильтр) [41]. Затем излучение проходит через линзу 2, в передней фокальной плоскости которой находится эталон, и выполняется преобразование Фурье. В задней фокальной плоскости этой линзы находится приёмник излучения Tout, который регистрирует интенсивность корреляционного сигнала.

Tin Tf Tout

Рис. 1.5 — Коррелятор Вандер Люгта.

1.2.2 Коррелятор совместного преобразования

Другим вариантом реализации метода инвариантной корреляции изображений в когерентной оптической схеме является использование коррелятора совместного преобразования, схема которого представлена на рисунке 1.6. Как и в схеме 4-£ коррелятора, лазерное излучение освещает коллиматор, после чего расширенный лазерный луч освещает рабочую поверхность ПВМС. На ПВМС в данном случае одновременно выводятся и распознаваемый, и эталонный объекты. Затем оптическая линза выполняет преобразование Фурье проходящего сквозь нее излучения, в результате чего приёмник излучения, находящийся в фокальной плоскости этой линзы, регистрирует интенсивность совместного пространственного спектра объектов (первый такт работы). Далее выполняется второй такт: в данном случае на ПВМС выводится

интенсивность совместного пространственного спектра изображений. Приёмник излучения во втором такте регистрирует интенсивность корреляционного отклика. Стоит отметить, что второй такт может быть выполнен численно.

Преимуществом этого варианта коррелятора по сравнению со схемой 4-£ коррелятора является компактность и простота оптической схемы, а также наличие лишь одного ПВМС. Недостатком является скорость работы (из-за обработки сигнала в два такта), а также возможное снижение точности работы при обработке совместных пространственных спектров оптическим способом.

Рис. 1.6 — Коррелятор совместного преобразования.

В качестве источников излучения в когерентных оптико-цифровых корреляторах используются непрерывные лазеры. Основные требования к лазерному излучению заключаются в хорошей пространственной и временной когерентности: радиус когерентности должен превышать зрачок оптической системы и отношение ^ должно превышать максимальное число отсчётов используемых средств пространственно-временной модуляции света. Длина волны излучения должна быть подходящей под условия использования ПВМС. Обычно используются лазеры видимого диапазона. Мощность излучения обычно составляет на уровне нескольких десятков мВт.

Кроме когерентных корреляторов существуют и некогерентные корреляторы, работающие по несколько иному принципу [42].

Точность и скорость работы оптических корреляторов напрямую зависят от используемых оптических устройств. Чаще всего используются два различных вида ПВМС: жидкокристаллические (ЖК) ПВМС и микрозеркальные (МЗ) ПВМС.

1.2.3 Жидкокристаллические ПВМС

Одними из самых распространенных пространственно-временных модуляторов света являются ЖК ПВМС, в основе работы которых лежит электрооптический эффект. На сегодня большинство мониторов, телевизоров, экранов различных электронных устройств основаны на использовании ЖК ПВМС.

В зависимости от устройства, жидкокристаллические модуляторы могут выполнять амплитудную или фазовую модуляцию, а также работать в режимах «на пропускание» или «на отражение» излучения. Обычно ЖК ПВМС имеют диапазон модуляции 8 бит (256 различных уровней пропускания), частоту кадров 60 Гц. В качестве примеров на рисунке 1.7 представлены фотографии амплитудного ЖК ПВМС Holoeye LC 2002, имеющего разрешение 800 х 600 пикселей и работающего «на пропускание», а также фазового ЖК ПВМС Holoeye PLUTO-2, имеющего разрешение 1920 х 1080 и работающего на «на отражение».

Список литературы диссертационного исследования кандидат наук Гончаров Дмитрий Сергеевич, 2021 год

Список использованных источников

1. Kumar, B.V.K.V. Correlation pattern recognition / B.V.K.V. Kumar, A. Mahalanobis, R.D. Juday. — Cambridge University Press, 2005.

2. Kumar, B. V.K.V. Tutorial survey of composite filter designs for optical correlators / B.V.K.V. Kumar // Applied Optics. — 1992. — Vol. 31, no. 23.

— Pp. 4773-4801.

3. Zhou, H. MACH filter synthesizing for detecting targets in cluttered environment for grayscale optical correlator / H. Zhou, T.-H. Chao // Optical Pattern Recognition X / International Society for Optics and Photonics. — Vol. 3715. — 1999. — Pp. 394-398.

4. Optimization of OT-MACH filter generation for target recognition / O.C. Johnson, W. Edens, T.T. Lu, T.-H. Chao // Optical Pattern Recognition XX / International Society for Optics and Photonics. — Vol. 7340. — 2009.

— P. 734008.

5. MINACE filter realization as computer generated hologram for 4-f correlator / N.N. Evtikhiev, D.V. Shaulskiy, E.Yu. Zlokazov, R.S. Starikov // Optical Pattern Recognition XXIV / International Society for Optics and Photonics. — Vol. 8748. — 2013. — P. 87480O.

6. Variants of light modulation for MINACE filter implementation in 4-F correlators / D.V. Shaulskiy, N.N. Evtikhiev, E.Yu. Zlokazov et al. // Optics and Photonics for Information Processing IX / International Society for Optics and Photonics. — Vol. 9598. — 2015. — P. 95980T.

7. High-speed optical processing using digital micromirror device / T.-H. Chao, T.T. Lu, B. Walker, G. Reyes // Optical Pattern Recognition XXV / International Society for Optics and Photonics. — Vol. 9094. — 2014.

— P. 909402.

8. Wilkinson, T. The Multiply and Fourier Transform Unit: A Micro-Scale Optical Processor. — https://optalysys.com. — 2020.

9. Bergeron, A. Lightweight compact optical correlator for spacecraft docking / A. Bergeron, P. Bourqui, B. Harnisch // Electro-Optical Remote Sensing, Detection, and Photonic Technologies and Their Applications / International Society for Optics and Photonics. — Vol. 6739. — 2007. — P. 67390E.

10. Chao, T.-H. Automatic target recognition (ATR) performance improvement using integrated grayscale optical correlator and neural network / T.-H. Chao, T. Lu // Optical Pattern Recognition XX / International Society for Optics and Photonics. — Vol. 7340. — 2009. — P. 734003.

11. Vehicle monitoring under Vehicular Ad-Hoc Networks (VANET) parameters employing illumination invariant correlation filters for the Pakistan motorway police / A. Gardezi, T. Umer, F. Butt et al. // Optical Pattern Recognition XXVII / International Society for Optics and Photonics.

— Vol. 9845. — 2016. — P. 984508.

12. Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain. / F. Rosenblatt // Psychological Review.

— 1958. — Vol. 65, no. 6. — P. 386.

13. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2015. — Pp. 770-778.

14. Identity mappings in deep residual networks / K. He, X. Zhang, S. Ren, J. Sun // European Conference on Computer Vision / Springer. — 2016. — Pp. 630-645.

15. Inception-v4, inception-resnet and the impact of residual connections on learning / C. Szegedy, S. Ioffe, V. Vanhoucke, A.A. Alemi // Thirty-first AAAI Conference on Artificial Intelligence. — 2017.

16. Tan, M. Efficientnet: rethinking model scaling for convolutional neural networks / M. Tan, Q. Le // International Conference on Machine Learning.

— 2019. — Pp. 6105-6114.

17. SSD: single shot multibox detector / W. Liu, D. Anguelov, D. Erhan et al. // European Conference on Computer Vision / Springer. — 2016. — Pp. 21-37.

18. Focal loss for dense object detection / T.-Y. Lin, P. Goyal, R. Girshick et al. // Proceedings of the IEEE International Conference on Computer Vision. — 2017. — Pp. 2980-2988.

19. You only look once: unified, real-time object detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2016. — Pp. 779-788.

20. Redmon, J. YOLO9000: better, faster, stronger / J. Redmon, A. Farha-di // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2017. — Pp. 7263-7271.

21. Redmon, J. YOLOv3: an incremental improvement / J. Redmon, A. Farhadi // arXiv preprint arXiv:1804.02767. — 2018.

22. Bochkovskiy, A. YOLOv4: optimal speed and accuracy of object detection / A. Bochkovskiy, C.-Y. Wang, H.-Y. Liao // arXiv preprint arX-iv:2004.10934. — 2020.

23. Bochkovskiy, A. Scaled-YOLOv4: Scaling Cross Stage Partial Network / A. Bochkovskiy, C.-Y. Wang, H.-Y. Liao // arXiv preprint arX-iv:2011.08036. — 2020.

24. Ronneberger, O. U-net: convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox // International Conference on Medical Image Computing and Computer-assisted Intervention / Springer. — 2015. — Pp. 234-241.

25. Mask R-CNN / K. He, G. Gkioxari, P. Dollar, R. Girshick // Proceedings of the IEEE International Conference on Computer Vision. — 2017. — Pp. 2961-2969.

26. Imagenet large scale visual recognition challenge / Olga Russakovsky, Jia Deng, Hao Su et al. // International journal of computer vision. — 2015.

— Vol. 115, no. 3. — Pp. 211-252.

27. Shen, D. Deep learning in medical image analysis / D. Shen, G. Wu, H.-I. Suk // Annual Review of Biomedical Engineering. — 2017. — Vol. 19.

— Pp. 221-248.

28. Ibtehaz, N. MultiResUNet: Rethinking the U-Net architecture for multimodal biomedical image segmentation / N. Ibtehaz, M. Rahman // Neural Networks. — 2020. — Vol. 121. — Pp. 74-87.

29. ASP vision: optically computing the first layer of convolutional neural networks using angle sensitive pixels / H. Chen, S. Jayasuriya, J. Yang et al. // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2016. — Pp. 903-912.

30. Optical frontend for a convolutional neural network / S. Colburn, Y. Chu, E. Shilzerman, A. Majumdar // Applied Optics. — 2019. — Vol. 58,

no. 12. — Pp. 3179-3186.

31. Mahalanobis, A. Minimum average correlation energy filters / A. Ma-halanobis, B.V.K.V. Kumar, D. Casasent // Applied Optics. — 1987. — Vol. 26, no. 17. — Pp. 3633-3640.

32. Ravichandran, G. Minimum noise and correlation energy optical correlation filter / G. Ravichandran, D. Casasent // Applied Optics. — 1992. — Vol. 31, no. 11. — Pp. 1823-1833.

33. Measurement of noises and modulation transfer function of cameras used in optical-digital correlators / N.N. Evtikhiev, S.N. Starikov, P.A. Chery-omkhin, V.V. Krasnov // Intelligent Robots and Computer Vision XXIX: Algorithms and Techniques / International Society for Optics and Photonics. — Vol. 8301. — 2012. — P. 830113.

34. Unconstrained correlation filters / A. Mahalanobis, B.V.K.V. Kumar, S. Song et al. // Applied Optics. — 1994. — Vol. 33, no. 17. — Pp. 3751-3759.

35. Comparison of spatial domain optimal trade-off maximum average correlation height (OT-MACH) filter with scale invariant feature transform (SIFT) using images with poor contrast and large illumination gradient /

A. Gardezi, T. Qureshi, A. Alkandri et al. // Optical Pattern Recognition XXVI / International Society for Optics and Photonics. — Vol. 9477. — 2015.

— P. 947706.

36. Variants of minimum correlation energy filters: comparative study / N.N. Evtikhiev, D.V. Shaulskiy, E.Yu. Zlokazov, R.S. Starikov // Optical Pattern Recognition XXIII / International Society for Optics and Photonics.

— Vol. 8398. — 2012. — P. 83980G.

37. Maximum margin correlation filter: a new approach for localization and classification / A. Rodriguez, V.N. Boddeti, B.V.K.V. Kumar, A. Mahalanobis // IEEE Transactions on Image Processing. — 2012. — Vol. 22, no. 2.

— Pp. 631-643.

38. Kumar, B.V.K.V. Performance measures for correlation filters /

B.V.K.V. Kumar, L. Hassebrook // Applied Optics. — 1990. — Vol. 29, no. 20. — Pp. 2997-3006.

39. Optical data processing and filtering systems / L. Cutrona, E. Leith,

C. Palermo, L. Porcello // IRE Transactions on Information Theory. — 1960.

— Vol. 6, no. 3. — Pp. 386-400.

40. Lugt, A.V. Signal detection by complex spatial filtering / A.V. Lugt // IEEE Transactions on Information Theory. — 1964. — Vol. 10, no. 2. — Pp. 139-145.

41. Features of the implementation of holographic invariant correlation filters based on a phase liquid-crystal space-time light modulator / D.S. Gon-charov, E.Yu. Zlokazov, E.K. Petrova et al. // Bulletin of the Lebedev Physics Institute. — 2019. — Vol. 46, no. 4. — Pp. 126-129.

42. Molodtsov, D.Yu. Object recognition in non-coherent optical correlator based on DMD-modulator / D.Yu. Molodtsov, V.G. Rodin // Asia-Pacific Conference on Fundamental Problems of Opto- and Microelectronics / International Society for Optics and Photonics. — Vol. 10176. — 2016. — P. 101761A.

43. Measurement of characteristics and phase modulation accuracy increase of LC SLM"HoloEye PLUTO VIS-/ A.P. Bondareva, P.A. Cheremkhin, N.N. Evtikhiev et al. // Journal of Physics: Conference Series / IOP Publishing. — Vol. 536. — 2014. — P. 012011.

44. Measurement of additional phase modulation of an amplitude liquid crystal spatial light modulator HoloEye LC 2002 by dual-beam interferometric method / D.S. Goncharov, V.V. Krasnov, N.M. Ponomarev, R.S. Starikov // Practical Holography XXXII: Displays, Materials, and Applications / International Society for Optics and Photonics. — Vol. 10558. — 2018. — P. 105580Y.

45. The influence of additional phase modulation of an amplitude liquid crystal STLM on the image recognition characteristics in the invariant optical digital correlator / D.S. Goncharov, N.N. Evtikhiev, V.V. Krasnov et al. // Computer Optics. — 2019. — Vol. 43, no. 2. — Pp. 200-208.

46. Goodman, J.W. Introduction to Fourier optics / J.W. Goodman. — McGraw-Hill Book Comp, 1968.

47. Злоказов, Е.Ю. Инвариантные корреляционные фильтры с линейным фазовым коэффициентом для лазерных систем корреляционного распознавания изображений: дис. канд. физ.-мат. наук: 01.04.21 / Национальный исследовательский ядерный университет «МИФИ», М. — 2011. — 124 с.

48. Casasent, D.P. An optical correlator feature extractor neural net system / D.P. Casasent // Optical Engineering. — 1992. — Vol. 31, no. 5. — Pp. 971-979.

49. Neural network post-processing of grayscale optical correlator / T.T. Lu, C.L. Hughlett, H. Zhou et al. // Optical Information Systems III / International Society for Optics and Photonics. — Vol. 5908. — 2005. — P. 590810.

50. Гончаров, ДС. Влияние бинаризации инвариантных корреляционных фильтров с оптимизацией параметров на качество распознавания полутоновых изображений / ДС Гончаров, НМ Пономарев, РС Стариков // Сборник трудов X Международной конференции «Фундаментальные проблемы оптики-2018». — 2018. — Pp. 226-226.

51. Implementation of Fourier holograms using high-performance DMD SLM / D.S. Goncharov, R.S. Starikov, N.M. Ponomarev, D.Yu. Molodtsov // Procedia Computer Science. — 2020. — Vol. 169. — Pp. 558-563.

52. McCulloch, W.S. A logical calculus of the ideas immanent in nervous activity / W.S. McCulloch, W. Pitts // The Bulletin of Mathematical Biophysics. — 1943. — Vol. 5, no. 4. — Pp. 115-133.

53. Hebb, D.O. The organization of behavior / D.O. Hebb. — McGill University, 1949.

54. Cybenko, G. Approximation by superpositions of a sigmoidal function / G. Cybenko // Mathematics of Control, Signals and Systems. — 1989. — Vol. 2, no. 4. — Pp. 303-314.

55. Gradient-based learning applied to document recognition / Y. LeCun, L. Bottou, Y. Bengio, P. Haffner // Proceedings of the IEEE. — 1998. — Vol. 86, no. 11. — Pp. 2278-2324.

56. RGB-D-based human motion recognition with deep learning: A survey / P. Wang, W. Li, P. Ogunbona et al. // Computer Vision and Image Understanding. — 2018. — Vol. 171. — Pp. 118-139.

57. Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G. Hinton // Advances in Neural Information Processing Systems. — 2012. — Pp. 1097-1105.

58. Ioffe, S. Batch normalization: accelerating deep network training by reducing internal covariate shift / S. Ioffe, C. Szegedy // International Conference on Machine Learning. — 2015. — Pp. 448-456.

59. Wu, Y. Group normalization / Y. Wu, K. He // Proceedings of the European conference on computer vision (ECCV). — 2018. — Pp. 3-19.

60. Nair, V. Rectified linear units improve restricted boltzmann machines / V. Nair, G. Hinton // Proceedings of the 27th International Conference on Machine Learning (ICML-10). — 2010. — Pp. 807-814.

61. Ramachandran, P. Searching for activation functions / P. Ramachan-dran, B. Zoph, Q. Le // arXiv preprint arXiv:1710.05941. — 2017.

62. ImageNet: a large-scale hierarchical image database / J. Deng, W. Dong, R. Socher et al. // 2009 IEEE Conference on Computer Vision and Pattern Recognition / IEEE. — 2009. — Pp. 248-255.

63. Misra, D. Mish: a self regularized non-monotonic neural activation function / D. Misra // arXiv preprint arXiv:1908.08681. — 2019.

64. Rumelhart, D.E. Learning representations by back-propagating errors / D.E. Rumelhart, G.E. Hinton, R.J. Williams // Nature. — 1986. — Vol. 323, no. 6088. — Pp. 533-536.

65. Ruder, S. An overview of gradient descent optimization algorithms / S. Ruder // arXiv preprint arXiv:1609.04747. — 2016.

66. Kingma, D. Adam: a method for stochastic optimization / D. Kingma, J. Ba // arXiv preprint arXiv:1412.6980. — 2014.

67. The marginal value of adaptive gradient methods in machine learning / A. Wilson, R. Roelofs, M. Stern et al. // Advances in neural information processing systems. — 2017. — Pp. 4148-4158.

68. Microsoft COCO: common objects in context / T.-Y. Lin, M. Maire, S. Belongie et al. // European Conference on Computer Vision / Springer. — 2014. — Pp. 740-755.

69. The open images dataset v4: unified image classification, object detection, and visual relationship detection at scale / A. Kuznetsova, H. Rom, N. Alldrin et al. // arXiv preprint arXiv:1811.00982. — 2018.

70. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size / F.N. Iandola, S. Han, M.W. Moskewicz et al. // arXiv

preprint arXiv:1602.07360. — 2016.

71. Simonyan, K. Very deep convolutional networks for large-scale image recognition / K. Simonyan, A. Zisserman // arXiv preprint arXiv:1409.1556. — 2014.

72. Going deeper with convolutions / C. Szegedy, W. Liu, Y. Jia et al. // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2015. — Pp. 1-9.

73. Chollet, F. Keras. — https://keras.io. — 2015.

74. Tensorflow: A system for large-scale machine learning / M. Abadi, P. Barham, J. Chen et al. // 12th Symposium on Operating Systems Design and Implementation. — 2016. — Pp. 265-283.

75. Georghiades, A.S. From few to many: illumination cone models for face recognition under variable lighting and pose / A.S. Georghiades, P.N. Bel-humeur, D.J. Kriegman // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2001. — Vol. 23, no. 6. — Pp. 643-660.

76. Измерение характеристик фазовой модуляции амплитудного ЖК ПВМС двухлучевым интерферометрическим методом / Д.С. Гончаров, В.В. Краснов, Н.М. Пономарев, Р.С. Стариков //VI Международная конференция по фотонике и информационной оптике. — 2017. — Pp. 636-637.

77. Implementation features of invariant optical correlator based on amplitude LC SLM / D.S. Goncharov, E.K. Petrova, N.M. Ponomarev et al. // Optical Memory and Neural Networks. — 2020. — Vol. 29, no. 2. — Pp. 110-117.

78. Шаульский, Д.В. Инвариантные фильтры с минимизацией энергии корреляции для лазерных систем распознавания полутоновых изображений: дис. канд. физ.-мат. наук: 01.04.21 / Национальный исследовательский ядерный университет «МИФИ», М. — 2015. — 127 с.

79. Особенности реализации голографических инвариантных корреляционных фильтров на базе фазового жидкокристаллического пространственно-временного модулятора света / Д.С. Гончаров, Е.Ю. Злоказов, Е.К. Петрова et al. // XVI Всероссийский молодежный самарский конкурс-конференция научных работ по оптике и лазерной

физике. — 2018. — Pp. 283-291.

80. Гончаров, Д.С. Математическое моделирование работы инвариантного оптического коррелятора при наличии дополнительной фазовой модуляции амплитудного ПВМС / Д.С. Гончаров, Н.М. Пономарев, Р.С. Стариков //VII Международная конференция по фотонике и информационной оптике. — 2018. — Pp. 572-573.

81. Учет дополнительной фазовой модуляции амплитудного ЖК ПВМС при реализации голографических инвариантных корреляционных фильтров / Д.С. Гончаров, В.В. Краснов, Н.М. Пономарев, Р.С. Стариков // XV Международная конференция по голографии и прикладным оптическим технологиям. — 2018. — Pp. 320-323.

82. Гончаров, Д.С. Особенности реализации инвариантного оптического коррелятора на базе фазового пространственно-временного модулятора света / Д.С. Гончаров, Н.М. Пономарев, Р.С. Стариков // Сборник трудов X Международной конференции «Фундаментальные проблемы оптики-2018». — 2018. — Pp. 238-239.

83. Гончаров, Д.С. Фазовый ПВМС как устройство ввода изображений в инвариантный оптико-цифровой коррелятор / Д.С. Гончаров, Н.М. Пономарев, Р.С. Стариков // VIII Международная конференция по фотонике и информационной оптике. — 2019. — Pp. 261-262.

84. LPCC invariant correlation filters: realization in 4-f holographic correlator / N.N. Evtikhiev, S.N. Starikov, S.A. Sirotkin et al. // Optical Pattern Recognition XIX / International Society for Optics and Photonics. — Vol. 6977. — 2008. — P. 69770C.

85. LPCC filters realization as binary amplitude hologram in 4-f correlator: range limitation of hologram pixels representation / N.N. Evtikhiev, S.N. Starikov, R.S. Starikov, E.Yu. Zlokazov // Optical Pattern Recognition XX / International Society for Optics and Photonics. — Vol. 7340. — 2009.

— P. 73400C.

86. Starikov, R.S. Computer generated holographic invariant LPCC filters for 4-f correlator / R.S. Starikov, E.Yu. Zlokazov // Holography: Advances and Modern Trends / International Society for Optics and Photonics. — Vol. 7358.

— 2009. — P. 73580W.

87. Invariant correlation filter with linear phase coefficient holographic realization in 4-f correlator / N.N. Evtikhiev, S.N. Starikov, D.V. Shaulskiy et al. // Optical Engineering. — 2011. — Vol. 50, no. 6. — P. 065803.

88. Hassebrook, L.G. Linear phase coefficient composite filter banks for distortion-invariant optical pattern recognition / L.G. Hassebrook, B.V.K.V. Kumar, L.D. Hostetler // Optical Engineering. — 1990. — Vol. 29, no. 9. — Pp. 1033-1044.

89. Thompson, M. Digital image processing / M. Thompson, R. Gonzalez, P. Wintz // Leonardo. — 1981. — Vol. 14, no. 3. — P. 256.