Сопоставление оптических и радиолокационных изображений с использованием алгоритмов на основе ключевых точек тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Волков Владислав Владимирович

• Волков Владислав Владимирович
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Волков Владислав Владимирович

Введение

Глава 1. Обзор алгоритмов сопоставления оптических и SAR

изображений и методов их оценки

1.1 Востребованная точность алгоритмов сопоставления изображений в практических задачах

1.2 Сценарии сравнения алгоритмов сопоставления

1.2.1 Метрики оценки точности детекторов ключевых точек

1.2.2 Сценарии сравнения алгоритмов сопоставления,

критерии успешности сопоставления

1.2.3 Публично доступные наборы данных, бенчмарки и методы

1.3 Обзор методов поиска ключевых точек и вычисления дескрипторов для них

1.3.1 SIFT и его модификации

1.3.2 Многомасштабный детектор Харриса и его модификации

1.3.3 Прочие методы поиска ключевых точек

1.4 Методы сопоставления ключевых точек

1.5 Методы нахождения геометрического преобразования

1.6 Нейросетевые методы сопоставления оптических и SAR изображений

1.7 Заключение. Итоги первой главы

Глава 2. Бенчмарк для оценки точности алгоритмов

сопоставления оптических и SAR изображений

2.1 Описание набора данных

2.2 Описание имплементированных метрик оценки алгоритмов сопоставления изображений

2.2.1 Описание метрики оценки повторяемости

2.2.2 Описание метрики оценки точности сопоставления ключевых точек

2.2.3 Описание метрики оценки точности сопоставления изображений

2.3 Оценка детекторов и дескрипторов ключевых точек

2.3.1 Оптимальные параметры детекторов

2.3.2 Применение метрики оценки повторяемости ключевых

точек

2.3.3 Применение метрики оценки точности сопоставления ключевых точек

2.3.4 Применение метрики оценки качества сопоставления изображений

2.4 Итоги второй главы

Глава 3. Сопоставление оптических и SAR изображений для

преобразований типа сдвиг

3.1 Алгоритм на основе нейронной сети U-Net для предвыравнивания оптических и SAR изображений

3.1.1 Набор данных для обучения нейросети на основе U-Net

3.1.2 Архитектура нейросети на основе U-Net

3.1.3 Сопоставление предсказанного SAR и SAR изображений

3.2 Алгоритм сопоставления оптических и SAR изображений на

основе ключевых точек

3.2.1 Нахождение ключевых точек

3.2.2 Вычисление дескрипторов

3.2.3 Нахождение сопоставлений между точками

3.2.4 Нахождение геометрического преобразования

3.2.5 Критерии оценки

3.2.6 Предлагаемый алгоритм вычисления дескрипторов ключевых точек

3.3 Результаты алгоритма на основе ключевых точек с использованием алгоритма вычисления дескрипторов modSIFT

3.3.1 Влияние NMS алгоритма и биннинга на повторяемость и точность сопоставления изображений

3.3.2 Оценка предлагаемого алгоритма вычисления дескрипторов

3.4 Результаты двухшагового алгоритма сопоставления оптических

и SAR изображений

3.5 Итоги третьей главы

Глава 4. Нейросетевой алгоритм сопоставления оптических и

SAR изображений на основе изотропной сетки точек

4.1 Параметры набора данных

4.2 Предлагаемый алгоритм сопоставления

4.2.1 Архитектура нейросети

4.2.2 Полный алгоритм сопоставления

4.3 Результаты

4.4 Итоги четвертой главы

Заключение

Список сокращений и условных обозначений

Список литературы

Список рисунков

Список таблиц

Приложение А. Акты о внедрении результатов

диссертационного исследования

Введение диссертации (часть автореферата) на тему «Сопоставление оптических и радиолокационных изображений с использованием алгоритмов на основе ключевых точек»

Введение

Под сопоставлением изображений будем понимать нахождение общей системы координат двух изображений одной сцены, полученных в разное время, под разным ракурсом и/или с помощью разных сенсоров. Сопоставление изображений, полученных с сенсоров одного типа (например, оптических) широко применяется в задачах исследования растительного покрова [1—3], мониторинга ЛЭП [4], обнаружения изменений (в том числе —роста городских зон [5]) по данным дистанционного зондирования Земли (ДЗЗ). В развитие методов решения данных задач внесли вклад такие отечественные и зарубежные ученые как: В.А. Сойфер, В.В. Сергеев, С.А. Барталёв, М.Э. Шепман, Г. Чэн.

Задачу сопоставления изображений, полученных с сенсоров разного типа, будем называть сопоставлением разнородных изображений. Сопоставление оптических и радиолокационных SAR (Synthetic Aperture Radar) изображений — частный случай такого сопоставления. Оно, как и сопоставление оптических изображений, широко используется в задачах ДЗЗ, таких как детектирование объектов [6], обнаружение изменений [7; 8], навигация [9; 10], комплексирование изображений [11]. В развитие методов решения данных задач внесли вклад такие отечественные и зарубежные ученые как: П. Дефурни, Е. Юаньсинь, В.Н. Копенков.

В задаче навигации точность алгоритма напрямую зависит от точности сопоставления изображений [10]. В остальных трех упомянутых задачах сопоставление изображений является первым этапом, напрямую влияющим на точность последующих алгоритмов. Например, неточное сопоставление изображений может привести к ошибочной классификации области алгоритмом обнаружения изменений [12]. Поэтому для увеличения точности алгоритмов детекции объектов, обнаружения изменений и комплексирования необходимо в том числе увеличение точности сопоставления изображений.

Сопоставление оптических и SAR изображений представляет особый интерес, так как эти типы изображений обладают комплементарными характеристиками. Оптические изображения хорошо интерпретируются человеком и не содержат спекл-помех, в то время как SAR изображения не подвержены влиянию атмосферы и освещенности [13; 14]. Также

на SAR изображениях легче различать застроенные области благодаря характерной высокой интенсивности их пикселей, вызванной множественным переотражением [6; 11].

По сравнению с сопоставлением только оптических изображений сопоставление оптических и SAR изображений усложнено тем, что (i) изображения подвержены разным типам искажений, причем (ii) значения интенсивности оптических и SAR изображений в некоторых участках изображений могут быть не скоррелированы даже в отсутствие шума и искажений, (iii) градиент в некоторых участках изображений может быть инвертирован, (iv) геометрическое положение сенсора в пространстве может различаться в момент съемки (например, SAR изображение снимается под не прямым углом к поверхности Земли, в отличии от оптического), вследствие чего некоторые линии или формы объемных объектов могут не совпадать (особенно это заметно на снимках гористой местности). Из-за упомянутых проблем точность современных алгоритмов сопоставления оптических и SAR изображений ниже, чем точность сопоставления только оптических изображений и, по видимому, не достигает своего теоретического максимума.

Методы сопоставления оптических и SAR изображений условно разделяют на две категории: методы плотного сопоставления («intensity-based methods») и методы разреженного сопоставления («feature-based methods»). Методы плотного сопоставления основаны на поиске двух соответствующих (т.е. «похожих» по той или иной метрике) подизображений. Методы разреженного сопоставления основаны на (i) нахождении некоторых «выделяющихся» элементов изображений (точки [15—20], углы [21—24], линии [25—27] или объекты, например, дороги [28; 29]), легко отличимых как на изображении оптического диапазона, так и SAR; (ii) последующего построения геометрического преобразования, которое сопоставляет найденные элементы изображений. Методы разреженного сопоставления на основе ключевых точек вычислительно проще и зачастую эффективнее методов плотного сопоставления в случаях, когда присутствуют значительные геометрические искажения между изображениями [15; 30]. Также методы разреженного сопоставления более устойчивы к небольшим изменениям сцены (снос/постройка здания).

Поэтому в данной диссертационной работе внимание уделяется группе разреженных методов, использующих в качестве «выделяющихся элементов»

ключевые точки. В общем виде алгоритмы разреженного сопоставления на основе ключевых точек состоят из следующих шагов:

1. Нахождение ключевых точек.

2. Нахождение сопоставлений между ключевыми точками изображений (например, путем вычисления дескрипторов для каждой точки и их сравнения).

3. Нахождение геометрического преобразования между парами изображений (например, методом RANSAC [31]), которое сопоставляет наибольшую часть найденных точек.

Сопоставление изображений может производится как с помощью классических алгоритмов, так и с помощью искуственных нейронных сетей. В случае с классическими алгоритмами основное внимание уделяется методам вычисления дескрипторов. Поэтому в основном сопоставление оптических и SAR изображений ограничивается методами их вычисления. Поскольку точность классических алгоритмов не достаточна, в настоящее время большое внимание уделяется нейросетевым подходам.

Поскольку часть сопоставлений точек ошибочна, то высокую роль занимают методы нахождения геометрического преобразования, устойчивые к выбросам. Большую роль в этом сыграли Фишлер и Боллес, предложившие алгоритм RANSAC в 1981 году [31]. В.Л. Арлазаров, Д.П. Николаев исследовали упомянутую схему «ключевые точки и RANSAC» в контексте работы с текстовыми документами. Одним из наиболее известных в задачах сопоставления изображений классических детекторов и дескрипторов является предложенный Д.Г. Лёвом в 2004 году детектор и дескриптор SIFT [32].

Спутниковые оптические и SAR изображения, благодаря параметрам, описывающим положение сенсора, могут быть грубо выравнены на основе геокоординат. Однако, из-за неточности этих параметров, точность выравнивания составляет десятки или даже сотни пикселей [33; 34]. Стоит отметить, что сопоставление по геопривязке оставляет большие искажения типа сдвига, но небольшие искажения типа поворота и масштаба [33]. Поэтому для изображений предварительно выравненных по геокоординатам, наибольшую важность представляет исправление сдвиговых искажений и в меньшую — искажений типа подобия.

Дополнительной проблемой сопоставления оптических и SAR изображений является почти полное отсутствие как открытых наборов данных

для отладки и тестирования алгоритмов сопоставления, так и бенчмарков для оценки их качества.

Целью данной работы является разработка алгоритмов повышенной точности для сопоставления оптических и радиолокационных SAR изображений с использованием методов на основе ключевых точек.

Для достижения поставленной цели были решены следующие задачи:

1. Собрать и опубликовать набор данных из 100 пар выравненных оптических и радиолокационных SAR изображений, содержащий различные типы местности, позволяющий разрабатывать и оценивать точность различных алгоритмов сопоставления изображений.

2. Разработать алгоритм, повышающий точность предвыравнивания оптических и SAR изображений при преобразованиях типа сдвиг.

3. Разработать дескриптор, учитывающий инвертированность градиентов в определенных областях оптических и SAR изображений для алгоритма сопоставления таких изображений на основе ключевых точек и сдвиговой модели сопоставления, позволяющий добиться повышенной точности сопоставления изображений при преобразованиях типа сдвиг.

4. Разработать нейросетевой дескриптор для алгоритма сопоставления оптических и радиолокационных SAR изображений на основе сиамской нейросети, позволяющий добиться повышенной точности сопоставления изображений при преобразованиях типа подобие.

Научная новизна:

1. Предложен новый алгоритм вычисления дескрипторов ключевых точек modS I FT, являющийся модификацией дескриптора SIFT и учитывающий инвертированность градиентов в определенных областях оптических и SAR изображений, который показывает повышенную точность сопоставления изображений при преобразованиях типа сдвиг на собранном наборе данных.

2. Предложен новый гибридный двухшаговый алгоритм сопоставления оптических и SAR изображений на основе нейросети U-Net и метода на основе ключевых точек (с применением modSIFT), который показывает повышенную (до 1 пикселя) точность сопоставления изображений при преобразованиях типа сдвиг на упомянутом наборе данных.

3. Предложен новый нейросетевой дескриптор для алгоритма сопоставления оптических и SAR изображений, на основе сиамской нейросети, позволяющий добиться повышенной точности сопоставления изображений при преобразованиях типа подобие на собранном наборе данных.

Практическая значимость. Полученные в данной работе результаты могут быть внедрены в системах комплексирования изображений в задачах дистанционного зондирования Земли (ДЗЗ) для объединения уникальных характеристик, присущих разным типам изображений, таких как хорошая интерпретируемость человеком оптических изображений и хорошая видимость застроенных областей на радиолокационных изображениях. Предложенные в диссертационном исследовании алгоритмы вычисления дескрипторов были внедрены: i) в виртуальную лабораторию агронома AgroDataCube, разработанную ООО "Визиллект Сервис" для сопоставления оптических изображений с разных спутников в разных спектральных диапазонах; ii) в компанию ООО "Смарт Энджинс Сервис" для сопоставления изображений в видимом, инфракрасном и ультрафиолетовом диапазоне для задачи восстановления подлинности документов. Предложенные в диссертационном исследовании алгоритмы были использованы ИППИ РАН при выполнении проекта РНФ № 20-61-47089 «Система мониторинга сельскохозяйственных показателей в видимом, инфракрасном и гиперспектральном режимах съемки».

Методология и методы исследования. Результаты, полученные в диссертационной работе, относятся к цифровой обработке изображений. В работе используются методы линейной алгебры, машинного обучения и метод робастной оценки RANSAC. Все результаты обосновываются вычислительным экспериментом. Работа подготовлена в соответствии с паспортом специальности 1.2.2 — «Математическое моделирование, численные методы и комплексы программ».

Основные положения, выносимые на защиту:

1. Создан и выложен в открытый доступ тестовый бенчмарк для оценки точности алгоритмов сопоставления оптических и радиолокационных SAR спутниковых снимков, состоящий из десятков (100) пар выравненых оптических и радиолокационных изображений, где представлены разные типы местности (город, горы, поля, лес и т.д.),

и кода, позволяющего рассчитать эффективность детектирования ключевых точек и точность сопоставления точек и изображений.

2. Разработанный алгоритм, основанный на нейросети U-Net, предсказывающей SAR изображение по оптическому позволяет предвыравнивать оптические и SAR изображения с точностью 5 пикселей на упомянутом наборе данных при преобразованиях типа сдвиг.

3. Разработанный алгоритм вычисления дескрипторов ключевых точек для сопоставления оптических и SAR изображений, являющийся модификацией SIFT дескриптора, объединенный с SIFT детектором, сдвиговой моделью сопоставления и упомянутым алгоритмом предвыравнивания показывает повышение точности сопоставления изображений с 62% до 93% с точностью 1 пиксель, по сравнению с SIFT дескриптором на упомянутом наборе данных при преобразованиях типа сдвиг.

4. Разработанный алгоритм сопоставления оптических и SAR изображений с использованием сиамски-подобной нейросети и алгоритма RANSAC с геометрической моделью подобия показывает повышение точности сопоставления изображений с 7% до 88% с точностью 10 пикселей, по сравнению с алгоритмом на основе SIFT детектора и дескриптора при преобразованиях типа подобие на изображениях, различающихся по масштабу до 10% и повороту до 10 градусов.

Достоверность полученных численных результатов подтверждена посредством воспроизводимых вычислительных экспериментов.

Апробация работы. Основные результаты работы докладывались на следующих мероприятиях:

1. Международная конференция International Conference on Machine Vision (ICMV 2023).

2. Международная конференция 7th International Conference «Video and Audio Signal Processing in the Context of Neurotechnologies» (IEEE SPCN 2022).

3. Семинар лаборатории №11 ИППИ РАН.

Публикации. Основные результаты по теме диссертации изложены в 4 работах, 2 из которых изданы в периодических научных журналах,

индексируемыми RSCI, РИНЦ, 1—входит в базы научного цитирования Web of Science и Scopus, 1 — опубликована в виде главы книги.

Все основные результаты диссертационного исследования получены лично соискателем. Вклад соавторов заключается в корректуре текста, анализе свойств методов и алгоритмов. Постановка задач и обсуждения полученных результатов осуществлялись совместно с научным руководителем.

Объем и структура работы. Диссертация состоит из введения, 4 глав и заключения. Полный объём диссертации составляет 117 страниц, включая 20 рисунков и 17 таблиц. Список литературы содержит 115 наименований.

Глава 1. Обзор алгоритмов сопоставления оптических и SAR изображений и методов их оценки

Как упоминалось, методы сопоставления оптических и SAR изображений условно разделяют на две категории: методы плотного сопоставления и методы разреженного сопоставления. Методы плотного сопоставления основаны на поиске двух «похожих» по той или иной метрике подизображений. Для сопоставления используются, например, нормализованная кросс-корреляция («normalized cross-correlation») [35], индекс структурного сходства (SSIM) [36], функция взаимной информации («mutual information») [37; 38]. Такие методы могут обладать высокой субпиксельной точностью, однако имеют большую вычислительную сложность и зачастую требуют предварительного приближенного выравнивания изображений [15]; также они могут быть неэффективны для пар изображений с большими геометрическими различиями [37]. Методы разреженного сопоставления основаны на (i) нахождении некоторых «выделяющихся» элементов изображений (точки [15—18], углы [21—24], линии [25—27] или объекты, например, дороги [28; 29]), легко отличимых как на изображении оптического диапазона, так и радиолокационного; (ii) последующего построения геометрического преобразования, которое сопоставляет найденные элементы изображений. Методы разреженного сопоставления на основе ключевых точек вычислительно проще и зачастую эффективнее [15; 30] методов плотного сопоставления в случаях, когда присутствуют значительные геометрические искажения между изображениями. Однако, они могут проигрывать методам плотного сопоставления в максимальной точности сопоставления [15].

В данной главе приводится обзор работ, посвященных алгоритмам сопоставления оптических и SAR спутниковых изображений на основе ключевых точек. Такие алгоритмы обычно выделяют три шага:

1. Нахождение ключевых точек (например, детектором ключевых точек).

2. Нахождение сопоставлений между ключевыми точками изображений (например, путем вычисления дескрипторов для каждой точки и их сравнения).

3. Нахождение геометрического преобразования между изображениями (например, методом RANSAC [31]), которое сопоставляет наибольшую часть найденных пар точек.

При этом каждый шаг может выполняться с использованием разных алгоритмов. Отдельно следует иметь в виду, что сопоставление изображений с разным пространственным разрешением являются разными задачами, так как изображения обладают разными особенностями для сопоставления. Чем выше пространственное разрешение, тем больше мелких объектов отображается на изображении, что влияет на алгоритм сопоставления.

Методы робастного оценивания, такие как RANSAC, позволяют восстановить правильное геометрическое преобразование даже в случаях, когда значительная часть сопоставлений между ключевыми точками (найденная на 2 шаге алгоритма) сформирована неправильно [39—41]. Тем не менее, высокая доля правильных сопоставлений точек позволяет повысить долю и точность правильных сопоставлений изображений [30; 42]. Также точность сопоставления изображений может быть выше, если точки распределены по изображению более равномерно [43].

Стоит отметить, что формирование «правильного» сопоставления с участием ключевой точки невозможно, если на другом изображении не была найдена ключевая точка в месте, которое соответствует той же позиции в реальной сцене. Поэтому эффективный метод должен находить такие точки, которые с высокой вероятностью будут найдены и на другом изображении той же сцены. Для численной оценки этого качества в литературе используется метрика повторяемости (repeatability) [21]. Повторяемость — это доля (или среднее количество — определения разнятся) ключевых точек таких, что для ключевой точки на одном изображении сцены существует достаточно близкая ключевая точка на втором изображении сцены.

В литературе рассматриваются задачи сопоставления оптических и радиолокационных SAR изображений разного размера [44; 45] от 256х256 пикселей [46] до порядка 10000х10000 [47]. Стоит отметить, что сопоставление изображений большего размера имеют большую вычислительную сложность и сильнее подвержены нелинейным геометрическим искажениям. С другой стороны, при сопоставлении изображений малого размера изображения могут содержать недостаточное количество информации для успешного сопоставления.

Перед обзором самих алгоритмов сопоставления изображений, в разделе 1.1 приведено исследование требуемой точности для алгоритмов сопоставления оптических и SAR изображений, востребованной для практических задач. Далее в разделе 1.2 уделено внимание способам оценки алгоритмов сопоставления оптических и SAR изображений, а также наличию доступных крупных наборов данных и бенчмарков для тестирования этих алгоритмов. В разделах 1.3 - 1.5 приводится обзор алгоритмов сопоставления оптических и SAR спутниковых изображений, разделенных по шагам алгоритма сопоставления для удобства. Дополнительно приведен обзор алгоритмов сопоставления оптических и SAR изображений с использованием нейронных сетей (раздел 1.6).

1.1 Востребованная точность алгоритмов сопоставления изображений в практических задачах

Сопоставление оптических изображений и сопоставление оптических и SAR изображений имеют общую сферу применения в задачах ДЗЗ. Рассмотрим точность сопоставления алгоритмов сопоставления оптических изображений. В работе [48] предлагается алгоритм сопоставления оптических изображений, протестированный на пяти парах реальных изображений с разным пространственным разрешением (от нескольких м/пиксель до 30 м/пиксель). Точность предложенного алгоритма составляет менее 1 пикселя. Здесь и далее под точностью сопоставления изображений будем понимать значение какой либо метрики, например, RMSE (Root Mean Square Error), подробнее в подразделе 1.2.2. Другим примером работы, рассматривающей сопоставление оптических изображений является [49], в которой алгоритм протестирован на трех парах изображений (две пары с пространственным разрешением 30 м/пиксель и одна пара —с 1 м/пиксель). Точность алгоритма составляет около 0.5 пикселя.

Исследование оптических снимков поверхности Земли началось с 1972 года (спутник Landsat-1) и продолжается до сих пор. На текущий момент среди общедоступных оптических изображений наименьшее пространственное разрешение (10 м/пиксель) имеют изображения со спутника Sentinel-2

[50]. Помимо этого существуют коммерческие спутники (минимум восемь), предоставляющие оптические изображения с пространственным разрешением до 1 м/пиксель, что обосновывает востребованность высокодетализированных оптических изображений [50].

Сопоставление оптических и SAR изображений востребовано, так как SAR изображения обладают некоторыми особенностями, которых нет у оптических изображений: SAR изображения не подвержены влиянию атмосферы и освещенности, а также на них лучше отображаются застроенные зоны за счет множественного переотражения [6; 11]. Например, на рисунке 1.1 на левом фрагменте видно, что граница между горной зоной слева и городской справа более четко видна на SAR изображении, чем на оптическом.

Таким образом, например, использование SAR изображений уместно для улучшения детекции застроенных зон, но для этого желательно сопоставлять оптические и SAR изображения с такой же или близкой точностью, как и оптические изображения. Текущей точности алгоритмов сопоставления оптических и SAR изображений не достаточно для некоторых задач. Например, точности существующих алгоритмов сопоставления было не достаточно для задачи поиска и контроля мест разведения буйволов [6], в результате чего авторы производили ручное досопоставление изображений, чтобы неточность сопоставления не влияла на точность исследуемого алгоритма.

Другим примером применения сопоставления оптических и SAR изображений является детекция оползней или обвалов для оценки степени их ущерба и упрощении процесса его ликвидации (например, спасательные операции) [7]. Данная задача является разновидностью задач с поиском изменений, где требуется сравнить два изображения снятые до и после происшествия и найти отличия. В работе изображения рассматриваются уже идеально выравненными, что подтверждает востребованность сопоставления оптических и SAR изображений пиксель-в-пиксель для задач обнаружения изменений.

В работе [51] представлена задача сегментации трущоб с использованием оптических и SAR изображений, в которой рассматривались идеально сопоставленные оптические и SAR изображения (работа не рассматривает задачу сопоставления изображений, а только задачу сегментации). Это отражает востребованность высокоточного сопоставления изображений для задачи сегментации.

Рисунок 1.1 — Примеры фрагментов оптических (верхний ряд) и SAR (нижний ряд) изображений. Размер фрагментов 200x200 пикселей.

Другим примером можно упомянуть задачу навигации в условиях отсутствия спутникового GPS сигнала [10]. Для этого используют сопоставление SAR изображений, получаемых летательным аппаратом, с загруженным в его базу данных ортофотопланом (трансформированное изображение местности, созданное по перекрывающимся исходным оптическим снимкам) с геопривязкой. В представленной работе точность сопоставления оптических и SAR изображений предложенным алгоритмом составляла около 100 метров, что является хорошим результатом для поставленной задачи [10].

В результате можно сделать вывод, что требования к пиксельной точности сопоставления изображений определяются поставленной задачей. Например, для задач детекции объектов, обнаружения изменений и сегментации востребовано сопоставление изображений с точностью пиксель-в-пиксель [6; 7; 51]. Не точность сопоставления изображений может привести к неточности алгоритмов детекции объектов, обнаружения изменений или сегментации [12].

С другой стороны, для задачи навигации точность сопоставления изображений напрямую определяет точность определения положения

летательного аппарата [10]. Для такой задачи важным параметром точности алгоритма является точность определения положения в метрах, которая зависит как от пиксельной точности сопоставления изображений, так и пространственного разрешения используемых изображений. Отличие от предыдущей группы задач в том, что в задаче навигации алгоритм сопоставления изображений является конечным алгоритмом, в то время как для детекции объектов, обнаружения изменений и сегментации — это только необходимый предварительный этап, после которого применяются другие специализированные алгоритмы.

1.2 Сценарии сравнения алгоритмов сопоставления

В данном разделе рассматриваются встречающиеся в литературе метрики оценки точности детекторов ключевых точек (подраздел 1.2.1), способы сравнения алгоритмов сопоставления изображений и критерии для определения успешности сопоставления (подраздел 1.2.2). Дополнительно уделено внимание наличию публично доступных наборов данных и бенчмарков (подраздел 1.2.3).

1.2.1 Метрики оценки точности детекторов ключевых точек

Под ключевой точкой будем понимать точку изображения, для которой существует алгоритм определения ее координат, устойчивый к шуму и искажениям изображения. В 1992 году Харалик и Шапир предложили следующие требования, которым должны удовлетворять ключевые точки [52]:

— Отличимость — ключевая точка должна быть явно выделена на фоне и быть отличимой в своей окрестности.

— Инвариантность — определение ключевой точки должно быть независимым к геометрическим и радиометрическим искажениям.

— Стабильность — определение ключевой точки должно быть робастно к шуму и ошибкам.

— Уникальность — кроме локальной отличимости, ключевая точка должна обладать глобальной уникальностью для улучшения различимости повторяющихся паттернов.

— Интерпретируемость — ключевые точки должны определяться так, чтобы их можно было использовать для анализа соответствий и выявления интерпретируемой информации из изображения.

Список литературы диссертационного исследования кандидат наук Волков Владислав Владимирович, 2024 год

Список литературы

1. Significant remote sensing vegetation indices: A review of developments and applications / J. Xue, B. Su [и др.] // Journal of sensors. — 2017. — Т. 2017.

2. Denisova, A. The technology of agricultural fields remote sensing image segmentation using morphological profiles / A. Denisova, A. Kuznetsov, N. Glumov // Journal of Physics: Conference Series. Т. 1096. — IOP Publishing. 2018. — С. 012026.

3. Estimation of boreal forest growing stock volume in russia from sentinel-2 msi and land cover classification / W. G. Rees [и др.] // Remote Sensing. — 2021. — Т. 13, № 21. — С. 4483.

4. Automated power lines vegetation monitoring using high-resolution satellite imagery / M. Gazzea [и др.] // IEEE Transactions on Power Delivery. — 2021. — Т. 37, № 1. — С. 308—316.

5. Computer simulation of satellite data for urban expansion analysis / M. Boori [и др.] // International journal of Mathematics and computers in simulation. — 2016. — Т. 10. — С. 142—151.

6. Detection of environmental hazards through the feature-based fusion of optical and SAR data: A case study in southern Italy / A. Errico [et al.] // International Journal of Remote Sensing. — 2015. — Vol. 36, no. 13. — P. 3345—3367.

7. Plank, S. Landslide mapping in vegetated areas using change detection based on optical and polarimetric SAR data / S. Plank, A. Twele, S. Martinis // Remote Sensing. — 2016. — Vol. 8, no. 4. — P. 307.

8. Brunner, D. Earthquake damage assessment of buildings using VHR optical and SAR imagery / D. Brunner, G. Lemoine, L. Bruzzone // IEEE Transactions on Geoscience and Remote Sensing. — 2010. — Т. 48, № 5. — С. 2403—2420.

9. Universal SAR and optical image registration via a novel SIFT framework based on nonlinear diffusion and a polar spatial-frequency descriptor / Q. Yu [и др.] // ISPRS Journal of Photogrammetry and Remote Sensing. — 2021. — Т. 171. — С. 1—17.

10. Geometrical matching of SAR and optical images utilizing ASIFT features for SAR-based navigation aided systems / J. Markiewicz [и др.] // Sensors. — 2019. — Т. 19, № 24. — С. 5500.

11. Сидорчук, Д. С. Комплексирование радиолокационных изображений и оптических снимков в видимом и тепловом диапазонах с учетом различий в восприятии яркости и цветности / Д. С. Сидорчук, В. В. Волков // Сенсорные системы. — 2018. — Т. 32, № 1. — С. 14—18.

12. Asokan, A. Change detection techniques for remote sensing applications: A survey / A. Asokan, J. Anitha // Earth Science Informatics. — 2019. — Т. 12. — С. 143—160.

13. Building detection by local region features in SAR images / S. P. Ye [et al.] // Computer Optics. — 2020. — Vol. 44, no. 6.

14. Evaluation of the change in synthetic aperture radar imaging using transfer learning and residual network / I. Hamdi [и др.] // Компьютерная оптика. — 2021. — Т. 45, № 4. — С. 600—607.

15. A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information / M. Gong [et al.] // IEEE Transactions on Geoscience and Remote Sensing. — 2013. —Vol. 52, no. 7. — P. 4328—4338.

16. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT / B. Fan [et al.] // IEEE Geoscience and Remote Sensing Letters. — 2012. — Vol. 10, no. 4. — P. 657—661.

17. Remote sensing image registration with modified SIFT and enhanced feature matching / W. Ma [et al.] // IEEE Geoscience and Remote Sensing Letters. — 2016. — Vol. 14, no. 1. — P. 3—7.

18. Paul, S. Optical-to-SAR image registration using modified distinctive order based self-similarity operator / S. Paul, U. C. Pati // 2018 IEEE International Students' Conference on Electrical, Electronics and Computer Science (SCEECS). — IEEE. 2018. — P. 1—5.

19. Adaptive Registration for Optical and SAR Images With a Scale-Constrained Matching Method / Y. Liang [и др.] // IEEE Geoscience and Remote Sensing Letters. — 2022. — Т. 19. — С. 1—5.

20. Feature based remote sensing image registration techniques: A comprehensive and comparative review / I. Misra [h gp.] // International Journal of Remote Sensing. — 2022. — T. 43, № 12. — C. 4477—4516.

21. Xiang, Y. OS-SIFT: A robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas / Y. Xiang, F. Wang, H. You // IEEE Transactions on Geoscience and Remote Sensing. — 2018. — Vol. 56, no. 6. — P. 3078—3090.

22. Paul, S. Automatic optical-to-SAR image registration using a structural descriptor / S. Paul, U. C. Pati // IET Image Processing. — 2019. — Vol. 14, no. 1. — P. 62—73.

23. Rank-based local self-similarity descriptor for optical-to-SAR image matching / X. Xiong [et al.] // IEEE Geoscience and Remote Sensing Letters. — 2019. — Vol. 17, no. 10. — P. 1742—1746.

24. A Global-to-local Algorithm for High-resolution Optical and SAR Image Registration / Y. Xiang [h gp.] // IEEE Transactions on Geoscience and Remote Sensing. — 2023.

25. Optical-to-SAR Image Registration Based On Gaussian Mixture Model / H. Wang [et al.] // ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. — 2012. — Vol. 39. — P. 179—183.

26. SAR and optical image registration based on edge features / D. Shen [h gp.] // 2017 4th International Conference on Systems and Informatics (ICSAI). — IEEE. 2017. — C. 1272—1276.

27. Automatic optical-to-SAR image registration by iterative line extraction and Voronoi integrated spectral point matching / H. Sui [h gp.] // IEEE Transactions on geoscience and remote sensing. — 2015. — T. 53, № 11. — C. 6058—6072.

28. Kunina, I. Matching of SAR and optical images by independent referencing to vector map / I. Kunina, E. Panfilova, A. Gladkov // Eleventh International Conference on Machine Vision (ICMV 2018). Vol. 11041. — International Society for Optics, Photonics. 2019. — P. 1104102.

29. Aerial image geolocalization by matching its line structure with route map / I. Kunina [h gp.] // Ninth International Conference on Machine Vision (ICMV 2016). T. 10341. — SPIE. 2017. — C. 451—457.

30. An automatic optical and SAR image registration method with iterative level set segmentation and SIFT / C. Xu [et al.] // International Journal of Remote Sensing. — 2015. — Vol. 36, no. 15. — P. 3997—4017.

31. Fischler, M. A. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography / M. A. Fischler, R. C. Bolles // Communications of the ACM. — 1981. — Vol. 24, no. 6. — P. 381—395.

32. Lowe, D. G. Distinctive image features from scale-invariant keypoints / D. G. Lowe // International journal of computer vision. — 2004. — Vol. 60, no. 2. — P. 91—110.

33. A Fast Registration Method for Optical and SAR Images Based on SRAWG Feature Description / Z. Wang [h gp.] // Remote Sensing. — 2022. — T. 14, № 19. — C. 5060.

34. Hansson, N. Investigation of Registration Methods for High Resolution SAR-EO Imagery / N. Hansson. — 2022.

35. A visual circle based image registration algorithm for optical and SAR imagery / W. Shi [et al.] // 2012 IEEE International Geoscience and Remote Sensing Symposium. — IEEE. 2012. — P. 2109—2112.

36. Image quality assessment: from error visibility to structural similarity / Z. Wang [h gp.] // IEEE transactions on image processing. — 2004. — T. 13, № 4. — C. 600—612.

37. Suri, S. Mutual-information-based registration of TerraSAR-X and Ikonos imagery in urban areas / S. Suri, P. Reinartz // IEEE Transactions on Geoscience and Remote Sensing. — 2009. — Vol. 48, no. 2. — P. 939—949.

38. Paul, S. High-resolution optical-to-SAR image registration using mutual information and SPSA optimisation / S. Paul, U. C. Pati // IET Image Processing. — 2021. — T. 15, № 6. — C. 1319—1331.

39. Чеканов, М. О. Одноточечный RANSAC для оценки величины осевого вращения объекта по томографическим проекциям / М. О. Чеканов, О. С. Шипитько, Е. И. Ершов // Сенсорные системы. — 2020. — Т. 34, № 1. — С. 72—86.

40. Tropin, D. V. The method of image alignment based on sharpness maximization / D. V. Tropin, D. P. Nikolaev, D. G. Slugin // Eleventh International Conference on Machine Vision (ICMV 2018). Vol. 11041. — International Society for Optics, Photonics. 2019. — P. 1104105.

41. Шемякина, Ю. А. Использование точек и прямых для вычисления проективного преобразования по двум изображениям плоского объекта / Ю. А. Шемякина // Информационные технологии и вычислительные системы. — 2017. — № 3. — С. 79—91.

42. Impact of geometrical restrictions in RANSAC sampling on the ID document classification / N. Skoryukina [et al.] // Twelfth International Conference on Machine Vision (ICMV 2019). Vol. 11433. — International Society for Optics, Photonics. 2020. — P. 1143306.

43. О локализации плоских объектов на изображениях со сложной структурой проективных искажений / Д. В. Тропин [и др.] // Информационные процессы. — 2019. — Т. 19, № 2. — С. 208—229.

44. A Robust Strategy for Large-Size Optical and SAR Image Registration / Z. Li [и др.] // Remote Sensing. — 2022. — Т. 14, № 13. — С. 3012.

45. A robust two-stage registration algorithm for large optical and SAR images / Y. Xiang [и др.] // IEEE Transactions on Geoscience and Remote Sensing. — 2021. — Т. 60. — С. 1—15.

46. Schmitt, M. The SEN1-2 dataset for deep learning in SAR-optical data fusion / M. Schmitt, L. H. Hughes, X. X. Zhu // arXiv preprint arXiv:1807.01569. — 2018.

47. Improving co-registration for sentinel-1 SAR and sentinel-2 optical images / Y. Ye [и др.] // Remote Sensing. — 2021. — Т. 13, № 5. — С. 928.

48. Sedaghat, A. Uniform robust scale-invariant feature matching for optical remote sensing images / A. Sedaghat, M. Mokhtarzade, H. Ebadi // IEEE Transactions on Geoscience and Remote Sensing. — 2011. — Vol. 49, no. 11. — P. 4516—4527.

49. Paul, S. Remote sensing optical image registration using modified uniform robust SIFT / S. Paul, U. C. Pati // IEEE Geoscience and Remote Sensing Letters. — 2016. — T. 13, № 9. — C. 1300—1304.

50. Satellite optical imagery in Coastal Engineering / I. L. Turner [h gp.] // Coastal engineering. — 2021. — T. 167. — C. 103919.

51. Semantic segmentation of slums in satellite images using transfer learning on fully convolutional neural networks / M. Wurm [et al.] // ISPRS journal of photogrammetry and remote sensing. — 2019. — Vol. 150. — P. 59—69.

52. Rodehorst, V. Comparison and evaluation of feature point detectors / V. Rodehorst, A. Koschan // 5th International Symposium Turkish-German Joint Geodetic Days. — 2006.

53. Local invariant feature detectors: a survey / T. Tuytelaars, K. Mikolajczyk [h gp.] // Foundations and trends® in computer graphics and vision. — 2008. — T. 3, № 3. — C. 177—280.

54. Li, J. RIFT: Multi-modal image matching based on radiation-variation insensitive feature transform / J. Li, Q. Hu, M. Ai // IEEE Transactions on Image Processing. — 2019. — T. 29. — C. 3296—3310.

55. Rosten, E. Faster and better: A machine learning approach to corner detection / E. Rosten, R. Porter, T. Drummond // IEEE transactions on pattern analysis and machine intelligence. — 2008. — T. 32, № 1. — C. 105—119.

56. Leutenegger, S. BRISK: Binary robust invariant scalable keypoints / S. Leutenegger, M. Chli, R. Y. Siegwart // 2011 International conference on computer vision. — Ieee. 2011. — C. 2548—2555.

57. Speeded-up robust features (SURF) / H. Bay [h gp.] // Computer vision and image understanding. — 2008. — T. 110, № 3. — C. 346—359.

58. Robust wide-baseline stereo from maximally stable extremal regions / J. Matas [h gp.] // Image and vision computing. — 2004. — T. 22, № 10. — C. 761—767.

59. SAR and optical image registration using nonlinear diffusion and phase congruency structural descriptor / J. Fan [h gp.] // IEEE Transactions on Geoscience and Remote Sensing. — 2018. — T. 56, № 9. — C. 5368—5379.

60. Schmid, C. Evaluation of interest point detectors / C. Schmid, R. Mohr, C. Bauckhage // International Journal of computer vision. — 2000. — T. 37, № 2. — C. 151—172.

61. A robust algorithm based on phase congruency for optical and SAR image registration in suburban areas / L. Wang [h gp.] // Remote Sensing. — 2020. — T. 12, № 20. — C. 3339.

62. Paul, S. Automatic optical-to-SAR image registration using a structural descriptor / S. Paul, U. C. Pati // IET Image Processing. — 2020. — T. 14, № 1. — C. 62—73.

63. Robust feature matching method for SAR and optical images by using Gaussian-gamma-shaped bi-windows-based descriptor and geometric constraint / M. Chen [h gp.] // Remote Sensing. — 2017. — T. 9, № 9. — C. 882.

64. Optical and SAR image registration using complexity analysis and binary descriptor in suburban areas / Z. Xie [h gp.] // IEEE Geoscience and Remote Sensing Letters. — 2021. — T. 19. — C. 1—5.

65. Robust optical-to-SAR image matching based on shape properties / Y. Ye [et al.] // IEEE Geoscience and Remote Sensing Letters. — 2017. — Vol. 14, no. 4. — P. 564—568.

66. Robust registration of multimodal remote sensing images based on structural similarity / Y. Ye [et al.] // IEEE Transactions on Geoscience and Remote Sensing. — 2017. — Vol. 55, no. 5. — P. 2941—2958.

67. Rapid multimodality registration based on MM-SURF / D. Zhao [et al.] // Neurocomputing. — 2014. — Vol. 131. — P. 87—97.

68. Zhang, X. Robust optical and SAR image registration based on OS-SIFT and cascaded sample consensus / X. Zhang, Y. Wang, H. Liu // IEEE Geoscience and Remote Sensing Letters. — 2021. — T. 19. — C. 1—5.

69. Zhang, W. An improved SIFT algorithm for registration between SAR and optical images / W. Zhang, Y. Zhao // Scientific Reports. — 2023. — T. 13, № 1. — C. 6346.

70. Goncalves, H. Automatic image registration through image segmentation and SIFT / H. Goncalves, L. Corte-Real, J. A. Goncalves // IEEE Transactions on Geoscience and Remote Sensing. — 2011. — T. 49, № 7. — C. 2589—2600.

71. Matching of high-resolution optical data to a shaded DEM / M. Schneider [h gp.] // International Journal of Image and Data Fusion. — 2012. — T. 3, № 2. — C. 111—127.

72. Shechtman, E. Matching local self-similarities across images and videos / E. Shechtman, M. Irani // 2007 IEEE Conference on Computer Vision and Pattern Recognition. — IEEE. 2007. — C. 1—8.

73. Zhang, W. SAR and Optical Image Registration Based on Uniform Feature Points Extraction and Consistency Gradient Calculation / W. Zhang, Y. Zhao // Applied Sciences. — 2023. — T. 13, № 3. — C. 1238.

74. Optical and SAR Image Registration Based on the Phase Congruency Framework / Z. Xie [h gp.] // Applied Sciences. — 2023. — T. 13, № 10. — C. 5887.

75. Automatic registration of optical and SAR images via improved phase congruency model / Y. Xiang [h gp.] // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. — 2020. — T. 13. — C. 5847—5861.

76. Optical and SAR image registration based on multi-scale orientated map of phase congruency / L. Jia [h gp.] // Electronics. — 2023. — T. 12, № 7. — C. 1635.

77. OS-PC: Combining feature representation and 3-D phase correlation for subpixel optical and SAR image registration / Y. Xiang [h gp.] // IEEE Transactions on Geoscience and Remote Sensing. — 2020. — T. 58, № 9. — C. 6451—6466.

78. Jeon, H. Registration Method between High Resolution Optical and SAR Images / H. Jeon, Y. Kim // Korean Journal of Remote Sensing. — 2018. — T. 34, № 5. — C. 739—747.

79. HR optical and SAR image registration using uniform optimized feature and extend phase congruency / H. Yan [h gp.] // International Journal of Remote Sensing. — 2022. — T. 43, № 1. — C. 52—74.

80. A novel multiscale adaptive binning phase congruency feature for SAR and optical image registration / J. Fan [h gp.] // IEEE Transactions on Geoscience and Remote Sensing. — 2022. — T. 60. — C. 1—16.

81. Fast and Robust Optical-to-SAR Remote Sensing Image Registration Using Region Aware Phase Descriptor / Y. Ye [h gp.] // IEEE Transactions on Geoscience and Remote Sensing. — 2024.

82. Zhaohui, Z. An automatic procedure for SAR-optical satellite image registration based on multi-layer feature matching strategy / Z. Zhaohui, P. Chunhong, M. Songde // Proceedings of 2004 International Symposium on Intelligent Signal Processing and Communication Systems, 2004. ISPACS 2004. — IEEE. 2004. — C. 574—580.

83. Li, Z. A rotation-invariant optical and SAR image registration algorithm based on deep and Gaussian features / Z. Li, H. Zhang, Y. Huang // Remote Sensing. — 2021. — T. 13, № 13. — C. 2628.

84. A deep translation (GAN) based change detection network for optical and SAR remote sensing images / X. Li [h gp.] // ISPRS Journal of Photogrammetry and Remote Sensing. — 2021. — T. 179. — C. 14—34.

85. Optical and SAR image matching using pixelwise deep dense features / H. Zhang [h gp.] // IEEE Geoscience and Remote Sensing Letters. — 2020. — T. 19. — C. 1—5.

86. Sommervold, O. A survey on SAR and optical satellite image registration / O. Sommervold, M. Gazzea, R. Arghandeh // Remote Sensing. — 2023. — T. 15, № 3. — C. 850.

87. SAR and Optical Image Registration Based on Deep Learning with Co-Attention Matching Module / J. Chen [h gp.] // Remote Sensing. — 2023. — T. 15, № 15. — C. 3879.

88. Shabanov, A. Optical-to-SAR image registration using a combination of CNN descriptors and cross-correlation coefficient / A. Shabanov, S. Gladilin, E. Shvets // Twelfth International Conference on Machine Vision (ICMV 2019). T. 11433. — SPIE. 2020. — C. 440—449.

89. Robust registration algorithm for optical and SAR images based on adjacent self-similarity feature / X. Xiong [h gp.] // IEEE Transactions on Geoscience and Remote Sensing. — 2022. — T. 60. — C. 1—17.

90. High-Precision Pixelwise SAR-Optical Image Registration via Flow Fusion Estimation Based on an Attention Mechanism / Q. Yu [h gp.] // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. — 2022. — T. 15. — C. 3958—3971.

91. Optical and SAR image dense registration using a robust deep optical flow framework / H. Zhang [h gp.] // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. — 2023. — T. 16. — C. 1269—1294.

92. Deep generative matching network for optical and SAR image registration / D. Quan [h gp.] // IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. — IEEE. 2018. — C. 6215—6218.

93. Hnatushenko, V. Variational approach for rigid co-registration of optical/SAR satellite images in agricultural areas / V. Hnatushenko, P. Kogut, M. Uvarov // Journal of Computational and Applied Mathematics. — 2022. — T. 400. — C. 113742.

94. Huang, X. SAR and optical image registration method based on improved CycleGAN / X. Huang, L. Wen, J. Ding // 2019 6th Asia-Pacific Conference on Synthetic Aperture Radar (APSAR). — IEEE. 2019. — C. 1—6.

95. Optical and SAR Image Registration Based on Pseudo-SAR Image Generation Strategy / C. Hu [h gp.] // Remote Sensing. — 2023. — T. 15, № 14. — C. 3528.

96. Registration of high resolution SAR and optical satellite imagery using fully convolutional networks / S. Hoffmann [h gp.] // IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium. — IEEE. 2019. — C. 5152—5155.

97. Fischer, P. Descriptor matching with convolutional neural networks: a comparison to sift / P. Fischer, A. Dosovitskiy, T. Brox // arXiv preprint arXiv:1405.5769. — 2014.

98. Exploiting deep matching and SAR data for the geo-localization accuracy improvement of optical satellite images / N. Merkle [h gp.] // Remote Sensing. — 2017. — T. 9, № 6. — C. 586.

99. Registration of multimodal remote sensing image based on deep fully convolutional neural network / H. Zhang [h gp.] // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. — 2019. — T. 12, № 8. — C. 3028—3042.

100. A deep learning framework for matching of SAR and optical imagery / L. H. Hughes [и др.] // ISPRS Journal of Photogrammetry and Remote Sensing. — 2020. — Т. 169. — С. 166—179.

101. Fast and robust matching for multimodal remote sensing image registration / Y. Ye [и др.] // IEEE Transactions on Geoscience and Remote Sensing. — 2019. — Т. 57, № 11. — С. 9059—9070.

102. Copernicus Open Access Hub, Terms and Conditions [Электронный ресурс]. — URL: https : / / scihub . copernicus . eu / twiki / do / view / SciHubWebPortal/TermsConditions (visited on 01/22/2021).

103. Copernicus Open Access Hub [Электронный ресурс]. — URL: https:// scihub.copernicus.eu/ (visited on 12/29/2020).

104. Sentinel-1 geographical coverage [Электронный ресурс]. — URL: https: / / sentinels . copernicus . eu / web / sentinel / missions / sentinel -1 / satellite-description/geographical-coverage (visited on 08/21/2023).

105. Sentinel-2 geographical coverage [Электронный ресурс]. — URL: https: / / sentinels . copernicus . eu / web / sentinel / missions / sentinel - 2 (visited on 08/21/2023).

106. Sentinel-2 Spectral Bands and Resolution [Электронный ресурс]. — URL: https: / / www.usgs.gov/centers / eros / science / usgs-eros-archive-sentinel-2?qt-science_center_objects=0#overview (visited on 08/21/2023).

107. Optical-SAR датасет и метод для оценки алгоритмов сопоставления изображений [Электронный ресурс]. — URL: https : / / github . com / VolkovVl/Optical-SAR-dataset (дата обр. 09.04.2021).

108. Lepetit, V. Towards recognizing feature points using classification trees : tech. rep. / V. Lepetit, P. Fua. — 2004.

109. Lukoyanov, A. Modification of YAPE keypoint detection algorithm for wide local contrast range images / A. Lukoyanov, D. Nikolaev, I. Konovalenko // Tenth International Conference on Machine Vision (ICMV 2017). Т. 10696. — SPIE. 2018. — С. 305—312.

110. OpenCV: Main page [Электронный ресурс]. —URL: https://docs.opencv. org/master/index.html (visited on 04/06/2021).

111. Волков, В. В. Набор данных и метод для оценки алгоритмов сопоставления оптических и радиолокационных изображений на основе устойчивых точек / В. В. Волков, Е. А. Швец // ИТиВС. — 2021. — № 2. — С. 44—57.

112. Yu, H. Coarse-to-fine accurate registration for airborne Sar images using SAR-FAST and DSP-LATCH / H. Yu, W. Yang, Y. Liu // Progress In Electromagnetics Research. — 2018. — Т. 163. — С. 89—106.

113. Волков, В. В. Модифицирование метода поиска и дескрибирования устойчивых точек SIFT для сопоставления оптических и радиолокационных изображений / В. В. Волков // Сенсорные системы. — 2022. — Т. 36, № 4. — С. 349—365.

114. Volkov, V. V. Hybrid algorithm for optical and SAR image registration based on U-Net neural network and keypoint-based refinement / V. V. Volkov // 7th IEEE International Conference «Video and Audio Signal Processing in the Context of Neurotechnologies» SPCN-2022. — 2022. — С. 280—291.

115. Volkov, V. V. Neural network algorithm for optical-SAR image registration based on a uniform grid of points / V. V. Volkov, E. A. Shvets // Computer Optics. — 2024. — Т. 48. — С. 610—618.

Список рисунков

1.1 Примеры фрагментов оптических (верхний ряд) и SAR (нижний

ряд) изображений. Размер фрагментов 200x200 пикселей....... 16

1.2 Пример сложно сопоставимых пар изображений из набора данных SEN1-2. Левое изображение в паре оптическое, правое —SAR..... 23

2.1 Зона покрытия спутника Sentinel-1. Источник [104]........... 36

2.2 Зона покрытия спутника Sentinel-2. Источник [105]........... 37

2.3 Примеры пар изображений из набора данных. Верхний ряд — оптические изображения, нижний — соответствующие им SAR изображения................................. 41

3.1 Архитектура нейросети, предсказывающей SAR изображение с примененным гауссовым фильтром по оптическому изображению. . . 56

3.2 Иллюстрация вычисления значения похожести (similarity) для случая сдвига на 100 пикселей по обоим координатам (шаг 2(в) алгоритма). Верхний ряд соответствует SAR-подобному изображению, нижний — SAR с гауссовым фильтром. N — площадь пересечения двух изображений в пикселях................ 58

3.3 Пример успешно сопоставленных изображений. Слева направо: оптическое изображение, SAR-подобное (к = 0.75), SAR+gauss

(а =2).................................... 59

3.4 Пример работы SIFT детектора. Слева без применения биннинга, справа —с применением биннинга. Кружками отмечены найденные ключевые точки............................... 61

3.5 Слева нарисованы градиенты на патче размера 8x8, которые умножаются на вес, определенный гауссовым окном (круг). Эти градиенты образуют гистограммы градиентов справа. Каждый вектор справа отображает сумму длин градиентов с близким направлением в соответствующей области патча............ 66

3.6 Пример инвертированности градиентов. Слева патч оптического изображения, справа —SAR. В каждом из 16-ти квадратиков нарисованы вектора градиентов, соответствующих сумме всех градиентов в этом квадратике с соответствующим направлением вектора (сектор в 360° разбивается на восемь одинаковых секторов). 67

3.7 Пример предобработки патчей. Слева направо: оптический патч, SAR патч, оптический патч с предобработкой (o^l = 1, закрытие с окном 1 пиксель), SAR патч с предобработкой (о^Г = 1.5)....... 68

3.8 Гистограммы градиентов для оптических и SAR патчей. Слева направо: предложенный алгоритм вычисления дескрипторов с четырьмя направлениями (первая и вторая колонки), предложенный алгоритм с восемью направлениями (3- и 4-я колонки), SIFT дескриптор (5- и 6-я колонки).............. 69

3.9 Среднее количество сопоставленных изображений рассматриваемыми алгоритмами по результатам десяти нейросетей в зависимости от множителя дисперсии к. Слева случай с предвыравниванием с точностью 5 пикселей, справа —с точностью

2.5 пикселей................................. 76

3.10 Медиана от количества сопоставленных изображений рассматриваемыми алгоритмами по результатам десяти нейросетей в зависимости от множителя дисперсии к. Слева случай с предвыравниванием с точностью 5 пикселей, справа — с точностью

2.5 пикселей................................. 77

4.1 Пример оптических (сверху) и SAR (снизу) изображений из сгенерированного набора данных с масштабом до 20% (множитель масштабирования [0.8, 1.2]) и относительным поворотом до ±20°. . . 81

4.2 Архитектура нейросети для сопоставления оптических и SAR изображений................................. 84

4.3 Пример окна поиска точек-кандидатов для сопоставления. Желтая точка на оптическом изображении и зеленая на SAR соответствуют одному географическому месту. Зеленый квадрат соответствует

окну поиска (радиус 50 пикселей) с центром в желтой точке............86

4.4 Примеры гистограмм сопоставления пар точек при разных параметрах отступа t. Слева t = 0.35, справа t = 0.2....................87

4.5 Пример успешного сопоставления оптического и SAR изображения. . 90

Список таблиц

1 Список каналов предоставляемых спутником Sentinel-2A и их характеристики............................... 38

2 Среднее количество повторяемых ключевых точек на одну пару изображений от величины порога 6.................... 47

3 Доля (%) повторяемых ключевых точек от величины порога 6. ... 47

4 Среднее количество взаимно ближайших повторяемых ключевых

точек на одну пару изображений от величины порога 6........ 47

5 Доля (%) взаимно ближайших повторяемых ключевых точек от величины порога 6............................. 48

6 Значения оптимальных параметров, используемые в исследуемой метрике оценки точности сопоставления точек в случаях с и без предварительного выравнивания изображений.............. 49

7 Среднее значение RMSE в случае без использования предварительного выравнивания изображений............. 50

8 Среднее значение RMSE в случае с использованием предварительного выравнивания изображений ............. 50

9 Точность алгоритмов сопоставления изображений в случае с предварительным выравниванием изображений ............ 51

10 Точность алгоритмов сопоставления изображений в случае без предварительным выравниванием изображений ............ 51

11 Оценка повторяемости для нескольких значений а для порога повторяемости 6 = 5 с различными комбинациями применения биннинга и NMS. Числом записано среднее количество повторяемых точек на одну пару изображений, а в скобках их доля среди всех точек............................... 71

12 Оптимальные параметры и точность сопоставления изображений

для четырех комбинаций точек с использованием биннинга и NMS. . 73

13 Точность сопоставления изображений для двух методов вычисления дескрипторов: SIFT и предлагаемого алгоритма modSIFT на полноразмерных изображениях (первые две колонки) и на даунскейленных в два раза изображениях (последние две колонки). В первой строке приведены параметры для предобработки, голосующей схемы и дескрипторный порог......75

14 Точность сопоставления алгоритмов сопоставления для разных искажений при фиксированных параметрах алгоритма, оптимизированных на наборе данных й1.10_г10............. 91

15 Точность сопоставления алгоритмов сопоставления для разных искажений. Для каждого случая искажения подбирались индивидуальные оптимальные параметры................ 92

16 Сравнение точности сопоставления алгоритма с нейросетью пеЛь)огк1 в случае с едиными оптимальными параметрами, обученными на й1.10_г10 (саэе1) и в случае с оптимальными параметрами индивидуальными для каждого искажения (саэе2). . . 93

17 Сравнение точности сопоставления алгоритма с нейросетью п&тогк2 в случае с едиными оптимальными параметрами, обученными на й1.10_г10 (саэе1) и в случае с оптимальными параметрами индивидуальными для каждого искажения (саэе2). . . 94

Приложение А

Акты о внедрении результатов диссертационного исследования