Расширенное суперпиксельное представление изображений для их обработки и анализа тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Егорова Анна Александровна

• Егорова Анна Александровна
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Егорова Анна Александровна

Введение

Раздел 1 Суперпиксельное представление изображений

1.1 Постановка задачи суперпиксельной сегментации изображений

1.2 Структуры данных для хранения суперпикселей

1.3 Признаковое описание суперпикселей

1.4 Качество суперпиксельной сегментации

1.5 Известные алгоритмы суперпиксельной сегментации изображений

1.6 Предлагаемый метод формирования суперпиксельного представления изображений

1.7 Выбор алгоритма первичной сегментации

1.8 Алгоритм выделения областей

1.9 Общие требования к признаковому описанию суперпикселей

Выводы и результаты по первому разделу

Раздел 2 Предлагаемая система признаков описания суперпикселей

2.1 Признаки для формирования первичного суперпиксельного представления изображений

2.2 Оценка геометрических характеристик областей

2.3 Оценка яркостных характеристик областей

2.4 Полиномиальная аппроксимация поля яркости в областях

Выводы и результаты по второму разделу

Раздел 3 Объединение суперпикселей

2.1 Предикаты однородности суперпикселей

3.2 Пересчёт характеристик суперпикселей

3.3 Иллюстрация объединения суперпикселей

Выводы и результаты по третьему разделу

Раздел 4 Решение прикладных задач анализа и обработки изображений по их

суперпиксельному представлению

4.1 Фильтрация изображений

4.1.1 Фильтрация аддитивного белого гауссовского шума

4.1.2 Фильтрация импульсного шума

4.2 Обнаружение структурных изменений

4.2.1 Известный алгоритм обнаружения изменений на основе морфологического проектора

4.2.2 Решение задачи обнаружения структурных изменений, основанное на суперпиксельном подходе

4.2.3 Обнаружение изменений границ леса по разновременным данным ДЗЗ

4.3 Классификация объектов

4.3.1 Информационная технология оценки состава ареала растений по данным ДЗЗ

Выводы и результаты по четвёртому разделу

Заключение

Список литературы

Приложение А Обзор показателей качества суперпиксельной сегментации

Приложение Б Акты об использовании результатов диссертации

Б.1 Акт об использовании результатов диссертации в институте систем обработки изображений РАН - филиала федерального государственного учреждения «Федеральный научно-исследовательский центр «Кристаллография

и фотоника» Российской академии наук

Б.2 Акт об использовании результатов диссертации в акционерном обществе «Самара-Информспутник»

ВВЕДЕНИЕ

Диссертация посвящена разработке и исследованию нового метода формирования расширенного суперпиксельного представления изображений, предназначенного для решения широкого класса прикладных задач анализа и обработки визуальной информации.

Введение диссертации (часть автореферата) на тему «Расширенное суперпиксельное представление изображений для их обработки и анализа»

Актуальность темы исследования

Созданный на сегодня огромный научно-методический инструментарий позволяет решать практически любые прикладные задачи, связанные с анализом визуальной информации. Тем не менее, постоянно растущие требования к скорости, точности и другим качественным характеристикам средств обработки изображений стимулируют дальнейшие исследования в этой области.

Подавляющее большинство известных методов обработки и анализа изображений использует растровое представление обрабатываемых двумерных данных в виде регулярной решётки значений (отсчётов, пикселей) функции яркости или какого-либо иного физического параметра, распределённого на плоскости [1-6]. С одной стороны, такое представление является наиболее простым и естественным, позволяет создать глубокую теорию и хорошо обоснованные алгоритмы обработки многомерных сигналов. С другой стороны, растровое представление является заведомо избыточным, не учитывает состав, форму, взаимное расположение и другие характеристики объектов на изображённой сцене.

Сравнительно недавно зарубежные авторы стали интенсивно развивать концепцию суперпиксельного представления изображения, то есть разбиения всего множества пикселей на связные области, отвечающие некоторым предустановленным требованиям однородности [7-10]. Поскольку число этих областей (суперпикселей) во много раз меньше числа пикселей, а каждый суперпиксель в идеале входит в состав только одного изображённого объекта, можно ожидать значительного ускорения и повышения качества обработки изображения. По существу, этими авторами были «переоткрыты» (с некоторыми непринципиальными модификациями) давно известные процедуры сегментации

[3, 5, 11-15]. В этом смысле новизна идеи суперпикселей выглядит сомнительной, хотя её детализация и реализационные аспекты представляют определённый научный и прикладной интерес. Она нашла применение в задачах классификации [16-22, 23*, 24*], локализации и обнаружения объектов [25-31, 32*, 33*, 34*, 35*], трекинга объектов [36-38], семантической сегментации [39-45], фильтрации [46, 47, 48*, 49*, 50*] и др.

Научные публикации и фреймворки, представленные в интернете, демонстрируют большое разнообразие эвристических алгоритмов генерации суперпиксельного представления изображений [8, 51-71]. Каждый из них имеет свой набор преимуществ и недостатков и, как правило, ориентирован на решение узких классов прикладных задач. Причём эти задачи решаются не всегда с удовлетворительным качеством. Разнообразие алгоритмов формирования суперпиксельного представления привело к возникновению ряда научных работ, посвящённых обзору и сравнению большинства из них [8-10, 72-75], однако, в этих работах практически отсутствуют рекомендации по использованию тех или иных алгоритмов в конкретных прикладных задачах.

Кроме того, актуальным остаётся вопрос признакового описания суперпикселей, поскольку при решении прикладных задач анализа и обработки изображений на основе суперпиксельного представления [17, 18, 22, 39, 44, 76-83], как правило, используется малый набор характеристик суперпикселей и их выбор чаще всего не аргументирован. Очевидно, это сужает возможности обработки изображений. Расширение набора признаков суперпикселей может повысить качество обрабатывающих алгоритмов.

Таким образом, представляется, что потенциал суперпиксельной обработки изображений далеко не исчерпан, но его раскрытие требует существенного развития данного подхода как в направлении повышения вычислительной эффективности и унификации обрабатывающих алгоритмов, так и с точки зрения расширения признакового описания суперпикселей.

Объектом исследования является суперпиксельное представление цифровых изображений.

Предметом исследования является формирование расширенного суперпиксельного представления для решения прикладных задач анализа и обработки изображений.

Цель и задачи исследования

Целью диссертации является разработка нового метода формирования расширенного суперпиксельного представления, с использованием которого могут быть решены различные задачи анализа и обработки цифровых изображений.

Для достижения поставленной цели в диссертации решаются следующие задачи.

1. Аналитический обзор известных методов представления изображений в виде суперпикселей.

2. Разработка метода формирования суперпиксельного представления изображений, обладающего преимуществами перед известными методами.

3. Разработка системы признаков для расширенного суперпиксельного представления изображений, с использованием которой может быть решён широкий круг прикладных задач.

4. Исследование применимости разработанного метода формирования суперпиксельного представления изображений для решения различных прикладных задач.

Научная новизна

1. Предложен новый двухэтапный метод формирования суперпиксельного представления изображений: на первом этапе он быстро выполняет первичную сегментацию, сокращая число элементов изображения, и, сохраняя при этом высокую точность представления исходного изображения, на втором этапе -объединяет суперпиксели с использованием более мягких, чем на первом этапе, предикатов однородности. Предложенный метод отличается от известных расширенным множеством признаков суперпикселей, которые рассчитываются одновременно с процессом сегментации.

2. Сформированы требования к базовым признакам (непосредственно вычисляемым в процессе сегментации), выполнение которых обеспечивает

широкую применимость формируемого суперпиксельного представления: базовые признаки должны обладать низкой сложностью пересчёта при укрупнении суперпикселей и должны легко пересчитываться в производные признаки, нужные для решения конкретных прикладных задач. Определены классы признаков, удовлетворяющие этим требованиям: аддитивные, экстремальные, векторные и множественные.

3. Предложена система из 25 базовых признаков суперпикселей, удовлетворяющих установленным требованиям. С их использованием могут быть решены различные типовые задачи анализа и обработки изображений: описание размеров, положения, площади, ориентации и других признаков формы, описание формы функции яркости суперпикселя, аппроксимация изображения. Показано, как производные признаки суперпикселей могут быть рассчитаны по введённым базовым признакам.

4. Предложена процедура объединения областей, используемая в разработанном методе формирования расширенного суперпиксельного представления изображения. Предложены предикаты однородности областей, по которым они могут быть объединены, выведены выражения для пересчёта базовых признаков при объединении областей.

5. На примере решения ряда прикладных задач анализа и обработки изображений (аппроксимации, фильтрации аддитивного и импульсного шума, выявления структурных различий в паре изображений, классификации снимков дистанционного зондирования Земли) по их суперпиксельному представлению продемонстрирована универсальность и эффективность предложенного метода суперпиксельной сегментации.

6. С использованием набора тестовых полутоновых изображений экспериментально подтверждены преимущества предложенного метода формирования расширенного суперпиксельного представления изображений и основанных на нём обрабатывающих алгоритмов.

Практическая значимость работы

Разработанный в рамках диссертационного исследования метод перехода от растрового представления изображений к более компактному, суперпиксельному, в котором каждая область описывается широким набором признаков, может быть использован в системах анализа и обработки изображений для решения различных прикладных задач: фильтрации, классификации, обнаружения и локализации объектов, поиска изменений, компрессии, текстурного анализа и др.

Реализация результатов работы

Результаты диссертационной работы были использованы при выполнении программы фундаментальных научных исследований государственных академий наук по теме №0026-2019-0014 «Разработка методов интеллектуального анализа и криптозащиты изображений в задачах обработки данных дистанционного зондирования Земли», что подтверждается актом внедрения института систем обработки изображений РАН - филиала федерального государственного учреждения «Федеральный научно-исследовательский центр «Кристаллография и фотоника» Российской академии наук (Приложение Б.1). Предложенный в диссертации метод формирования расширенного представления был использован в работе по развитию геоинформационной системы АПК в АО «Самара-Информспутник», что подтверждается актом внедрения (Приложение Б.2).

Положения, выносимые на защиту

1. Метод формирования суперпиксельного представления изображений, отличающийся от известных расширенным множеством признаков суперпикселей, вычисляемых в процессе сегментации.

2. Общие требования к признакам суперпикселей, формируемым в предлагаемом методе расширенного суперпиксельного представления изображений.

3. Система из 25 базовых признаков, включаемых в расширенное описание суперпикселей, обеспечивающая решение типовых задач обработки и анализа

изображений, а также способы их пересчёта в производные признаки, используемые при решении конкретных прикладных задач.

4. Процедура объединения областей на втором этапе формирования расширенного суперпиксельного представления изображений, включающая пересчёт базовых признаков.

5. Экспериментальное подтверждение преимуществ предложенного метода формирования расширенного суперпиксельного представления изображений и его применимости для решения различных прикладных задач.

Соответствие специальности

Результаты исследования соответствуют следующим пунктам областей исследования паспорта научной специальности 05.13.17 - Теоретические основы информатики:

2. Исследование информационных структур, разработка и анализ моделей информационных процессов и структур.

3. Исследование методов и разработка средств кодирования информации в виде данных. Принципы создания языков описания данных, языков манипулирования данными, языков запросов. Разработка и исследование моделей данных и новых принципов их проектирования.

5. Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений.

7. Разработка методов распознавания образов, фильтрации, распознавания и синтеза изображений, решающих правил. Моделирование формирования эмпирического знания.

Методология и методы исследования

В диссертационной работе используются методы анализа и обработки цифровых изображений, теории графов, линейной алгебры, машинного обучения. Экспериментальные исследования разработанных методов и алгоритмов проведены с использованием программного обеспечения, разработанного автором, на модельных и реальных изображениях.

Апробация результатов

Основные результаты научно-квалификационной работы были представлены на пяти научных конференциях и использованы в двух грантах Российского фонда фундаментальных научных исследований:

- Seventh International Conference on Remote Sensing and Geoinformation of Environment (RSCy2019, Кипр);

- 5-ая Международная конференция «Информационные технологии и нанотехнологии» (ИТНТ-2019, Самара, Россия);

- 6-ая Международная конференция «Информационные технологии и нанотехнологии» (ИТНТ-2020, Самара, Россия);

- Международная научно-техническая конференция «Перспективные информационные технологии» (ПИТ-2021, Самара, Россия);

- Международная научно-техническая конференция молодых учёных БГТУ им. В.Г. Шухова (2021, Белгород, Россия);

- грант Российского фонда фундаментальных исследований № 16-29-09494 офи_м;

- грант Российского фонда фундаментальных исследований № 19-37-90116 Аспиранты.

Публикации

По теме диссертации опубликовано 12 научных работ. Из них три научные статьи опубликованы в рецензируемых научных изданиях, рекомендуемых ВАК России, четыре работы опубликованы в изданиях, входящих в международные реферативные базы данных Scopus и/или Web of Science. Четыре работы выполнены без соавторов. Ссылки на публикации автора в тексте отмечены символом «*».

Структура диссертации

Диссертация состоит из введения, четырёх разделов, заключения, изложена на 125 страницах машинописного текста, содержит 28 рисунков, 9 таблиц. Список литературы включает 150 наименований.

РАЗДЕЛ 1 СУПЕРПИКСЕЛЬНОЕ ПРЕДСТАВЛЕНИЕ ИЗОБРАЖЕНИЙ

Получение суперпиксельного представления изображений производится при помощи алгоритмов, называемых алгоритмами суперпиксельной сегментации.

1.1 Постановка задачи суперпиксельной сегментации изображений

Во многих научных публикациях [9, 56, 62, 84] понятия суперпиксельной сегментации и «избыточной сегментации» (англ.: Oversegmentation) являются взаимозаменяемыми. Пусть {х(пх,п2- матрица пикселей исходного

полутонового изображения, nx,n2 е Z, N1,N2 - размеры изображения. Обозначим

DS = {О < пх < Nx -1, 0 < и2 < N2 -1} множество целочисленных координат всех

пикселей. Тогда сегментация изображения означает разбиение этого множества на M подмножеств так, что [6]:

M-1

Ds = U Dm, Dm n Dn = 0, " m Ф n, (1.1)

m=0

причём каждое подмножество Dm образует на плоскости изображения связную

область, а входящие в неё пиксели обеспечивают истинность некоторого логического предиката однородности, определённого на этом подмножестве:

Q (Dm ) = True, V m, \ m (1.2) Q(Dm UDn) = False, для V смежных Dm и Dn.

Для суперпиксельной сегментации («избыточной сегментации») также

должно дополнительно выполняться условие:

J « M « N, (1.3)

где N = NxN2 - число пикселей изображения, а J - число содержательно

интерпретируемых однородных областей («объектов») на изображении [85]. Первая часть двойного неравенства (1.3) отражает именно избыточность сегментации, то есть тот факт, что сегменты могут быть мельче объектов. Вторая часть этого неравенства показывает, что сегменты являются всё же достаточно большими («информативными»), включают в себя много пикселей.

При выполнении условий (1.1), (1.2) и (1.3) связные области (сегменты) матрицы пикселей изображения называют суперпикселями.

Авторы многих работ [8, 10, 56, 74, 75, 85] включают в список обязательных свойств алгоритмов формирования суперпикселей следующие.

- Сохранение границ объектов. В идеальном случае каждому суперпикселю должен соответствовать только один объект изображения, в то время как одному объекту может соответствовать несколько суперпикселей. При этом понятие границ объектов зависит от условий конкретной задачи.

- Эффективность. Алгоритм формирования суперпиксельного представления должен быть прост в использовании (иметь небольшое число управляющих параметров) и должен быть вычислительно эффективным, что особенно критично при работе с изображениями в режиме реального времени, (например, с кадрами видеопоследовательности) или при обработке изображений большого размера (например, с данными дистанционного зондирования Земли (ДЗЗ)).

На рисунке 1.1 показаны примеры разбиения изображения на суперпиксели различными алгоритмами [8, 56, 68, 71]. Можно видеть, что результаты суперпиксельной сегментации сильно зависят от применённого алгоритма. Исходное изображение, продемонстрированное на рисунке 1.1, взято из набора данных «The Berkeley Segmentation Dataset 500» (BSDS500) [86]. Стоит отметить, что этот набор используется практически во всех работах, посвящённых теме суперпиксельной сегментации. Он содержит 500 изображений размера 321*481 уличных сцен, пейзажа, зданий, животных и людей, для каждого из которых имеется от четырёх до девяти эталонных разметок на области (созданы экспертами вручную).

Так как постановка задачи суперпиксельной сегментации не подразумевает использование априорной информации об изображённых объектах, алгоритмы суперпиксельной сегментации универсальны и применимы к любым изображениям. Для качественной оценки алгоритма в конкретной задаче обычно фиксируют несколько свойств, которыми должна обладать «хорошая»

суперпиксельная сегментация. В зависимости от конкретной задачи помимо вышеперечисленных обязательных свойств может быть желательно выполнение следующих дополнительных [10].

(в) (г)

Рисунок 1.1 - Примеры разбиения изображения на суперпиксели различными

алгоритмами: (а) [56], (б) [8], (в) [68], (г) [71]

- Компактность формируемых суперпикселей [10, 62, 84]. Под компактностью понимается близость формы суперпикселей к окружности, то есть чем больше площадь суперпикселя при одном и том же периметре, тем он компактнее [72, 84]. Описание границ компактных суперпикселей вычислительно эффективнее, чем описание сложных извилистых границ. Очевидно, что компактность имеет обратную связь со способностью алгоритма сохранять границы объектов на изображениях, что экспериментально доказывается в [8, 10].

- Контроль над числом формируемых суперпикселей [10, 71].

- Регулярность размера и формы, плавность границ формируемых суперпикселей. В областях изображения, где отсутствуют границы объектов,

суперпиксели должны размещаться регулярно и иметь гладкие границы [8, 56, 62, 75]. Эти свойства особенно актуальны при решении прикладных задач с использованием методов машинного обучения, так как позволяют избежать «перекоса» в объёмах данных различных классов [87]. Стоит также отметить, что не всегда суперпиксели близкой формы и размера являются компактными и имеют гладкие границы.

- Сохранение информации изображения, выделение объектов малого размера в отдельные суперпиксели.

- Учёт нескольких категорий признаков при сегментации (например, цвета и текстуры).

В [56] отмечается, что вышеперечисленные свойства должны выполняться по возможности при меньшем числе суперпикселей.

1.2 Структуры данных для хранения суперпикселей

Для сохранения информации о расположении суперпикселей на плоскости изображения, необходимо хранить матрицу меток L = {/ (п, п2 -1, каждый

(. V ^ пьп2 =0

элемент которой показывает к какому суперпикселю принадлежит пиксель изображения, то есть 0 < I (п1, п2) < М -1, где М - число суперпикселей. Далее

матрицу меток будем называть разметкой на суперпиксели или суперпиксельной разметкой.

Хранение признакового описания суперпикселей может быть организовано несколькими способами. Информация, характеризующая суперпиксели, может

быть записана в матрицу признаков F = \^рDm)} , где Р - размерность

V 'т=0,р=0

признакового пространства, в которой каждая строка т хранит вектор признаков ¥р (От ) суперпикселя Dm [80].

В случае, когда требуется учитывать информацию о соседстве суперпикселей, и работать с ней, то удобнее хранить информацию о суперпикселях

в неориентированном графе смежности g = (v, Е), где v = {ут}а^д - множество

вершин (меток суперпикселей с их признаковым описанием), то есть каждая

( fr,, ^P-I Л

вершина vm =

рDm)} , E с {(vi, vj ): vi,vj e V} _ ^ - множество рёбер,

=0

соединяющих смежные вершины (суперпиксели) [103, 109, 111].

Далее в диссертации для хранения признакового описания суперпикселей будут использованы обе структуры данных.

1.3 Признаковое описание суперпикселей

Для универсальности применения суперпиксельного представления в различных прикладных задачах анализа и обработки изображений описание суперпикселей должно включать в себя характеристики яркости, геометрии, текстуры, взаимного расположения суперпикселей на изображении. Анализ литературы, показал, что, как правило, используется малый набор признаков суперпикселей и их выбор редко аргументирован. Обычно этот список включает в себя некоторые яркостные характеристики: математическое ожидание яркости [17, 18, 22, 39, 44, 76-80, 82], дисперсию яркости [17, 44, 76, 79, 80, 82], гистограмму [76, 77, 81] и энтропию [76, 77, 78, 82] распределения яркости. Некоторые авторы дополняют набор яркостных характеристик аналогичными признаками, рассчитанными в различных цветовых пространствах, например, LAB [39, 76, 78] или HSV [22, 77, 81]. В работах [17, 39, 76-80, 82, 83] авторами рассматриваются такие геометрические признаки как площадь, периметр, компактность, отношение площади суперпикселя к площади описывающего его прямоугольника. В [39, 76, 78] учитываются координаты центра масс суперпикселя. Признаки, определяющие текстуру суперпикселей, представлены в литературе гистограммой ориентированных градиентов [22], статистикой локальных бинарных шаблонов [44], откликами на фильтры Гаусса [76], Габора [44] и др.

Очевидно, что описание суперпикселей небольшим набором признаков сужает возможности обработки изображений. Его расширение может повысить качество обрабатывающих алгоритмов. Более того, в литературе не представлено формализованное описание широкого множества признаков суперпикселей, а

также нет рекомендаций по выбору признаков для решения конкретных прикладных задач анализа и обработки изображений.

1.4 Качество суперпиксельной сегментации

Проверка выполнения свойств алгоритмов суперпиксельной сегментации (перечислены в п. 1.1), может быть произведена по показателям качества суперпиксельной сегментации [8-10, 72-75, 88*]. В таблице 1.1 представлены показатели, используемые в настоящей диссертации для оценки качества суперпиксельной сегментации. Среди них четыре количественных показателя качества: полнота границ (англ.: Boundary Recall, BR) [90] и ошибка недостаточной сегментации (англ.: Undersegmentation Error, UE) [8, 9, 62] -оценивают точность сегментации, коэффициент детерминации (англ.: Explained Variation, EV) [53] - оценивает способность алгоритма сохранять информацию изображения и компактность (англ.: Compactness, CO) [84].

Таблица 1.1 - Показатели качества суперпиксельной сегментации для проверки выполнения свойств алгоритмов суперпиксельной сегментации

Свойство алгоритма Точность сегментации Эффективность алгоритма Сохранение информации изображения Контроль над числом областей Компактность, регулярность размера и формы суперпикселей

Показатель качества полнота границ (1.4), ошибка недостаточной сегментации (1.5) вычислительная сложность, скорость работы и число параметров алгоритма коэффициент детерминации (1.6), состав признаков областей наличие параметра компактность (1.7), визуальный анализ

Есть и другие известные количественные показатели качества, например, такие как: точность (англ.: Precision), F-мера [75], достижимая точность сегментации (англ.: Achievable Segmentation Accuracy) [56], внутрикластерная дисперсия (англ.: Intra-Cluster Variation) [91], среднее расстояние до границ (англ.: Mean Distance to Edge) [91]. Однако, в работе [10] показано, что они сильно коррелируют с выбранными четырьмя показателями. Информация о них, формулы

для их расчёта и зависимости от рассмотренных в настоящем пункте показателей приведены в Приложении А.

Перед тем, как вводить выражения для расчёта показателей качества, необходимо дать несколько определений.

Здесь и далее будем называть пиксель, принадлежащий суперпикселю, граничным, если хотя бы один из соседних с ним пикселей принадлежит другому суперпикселю, а границей суперпикселя - множество его граничных пикселей.

Пусть имеется некоторая эталонная сегментация (англ.: Ground Truth) изображения на K областей, которую будем обозначать GS, а r - допустимое отклонение граничных пикселей полученной суперпиксельной сегментации DS от граничных пикселей эталонной сегментации GS . То есть допустимо, чтобы границы DS соответствовали границам GS в окрестности [2r +1 ] х [2r +1 ]. Как

правило, r принимают равным 0,0075 диагонали изображения [8, 10, 75].

Если для изображения имеется несколько эталонных сегментаций, то значение показателя качества вычисляется с использованием каждого эталона по-отдельности, затем из полученных значений выбирается «худшее» [147].

Полнота границ рассчитывается как доля граничных пикселей эталонной сегментации GS, которые отнесены к граничным в DS от общего числа граничных

пикселей в GS [90]:

где TP (DS, GS) - число пикселей, лежащих на границе в GS , для которых

существуют граничные пиксели в DS в окрестности [2r +1 ] х [2r +1 ];

FN(DS, GS) - число пикселей, лежащих на границе в GS, для которых не

существуют граничных пикселей в DS в окрестности [2r +1 ] х [2r +1 ].

Высокое значение полноты границ свидетельствует о том, что в полученном суперпиксельном представлении было пропущено мало границ эталонной сегментации. К недостаткам показателя (1.4) можно отнести тот факт, что более

сложным границам суперпикселей соответствуют его более высокие значения. Кроме того, показатель (1.4) не учитывает направление границ эталонной сегментации и не различает ситуаций, когда граница полученного суперпикселя отдалена от границы области эталонной сегментации на 0, 1, 2 пикселя и т.д. [91].

Ошибка недостаточной сегментации - это ошибка, вызванная «утечкой» суперпикселей в полученном суперпиксельном представлении DS за границы

областей эталонной сегментации GS . Есть различные способы расчёта этого показателя [8, 9, 62]. Будем использовать выражение, данное в работе [9], поскольку оно лишено недостатков выражений, отмеченных в публикациях [8, 62] (не «штрафуются» большие суперпиксели, которые мало пересекаются с суперпикселями эталонной сегментации, как в [62] и нет дополнительных параметров таких, как, например, допустимое расстояние до границ в [8]). Расчёт ошибки недостаточной сегментации в [9] производится по формуле:

1 К-1М-1

Ж(Д,Gъ) = — ХЕт1Пп,рт \ , т: Dm пGk ^

к=0 т=0

где рт ! (Зк\ = X 1 («1' П2 ) е °т Л (Щ, «2 ) е ^ ;

( «1,п2 )

рт \ = X («1'П2 ) е ^ Л («1,«2 ) £ ^ .

(«Ь«2 )

В (1.5) ошибка определяется как минимум «утечки» и области, попавшей внутрь сегмента эталонной сегментации, что лишает выражение (1.5) вышеуказанных недостатков.

Список литературы диссертационного исследования кандидат наук Егорова Анна Александровна, 2022 год

СПИСОК ЛИТЕРАТУРЫ

1. Ярославский, Л.П. Введение в цифровую обработку изображений / Л.П. Ярославский. - М.: Сов. радио, 1979. - 312 с.

2. Виттих, В.А. Обработка изображений в автоматизированных системах научных исследований / В.А. Виттих, В.В. Сергеев, В.А. Сойфер. - М.: Наука, 1982. - 214 с.

3. Павлидис, T. Алгоритмы машинной графики и обработки изображений / Т. Павлидис. - М.: Радио и связь, 1986. - 400 с.

4. Методы компьютерной обработки изображений / М.В. Гашников [и др.]; под ред. В.А. Сойфера. - 2-е изд., испр. - М.: Физматлит, 2003. - 784 с.

5. Pratt, W.K. Digital image processing / W.K. Pratt. - CA: John Wiley & Sons, Inc., 2007. - 812 p.

6. Gonzalez, R.C. Digital image processing / R.C. Gonzalez, R.E. Woods. -London: Pearson, 2018. - 1168 p.

7. Ren, X. Learning a classification model for segmentation / X. Ren, J. Malik // Proceedings of the Ninth IEEE International Conference on Computer Vision in ICCV.

- 2003. - P. 10-17.

8. Achanta, R. SLIC Superpixels compared to state-of-the-art superpixel methods / R. Achanta, A. Shaji, K. Smith [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2012. - Vol. 34, №11. - P. 2274-2282.

9. Neubert, P. Superpixel benchmark and comparison / P. Neubert, P. Protzel // Forum Bildverarbeitung. - 2012. - P. 1-12.

10. Stutz, D. Superpixels: An evaluation of the state-of-the-art / D. Stutz, A. Hermans, B. Leibe // Computer Vision and Image Understanding. - 2018. - Vol. 166.

- P. 1-27.

11. Fu, K. A survey on image segmentation / K. Fu, J. Mui // Pattern Recognition. - 1981. - Vol. 13, №1. - P 3-16.

12. Денисов, Д.А. Сегментация изображений на ЭВМ / В.А. Низовкин, Д.А. Денисов // Зарубежная радиоэлектроника. - 1985. - №10. - C. 5-31.

13. Haralick, R. Image segmentation techniques / R. Haralick, L. Shapiro // Computer Vision, Graphics and Image Processing. - 1985. - Vol. 29, №2. - P. 100-132.

14. Pal, N. A review on image segmentation techniques / N. Pal, S. Pal // Pattern Recognition. - 1993. - Vol. 26, №9. - P. 1277-1294.

15. Mehnert, A. An improved seeded region growing algorithm / A. Mehnert, O. Jackway // Pattern Recognition Letters. - 1997. - Vol. 18, №10. - P. 1065-1071.

16. Cheng, J. Superpixel classification for initialization in model based optic disc segmentation / J. Cheng, J. Liu, Y. Xu // Conference Proceedings: Annual International Conference of the IEEE Engineering in Medicine and Biology Society. -2012. - P. 1450-1453.

17. Csillik, O. Fast segmentation and classification of very high resolution remote sensing data using SLIC superpixels / O. Csillik // Remote Sensing. - 2017. - Vol. 9, №3. - P. 1-19.

18. Li, S. Multi-scale superpixel spectral-spatial classification of hyperspectral images / S. Li, L. Ni, X. Jia [et al.] // International Journal of Remote Sensing. - 2016. -P. 4905-4922.

19. Liu, T. Multimorphological superpixel model for hyperspectral image classification / T. Liu, Y. Gu, J. Chanussot, M. Dalla Mura // IEEE Transactions on Geoscience and Remote Sensing. - 2017. - Vol. 55, №12. - P. 6950-6963.

20. Ilehag, R. Classification and representation of commonly used roofing material using multisensorial aerial data / R. Ilehag, D. Bulatov, P. Helmholz, D. Belton // ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2018. - P. 217-224.

21. Tu, B. Hyperspectral image classification via superpixel correlation coefficient representation / B. Tu, X. Yang, N. Li [et al.] // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. - 2018. - Vol. 11, №11. - P. 4113-4127.

22. Lucks, L. Superpixel-wise assessment of building damage from aerial images / L. Lucks, D. Bulatov, U. Thönnessen, M. Böge // Proceedings of the 14th

International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications. - 2019. - Vol. 4. - P. 211-220.

23. Варламова, А.А. Информационная технология обработки данных ДЗЗ для оценки ареалов растений / А.А. Варламова, А.Ю. Денисова, В.В. Сергеев // Компьютерная оптика. - 2018. - Т. 42, №5. - C. 864-876.

24. Denisova, A.Yu. Plant species concentration estimation using multispectral remote sensing images / A. Yu. Denisova, A.A. Egorova, V.V. Sergeyev // Proceedings of SPIE - The International Society for Optical Engineering. - 2019. - Vol. 11174. - P. 111740B-1-10.

25. Barnard, K. The effects of segmentation and feature choice in a translation model of object recognition / K. Barnard, P. Duygulu, R. Guru [et al.] // 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. - 2003. - P. 1107-1135.

26. Pantofaru, C. Object recognition by integrating multiple image segmentations / C. Pantofaru, C. Schmid, M. Hebert // ECCV 2008. Lecture Notes in Computer Science. - 2008. - Vol. 5304. - P. 481-494.

27. Fulkerson, B. Class segmentation and object localization with superpixel neighborhoods / B. Fulkerson, A. Vedaldi, S. Soatto // 2009 IEEE 12th International Conference on Computer Vision. - 2009. - P. 670-677.

28. Shu, G. Improving an object detector and extracting regions using superpixels / G. Shu, A. Dehghan, M. Shah // 2013 IEEE Conference on Computer Vision and Pattern Recognition. - 2013. - P. 3721-3727.

29. Rantalankila, P. Generating object segmentation proposals using global and local search / P. Rantalankila, J. Kannala, E. Rahtu // 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus. - 2014. - P. 2417-2424.

30. Wang, C. Superpixel-based hand gesture recognition with kinect depth camera / C. Wang, Z. Liu, S. Chan // IEEE Transactions on Multimedia. 2015. - Vol. 17, №1. - P. 29-39.

31. Yan, J. Object detection by labeling superpixels / J. Yan, Y. Yu, X. Zhu [et al.] // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). -2015. - P. 5107-5116.

32. Денисова, А.Ю. Применение морфологического проектора и суперпиксельной сегментации в задаче обнаружения структурных изменений на изображениях ДЗЗ / А.Ю. Денисова, А.А. Егорова, В.В. Сергеев // Сборник трудов V Международной конференции и молодежной школы «Информационные технологии и нанотехнологии» (ИТНТ-2019). - 2019. - САМАРА: Новая техника. - С. 294-304.

33. Denisova, A.Yu. Application of superpixel segmentation and morphological projector for structural changes detection in remote sensing images / A.Yu. Denisova, A.A. Egorova, V.V. Sergeyev / Journal of Physics: Conference Series. - 2019. - P. 1-9.

34. Денисова, А.Ю. Обнаружение изменений границ лесных насаждений по данным ДЗЗ / А.Ю. Денисова, А.А. Егорова, В.В. Сергеев // Сборник трудов ИТНТ-2020: VI Международная конференция и молодежная школа «Информационные технологии и нанотехнологии»: 26-29 мая. - Самара: Самарский университет, 2020. - Т. 2. C. 32-39.

35. Denisova, A.Yu. Forest change detection using remote sensing data / A.Yu. Denisova, A.A. Egorova, V.V. Sergeyev // 2020 International Conference on Information Technology and Nanotechnology (ITNT). - 2020. - P. 1-7.

36. Wang, S. Superpixel tracking / S. Wang, H. Lu, F. Yang, M. Yang // 2011 International Conference on Computer Vision, Barcelona, Spain. - 2011. - P. 1323-1330.

37. Зипа, К.С. Пересегментация изображений для применения в задаче трекинга объектов, меняющих форму / К.С. Зипа, С.С. Жулин, А.А. Ильин // Новые информационные технологии в автоматизированных системах. - 2013. - C. 51-57.

38. Yang, F. Robust superpixel tracking / F. Yang, H. Lu, M. Yang // IEEE Transactions on image Processing. - 2014. - Vol. 23, №4. - P. 1639-1651.

39. Gould, S. Multi-class segmentation with relative location prior / S. Gould, J. Rodgers, D. Cohen [et al.] // International Journal of Computer Vision - 2008. - Vol. 80. - P. 300-316.

40. Giordano, D. Superpixel-based video object segmentation using perceptual organization and location prior / D. Giordano, F. Murabito, S. Palazzo, C. Spampinato // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2015. -P. 4814-4822.

41. He, X. Learning and incorporating top-down cues in image segmentation / X. He, R. Zemel, D. Ray // Proceedings of the 9th European conference on Computer Vision. Part I. - 2006. - P. 338-351.

42. Meuel, H. Superpixel-based segmentation of moving objects for low bitrate ROI coding systems / H. Meuel, M. Reso, J. Jachalsky, J. Ostermann // 2013 10th IEEE International Conference on Advanced Video and Signal Based Surveillance. - 2013. -P. 395-400.

43. Tian X. The image segmentation based on optimized spatial feature of superpixel / X. Tian, L. Jiao, L. Yi [et al.] // Journal of Visual Communication and Image Representation. - 2015. - Vol. 26. - P. 146-160.

44. Блохинов, Ю.Б. Разработка алгоритма семантической сегментации аэрофотоснимков реального времени / Ю.Б. Блохинов, В.А. Горбачев, Ю.О. Ракутин, А.Д. Никитин // Компьютерная оптика. - 2018. - Т. 42, №1. - С. 141148.

45. Воронцов, А.Н. Сегментация частей портретных изображений на основе алгоритма SLIC / А.Н. Воронцов, С.В. Рыбкин // Научное обозрение. Технические науки. - 2018. - №3. - С. 9-13.

46. Duan J. Multifocus image fusion using superpixel segmentation and superpixel-based mean filtering / J. Duan, L. Chen, C.L.P. Chen // Applied Optics. -2016. - Vol. 55, №36. - P. 10352-10362.

47. Wang H. Improved image denoising algorithm based on superpixel clustering and sparse representation / H. Wang, X. Xiao, X. Peng [et al.] // Applied Sciences. - 2017. - Vol. 7, №5. - P. 1-21.

48. Егорова, А.А. Исследование эффективности суперпиксельной фильтрации изображений / А.А. Егорова // Сборник трудов ИТНТ-2020: VI Международная конференция и молодежная школа «Информационные технологии

и нанотехнологии»: 26-29 мая. - Самара: Самарский университет, 2020. - Т. 2. - C. 32-39.

49. Egorova, A.A. Superpixel-based filtering for image noise reduction / A.A. Egorova // CEUR Workshop Proceedings. - 2020. - Vol. 2665. - P. 1-4.

50. Егорова, А.А. Фильтрация импульсного шума по суперпиксельному представлению изображения / А.А. Егорова // Труды Международной научно-технической конференции «Перспективные информационные технологии» (ПИТ 2021). - 2021. - С. 23-28.

51. Shi, J. Normalized cuts and image segmentation / J. Shi, J. Malik // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22, №8. - P. 888-905.

52. Felzenszwalb, P.F. Efficient graph-based image segmentation / P.F. Felzenszwalb, D.P. Huttenlocher // International Journal of Computer Vision. -2004. - Vol. 59, №2. - P. 167-181.

53. Moore, A.P. Superpixel lattices / A.P. Moore, J. Prince, J. Warrell [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. -2008. - P. 1-9.

54. Veksler, O. Superpixels and supervoxels in an energy optimization framework / O. Veksler, Y. Boykov, P. Mehrani // Lecture Notes in Computer Science. -2010. - Vol. 6315. - P. 211-224.

55. Zhang, Y. Superpixels via pseudo-boolean optimization / Y. Zhang, R. Hartley, J. Mashford, S. Burn // Proceedings of the IEEE International Conference on Computer Vision. - 2011. - P. 1387-1394.

56. Liu, M. Entropy rate superpixel segmentation / M. Liu, O. Tuzel, S. Ramalingam, R. Chellappa // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. - 2011. - P. 2097-2104.

57. Tang, D. Topology preserved regular superpixel / D. Tang, H. Fu, X. Cao // Multimedia and Expo (ICME). - 2012. - P. 765-768.

58. Shen, J. Lazy random walks for superpixel segmentation / J. Shen, Y. Du, W. Wang, X. Li // IEEE Transactions on Image Processing. - 2014. - Vol. 23, №4. - P. 1451-1462.

59. Vincent, L. Watersheds in digital spaces: An efficient algorithm based on immersion simulations / L. Vincent, P. Soille // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1991. - Vol. 13, №6. - P. 583-598.

60. Comaniciu, D. Mean shift: A robust approach toward feature space analysis / D. Comaniciu, M. Peter // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. - Vol. 25, №5. - P. 281-288.

61. Vedaldi, A. Quick shift and kernel methods for mode seeking / A. Vedaldi, S. Soatto // Proceedings of the European Conference on Computer Vision. - 2008. - P. 705-718.

62. Levinshtein, A. Turbopixels: Fast superpixels using geometric flows / A. Levinshtein, A. Stere, K. Kutulakos [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2009. - Vol. 31, №12. - P. 2290-2297.

63. Wang, J. Vcells: Simple and efficient superpixels using edge-weighted centroidal Voronoi tessellations / J. Wang, X. Wang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2012. - Vol. 34, №6. - P. 1241-1247.

64. Conrad, C. Contour-relaxed superpixels / C. Conrad, M. Mertz, R. Mester // Energy Minimization Methods in Computer Vision and Pattern Recognition. - 2013. - P. 280-293.

65. Neubert, P. Compact watershed and preemptive SLIC: On improving tradeoffs of superpixel segmentation algorithms / P. Neubert, P. Protzel // 2014 22nd International Conference on Pattern Recognition. - 2014. - P. 996-1001.

66. Van den Bergh, M. SEEDS: Superpixels extracted via energy-driven sampling / M. Van den Bergh, X. Boix, G. Roig, L. Van Gool // International Journal of Computer Vision. - 2015. - Vol. 111, №3. - P. 298-314.

67. Li, Z. Superpixel segmentation using linear spectral clustering / Z. Li, J. Chen // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2015. - P. 1356-1363.

68. Сергеев, В.В. Метод сжатия видеоданных с использованием критерия равномерного приближения / В.В. Сергеев // Вопросы кибернетики. Кодирование и передача информации в вычислительных сетях. - 1978, №42. - С. 146-149.

69. Jampani, V. Superpixel sampling networks / V. Jampani, D. Sun, M. Liu [et al.] // Proceedings of the European Conference on Computer Vision (ECCV). - 2018. -P. 352-368.

70. Yang, Q. Superpixel segmentation with fully convolutional networks / F. Yang, Q. Sun, H. Jin, Z. Zhou // 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). - 2020. - P. 13961-13970.

71. Suzuki T. Superpixel segmentation via convolutional neural networks with regularized information maximization / T. Suzuki // ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - 2020. - P. 2573-2577.

72. Schick, A. An evaluation of the compactness of superpixels / A. Schick, M. Fischer, R. Stiefelhagen // Pattern Recognition Letters. - 2014. - Vol. 43. - P. 71-80.

73. Stutz, D. Superpixel Segmentation: An Evaluation / D. Stutz // LNCS. -2015. - Vol. 9358. - P. 555-562.

74. Wei, X. Superpixel hierarchy / X. Wei, Q. Yang, Y. Gong [et al.] // IEEE Transactions on Image Processing. - 2018. - Vol. 27, №10. - P. 4838-4849.

75. Wang, M. Superpixel segmentation: A benchmark / M. Wang, X. Liu, Y. Gao, N.Q. Soomro // Signal processing: Image Communication. - 2017. - Vol. 56. -P. 28-39.

76. Barnard, K. Matching words and pictures / K. Barnard, P. Duygulu, D. Forsyth [et al.] // Journal of Machine Learning Research. - 2003. - Vol. 3, №2. - P. 1107-1135.

77. Hoiem, D. Geometric context from a single image / D. Hoiem, A.A. Efros, M. Hebert // Tenth IEEE International Conference on Computer Vision (ICCV'05). -2005. - Vol. 1. - P. 654-661.

78. Hoiem, D. Recovering occlusion boundaries from a single image / D. Hoiem, A.N. Stein, A.A. Efros, M. Hebert // 2007 IEEE 11th International Conference on Computer Vision. - 2007. - P. 1-8.

79. Malisiewicz, T. Recognition by association via learning per-exemplar distances / T. Malisiewicz, A.A. Efros // 2008 IEEE Conference on Computer Vision and Pattern Recognition. - 2008. - P. 1-8.

80. Tighe, J. SuperParsing: Scalable nonparametric image parsing with superpixels / J. Tighe, S. Lazebnik // International Journal of Computer Vision. - 2010. -Vol. 101, №2. - P. 352-365.

81. Cheng, J. Superpixel classification for initialization in model based optic disc segmentation / J. Cheng, J. Liu, Y. Xu // Conference Proceedings: Annual International Conference of the IEEE Engineering in Medicine and Biology Society. -2012. - P. 1450-1453.

82. Левчук, В.А. Методика количественного описания биомедицинских изображений на основе словарей суперпикселов / В.А. Левчук, В.А. Ковалев // Информатика. - 2016. - Т. 1. - С. 49-57.

83. Pont-Tuset, J. Multiscale combinatorial grouping for image segmentation and object proposal generation / J. Pont-Tuset, P. Arbelaez, J. Barron [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2016. - Vol. 39, №1. - P. 128-140.

84. Schick, A. Measuring and evaluating the compactness of superpixels / A. Schick, M. Fischer, R. Stiefelhagen // Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012). - 2012. - P. 930-934.

85. Neubert, P. Superpixels and their application for visual place recognition in changing environments: dissertation for Dr.-Ing. / Neubert Peer. - Chemnitz, 2015. - 252 p.

86. Arbelaez, P. The Berkeley segmentation dataset and benchmark [Электронный ресурс] / P. Arbelaez, C. Fowlkes, D. Martin. - База данных изображений, 2007. - URL: https://www2.eecs.berkeley.edu/Research/Projects/CS/visi on/grouping/resources.html (дата обращения 04.10.2017).

87. Рашка, С. Python и машинное обучение: машинное и глубокое обучение с использованием Python, scikit-learn и TensorFlow2 [пер. с англ.] / С. Рашка, В. Мирджалили. - 3-е изд. - СПб.: ООО «Диалектика», 2020. - 848 с.

88. Егорова, А.А. Обзор и сравнение алгоритмов суперпиксельной сегментации изображений / А.А. Егорова // Международная научно-техническая конференция молодых ученых БГТУ им. В.Г. Шухова. - 2021. - С. 6785-6802.

89. Ulyanov, D. Deep image prior / D. Ulyanov, A. Vedaldi, V. Lempitsky // International Journal of Computer Vision. - 2020. - Vol. 128. - P. 1867-1888.

90. Martin, D.R. Learning to detect natural image boundaries using local brightness, color, and texture cues / D.R. Martin, C.C. Fowlkes, J. Malik // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2004. - Vol. 26, №5. - P. 530-549.

91. Benesova, W. Fast superpixel segmentation using morphological processing / W. Benesova, M. Kottman // Proceedings of the International Conference of Machine Vision and Machine Learning. - 2014. - №67. - P. 1-9.

92. Maenpaa, T. The local binary pattern approach to texture analysis -extensions and applications / T. Maenpaa // Oulu University Press, 2003. - 75 p.

93. Malik, J. Contour and texture analysis for image segmentation / J. Malik, S. Belongie, T. Leung, J. Shi // International Journal of Computer Vision. - 2001. - Vol. 43, №1. - P. 7-27.

94. Егорова, А.А. Система признаков для расширенного суперпиксельного представления изображений / А.А. Егорова, В.В. Сергеев // Компьютерная оптика. - 2021. - Т. 45, № 4. - С. 562-577.

95. Сергеев, В.В. Имитационная модель изображения и метод сжатия данных / В.В. Сергеев, В.А. Сойфер // Автоматика и вычислительная техника. -1978. - Т. 12, №3. - С. 76-78.

96. Ильясова, Н.Ю. Алгоритмы автоматической кластеризации изображения микрочастиц / Н.Ю. Ильясова, А.В. Устинов, А.Г. Храмов // Компьютерная оптика. - 1993. - №13. - С. 39-46.

97. Абрамов, Н.С. Распознавание на основе инвариантных моментов / Н.С. Абрамов, В.М. Хачумов // Вестник РУДН. Серия Математика. Информатика. Физика. - 2014. - №2. - C. 142-149.

98. Анисимов, Б.В. Распознавание и цифровая обработка изображений / Б.В. Анисимов, В.Д. Курганов, В.К. Злобин. - М.: Высшая школа, 1983. - 295 с.

99. Hu, M.K. Visual pattern recognition by moment invariants / M.K. Hu // IRE Transactions on Information Theory. - 1962. - Vol. 8, №2. - P. 179-187.

100. Maitra, S. Moment invariants / S. Maitra // Proceedings of the IEEE. - 1979.

- Vol. 67, №4. - P. 697-699.

101. Глумов, Н.И. Построение и применение моментных инвариантов для обработки изображений в скользящем окне / Н.И. Глумов // Компьютерная оптика.

- 1995. - № 14-15, Ч.1. - С. 46-54.

102. Линник, А.Ю. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений / А.Ю. Линник. - М.: Физматлит, 1962. - 349 с.

103. Tremeau, A. Regions adjacency graph applied to color image segmentation / A. Tremeau, P. Colantoni // IEEE transactions on image processing: a publication of the IEEE Signal Processing Society. - 2000. - Vol. 9, №4. - P. 735-44.

104. Ren, Z. Image segmentation by cascaded region agglomeration / Z. Ren, G. Shakhnarovich // 2013 IEEE Conference on Computer Vision and Pattern Recognition. - 2013. - P. 2011-2018.

105. Liu, T. Image segmentation using hierarchical merge tree / T. Liu, M. Seyedhosseini, T. Tasdizen // IEEE Transactions on Image Processing. - 2016. - Vol. 25, №10. - P. 4596-4607.

106. Nguyen, B. Superpixel-based segmentation of muscle fibers in multichannel microscopy / B. Nguyen, H. Heemskerk, P. So, L. Tucker-Kellogg // BMC Systems Biology. - 2016. - Vol. 10. - P. 39-50.

107. Setyanto, A. Hierarchical visual content modelling and query based on trees / A. Setyanto, J. Woods // ELCVIA: Electronic Letters on Computer Vision and Image Analysis. - 2016. - Vol. 15, №2. - P. 40-42.

108. Xie, X. Automatic image segmentation with superpixels and image-level labels / X. Xie, G. Xie, X. Hu [et al.] // IEEE Access. - 2019. - Vol. 7. - P. 10999-11009.

109. Galvao, F.L. Image segmentation using dense and sparse hierarchies of superpixels / F.L. Galvao, S.J.F. Guimarâes, A.X. Falcâo // Pattern Recognition. - 2020. - Vol. 108. - P. 1-14.

110. Wang, K. End-to-end trainable network for superpixel and image segmentation / K. Wang, L. Li, J. Zhang // Pattern Recognition Letters. - 2020. - Vol. 140. - P. 135-142.

111. Jiao, X. An unsupervised image segmentation method combining graph clustering and high-level feature representation / X. Jiao, Y. Chen, R. Dong // Neurocomputing. - 2020. - Vol. 409. - P. 83-92.

112. Harary, F. Graph theory / F. Harary. - Boston: Addison-Wesley, 1971. - 274

p.

113. Chang, K. Machine learning based image segmentation / K. Chang. - Paris: Université PSL, 2019. - 153 p.

114. Денисова, А.Ю. Итерационный метод восстановления кусочно-постоянных изображений при известных границах областей / А.Ю. Денисова, В.В. Сергеев // Компьютерная оптика. - 2013. - Т. 37, № 2. - C. 239-243.

115. Pitas, I. Nonlinear digital filters: principles and applications / I. Pitas, A. Venetsanopoulos. - Springer US, 1990. - 392 p.

116. Кандоба, И.Н. Оперативный мониторинг структурных изменений изображений объектов на космических снимках земной поверхности / И.Н. Кандоба, Е.А. Бровко, Ф.А. Корнилов, Д.С. Перевалов // Программные продукты и системы. - 2015. - Т. 1, №109. - С. 79-86.

117. Wang, B. Image fusion-based land cover change detection using multitemporal high-resolution satellite images. / B. Wang, J. Choi, S. Choi [et al.] // Remote Sensing. - 2017. - Vol. 9, №8. - P. 804.

118. Gu, W. Change detection method for remote sensing images based on an improved Markov random field / W. Gu, Z. Lv, M. Hao // Multimedia Tools and Applications. - 2017. - Vol. 76, №17. - P. 17719-17734.

119. Willhauck, G. Comparison of object oriented classification techniques and standard image analysis for the use of change detection between SPOT multispectral satellite images and aerial photos / G. Willhauck, T. Schneider, R. De Kok, U. Ammer // ISPRS. - 2000. - Vol. 33. - P. 35-42.

120. Benedek, C. Change detection in optical aerial images by a multi-layer conditional mixed Markov model / C. Benedek, T. Sziranyi // IEEE Transactions on Geoscience and Remote Sensing. - 2009. - Vol. 47, №10. - P. 3416-3430.

121. Федосеев, В.А. Исследование методов выявления антропогенных изменений на земной поверхности по последовательности космических снимков высокого разрешения / В.А. Федосеев, Н.В. Чупшев // Компьютерная оптика. -2012. - Т. 36, № 2. - С. 279-288.

122. Hussain, M. Change detection from remotely sensed images: From pixel-based to object-based approaches / M. Hussain, D. Chen, A. Cheng [et al.] // Journal of Photogrammetry and Remote Sensing. - 2013. - Vol. 80. - P. 91-106.

123. Корнилов, Ф.А. Поиск структурных различий изображений: алгоритмы и методы исследования / Ф.А. Корнилов // Машинное обучение и анализ данных. -2014. - Т. 1, № 7. - С. 902-919.

124. Tewkesbury, A.P. A critical synthesis of remotely sensed optical image change detection techniques / A.P. Tewkesbury, A.J. Comber, N.J. Tate [et al.] // Remote Sensing of Environment. - 2015. - Vol. 160. - P. 1-14.

125. Zhu, Z. Change detection using Landsat time series: A review of frequencies, preprocessing, algorithms, and applications / Z. Zhu // ISPRS Journal of Photogrammetry and Remote Sensing. - 2017. - Vol. 130. - P. 370-384.

126. Афанасьев, А.А. Гибридные методы автоматизированной идентификации изменений ландшафтного покрова по данным дистанционного зондирования Земли в условиях шумов / А.А. Афанасьев, А.В. Замятин // Компьютерная оптика. - 2017. - Т. 41, № 3. - С. 431-440.

127. Рубис, А.Ю. Компаративная фильтрация изображений с использованием монотонных морфологических операторов / А.Ю. Рубис,

М.А. Лебедев, Ю.В. Визильтер [и др.] // Компьютерная оптика. - 2018. - Т. 42, № 2. - С. 73-79.

128. Пытьев, Ю.П. Методы морфологического анализа изображений / Ю.П. Пытьев, А.И. Чуличков. - М.: ФИЗМАТЛИТ, 2010. - 336 с.

129. Корнилов, Ф.А. Исследование влияния рассинхронизации входных изображений на качество работы алгоритмов поиска структурных различий / Ф.А. Корнилов // Машинное обучение и анализ данных. - 2015. - Т. 1, № 12. - С. 1686-1695.

130. Корнилов, Ф.А. Исследование алгоритма поиска структурных различий изображений / Ф.А. Корнилов // Труды Института математики и механики УрО РАН. - 2013. - Т. 19, №.1. - С. 144-159.

131. Otsu, N. A threshold selection method from gray-level histograms / N. Otsu // IEEE transactions on systems, man, and cybernetics. - 1979. - Vol. 9, №1. - P. 62-66.

132. Zanetti, M. Rayleigh-Rice mixture parameter estimation via EM algorithm for change detection in multispectral images / M. Zanetti, F. Bovolo, L. Bruzzone // IEEE Transactions on Image Processing. - 2015. - Vol. 24, №12. - P. 5004-5016.

133. Fawcett, T. An introduction to ROC analysis / T. Fawcett // Elsevier. - 2006. - P. 861-874.

134. Denisova, A.Y. Supervised multichannel image classification algorithm using hierarchical histogram representation / A.Y. Denisova, V.V. Sergeyev // Procedia Engineering. - 2017. - Vol. 201. - P. 213-222.

135. Воробьёва, Н.С. Информационная технология раннего распознавания видов сельскохозяйственных культур по космическим снимкам / Н.С. Воробьёва, В.В. Сергеев, А.В. Чернов // Компьютерная оптика. - 2016. - Т. 40, №6. - С. 929938.

136. Yu, Q. Object-based detailed vegetation classification with airborne high spatial resolution remote sensing imagery / Q. Yu, P. Gong, N. Clinton [et al.] // Photogrammetric Engineering & Remote Sensing. - 2006. - Vol. 72, №7. - P. 799-811.

137. Синявский, Ю.Н. Методы и технология сегментации мультиспектральных изображений высокого разрешения для исследования

природных и антропогенных объектов / Ю.Н. Синявский, И.А. Пестунов, О.А. Дубровская [и др.] // Вычислительные технологии. - 2016. - Т. 21, №1. - С. 127-140.

138. Chang, S.H. 79-channel airborne imaging spectrometer / S.H. Chang, M.J. Westfield, F. Lehmann [et al.] // Imaging Spectrometry of the Terrestrial Environment. - 1993. - Vol. 1937. - P. 164-173.

139. Flanders, D. Preliminary evaluation of eCognition object-based software for cut block delineation and feature extraction / D. Flanders, M. Hall-Beyer, J. Pereverzoff // Canadian Journal of Remote Sensing. - 2014. - Vol. 29, №4. - P. 441-452.

140. Questier, F. The use of CART and multivariate regression trees for supervised and unsupervised feature selection / F. Questier, R. Put, D. Coomans [et al.] // Chemometrics and Intelligent Laboratory Systems. - 2005. - Vol. 76, №1. - P. 45-54.

141. MacQueen, J.B. Some methods for classification and analysis of multivariate observations / J.B. MacQueen // Proceedings of the Fifth Symposium on Math, Statistics, and Probability. - Berkeley, CA: University of California Press, 1967. -Vol. 1. - P. 281-297.

142. Mutanga, O. High density biomass estimation for wetland vegetation using WorldView-2 imagery and random forest regression algorithm / O. Mutanga, E. Adam, M.A. Cho // International Journal of Applied Earth Observation and Geoinformation. -2012. - Vol. 18. - P. 399-406.

143. Борзов, С.М. Классификация типов растительного покрова по гиперспектральным данным дистанционного зондирования Земли / С.М. Борзов, О.И. Потатуркин // Вестник Новосибирского государственного университета. Серия: Информационные технологии. - 2014. - Т. 12, №.4. - C. 13-22.

144. Денисова, А.Ю. Выработка требований к мультиспектральным данным дистанционного зондирования Земли в задаче экспертизы зарастания пахотных земель древесно-кустарниковой растительностью / А.Ю. Денисова, А.А. Егорова, В.В. Сергеев, Л.М. Кавеленова // Компьютерная оптика. - 2019. - Т. 43, № 5. - С. 846-856.

145. Kavelenova, L.M. Concerning the possibilities of successional changes revealing in anthropogenically transformed ecosystems on the base of remote sensing and ground-based survey data integration / L.M. Kavelenova, N.V. Prokhorova, E.S. Korchikov [et al.] // CEUR Workshop Proceedings International Conference Information Technology and Nanotechnology, ITNT-2017. - 2017. - Vol. 1901. - P. 99103.

146. Аншаков, Г.П. Комплексирование гиперспектральных и мультиспектральных данных КА «Ресурс-П» для повышения их информативности / Г.П. Аншаков, А.В. Ращупкин, Ю.Н. Журавель // Компьютерная оптика. - 2015. -T. 39, №1. - С. 77-82.

147. Arbelaez, P. Contour detection and hierarchical image segmentation / P. Arbelaez, M. Maire, C. Fowlkes, J. Malik // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2011. - Vol. 33, № 5. - P. 898-916.

148. Конушин, А. Дополнительные главы компьютерного зрения. Лекция 1 - Сегментация изображений [Электронный ресурс] / А. Конушин. 2012. - URL: https://www.lektorium.tv/lecture/13807 (дата обращения 20.08.2021).

149. Malik, J. Preattentive texture discrimination with early vision mechanisms / J. Malik, P. Perona // Journal of the Optical Society of America. - 1990. - Vol. 7, № 5. -P. 923-932.

150. Li, X. Cluster-based fine-to-coarse superpixel segmentation / X. Li, Y. Zhou, X. Zhang, P. Yu // Engineering Applications of Artificial Intelligence. - 2021. - Vol. 102, № 5. - P. 104281-1-12.

ПРИЛОЖЕНИЕ А ОБЗОР ПОКАЗАТЕЛЕЙ КАЧЕСТВА СУПЕРПИКСЕЛЬНОЙ СЕГМЕНТАЦИИ

Помимо показателей качества суперпиксельной сегментации, приведённых в п. 1.4, и, использованных в настоящей диссертационной работе для сравнения алгоритмов, существует и множество других показателей [10]. Среди них: точность (англ.: Precision, Pre), F-мера [75], достижимая точность сегментации (англ.: Achievable Segmentation Accuracy, ASA) [56], внутрикластерная дисперсия (англ.: Intra-Cluster Variation, ICV) [91], среднее расстояние до границ (англ.: Mean Distance to Edge, MDE) [91]. Ниже даны формулы для их расчёта и описана зависимость от показателей качества, приведённых в п. 1.4 диссертационной работы.

Точность определяет долю граничных пикселей эталонной сегментации GS, которые были отнесены к граничным в суперпиксельной сегментации DS от общего числа граничных пикселей в DS [75]:

Pre (D G ) =_TP (D'G)__(А 1)

(D'G ) TP(Dss ,GS ) + FP(DSS ,GS )' ( )

где FP (Ds, Gs) - число пикселей, лежащих на границах в DS , для которых не существуют граничных пикселей в GS в окрестности [2r +1 ] х [2r +1 ].

В ситуации, когда один алгоритм обеспечивает более высокую точность (А.1) при низкой полноте границ (1.4) и наоборот, для их сравнения может быть использована F-мера. Формула для расчёта параметрической F-меры (позволяет задать не равные веса полноте границ и точности) [75]:

pre• BR

F =--, (А.2)

a BR + (1 -a) • Pre

где a e [0,1] - параметр, задающий «вес» точности/полноты; при a = 0 F = BR, при a = 1 F = Pre.

Достижимая точность сегментации показывает максимально достижимую точность сегментации объектов изображения по полученному суперпиксельному

представлению [56]. Для вычисления показателя каждый суперпиксель Dm получает метку области эталонной сегментации Gk, с которым его пересечение максимально. Таким образом, достижимая точность сегментации измеряется как доля правильно размеченных пикселей от общего числа пикселей изображения:

Z mHDm ! Gk\

ASA (D ,GS )= m=° ^-, m : Dm П Gk (А.3)

Z lGkl

k

где \Dm П Gk\ = X 1 («1> «2 ) e Dm Л («P «2 ) £ Gk ;

( n1,n2 )

\Gk\= Z (ni>n2)eGk.

(и1,и2 )

В работе [10] показано, что между значениями ошибки недостаточной сегментации (1.5) и достижимой точности сегментации (А.3) есть зависимость, а именно, ASA »(1- UE).

Внутрикластерная дисперсия [91] представляет собой усреднённое по всем суперпикселям среднеквадратическое отклонение (СКО) значений яркости внутри каждого суперпикселя:

1 M J Е Ыъ, n ) - v{Dm ))2

1_ У ( n1,n2 )^Dm_

-Щ- £ -■ (А-4)

2 т=0 \ит\

где М = Е 1;

Е Х(П1,П2)

м( ) = ()еД" - - математическое ожидание яркости пикселей

суперпикселя Dm.

Чем выше значение показателя (А.4), тем однороднее суперпиксель, следовательно, тем лучше качество суперпиксельной сегментации.

Поскольку показатели ЕУ и 1СУ характеризуют один и тот же аспект, то достаточно использовать один из них.

Среднее расстояние до границ [91] рассчитывается по формуле:

мое (gs,, ) = -1 X (()), (А-5)

n (щ,щ )еВ(Gs)

где distD - карта расстояний полученного представления DS , каждый отчёт

которой представляет собой расстояние от пикселя до ближайшей границы любого суперпикселя в DS;

В (GS) - граничные пиксели эталонной сегментации GS.

Таким образом, происходит суммирование значений distD в каждом отсчёте

в ().

Показатель (А.5) в отличии от полноты границ (1.4) позволяет учесть среднее расстояние до границ: чем пиксель находится дальше от границы, тем значение MDE выше. То есть, чем MDE меньше, тем суперпиксельное представление считается качественнее. Однако, поскольку BR (1.4) коррелирует с MDE, достаточно рассматривать только один из этих показателей.

ПРИЛОЖЕНИЕ Б АКТЫ ОБ ИСПОЛЬЗОВАНИИ РЕЗУЛЬТАТОВ ДИССЕРТАЦИИ

Б.1 Акт об использовании результатов диссертации в институте систем обработки изображений РАН - филиала федерального государственного учреждения «Федеральный научно-исследовательский центр «Кристаллография и фотоника» Российской академии наук

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ УЧРЕЖДЕНИЕ «ФЕДЕРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР «КРИСТАЛЛОГРАФИЯ И ФОТОНИКА» РОССИЙСКОЙ АКАДЕМИИ НАУК»

(ФНИЦ «КРИСТАЛЛОГРАФИЯ И ФОТОНИКА» РАН)

ИНСТИТУТ СИСТЕМ ОБРАБОТКИ ИЗОБРАЖЕНИЙ РАН -ФИЛИАЛ ФЕДЕРАЛЬНОГО ГОСУДАРСТВЕННОГО УЧРЕЖДЕНИЯ «ФЕДЕРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР «КРИСТАЛЛОГРАФИЯ И ФОТОНИКА» РОССИЙСКОЙ АКАДЕМИИ НАУК» (ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН)

Акт о внедрении результатов диссертационной работы Егоровой Анны Александровны «Расширенное суперпиксельное представление изображений для их обработки и анализа»

Разработанный Егоровой Анной Александровной в диссертационной работе метод суперпиксельного представления изображений апробирован и дал положительные результаты в задаче анализа изображений ДЗЗ в ИСОИ РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН в рамках НИР по программе фундаментальных научных исследований государственных академий наук № 0026-2019-0014 «Разработка методов интеллектуального анализа и криптозащиты изображений в задачах обработки данных дистанционного зондирования Земли».

Зам. руководителя по науке и инновациям, д. ф.-м.н. ^С^^у _Р-В. Скиданов

Б.2 Акт об использовании результатов диссертации в акционерном обществе «Самара-Информспутник»

УТВЕРЖДАЮ

АКТ

об использовании результатов диссертации А. А. Егоровой «Расширенное суперпиксельное представление изображений для их обработки и анализа» в акционерном обществе «Самара-Информспутник»

Комиссия в составе ведущего инженера, к. т. н. А. В. Чернова и инженера-математика А. В. Сергеева, рассмотрев диссертацию А. А. Егоровой, представляемую на соискание ученой степени кандидата технических наук по специальности 05.13.17 - Теоретические основы информатики, подтверждает, что разработанные в диссертационной работе методы и алгоритмы были использованы в рамках работ по развитию геоинформационной системы АПК (№ 0142200001319003939_87637 от 08.05.19) для повышения эффективности анализа и обработки цифровых изображений.

Инженер-математик

Ведущий инженер, к. т. н.