Алгоритмы и модели интеллектуального анализа изображений на основе дескрипторов локальных особенностей тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Казаков Михаил Георгиевич

• Казаков Михаил Георгиевич
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Казаков Михаил Георгиевич

ВВЕДЕНИЕ

ГЛАВА 1. ПРОБЛЕМЫ АНАЛИЗА ИЗОБРАЖЕНИЙ В ЗАДАЧАХ КОМПЬЮТЕРНОГО ЗРЕНИЯ

1.1. Природа сложности компьютерного зрения

1.2. Специфика задач классификации изображений

1.3. Проблемы использования дескрипторов локальных особенностей

1.4. Специфика задач извлечения информации о геометрии

1.5. Выводы

ГЛАВА 2. МЕТОДЫ И АЛГОРИТМЫ АВТОМАТИЧЕСКОГО ПОСТРОЕНИЯ ОБУЧАЮЩЕЙ ВЫБОРКИ

2.1. Основные понятия и определения

2.2. Выделение понятий и формирование обучающей выборки

2.3. Выбор метода работы классификатора

2.3.1. Анализ методов, основанных на подходе Ва§-о1-^гогё8

2.3.2. Анализ методов, основанных на подходе ЫВЫЫ

2.3.3. Результаты выбора подхода к классификации

2.4. Извлечение визуальных особенностей и формирование словаря

2.5. Классификация на основе модели Ва§-о1?^огё8

2.5.1. Анализ классификации на основе наивного байесовского классификатора

2.5.2. Анализ классификации на основе метода опорных векторов

2.5.3. Выбор классификатора

2.6. Оценка качества автоматически сгенерированной обучающей выборки

2.7. Фильтрация выдачи поисковой системы

2.8. Выводы

ГЛАВА 3. МЕТОДЫ СЕМАНТИЧЕСКОЙ КОРРЕКЦИИ В ЗАДАЧАХ КЛАССИФИКАЦИИ СЛОЖНЫХ ИЗОБРАЖЕНИЙ

3.1. Семантическое представление понятий

3.2. Связь между визуальной и семантической близостью классов

3.3. Схема работы метода

3.4. Верификация на основе семантических связей

3.5. Коррекция результатов классификации

3.5.1. Результат работы классификатора с учетом семантического графа

3.5.2. Объединение пересекающихся понятий в кластеры

3.5.3. Результаты

3.6. Выводы

ГЛАВА 4. МЕТОДЫ СОПОСТАВЛЕНИЯ ИЗОБРАЖЕНИЙ В ЗАДАЧАХ ИЗВЛЕЧЕНИЯ ИНФОРМАЦИИ О ГЕОМЕТРИИ

4.1. Схема работы метода

4.2. Сегментирование изображений

4.3. Попарное сравнение сегментов

4.4. Построение модели преобразования

4.5. Верификация соответствия сегментов

4.6. Выводы

ОСНОВНЫЕ ЗАКЛЮЧЕНИЯ И ВЫВОДЫ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ

Приложение А. Реконструкция облака точек из изображений

Приложение Б. Свидетельства о государственной регистрации программ для ЭВМ

Приложение В. Справки о внедрении результатов работы

Введение диссертации (часть автореферата) на тему «Алгоритмы и модели интеллектуального анализа изображений на основе дескрипторов локальных особенностей»

ВВЕДЕНИЕ

Актуальность работы. Компьютерное зрение - важный предмет в рамках эмуляции некоторых процессов, происходящих в сознании живых существ. Большие измерения изображений и потенциально большое число связанных между собой изображений приводят к тому, что практически никакие методы, интуитивно кажущиеся простыми, не могут использоваться без глубокого пересмотра со стороны возможных оптимизаций, обусловленных большими временными и ресурсными затратами.

Различные области компьютерного зрения обладают отличающимися источниками сложности, для такой важной задачи, как классификация изображений, ими являются допустимая визуальная и структурная изменчивость предметов, относящихся к определенной категории. Можно выделить также характерные присущие ей проблемы: обучающая выборка традиционно строится на основе вручную созданных библиотек; увеличение количества классов приводит к снижению релевантности результатов; классы не связаны друг с другом и отсутствуют методы анализа семантической зависимости между ними. Попытка автоматизировать получение обучающей выборки была сделана в работах Fergus R. и Zisserman A., однако предлагаемый ими метод накладывал существенное ограничение на визуальное представление объектов в плане относительного расположения частей. Таким образом задача автоматического получения обучающей выборки остается открытой.

В течение последних лет было показано, что удобным представлением изображений для их анализа является совокупность векторов, описывающих окрестности точек интереса - дескрипторов локальных особенностей изображений. Важнейшие результаты в развитии концепции дескрипторов были получены в работах C.Harris, T.Lindeberg, C.Schmid, D.Lowe и G.Csurka. На сегодняшний день дескрипторы применяются во многих направлениях компьютерного зрения. Однако существующие методы их использования имеют также недостатки: не применяется информации о контексте из-за сути дескрипторов как хеш-сумм

4

окрестностей и не используется цветовая информация изображений, что приводит к снижению дискриминационных свойств. В силу компромиссной специфики принципов работы дескрипторов и необходимости имитировать процессы, протекающие в сознании живых существ, в настоящее время не существует разработанных методов окончательного решения задач анализа изображений с применением дескрипторов.

Таким образом, актуальной является разработка эффективных методов анализа изображений на основе дескрипторов с использованием более высокоуровневой информации о контексте. В данной диссертационной работе внимание концентрируется на двух аспектах использования дескрипторов: задаче классификации изображений и задаче извлечения геометрии из наборов изображений. В задаче классификации изображений внимание обращается на проблемы, связанные с ручным механизмом формирования обучающей выборки и на проблемы, связанные с отсутствием отношений классов между собой. В задаче извлечения информации о геометрии объектов внимание обращается на проблему избыточной фильтрации соответствий дескрипторов при поиске соотношений изображений между собой.

Цель работы и задачи исследования. Настоящее диссертационное исследование посвящено разработке методов улучшения работы дескрипторов в задачах поиска структуры из движений и в задачах классификации сложных изображений путем использования информации о контексте.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Исследование возможности использования автоматически полученной обучающей выборки для задач классификации и сравнительный анализ различных подходов к классификации в этом случае.

2. Разработка метода фильтрации поисковой выдачи от нерепрезентативных экземпляров изображений.

3. Исследование возможности использования семантического графа как источника информации о контексте в задачах классификации изображений.

4. Разработка методов верификации и коррекции результатов классификации на основе семантического графа.

5. Сравнительный анализ и разработка эффективных алгоритмов поиска соответствий между дескрипторами.

6. Разработка модели представления изображений в виде сегментов для задач структуры из движения.

Методы исследования. В данной работе при проведении исследований применялись методы компьютерной графики, методы теории обработки сигналов и теории графов, методы математической статистики и теории вероятности.

Научная новизна работы. К основным новым результатам, полученным в диссертации, можно отнести следующие:

1. Предложена методика автоматического построения обучающей выборки на основе информации из сети Интернет, включающая выбор метода классификации изображений в целом и разработку алгоритма фильтрации несвязных изображений.

2. При анализе сложных изображений на основе предложенной методики формирования и обработки обучающей выборки впервые был предложен алгоритм семантической верификации и коррекции результатов визуальной классификации на основе лингвистической информации.

3. Разработана модификация алгоритма сопоставления изображений на основе массивов дескрипторов в задачах извлечения информации о геометрии, позволяющая существенно увеличить количество извлекаемой полезной информации в сравнении с общепринятым методом D.Lowe. Практическая ценность работы. Полученные в диссертационной работе

алгоритмы и модели предназначены для практического применения в программно -аппаратных комплексах анализа изображений, таких как системы интеллектуальной каталогизации, системы принятия решений на основе содержимого изображений, системы реконструкции моделей объектов по наборам изображений.

Реализация и внедрение результатов работы. На основе полученных в работе результатов было разработано программное обеспечение для анализа содержимого микрофотографий, данное программное обеспечение было использовано при выполнении задания №°13.773.2014/К Министерства образования РФ на кафедре Химической техники и инженерной экологии в Алтайском государственном техническом университете. Также результаты работы внедрены в учебный процесс на кафедре Прикладной математики АлтГТУ в программу курса «Интеллектуальные технологии обработки изображений». В ООО «Алавар Студиос» было внедрено написанное на основе предложенного метода поиска соответствий программное обеспечение для автоматизированного моделирования геометрии сцен из набора фотографий.

Достоверность полученных результатов подтверждается проведенными экспериментами и моделированием, а также согласованностью с данными, имеющимися в отечественной зарубежной литературе.

Апробация работы. Материалы работы докладывались на следующих научных конференциях: XIII международной научно-практической конференции «Фундаментальные и прикладные исследования, разработка и применение высоких технологий в промышленности и экономике» (г. Санкт-Петербург, 2012); Всероссийской конференции с международным участием «Знания-Онтологии-Теории» (г. Новосибирск, 2013); XV международной научно-технической конференция "Измерение, Контроль, Информатизация" (г. Барнаул, 2014); XI Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых "Наука и Молодежь" (г. Барнаул, 2014); V международной научно-практической конференции "Новые задачи технических наук и пути их решения" (г. Уфа, 2015); II международной научно-практической конференции "Актуальные проблемы естественных и математических наук в России и за рубежом" (г. Новосибирск, 2015); XI международной научно-практической конференции «Перспективные научные исследования - 2015» (г. София, 2015); на семинаре "Информационные Технологии и Системы" в Институте автоматики и электрометрии СО РАН (г. Новосибирск, 2015).

Публикации. По теме диссертационной работы опубликовано 12 печатных работ, включая 3 статьи в журналах из списка ВАК, получено 2 свидетельства о регистрации программы для ЭВМ: № 2014616393 и № 2015615114. Основные положения диссертации, выносимые на защиту.

1. Модели и алгоритмы автоматического извлечения обучающей выборки в задачах классификации изображений; алгоритмы фильтрации и обучения на основе изображений, полученных поисковыми запросами в сети Интернет;

2. Алгоритмы анализа, фильтрации и коррекции на основе использования семантического графа понятий в задачах классификации сложных изображений;

3. Алгоритмы эффективного анализа изображений на основе массивов дескрипторов для сопоставления изображений в задачах извлечения геометрических данных.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 93 наименования, и 3 приложений. Общий объем работы составляет 109 страниц, в том числе 36 рисунков, 21 таблица.

ГЛАВА 1. ПРОБЛЕМЫ АНАЛИЗА ИЗОБРАЖЕНИЙ В ЗАДАЧАХ КОМПЬЮТЕРНОГО ЗРЕНИЯ

1.1. Природа сложности компьютерного зрения

Человек способен с легкостью воспринимать окружающий его реальный мир с помощью визуальной информации получаемой от органов зрения. Наш мозг способен достраивать плоское изображение, получаемое глазами, до трехмерного изображения в сознании, например, человек без труда понимает, что ваза имеет форму тела вращения, наблюдая ее столько с одной точки. Глядя на фотографию, сознание практически мгновенно выдает информацию о людях, изображенных на ней, включая весь спектр сопутствующих данных, например, связанные с людьми события. Мы способны достраивать изображение на основе лишь частичных, либо даже схематически изображенных отрывков, при этом используя как весь физиологический функционал, так и знания, и опыт накопленные ранее при жизни.

Компьютерное зрение - раздел информационных технологий, исследующий возможности машин извлекать информацию из изображений, полученных с различных сенсоров и таким образом в некоторой степени эмулировать человеческое визуальное восприятие. Данной науке уже несколько десятков лет, и она продемонстрировала значительные результаты в задачах одних классов, в то время как во многих других прогресс относительно низок. Основной проблематикой данной области можно назвать то, что она пытается эмулировать поведение, в общем, малоизученных и слабо понятных процессов происходящих при восприятии человеком визуальной информации. В то время как человек может использовать весь багаж накопленного опыта и знаний для принятия решений относительно интерпретаций визуального изображения (и, следовательно, любое такое восприятие является субъективным), подавляющее число алгоритмов в компьютерном зрении являются детерминированными и результат их работы зависит только от входных данных. По этой причине компьютерное зрение на

сегодняшний день невозможно рассматривать как комплексную теорию, скорее это множество подходов, методов и алгоритмов, направленных на решение различных теоретических и прикладных задач, слабо связанных между собой, либо же иногда использующих прямо противоположные подходы для достижения результата в различных задачах.

Сложность, присущая компьютерному зрению, отчасти проистекает из расположения это области на стыке многих наук и сфер, среди которых можно перечислить:

- Физика, в первую очередь оптика, а также все другие связанные с распространением света разделы;

- Нейробиология, как наука занимающаяся изучением принципов работы человеческого восприятия;

- Искусственный интеллект, например, для использования элементов поиска по шаблону и методов обучения;

- Обработка сигналов, многие методы компьютерного зрения требуют первоначальной обработки и трансформации входных данных;

- Машинное обучение и прикладная математика. В компьютерном зрении решается широкий спектр вычислительных задач, которые требуют эффективного математического аппарата для работы с большими объемами данных.

Так же следует отдельно отметить особенности сферы, вытекающие из

объемов обрабатываемой информации. Большие размерности изображений,

помноженные на потенциально немалое число связанных между собой

изображений и на необходимость работать в разных масштабах, приводят к тому,

что практически никакие методы, интуитивно кажущиеся простыми, не могут

использоваться без глубокого пересмотра со стороны возможных оптимизаций.

Практически никакие методы, работающие «в лоб», не представляются

возможными к использованию из-за неприемлемых временных и ресурсных затрат.

Из этого протекает та особенность, что многие методы компьютерного зрения были

получены «от противного» - т.е. максимальная возможная результативность исходя

10

из текущего развития доступной вычислительной техники (пусть и со множественными допущениями и погрешностями), а не исходя из прямого моделирования, к примеру, физических процессов.

Среди крупных областей, рассматриваемых компьютерным зрением, можно условно выделить следующие:

- задачи распознавания;

- задачи реконструкции сцены;

- задачи анализа видео.

Данное деление довольно свободное, так как в областях иногда используются пересекающиеся наборы подходов и методов, так же пересекающийся фундаментальный инструментарий, связанный с обработкой изображений. Рассмотрим содержание данных областей более подробно.

Задачи распознавания. Компьютерное зрение выделяет определенные разрезы среди задач распознавания, которые отличаются используемым аппаратом:

- идентификация объекта - поиск экземпляров объекта на представленном изображении, возможно в искаженном виде, однако с сохранением визуальных особенностей объекта. Эти задачи могут решаться различными способами, в зависимости от конкретной области применения;

- задачи обнаружения - поиск каких-либо областей по заданным критериям, без четких визуальных особенностей. Областями применения можно назвать диагностику в медицине и системы видеонаблюдения, системы поиска людей и лиц на фотографиях;

- задачи сегментирования изображений - выделение связанных областей, возможно отделение фона от находящегося перед ним предмета;

- задачи классификации изображений - присвоение входящим изображениям меток из набора классов, исходя из содержания изображений;

- задачи классификации через локализацию - одновременный поиск расположения экземпляров различных классов на изображении с последующим присвоением меток исходя из найденных экземпляров.

Задачи реконструкции сцены. В широком понимании под этими задачами можно понимать извлекание информации из связанных между собой (возможно, неизвестным образом) изображений. Среди разделов этого класса задач можно выделить следующие:

- "сшивание" изображений - простейший случай данного класса задач, при котором не требуется вычислять геометрию сцены, а только взаимное расположение пересекающихся изображение и соответствующее преобразование, переводящее координаты одного изображение в координаты другого;

- структура из движения - простейший случай извлечения информации о геометрии объекта из набора его изображений из разных точек. Включает в себя задачи калибровки камеры, задачи построения расширенной реальности, задачи извлечения простейшей геометрии основанной на линиях и плоскостях;

- реконструкция 3D модели из набора изображений - широкий спектр задач реконструкции сцены, который предполагает извлечение информации об объемной геометрии предметов из набора изображений этих предметов (сцены). Может значительно отличаться в подходах исходя из масштаба задачи - от моделирования небольшого предмета с помощью обычной камеры, до моделирования больших пространств (large scale reconstruction) используя большое количество несвязанных между собой изображений полученных с разных камер.

Задачи анализа видео. В широком понимании эти задачи можно сформулировать как извлечение информации из связного последовательного набора изображений. Специфическую сложность этим задачам придает объем информации, который необходимо обрабатывать, пропорциональный количеству

кадров для offline систем и частоте кадров в секунду для систем реального времени. Можно выделить следующие задачи:

- выделение фона из видео, снятого с фиксированной точки. При решении этой задачи отдельную проблему представляют собой, помимо перемещающихся объектов, артефакты сжатия потока и необходимость анализировать потенциальное изменение освещения сцены;

- задача обнаружения и слежения за объектами. Она включает в себя обнаружение объекта в поле зрения камеры, обычно с использованием заранее обученных классификаторов, и последующее слежение за перемещением объекта, возможно с системой предсказания траектории движения;

- задача распознавания действий. По набору признаков, зафиксированных в видео, и их пространственно-временной взаимосвязи, используя набор классификаторов и эвристик, можно делать предположении о "характере" происходящего в видеопотоке.

Можно привести множество прикладных областей из повседневной жизни, в которых методы компьютерного зрения успешно применяются:

- Распознавание текста и данных. Конвертирование растровых изображений в набор символов. Сюда же можно отнести такие узкоспециализированные случаи, как чтение номеров автомобилей, почтовых индексов на конвертах, штрих-кодов и QR-кодов.

- Поиск лиц на фотографии. Сегодня множество компактных камер способны выполнять эту операцию на лету (например, для определения области фокусировки), в дальнейшем более сложные системы способны выполнять поиск людей в наборе фотографий.

- Системы видеонаблюдения, как отдельно стоящих зданий, так и автомобильных трасс.

- Биометрия и связанные с этим задачи, такие как идентификация человека по отпечаткам пальцев.

- Панорамы городов - сегодня многие картографические сервисы (например Google и Yandex) предоставляют возможность посмотреть панорамы из снимков полученных при движении машин по дорогам. При обработке этих данных так же используются методы из компьютерного зрения.

1.2. Специфика задач классификации изображений

В то время как некоторые задачи распознавания в рамках компьютерного зрения можно считать в той или иной степени разрешенными (как, например, задача локализация конкретного объекта (object detection) или поиска экземпляров объекта - instance recognition), задача классификации изображений (category recognition) (в целом, либо по частям) остается крайне тяжелой. Причин этому несколько [66]:

- визуальная изменчивость предметов, относящихся к определенной категории;

- допустимые структурные отличия между предметами относящихся к одной категории;

- невозможность экстенсивного наращивания обучающей выборки, т.к. комбинаторный взрыв приводит к переобучению;

- связь между категоризацией объекта и внешним контекстом;

- непонимание, как работают данные механизмы в сознании человека.

Отдельную сложность может представлять то, что возможны ситуации, когда ни один из классов, которым обучена система распознавания, не представлен на анализируемом изображении. В этом случае система распознавания должна выдать отсутствие имеющихся классов, что приводит к использованию некоторых пороговых значений для механизма принятия решений, подбор которых несет в себе отдельную сложность.

Большинство существующих на сегодняшний день механизмов классификации опираются на визуальные особенности изображений. Визуальные особенности (visual features) хорошо зарекомендовали себя в задачах локализации объекта и поиска экземпляров объектов в 1990х годах [44], в 2000х годах были сделаны попытки использовать этот же механизм для классификации изображений. Использование данных о визуальных особенностях отличается в различных методах классификации изображений, но можно выделить некий общий алгоритм:

1) Составление обучающей выборки изображений, разбитых (labeled) по классам;

2) Извлечение визуальных особенностей из обучающей выборки;

3) Преобразование полученных данных для дальнейшей работы;

4) Использование обработанных данных для анализа очередного входного изображения и принятие решений о принадлежности его к определенному классу.

Можно отметить следующие проблемы, присутствующие в описанной выше схеме обучения и классификации:

- Библиотеки «эталонных» изображений, представляющих отдельные классы, формируются вручную, что снижает гибкость и накладывает необходимость поддержания библиотеки в актуальном состоянии;

- Выбор классификатора может в значительной степени зависеть от характеристик обрабатываемых изображений, и, в случае появления неподходящих изображений, надежность классификации резко падает;

- При значительном количестве классов точность классификации снижается, так как становится затруднительно составить однозначно характеризующую модель каждого отдельного класса;

- Классы изображений не имеют между собой связей с семантической нагрузкой, что не позволяет в дальнейшем интерпретировать результаты работы.

Помимо локальных визуальных особенностей, вычисленных в окрестностях устойчивых опорных точек, исходная информация, описывающая обучающую выборку, может быть получена другими способами:

- вычислением гистограмм ориентированных градиентов (HOG) изображений [17]. Традиционно такой подход используется для задач локализации через классификацию при обработке видео в режиме реального времени, например, для распознавания автомобилей и пешеходов в системах видеонаблюдения;

- вычислением так называемых «плотных» дескрипторов [68], которые извлекаются исходя из регулярной сетки, на которую разбивается изображение, без учета устойчивости этих точек в пространстве и масштабе;

- возможны комбинации указанных выше подходов с использованием пространственной пирамиды, что позволяет достичь некоторого уровня инвариантности к изменениям масштаба изображений, однако не решает в целом проблему отсутствия инвариантности у подобного подхода извлечения дескрипторов.

При наличии заранее подготовленных библиотек, содержащих различные текстуры фонов изображений, возможно использование информации о фоне наряду традиционным применением дескрипторов для классификации изображения в целом. Для этого отдельно тренируется визуальный словарь известных текстур на основе имеющихся библиотек, он применяется для распознавания фонов анализируемых изображений. Затем он используется для отделения фона изображения от предметов на переднем плане и использования этой информации как дополнительного дискриминационного фактора наряду с традиционным применением метода визуальных слов [73]. Несмотря на перспективность анализа текстур, минусами в данном подходе можно отметить высокую степень зависимости от разрешения анализируемых изображений и необходимость ручного формирования библиотек текстур.

Были попытки [24,22] использовать поисковые системы для извлечения визуально согласующихся результатов по одинаковым поисковым запросам. При

этом входной информацией являлся текст на естественном языке для поискового запроса и производилась попытка сформировать наиболее вероятную модель изображений по данному запросу на основе вероятностного латентно-семантического анализа (pLSA - probabilistic Latent Semantic Analysis). На изображения по одному запросу накладывалось ограничение визуальной согласованности, при которой визуальные слова должны располагаться в одинаковом положении относительно друг друга исходя из разбиения пространства изображения на участки согласно методу Hough Transform. Данный подход полезен для поиска характерных визуальных представлений классов, исходя из их названия на естественном языке, однако накладывает существенные ограничения как на использование доступной из поисковых систем информации, так и на дальнейшее применение найденных изображений.

Можно выделить отдельные направления, стоящие на стыке задач классификации изображений и задач извлечения геометрии и совмещения изображений. Так, например, решается задача классификации входящего изображения между различными известными местоположениями (Landmarks) [38]. Для этого весь доступный массив изображений представляется в виде низкоразмерных GIST-дескрипторов, на основе которых проводится первичный поиск потенциально связанных изображений. Затем делается попытка их сопоставления с использованием соответствий высокоразмерных дескрипторов локальных особенностей и вычисление эпиполярной геометрии. Те изображения, которые имеют наибольшее количество дескрипторов, удовлетворяющих ограничениям эпиполярной геометрии, объявляются портретными (iconic images) и все связанные с ними изображениями выстраиваются в граф. При дальнейшем распознавании анализируемого изображения ведется поиск ближайших портретных изображений, исходя из метода Bag-Of-Words и проводится трехмерная геометрическая верификация результата.

1.3. Проблемы использования дескрипторов локальных особенностей

Полученный в 90x годах аппарат для представления изображений в виде совокупности дескрипторов локальных особенностей хорошо зарекомендовал себя для решения различных задач компьютерного зрения [66]. Разделение характеризующей информации на свойства точки интереса (помимо координат в изображении они могут включать в себя характерный масштаб точки, характерную ориентацию этого фрагмента, величину отклика функции детектора и так далее) и описание окрестности данной точки в виде многомерного вектора оказалось удобным с точки зрения использования и эффективным с точки зрения производительности. Существует множество методов поиска точек интереса в изображении и методов представления информации о их окрестности в виде дескрипторов, наиболее известным и универсальным дескриптором можно назвать SIFT [46]. Данный дескриптор, как и большинство других применяемых, оперирует информацией об изображении, представленной в градациях серого, то есть не использует цветовые компоненты исходных изображений [50]. При наличии большого количества дескрипторов это может приводить к снижению его дискриминационных свойств, т.к. различные фрагменты изображения способны формировать схожее представление в виде многомерных векторов, и при их сопоставлении вполне вероятна многозначность.

Список литературы диссертационного исследования кандидат наук Казаков Михаил Георгиевич, 2016 год

СПИСОК ЛИТЕРАТУРЫ

1. Abdel-Hakim A.E., Farag A.A. CSIFT: A SIFT descriptor with color invariant characteristics // IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE. 2006. V. 2, P.1978-1983.

2. Agarwal S., Snavely N., Seitz S. M., Szeliski R. Bundle adjustment in the large // Computer Vision-ECCV, Springer Berlin Heidelberg. 2010. P.29-42.

3. Alhwarin F., Wang C., Ristic-Durrant D., Gräser A. Improved SIFT-Features Matching for Object Recognition // BCS International Academy Conference. 2008. P.178-190.

4. Ballard D.H. Generalizing the Hough transform to detect arbitrary patterns // Pattern Recognition. 1981. 13(2), P.111-122.

5. Baumberg A. Reliable feature matching across widely separated views // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. IEEE. 2000. V. 1, P.774-781.

6. Bay H., Tuytelaars T., Van Gool L. Surf: Speeded up robust features // In Computer vision-ECCV, Springer Berlin Heidelberg. 2006. P.404-417.

7. Beardsley P., Torr P., Zisserman A. 3D model acquisition from extended image sequences // Computer Vision - ECCV'96. Springer Berlin Heidelberg. 1996. P.683-695.

8. Bentley J.L. Multidimensional binary search trees used for associative searching // Communications of the ACM. 1975. 18(9), P.509-517.

9. Boiman O., Shechtman E., Irani M. In defense of nearest-neighbor based image classification // IEEE Conference on Computer Vision and Pattern Recognition, CVPR. 2008. P.1-8.

10. Caltech 101 [Электронный ресурс] URL: http://www.vision.caltech.edu/Image_Datasets/Caltech101/ (дата обращения: 02.02.2015).

11. Canny J. A computational approach to edge detection // IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE. 1986. 6, P.679-698.

12. Christoudias C.M., Georgescu B., Meer P. Synergism in low level vision // Proceedings of 16th International Conference on Pattern Recognition, IEEE. 2002. V.4, P.150-155.

13. Code for the Edge Detection and Image SegmentatiON system [Электронный ресурс] URL: http://coewww.rutgers.edu/riul/research/code/EDISON/ (дата обращения: 02.02.2015).

14. Crandall D.J., Backstrom L., Huttenlocher D., Kleinberg J. Mapping the world's photos // Proceedings of the 18th international conference on World Wide Web, ACM. 2009. P.761-770.

15. Csurka G., Dance C., Fan L., Willamowski J., Bray C. Visual categorization with bags of keypoints // Workshop on statistical learning in computer vision, ECCV. 2004. V.1, P.1-2.

16. Dahl A.L., Aan^s H., Pedersen K.S. Finding the best feature detector-descriptor combination // International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission (3DIMPVT), IEEE. 2011. P.318-325.

17. Dalal N., Triggs B. Histograms of oriented gradients for human detection // IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE. 2005. V. 1. P.886-893.

18. Demo Software: SIFT Keypoint Detector. David Lowe. [Электронный ресурс] URL: http://www.cs.ubc.ca/~lowe/keypoints/ (дата обращения: 02.02.2015).

19. Dijkstra E.W. A note on two problems in connexion with graphs // Numerische mathematik. 1959. 1(1), P.269-271.

20. Douze M., Jegou H., Sandhawalia H., Amsaleg L., Schmid C. Evaluation of GIST descriptors for web-scale image search // Proceedings of the ACM International Conference on Image and Video Retrieval, ACM. 2009. P.19-36.

21. Fei-Fei L., Fergus R., Torralba A. Recognizing and learning object categories // CVPR Short Course, 2. 2007.

22. Fergus R., Fei-Fei L., Perona P., Zisserman A. Learning object categories from Google's image search // Tenth IEEE International Conference on Computer Vision, ICCV. 2005. V.2, P.1816-1823.

23. Fergus R., Perona P., Zisserman A. Object class recognition by unsupervised scale-invariant learning // Proceedings of Computer Society Conference on Computer Vision and Pattern Recognition, IEEE. 2003. V. 2, P.256-264.

24. Fergus R., Perona P., Zisserman A. A visual category filter for google images // Computer Vision-ECCV 2004, Springer Berlin Heidelberg. 2004. P.242-256.

25. Ferrari V., Tuytelaars T., Van Gool L. Simultaneous object recognition and segmentation from single or multiple model views // International Journal of Computer Vision. 2006. 67(2), P.159-188.

26. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Communications of the ACM. 1981. 24(6), P.381-395.

27. Forsyth D.A., Ponce J. A Modern Approach. Computer Vision: A Modern Approach / Prentice Hall, 2003. 828p.

28. Friedman J.H., Bentley J.L., Finkel R.A. An algorithm for finding best matches in logarithmic expected time // ACM Transactions on Mathematical Software (TOMS), ACM. 1977. 3(3), P.209-226.

29. Gammeter S., Bossard L., Quack T., Gool L.V. I know what you did last summer: object-level auto-annotation of holiday snaps // 12th International Conference on Computer Vision, IEEE. 2009. P.614-621.

30. Google Custom Search Element Control API [Электронный ресурс] URL: https://developers.google.com/custom-search/docs/element (дата обращения: 02.02.2015).

31. Harris C. Geometry from visual motion // Active vision, MIT Press. 1993. P.263-284.

32. Harris C., Stephens M. A combined corner and edge detector // Proceedings of the 4th Alvey vision conference. 1988. V. 15, P.147-151.

33. Hartley R., Zisserman A. Multiple view geometry in computer vision / Cambridge university press, 2003. 673p.

34. Harzallah H., Jurie F., Schmid C. Combining efficient object localization and image classification // 12th International Conference on Computer Vision, IEEE. 2009. P.237-244.

35. Ke Y., Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors // Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE. 2004. V. 2, P.498-506.

36. Kim S., Yoon K.J., Kweon I.S. Object recognition using a generalized robust invariant feature and Gestalt's law of proximity and similarity // Pattern Recognition. 2008. 41(2), P.726-741.

37. Kulkarni S.R., Harman G. Statistical learning theory: a tutorial // Wiley Interdisciplinary Reviews: Computational Statistics. 2011. 3(6), P.543-556.

38. Li X., Wu C., Zach C., Lazebnik S., Frahm J.M. Modeling and recognition of landmark image collections using iconic scene graphs // Computer Vision -ECCV, Springer Berlin Heidelberg. 2008. P.427-440.

39. Li Y., Snavely N., Huttenlocher D., Fua P. Worldwide pose estimation using 3d point clouds // Computer Vision-ECCV, Springer Berlin Heidelberg. 2012. P.15-29.

40. Lindeberg T. Detecting salient blob-like image structures and their scales with a scale-space primal sketch: a method for focus-of-attention // International Journal of Computer Vision. 1993. 11(3), P.283-318.

41. Lindeberg T. Scale-space theory: A basic tool for analyzing structures at different scales // Journal of applied statistics. 1994. 21(2), P.225-270.

42. Lourakis M.I., Deriche R. Camera self-calibration using the Kruppa equations and the SVD of the fundamental matrix: The case of varying intrinsic parameters // Institut national de recherche en informatique et en automatique, 2000. 35p.

43. Lowe D.G. Fitting parameterized three-dimensional models to images // IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE. 1991. 13(5), P.441-450.

44. Lowe D.G. Object recognition from local scale-invariant features // The proceedings of the seventh IEEE international conference on Computer vision, IEEE. 1999. V. 2, P.1150-1157.

45. Lowe D.G. Local feature view clustering for 3D object recognition // IEEE Conference on Computer Vision and Pattern Recognition, IEEE. 2001. P.682-688.

46. Lowe D.G. Distinctive image features from scale-invariant keypoints // International journal of computer vision. 2004. 60(2), P.91-110.

47. MacQueen, J. Some methods for classification and analysis of multivariate observations // Proceedings of the fifth Berkeley symposium on mathematical statistics and probability, University of California Press. 1967. V. 1, No. 14, P.281-297.

48. McCann S., Lowe D.G. Local naive bayes nearest neighbor for image classification // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE. 2012. P.3650-3656.

49. Meer P., Mintz D., Rosenfeld A., Kim D.Y. Robust regression methods for computer vision: A review // International journal of computer vision. 1991. 6(1), P.59-70.

50. Mikolajczyk K., Schmid C. A performance evaluation of local descriptors // IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE. 2005. 27(10), P.1615-1630.

51. Mikolajczyk K., Tuytelaars T., Schmid C., Zisserman A., Matas J., Schaffalitzky F., Gool L.V. A comparison of affine region detectors // International journal of computer vision. 2005. 65(1-2). P.43-72.

52. Miller G.A. WordNet: a lexical database for English // Communications of the ACM. 1995. 38(11), P.39-41.

53. Miller G.A., Fellbaum C. Wordnet: An electronic lexical database / Cambridge, MA: MIT Press, 1998.

54. Moravec H. P. Obstacle avoidance and navigation in the real world by a seeing robot rover / Stanford University CA Department of Computer Science, 1980. 170p.

55. Morel J.M., Yu G. ASIFT: A new framework for fully affine invariant image comparison // SIAM Journal on Imaging Sciences. 2009. 2(2), P.438-469.

56. Nene S.A., Nayar S.K. Closest point search in high dimensions. // Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE. 1996. P.859-865.

57. Nene S.A., Nayar S.K. A simple algorithm for nearest neighbor search in high dimensions // IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE. 1997. 19(9), P.989-1003.

58. Obdrzalek S., Matas J. Object recognition using local affine frames on maximally stable extremal regions // Toward Category-Level Object Recognition, Springer Berlin Heidelberg. 2006. P.83-104.

59. Pantofaru C., Hebert M. A comparison of image segmentation algorithms / Robotics Institute, Carnegie Mellon University, 2005.

60. Pope A.R., Lowe D.G. Learning object recognition models from images // Proceedings of Fourth International Conference on Computer Vision. IEEE. 1993. P.296-301.

61. Project Tango by Google. [Электронный ресурс] URL: https://www.google.com/atap/projecttango/#project (дата обращения: 02.02.2015).

62. Quack T., Leibe B., Gool L.V. World-scale mining of objects and events from community photo collections // Proceedings of the 2008 international conference on Content-based image and video retrieval, ACM. 2008. P.47-56.

63. Repko J., Pollefeys M. 3D models from extended uncalibrated video sequences: Addressing key-frame selection and projective drift // Fifth International Conference on 3-D Digital Imaging and Modeling, 3DIM. IEEE. 2005. P.150-157.

64. Schmid C., Mohr R. Local grayvalue invariants for image retrieval // IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE. 1997. 19(5), P.530-534.

65. Skelly L.J., Sclaroff S. Improved feature descriptors for 3D surface matching // Optics East, International Society for Optics and Photonics. 2007. P. 676-688.

66. Szeliski R. Computer vision: algorithms and applications / Springer Science & Business Media, 2010. 957p.

67. Turcot P., Lowe D.G. Better matching with fewer features: The selection of useful features in large database recognition problems // IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops), IEEE. 2009. P.2109-2116.

68. Tuytelaars T. Dense interest points // IEEE Conference on Computer Vision and Pattern Recognition, IEEE. 2010. P.2281-2288.

69. VisualSFM: A Visual Structure from Motion System [Электронный ресурс] URL: http://ccwu.me/vsfm/ (дата обращения: 02.02.2015).

70. WordNet - A lexical database for English [Электронный ресурс] URL: http://wordnet.princeton.edu/ (дата обращения: 02.02.2015).

71. Wu C. Towards linear-time incremental structure from motion // 2013 International Conference on 3D Vision-3DV, IEEE. 2013, P.127-134.

72. Zhang Z., Deriche R., Faugeras O., Luong Q.T. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry // Artificial intelligence. 1995. 78(1), P.87-119.

73. Zhang J., Marszalek M., Lazebnik S., Schmid C. Local features and kernels for classification of texture and object categories: A comprehensive study // International journal of computer vision. 2007. 73(2). P.213-238.

74. Грузман И.С. Применение ЕМ-алгоритма к задаче автоматической сегментации анизотропных изображений // Доклады АН ВШ РФ, № 2-3(23-24), 2014. С.57-66.

75. Грузман И.С, Банзаргашиева М.А. Алгоритм обнаружения периодических текстур // Сборник научных трудов "Современные проблемы радиоэлектроники", Красноярск, 2012. C.26-29.

76. Грузман И.С., Григорьева И.В. Реализация и исследование алгоритма анализа анизотропных текстур с двумя доминирующими направлениями на основе градиентного структурного тензора // Сборник научных трудов "Современные проблемы радиоэлектроники", Красноярск, 2012. C.23-26.

77. Крайванова В.А., Кротова А.О., Крючкова Е.Н. Построение взвешенного лексикона на основе лингвистических словарей // Материалы Всероссийской конференции с международным участием ЗОНТ-2011, Т.2, Новосибирск, 2011.

78. Рубина И.С., Тропченко А.Ю. Исследование алгоритмов выбора опорных пикселов в задачах выделения сегментов кадра видеопоследовательности // Известия вузов. Приборостроение, №1(55), СПб., 2012. C.9-14.

79. Соловьев Н.В. Методы коррекции пространственных искажений изображений плоских объектов в условиях действия полной аффинной группы преобразований // Информационно-управляющие системы, №5, СПб, 2003. С.7-11.

80. Соловьев Н.В., Шифрис Г.В. Улучшение качества сжатых изображений предварительным масштабированием // Информационно-управляющие системы, №3, СПб, 2011. С. 15-23.

81. Тропченко А.А., Тропченко А.Ю. Нейросетевые методы идентификации человека по изображению лица // Известия вузов. Приборостроение, №10(55), СПб, 2012. C.31-36.

Работы автора, в которых изложены основные результаты

диссертации

82. Казаков М.Г. Повышение качества извлечения SD-геометрии методом семантического анализа изображений // журнал "Программная инженерия". № 8.- 2013. - C.42-47.

83. Казаков М.Г., Крючкова Е.Н. Адаптивная система контроля и кластеризации визуальных данных // журнал "Ползуновский вестник". № 2.2014. - С.146-149.

84. Казаков М.Г., Крючкова Е.Н. Классификация сложных изображений на основе семантического графа понятий // журнал "Прикладная информатика". № 6(54). - 2014. - С.79-89.

85. Казаков М.Г., Крючкова Е.Н. Система классификации изображений на основе семантического графа понятий // Свидетельство о государственной регистрации программы для ЭВМ № 2014616393 от 20 июня 2014.

86. Казаков М.Г., Крючкова Е.Н. Сопоставление изображений для извлечения 30-геометрии на основе семантического анализа // Свидетельство о государственной регистрации программы для ЭВМ № 2015615114 от 7 мая 2015.

87. Казаков М.Г., Крючкова Е.Н. Проблема анализа аутентичности сложных конструкций на примере городского ландшафта // сборник статей XIII международной научно-практической конференции «Фундаментальные и прикладные исследования, разработка и применение высоких технологий в промышленности и экономике», т. 2, часть 1. - Санкт-Петербург, 2012.

- С.50-52.

88. Казаков М.Г., Крючкова Е.Н. Проблемы эффективности извлечения информации из изображений SD-объектов // материалы всероссийской конференции с международным участием «Знания-Онтологии-Теории». -Новосибирск, 2013. - С.193-196.

89. Казаков М.Г., Крючкова Е.Н. Верификация результатов классификации изображений на основе семантических графов понятий // материалы XV международной научно-технической конференции "Измерение, Контроль, Информатизация". - Барнаул, 2014. - С.155-159.

90. Казаков М.Г., Крючкова Е.Н. Адаптивность классификации изображений на основе автоматической генерации обучающей выборки // материалы XI всероссийской научно-технической конференции студентов, аспирантов и молодых ученых "Наука и Молодежь": Информационные технологии: Программное обеспечение вычислительной техники и автоматизированных систем. - Барнаул, 2014. - С.15-18.

91. Казаков М.Г. Использование метрик в семантическом графе для задач классификации изображений // материалы V международной научно-практической конференции "Новые задачи технических наук и пути их решения". - Уфа, 2015. - С.45-47.

92. Казаков М.Г. Фильтрация автоматически полученной обучающей выборки для классификации изображений // материалы II международной научно-практической конференции "Актуальные проблемы естественных и математических наук в России и за рубежом". - Новосибирск, 2015. -

С.118-120.

93. Казаков М.Г. Соотношение визуального и семантического расстояния в задачах классификации изображений // материалы XI международной научно-практической конференции «Перспективные научные исследования - 2015». - София, 2015. - С.60-64.

ПРИЛОЖЕНИЕ

Приложение А. Реконструкция облака точек из изображений

Для иллюстрации работы метода поиска соответствия для задач восстановления структуры из движения, ниже показано формирования облака точек в трехмерном пространстве, исходя из множества соответствий в паре изображений. Связанные изображения приведены на рис. А.1. Для вычисления облака точек и для поиска соответствий классическим способом использовался пакет У1виа18ЕМ.

На рис. А.2 показаны полученные в разных случаях облака точек, численные результаты при этом приводятся в табл. А.1. В первом случае использовался классический подход сопоставления дескрипторов изображений - представления изображений в виде общего набора дескрипторов и последующий перекрестный поиск. Во втором же случае использовался предложенный метод, основанный на промежуточном представлении изображений в виде набора сегментов. Полученные при этом соответствия объединялись с соответствиями, полученными в результате прямого сопоставления наборов дескрипторов, и полученные множества предоставлялись пакету У1виа18ЕМ в качестве готовых к использованию соответствий. Разница в количестве точек в результирующем облаке в значительной степени зависит от содержимого изображений, в общем случае эксперименты показали разницу как минимум на десятки процентов от числа точек в пользу предложенного метода.

На рис. А.3 показаны облака точек для изображений, использовавшихся для визуализации метода во второй главе. При использовании традиционного метода полученное облако точек содержит 645 элементов, в случае использования предлагаемого подхода число полученных точек составляет 930 элементов, детальные результаты приводятся в табл. А.2.

Рисунок А.2. Полученные облака точек для изображений из рис. А.1

Таблица А.1 - Количество точек получаемых для изображений из рис. А.1

Разрешения изображений Прямой поиск соответствий дескрипторов Поиск соответствий на основе предлагаемого метода

560x1000 734 832

840x1500 891 1123

1120x2000 923 1438

1400x2500 967 1790

Рисунок А.3. Полученные облака точек для изображений из главы 4

Таблица А.2 - Количество точек получаемых для изображений из главы 4

Разрешения изображений Прямой поиск соответствий дескрипторов Поиск соответствий на основе предлагаемого метода

600x337 424 465

800x450 583 632

1000x562 645 930

Приложение Б. Свидетельства о государственной регистрации программ для ЭВМ

Рисунок Б.1. Свидетельство № 2014616393

Рисунок Б.2. Свидетельство № 2015615114

Приложение В. Справки о внедрении результатов работы

ООО «АЛАВАР СТУДИОС»

Адрес: 656049 г. Барнаул, ул. Пролетарская, д. 127А, тел. [phone]

www.alawar.com,[e-mail]

ИНН 2225083835, КПП 222501001. ОГРН 1072225001837 ОКПО 99769616, Р/С 40702810232190000010, К/с 30101810400000000725 филиал ОАО "УРАЛСИБ" г. Новосибирск, БИК 045004725

Исх. Нчлж^-у от » 2015 г.

Вход. №

от «

»

2015 г.

alawar

«УТВЕРЖДАЮ» Генеральный директор

ООО «Алавар Студиос»

\ ей ^.w

Оглоблина Н.А.

_

« ¿9» .-^.w 2015 г.

СПРАВКА

о внедрении результатов диссертационного исследования Казакова Михаила Георгиевича

Настоящим удостоверяется, что результаты диссертационного исследования Казакова М.Г. на тему «Алгоритмы и модели интеллектуального анализа изображений на основе дескрипторов локальных особенностей» были использованы в процессе разработки компании ООО «Алавар Студиос» и имеют практическую ценность.

Программное обеспечение, написанное на основе методов, предложенных в указанной диссертационной работе, применяется для автоматизированного моделирования геометрии сцен из набора связанных фотографий. Внедрение данного метода поиска соответствий между изображениями позволило увеличить наполненность получаемой в итоге геометрии сцен, в сравнении применяемыми ранее методами. Улучшение проработки исходной геометрии, в свою очередь, снижает необходимые трудовые и временные затраты по ручному ЗЭ-моделированию.

С уважением,

Генеральный директор

ООО «Алавар Студиос» _ >

Оглоблина Н.А.

Рисунок В.1. Справка о внедрении результатов работы в ООО «Алавар Студиос»

108

Министерство образования и науки Российской Федерации

федеральное государственное бюджетное

образовательное учреждение высшего профессионального образования «Алтайский государственный

технический университет им. И.И. Ползунова» (АлтГТУ) пр-т Ленина, 46, г. Барнаул, 656038 Телефон: [phone] Факс: [phone]

E-mail: [e-mail]; [e-mail]

использования программы для ЭВМ, свидетельство о государственной регистрации № 2014616393

Авторы: Казаков М.Г., Крючкова E.H.

Название программы: Система классификации изображений на основе семантического графа понятий

Данная программа для ЭВМ использована с 2014г. в Алтайском государственном техническом университете при выполнении государственного задания №13.773.2014/К «Разработка инновационных технологий водоподготовки, водоочистки, минимизации жидких токсичных отходов» в соответствии с полным исходным текстом программы.

Программа для ЭВМ применяется для проведения анализа микроструктуры исследуемых образцов. В качестве исходных данных используются микрофотографии материалов под воздействием различных сред. Программа позволяет численно оценивать степень изменения характерной микроструктуры после соответствующего воздействия.

Руководитель научно-исследовательской работы:

Нач. отдела интеллектуальной и промышленной собственности:

Заведующий кафедрой прикладной математики:

Дата: » 2015 г.

УТВЕРЖДАЮ Проректор по НИР

Акт

Рисунок В.2. Акт использования программы для ЭВМ в АлтГТУ