Информационно-измерительная система видеослежения за подвижными объектами на основе пространственных дескрипторов тема диссертации и автореферата по ВАК РФ 05.11.16, кандидат технических наук Аун Самер

• Аун Самер
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Аун Самер

Список используемых сокращений.

Введение.

Актуальность исследования.

Объект исследования.

Предмет исследования.

Целью диссертационной работы.

Научная задача диссертации.

Методы исследования.

Научная новизна работы.

Основные положения, выносимые на защиту.

Практическая ценность новых научных результатов.

Апробация результатов.

Реализация результатов работы:.

Публикации.

Структура и объем работы.

1. Гпава 1: Современное состояние систем видеослежения и постановка задачи исследования.

1.1. Информационно-измерительные системы видео сопровождения.

1.1.1. Общие этапы системы видеосопровождения.

1.1.2. Области применения и трудности систем видеослежения.

1.1.3. Классификация систем видеосопровождения.

1.1.4. Общая структурная схема системы видеосопровождения.

1.2. Требования и характеристики ИИС видеослежения.

1.2.1. Параметры объекта слежения.

1.2.2. Характеристики сцены наблюдения.

1.2.3. Требования к системам видеослежения.

1.3. Системы координат в области компьютерного зрения

1.3.1. Основные системы координат.

1.3.2. Трехмерное геометрическое преобразование.

1.3.3. Двумерное геометрическое преобразование.

1.4. Формирование изображения и видеокамера.

1.4.1. Общие характеристики видеокамеры.

1.4.2. Поворотные видеокамеры типа PJZ.

1.4.3. Модель формирования изображения в видеокамерах.

1.5. Обработка измерительной информации.

1.5.1. Представление и модель объекта.

1.5.2. Выбор признаков объекта для видеослежения.

1.5.3. Методы обнаружения объекта.

1.5.4. Видеослежение и измерение координат объекта на изображении

1.6. Анализ аппаратных платформ вычисления.

Введение диссертации (часть автореферата) на тему «Информационно-измерительная система видеослежения за подвижными объектами на основе пространственных дескрипторов»

Актуальность исследования

В настоящее время информационно-измерительных системы (ИИС) применяются в довольно широком спектре деятельностей человека таких, как медицина, машиностроение и т.п. В ИИС рассматривается решение различных аппаратно-программных задач таких, как сбор, переработка, передача и хранение информации, а так же поиск, распознавание образов и выдача разнообразной информации человеку или машине [1]. В настоящее время построение информационно-измерительных систем видеослежения, обрабатывающих визуальную информацию видеокамер (ВК) для измерения угловых координат и местоположения подвижных объектов имеет большой интерес в широком спектре деятельности человека таких, как медицина, машиностроение, аэрокосмическая область, в сфере игровых развлечений и т.п.

Сложность и многоаспектность данной задачи возрастет из-за непрерывного повышения требований к динамике объекта, к точности измерения и инвариантности от внешних факторов, и подтверждается наличием значительного количества научных работ, центров и лабораторий, занимающих разработкой систем компьютерного зрения для различных применений. Среди работ, посвященных вопросам видеослежения и оценке параметров подвижных объектов, выделяются работы таких ученых, как Б.А. Алпатов, A.M. Бочкарев, Д.А Форсайт, В.А. Сойфер, С.А. Прохоров, D. Comaniciu, S. Wang, W. Pratt. Среди предприятий на территории Российской федерации, занимающих вопросами компьютерного зрения и видеослежения, перечисляются компании ЗАО «Институт информационных технологий» и ЗАО «Научно-технический центр» «Модуль». Среди научных учреждений: кафедра автоматики и информационных технологий в управлении Рязанского государственного радиотехнического университета и кафедра технической кибернетики

Самарского государственного аэрокосмического университета им. С.П. Королева (национальный исследовательский университет).

Одна из наиболее сложных и актуальных задач в области компьютерного зрения заключается в автоматическом обнаружении наличия объекта интереса на изображениях видеопоследовательности со сложной динамической сценой, и оценка таких параметров объекта, как местоположение, скорость, направление, в реальном масштабе времени. Сложность этих задач значительно увеличивается при рассмотрении объектов, движущихся в значительном пространстве наблюдения, вынуждающих автоматическое слежение за ними по изображениям видеопоследовательностей (видеослежение) и в пространстве перемещения (сопровождение).

Среди причин сложности задач автоматического видеослежения за движущимися объектами встречаются: проективное преобразование; изменение освещенности сцены наблюдения; отсутствие априорной информации о модели объекта и о модели его движения. Несмотря на наличие чрезвычайно большого количества работ, посвященного задачам области компьютерного зрения таким, как обнаружение наличия объектов, и их распознавание, большинство известных методов рассматривают неподвижные объекты на статических изображениях и показывают высокую вычислительную сложность и недостаточную робастность к геометрическим преобразованиям. Исследование возможности применения таких методов для обнаружения подвижных объектов на изображениях видеопоследовательности является актуальной задачей при разработке систем видеослежения.

В последнее десятилетие были разработаны методы обнаружения и распознавания на основе внешности объектов (appearance-based), использующие для описания объектов их локальные ключевые точки (key points) в аналогии с подходами распознавания, встроенными в системе человеческого восприятии [2, 3]. Эти методы показали беспрецедентно удовлетворительные робастность и инвариантность к геометрическим преобразованиям и изменению освещенности. Однако основным недостатком этих методов является их вычислительная сложность, что мешает их применение в задачах слежения за объектами в реальном масштабе времени.

Вследствие выше рассмотренных обстоятельств разработка эффективных методов обнаружения объектов на изображениях видеопоследовательности и увеличение робастности существующих методов с целью проектирования информационно-измерительных систем видеослежения за движущимися объектами являются важными и необходимыми задачами для развития человеческого общества, и представляют собой актуальные научно-исследовательские задачи.

Объект исследования - автоматизированные системы сопровождения и видеослежения за движущимися объектами с использованием поворотной видеокамеры.

Предмет исследования - методы и алгоритмы обнаружения, видеослежения и измерения параметров движущихся объектов на изображениях видеопоследовательности, показывающие инвариантность и робастность к геометрическим преобразованиям.

Целью диссертационной работы является разработка методов, моделей и алгоритмов видеослежения за движущимися объектами с повышенными быстродействием и робастностью к геометрическим преобразованиям.

Научная задача диссертации - совершенствование существующих и разработка новых элементов информационно-измерительной системы видеослежения за подвижными объектами, функционирующей в реальном масштабе времени, улучшение ее метрологических, эксплуатационных и экономических характеристик.

Поставленная научная задача исследования решается в следующих основных направлениях:

Анализ существующих методов обнаружения и определения параметров движущихся объектов на изображениях.

Исследование и разработка инвариантных и робастных к аффинному преобразованию методов и алгоритмов, позволяющих устойчиво обнаружить объекты и оценивать их параметры на статических изображениях и в кадрах видеопоследовательности;

Исследование способов осуществления этих алгоритмов в режиме реального времени;

Разработка алгоритмов управления движением наклонно-поворотной платформы, обеспечивающих автоматическое слежение за движущимся объектом;

Компьютерное моделирование процесса обнаружения и слежения за движущимся объектом и процесса вычисления его параметров; Разработка инструментальных средств построения автоматизированной системы слежения, работающей в реальном масштабе времени.

Методы исследования. Для достижения поставленной цели в диссертационной работе используются теория вероятностей, теория случайных процессов, теория распознавания образов, теория вычислительной математики, параллельное программирование, теория оценки параметров, теория компьютерного зрения, теория систем автоматического управления, а также методы имитационного компьютерного моделирования, физического эксперимента и оптимальной фильтрации.

При выполнении диссертационной работы используются следующие программные обеспечения:

Среда разработки и имитационного моделирования динамических систем Simulink-Matlab; пакеты обработки изображения и видеосигнала в среде Matlab;

Среда разработки Microsoft Visual Studio С++;

Библиотеки алгоритмов компьютерного зрения OpenCV;

Библиотеки выделения ключевых точек SIFT-алгоритма на центральном процессоре «VLFeat» и на графическом процессоре «SIFTGPU»;

Библиотека параллельного вычисления на графических процессорах на основе языка CUDA.

Научная новизна работы. В процессе проведения исследования получены следующие новые научные результаты:

1. Разработан метод сопоставления изображений на основе пространственных дескрипторов ключевых точек известного SIFT- алгоритма, позволяющих ускорить этап вычисления в 40 раз и уменьшить размерность от 128 до 60 по сравнению с SIFT-дескриптором, при этом увеличивается его производительность;

2. Впервые разработан и исследован метод выделения областей изображения на основе пирамиды разностей Гауссианов и нормализации участков изображения, увеличивающий робастность сопоставления изображений к изменению ракурса до 80 градусов, и позволяющий разделить однородные области изображения на несколькие с определенными геометрическими характеристиками;

3. Разработана методика видеослежения на основе сопоставления пространственных дескрипторов SIFT-KT, которая адаптирует множество КТ объекта слежения с учетом результатов сопоставления в предыдущих кадрах видеопоследовательности;

4. На основе предложенного метода сопоставления изображения с использованием пространственных дескрипторов разработаны программные комплексы сопоставления изображений и слежения за объектами в среде Matlab и в среде Microsoft Visual Studio С++;

5. Предложена модификация для обновления вектора состояния объекта слежения на этапе коррекции в фильтре Калмана, обеспечивающая уменьшение погрешностей оценивания местоположения объекта слежения;

6. Разработан вариант метода сопоставления пространственных дескрипторов в программном обеспечении, исполняемый ' на графическом процессоре. Получен коэффициент ускорения вычисления в пределах 20 по сравнению с исполнением на центральном процессоре компьютера.

Основные положения, выносимые на защиту

1. Метод сопоставления изображений на основе пространственных дескрипторов ключевых точек SIFT-алгоритма;

2. Метод выделения областей изображения, опирающийся на пирамиду разностей Гауссианов и нормализацию участков изображения

3. Аналитические выражения для погрешностей измерения координат объекта в системе слежения;

4. Методика видеослежения за объектами на основе пространственных дескрипторов и обновления модели объекта слежения;

5. Результаты компьютерного моделирования и экспериментального исследования системы сопровождения подвижных объектов.

Практическая ценность новых научных результатов

Работа доведена до разработки инженерных методик систем слежения и сопровождения, которые охватывают методологические, информационные, математические, технические и программные обеспечения.

Практическая ценность работы состоит в том, что разработанный метод сопоставления изображений на основе пространственных дескрипторов улучшает быстродействие алгоритма видеослежения и позволяет адаптировать модель объекта в ходе слежения без значительных временных затрат.

Практическая особенность разработанных программных обеспечений в средах разработки Matlab и Microsoft Visual Studio С++ заключается в возможности их использования для слежения за разными объектами, выполняющих некоторые условия обнаружения.

Результаты исследования диссертационной работы могут послужить основой для развития новых систем компьютерного зрения таких, как системы распознавания объектов и стабилизации изображения.

Апробация результатов

Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях:

• Всероссийская научно-практическая конференция «Проблемы перехода к устойчивому развитию многопрофильных городов», г. Нижнекамск, 2010 г.;

• XXII всероссийская межвузовская научно-техническая конференция, Казанское высшее военное командное училище «Электромеханические и внутрикамерные процессы в энергетических установках, струйная акустика и диагностика, приборы и методы контроля природной среды, веществ, материалов и изделий», г. Казань, 2010 г.;

• XVIII, XIX, XX Международные молодежные научные конференции «Туполевские чтения», г. Казань, 2010, 2011, 2012 гг.;

• Региональная научно-техническая конференция «Информационные технологии и их приложения», Казань, 2011;

• X Международная Четаевская конференция «Аналитическая механика, устойчивость и управление», г. Казань, 2012 г.

Реализация результатов работы:

Разработанные в данной работе методы, алгоритмы и программные обеспечения подходят для организации, занимающихся разработкой систем компьютерного зрения. Основные результаты диссертационной работы используются в учебном процессе на кафедре «Автоматизированные системы обработки информации и управления» ФГБОУ ВПО «Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ».

Публикации. Основные результаты диссертационной работы опубликованы в 13 печатных работах, в том числе в 5 статьях, из них 2 статьи в периодических изданиях, рекомендованных ВАК, и в 8 тезисах докладов.

Структура и объем работы. Диссертация состоит из введения, четырех глав с выводами, заключения, списка использованной литературы из 113 наименований и приложения. Основная часть диссертации изложена на 176 страницах машинописного текста, содержит 59 рисунков и 8 таблиц.

Заключение диссертации по теме «Информационно-измерительные и управляющие системы (по отраслям)», Аун Самер

Заключение

В данной диссертационной работе были рассмотрены самые известные методы обнаружения объектов на изображениях видимого диапазона спектра излучения. Проведенный анализ существующих подходов к построению информационно-измерительных систем, предназначенных для видеослежения за подвижными объектами, определил преимущество использования метода обнаружения объектов на основе сопоставления изображений с использованием ключевых точек известного SIFT-алгоритма, обеспечивающего инвариантность сопоставления к геометрическим преобразованиям, и робастность к изменениям ракурса и освещенности.

На основе ключевых точек известного SIFT-алгоритма разработан в данной диссертационной работе новый метод сопоставления изображений на основе пространственных дескрипторов, позволяющих ускорить этап вычисления дескрипторов и уменьшить его размерность от 128 до 50 по сравнению с SIFT-дескриптором, в то же время увеличивается его информативность. В результате этого увеличивается быстродействие задачи сопоставления изображений на 25% по сравнению с SIFT-дескриптором.

Этот метод сопоставления изображений служит основой для разработки методики видеослежения за объектами с целью измерения параметров объектов на изображениях видеопоследовательности таких, как местоположение в плоскости изображения, угол ориентации и коэффициент масштабирования. Производительность разработанной системы видеослежения исследовалась в среде разработки Matlab и Microsoft Visual Studio С++. Объектом видеослежения является объект, обладающий богатой текстурой, позволяющей выделить достаточное количество ключевых точек. В качестве такого объекта была выбрана машина (автомобиль), движущаяся на горизонтальной плоскости.

В данной диссертации представлены математическая формулировка задачи сопоставления изображений, математические модели вычисления координат объекта слежения в плоскости изображения и на горизонтальной плоскости мировой системы координат при предположении, что объект слежения движется по горизонтальной плоскости земли. На основе этих моделей получены аналитические зависимости расчета их погрешностей от технических характеристик выбранной видеокамеры и алгоритма обнаружения объекта. Результаты моделирования в среде Matlab позволяют определить зоны надежной работы системы видеослежения.

Для проведения экспериментального исследования сопровождения объектов используется поворотная видеокамера SONY EVI-D100P, которая обеспечивает все требования к применению в задаче видеосопровождения, за исключением скорости передачи данных с компьютером. Для данной видеокамеры проводились задачи моделирования и идентификации системы движения по осям панорамирования и наклона. На основе этого разработана компьютерная модель в среде Simulink с целью исследования и уточнения параметров контроллеров управления движением видеокамеры. Следовательно, эти контроллеры использовались в замкнутом контуре управления реальной видеокамеры в режиме моделирования движения объекта и процесса видеослежения в среде Matlab, и также в режиме видеосопровождения за реальным объектом в среде MS VS.

В результате видеослежения, сопровождающегося ошибками измерения местоположения в плоскости изображения, вычисляются зашумленные углы рассогласования между направлением на объект и направлением оптической оси ВК. Следовательно, вычисляется местоположение объекта в горизонтальной плоскости. Исходя из этих зашумленных измерений, оценивается местоположение объекта с использованием фильтра Калмана и модели прямолинейного движения с равномерной скоростью с учетом предложенной модификации на этапе обновления фильтра Калмана, которая позволяет быстрее корректировать направление вектора скорости движения и уменьшить среднеквадратическую ошибку оценивания.

В процессе проведения исследования получены следующие новые научные результаты:

1. Разработанный метод сопоставления изображений, опирающийся на разработку пространственных дескрипторов ЗШТ-ключевых точек, позволяет по сравнению с 81РТ-дескриптором увеличить быстродействие этапа построения дескрипторов в 40 раз и уменьшить их размерность от 128 до 60. В итоге увеличивается быстродействие сопоставления на 25%, а малая размерность пространственного дескриптора позволяет уменьшить объем требуемой памяти для их сохранения и время их передачи;

2. Разработанный метод выделения участков изображения на основе пирамиды разностей Гауссианов увеличивает робастность сопоставления изображений к изменению ракурса до 80 градусов. Он также позволяет разделить однородные области изображения на несколькие с определенными геометрическими характеристиками;

3. Разработанная методика видеослежения на основе сопоставления пространственных дескрипторов 8ШТ-ключевых точек уменьшает вычислительную сложность на 30% по сравнению с ЗШТ-дескриптором и исполняется в реальном масштабе времени при количестве ключевых точек, не превышающем 100;

4. Предложенная адаптация множества ключевых точек объекта слежения на основе результатов их сопоставления в предыдущем кадре улучшит производительность слежения. Низкая вычислительная сложность пространственных дескрипторов позволяет при адаптации перестроить модель объекта повторно в ходе слежения без значительных временных затрат;

5. Предложенная модификация на модель прямолинейного движения с равномерной скоростью обеспечивает уменьшение погрешностей оценивания местоположения объекта слежения, особенно при больших периодах обновления измерений;

6. Разработанное программное обеспечение, исполняющее метод сопоставления изображений на графическом процессоре обеспечивает коэффициент ускорения вычисления выше 20 по сравнению с вариантом, исполняемый на центральном процессоре компьютера. Этот вариант является необходимым для того, чтобы исполнить задачу видеослежения за объектами в реальном масштабе времени при обнаружении на полном изображении.

В связи с разработанными в данной диссертационной работе методами, алгоритмами и программными комплексами можно перечислить следующие перспективные задачи исследования:

1. Так как SIFT-алгоритм выделения ключевых точек имеет ограничение при рассмотрении мало текстурированных объектов, то в дальнейшем целесообразно включить с предложенной методикой видеослежения другой простой метод такой, как оптический поток.

2. Так как разработанный пространственный дескриптор строится на основе полутоновых изображений, совершенствовать этот дескриптор для описания цветных изображений можно с использования SIFT-детектора на каждом из RGB-каналов [111, 112];

3. Появились другие варианты SIFT-детектора с низкой вычислительной сложностью такие, как «fast SIFT», с помощью которых можно уменьшить вычислительную сложность задачи слежения [113].

4. Среди проблем связанных с приобретенной поворотной видеокамерой SONY EVI-D100P при экспериментальном исследовании можно перечислить: низкая скорость передача данных; размытие изображения при небольших скоростях вращения, и ограничение угла наклона ВК на ±25 градусов;

5. Оптимизировать исполнение на графическом процессоре с учетом новых инструментальных средств разработчика от компании NVidia, которые позволяют конкурентно исполнить несколько ядер вычисления одновременно с передачей данных между центральным и графическим процессором.

Список литературы диссертационного исследования кандидат технических наук Аун Самер, 2012 год

1. Цапенко М. П. Измерительные информационные системы: Структуры и алгоритмы, системотехническое проектирование: учеб. пособие для вузов. -2-е изд. М.: Энергоатомиздат, 1985. - 426 с.

2. Mikolajczyk К., Tuytelaars Т. Local Invariant Feature Detectors: A Survey // Foundations and Trends in Computer Graphics and Vision. UK, 2008. - Vol. 3, № 3 - pp. 177-280.

3. Biederman I. Recognition by components: A theory of human image understanding // Psychol Rev. США, 1987. - Vol. 94, № 2. - pp. 115-147.

4. Коротаев В. В., Краснящих А. В. Телевизионные измерительные системы: учебное пособие. СПб: СПбГУ ИТМО, 2008. - 108 с.

5. Слежение за точечными особенностями сцены. Электронный ресурс. -URL: http://www.cgm.computergraphics.rU/content/view/54#6.

6. Maggio Е., Cavallaro A. VIDEO TRACKING Theory and Practice. Chichester: Wiley & Sons Inc., 2011. - P. 296 - ISBN: 0470749644.

7. Chaumette F., Handbook of Robotics / F. Chaumette, S. Hutchinson, B. Siciliano, O. Khatib. Berlin: Springer, 2008. - ch. 24: Visual servoing and visual tracking -pp. 563-583.

8. Malis E. Survey of vision-based robot control // European Naval Ship Design, Captain Computer IV Forum. ENSIETA, Brest, France, April 2002. - P. 16.

9. Kragic D., Christensen H.I. Survey on Visual Servoing for Manipulation // Technical Report, ISRN KTH/NA/P-02/01-SE, CVAP259, January 2002. - P. 58.

10. Современные системы безопасности автомобиля Электронный ресурс.: УК «альянс, венчурный бизнес» URL: http://www.venture-biz.ru/tekhnologii-innovatsii/157-sistemy-bezopasnosti-avtomobilya.

11. Yilmaz A., Javed О. Object tracking: A survey // ACM Computing Surveys. -December 2006. Vol. 38, № 4, Article 13. - pp. 1^15.

12. Алпатов Б.А., Балашов О.Е., Бабаян П.В., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. М.: Радиотехника, 2008. - 176 с.

13. Li X.R., Jilkov V. P. Survey of Maneuvering Target Tracking: Dynamic Models // Proceedings of SPIE- Signal and Data Processing of Small Targets 2000. 2427 April 2000. - Orlando Florida, U.S.A, 2000. - pp. 212-236.

14. Kalal Z., Matas J., Mikolajczyk K. Online learning of robust object detectors during unstable tracking // On-line Learning for Computer Vision Workshop. -September 2009. pp. 1417-1424.

15. Андреев A.Jl. Автоматизированные телевизионные системы наблюдения. Часть I. Аппаратные средства и элементная база: учебное пособие. СПб: СПбГУИТМО, 2005. - 88 с.

16. Шапиро JL, Стокман Дж. компьютерное зрение. Пер. с англ. - М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.

17. Геометрия камеры Электронный ресурс.: Курсы лаборатории компьютерной графики. — URL: http://courses.graphicon.ru/main/vision/2010/lectures.

18. Morel J.M., Yu G. ASIFT: A new framework for fully affine invariant image comparison // Proceedings of SIAM Journal on Imaging Sciences. April 2009. -Vol. 2, №2.-pp. 438-469.

19. Форсайт Д. А., Понс Ж. Компьютерное зрение. Современный подход. -Computer Vision. A Modern Approach / Под ред. А. В. Назаренко. М.: Вильяме, 2004. - 928 с. -ISBN 5-8459-0542-7.

20. Jahne В., Haufiecker Н., and Geifiler P., Handbook of Computer Vision and Applications. Volume I: Sensors and Imaging. Academic Press, 1999. - P.657 -ISBN: 0123797713.

21. CCD vs. CMOS Electronic resource.: Teledyne DALSA corporation. URL: http://www.teledynedalsa■com/coф/markets/ccdvscmos.aspx

22. Progressive scan vs. interlaced video Electronic resource. URL: http://www.axis.com/products/video/camera/progressivescan.htm

23. Bolik A. Handbook of image and video processing. Canada: ACADEMIC PRESS, 2000. - P. 974 - ISBN 0-12-119790-5.

24. Стандарты телевизионных сигналов Электронный ресурс. URL: http://axofiber.no-ip.org/inside/teleformats.htm.

25. Lens & Sensor, Image labs international Electronic resource. URL: http://www.imagelabs.com/support/resources/tools/.

26. Иванова T.B. Введение в прикладную компьютерную оптику: Конспект лекций. СПб: СПб ГИТМО (ТУ), 2002. - 92 с.

27. Using High-Speed Cameras for Sports Analysis Electronic resource.: Southern Vision Systems, Inc. URL: http://southernvisionsystems.com/whitepapers/Sports%20Analysis%20White%20 Paper.pdf.

28. Fire Wire (IEEE 1394) bus interface connector pinout Electronic resource. -URL: http://pinouts.ru/Slots/ieeel394pinout.shtml.

29. Cyganek B. An Introduction to 3D Computer Vision Techniques and Algorithms. Chichester: Wiley & Sons Inc., 2009. - P. 504 - ISBN: 047001704X.

30. Trajkovic M. Interactive calibration of a PTZ camera for surveillance applications // Asian Conference on Computer Vision, 2002. pp. 1-8.

31. Zheng N., Xue J. Statistical Learning and Pattern Analysis for Image and Video Processing. Springer press, 2009. - P. 356 - ISBN: 1848823118.

32. Андреев A.Jl. Автоматизированные телевизионные системы наблюдения. Часть II. Арифметико-логические основы и алгоритмы: учебное пособие. -СПб: СПбГУИТМО, 2005. 88с.

33. Balasubramanian R. Gamut mapping to preserve spatial luminance variations / R. Balasubramanian, R. deQueiroz, R. Eschbach, W. Wu // IS&T/SID's 8th Color Imaging Conference, Scottsdale Nov 7-10 2000. - pp. 122-128.

34. Treiber M. An Introduction to Object Recognition Selected Algorithms. -Springer, 2010. P. 215. - ISBN: 978-1-84996-234-6.

35. Roth R.M., Winter M. Survey of Appearance-Based Methods for Object Recognition // Technical Report, Graz University of Technology, Austria, January 15, 2008.-P. 68.

36. Grabner H. Tracking the invisible: Learning where the object might be / H. Grabner, J. Matas, L. J. Van Gool, P. C. Cattin // Proceedings of CVPR'10 June 2010.-pp. 1285-1292.

37. Yu Т., Wu Y. Collaborative tracking of multiple targets // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'04).-2004.-Vol. l.-pp. 1063-6919.

38. Сойфер В.А. Методы компьютерной обработки изображений / под ред. Сойфера В.А. 2-е изд., испр. - М.: ФИЗМАТЛИТ, 2003. - 784 с. - ISBN 59221-0270-2.

39. Wang P. Handbook of Pattern Recognition and Computer Vision. USA: World Scientific Publishing, 2005. - 3rd Ed. - P. 652. - ISBN 981-256-105-6.

40. K. Mikolajczyk, C. Schmid A performance evaluation of local detector and descriptors // Pattern Analysis and Machine Intelligence, IEEE Transactions on, October 2005.-Vol. 27, № 10.-pp. 1615-1630.

41. Lowe D.G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. 2004. - Vol. 60, № 2. - pp. 91-110.

42. Mikolajczyk K. A Comparison of Affine Region Detectors / K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman // International Journal of Computer Vision. Springer, November 2005. - Vol. 65, Issue: 1-2. - pp. 43-72.

43. Hasler N. Scale Invariant Feature Transform with Irregular Orientation Histogram Binning // MPI Informatik, Saarbrücken, Germany, ICIAR 2009. PP. 258-267.

44. Forssen P., Lowe D. Shape descriptors for maximally stable extremal regions // IEEE ICCV, Rio de Janeiro, Brazil, October 2007. pp. 1-8.

45. Setia L. Image Classification using Cluster-cooccurrence Matrices of Local Relational Features / L. Setia, A. Teynor, A. Halawani, H. Burkhardt // MIR'06, Santa Barbara, California, USA, October 26-27, 2006. P. 9.

46. Zhang E. Mining Spatially Related Features for Object Recognition // NZCSRSC 2008, April 2008. Christchurch: New Zealand, 2008 - P. 4.

47. Конушин А., Мариничев К., Вежневец В. Обзор робастных схем оценки параметров моделей на основе случайных выборок // Graphicon, 2004. М.: МГУ, 2004. - С. 4.

48. Fischler, М.А., Bolles, R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography // С ACM (24), June 1981. -№ 6. pp. 381-395.

49. Davies E. R. Machine Vision: Theory, Algorithms, Practicalities (Signal Processing and its Applications). London: Morgan Kaufmann Publishers, 2005. -Third Edition-P. 938.

50. ASIFT: An Algorithm for Fully Affme Invariant Comparison. Electronic resource. URL: http://www.mw.cmla.ens-cachan. fr/me gawave/demo/asi ft/archive/

51. Donoser M., Bischof H. Efficient Maximally Stable Extremal Region (MSER) Tracking // Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York, 17-22 June 2006. PP 553 - 560.

52. Методы сегментации изображений: автоматическая сегментация. Электронный ресурс. URL: http://www.cgm.computergraphics.ru/content/view/147

53. SHI J., MALIK J. Normalized cuts and image segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000. Vol. 22, № 8. - pp. 888905.

54. Lucchese L., Mitra S. Color image segmentation: A state-of-the-art survey // INSA- A: Proceedings of the Indian National Science Academy, 2001. pp. 207221.

55. Bar-Shalom Y. Estimation with Applications to Tracking and Navigation: Theory, Algorithms and Software / Y. Bar-Shalom, L. X.-Rong, K. Thiagalingam. Chichester: Wiley & Sons Inc., 2001. - P. 558.

56. Karlsson, R. Simulation based methods for target tracking / Ph.D. Thesis, Department of Electrical Engineering, Linkoeping University, Sweden. 2002. -P. 140.

57. Rowan M., Maire F. D. An Efficient Multiple Object Vision Tracking System using Bipartite Graph Matching // In 2004 FIRA Robot World Congress. -BEXCO, Busan, Korea, October 26-29 2004. P. 6.

58. Candy J. V. Bayesian Signal Processing: Classical, Modern and Particle Filtering Methods. Wily press, 2009. - P. 472. - ISBN 978-0-470-18094-5.

59. Das S. High-Level Data Fusion. Artech House Publishers, 2008. - P. 394 -ISBN-1-59693-281-4.

60. Jitendra R. R. Multi-Sensor Data Fusion: Theory and Practice. CRC Press, 2009. - P. 534. - ISBN 1439800030.

61. Welch G., Bishop G. An Introduction to the Kaiman Filter // SIGGRAPH, University of North Carolina, USA, 2001. P. 81.

62. Van der Heijden F. Classification, Parameter Estimation and State Estimation: An Engineering Approach Using MATLAB / F. Van der Heijden, R. Duin, D. de Ridder, D. M. J. Tax. Willey, 2004. - P. 440 - ISBN 0-470-09013-8.

63. Arulampalam M. S. A Tutorial on Particle Filters for On-line Nonlinear/Non-Gaussian Bayesian Tracking / M. S. Arulampalam, S. Maskell, N. Gordon, T. Clapp // IEEE Transactions on Signal Processing. February 2002. - Vol. 50, № 2.-pp. 174-188.

64. Comaniciu D, Ramesh V., Meer P. Kernel-based object tracking // IEEE Trans. Pattern Analysis and Machine Intelligence. August 2003. - Vol 25 (5). - pp. 564-577.

65. Comaniciu D., Ramesh V., Meer P. Real-Time Tracking of Non-Rigid Objects Using Mean Shift. // Proc. IEEE Conf. Computer Vision and Pattern Recognition. June 2000. - Vol. 2. - pp. 142-149.

66. Artner N. A Comparison of Mean Shift Tracking Methods // 12th Central European Seminar on Computer Graphics, 2008. pp. 197-204.

67. Kehtarnavaz N., Gamadia M. Real-Time Image and Video Processing: From Research to Reality // Synthesis lectures on image, video &multimedia processing. Univ. of Texas at Dallas, USA, Lec. - 2006. - № 5. - P.108.

68. Gulati K., Khatri S.P. Hardware Acceleration of EDA Algorithms: Custom ICs, FPGAs and GPUs. New York: Springer, 2010. - P. 204. - ISBN 978-1-44190943-5.

69. NVIDIA CUDA Электронный ресурс.: Неграфические вычисления на графических процессорах. URL: http://www.ixbt.com/video3/cuda-1 .shtml.

70. NVidia CUDA: Electronic resource.: вычисления на видеокарте или смерть CPU. URL: http://www.thg.ru/graphic/nvidia cuda/print.html.

71. GPU4Vision Electronic resource.: Institute for Computer Graphics and Vision, Graz University of Technology, Austria. URL: http://www.gpu4vision.icg.tugraz.at/.

72. Архитектура cuda следующего поколения, кодовое название fermi сердце суперкомпьютера в теле gpu Электронный ресурс.: компания Nvidia. -URL: http://www.nvidia.ru/obiect/fermiarchitecture ru.html

73. Owens J. D., A Survey of General-Purpose Computation on Graphics Hardware / J. D. Owens, D.Luebke, N.Govindaraju, M.Harris, J. Kriiger, A. Lefohn, T. J. Purcell // Eurographics 2005, State of the Art Reports. August 2005. - pp. 2151.

74. NVIDIA Parallel Nsight для GPU программирования Electronic resource. -URL: http://www.nvidia.ru/obiect/parallel-nsight-ru.html.

75. OpenCV 2.0 Reference Manual Electronic resource.: Intel Corporation, 2009. -URL: http:// www.opencv.willowgarage.com/documentation/.

76. Williams O., Kestur S., Davis J.D. BLAS Comparison on FPGA, CPU and GPU // Proceedings of the 2010 IEEE Annual Symposium on VLSI. 2010. - pp. 288293.

77. Kalarot, R., Morris, J. Comparison of FPGA and GPU implementations of Realtime Stereo Vision // IEEE Computer Society. Vol. 22, № 1. - 2010. - pp. 147162.

78. Chase J. Real-time optical flow calculations on FPGA and GPU architectures: A comparison study / J. Chase, B. Nelson, J. Bodily, Z. Wei, D. Lee. // 16th International Symposium on Field-Programmable Custom Computing Machines, 2008.-pp. 173-182.

79. Kanadel2. Shi J. and Tomasi C. Good Features to Track. // IEEE Conference on Computer Vision and Pattern Recognition, 1994. pp. 593-600.

80. Sinha S. N. GPU-Based Video Feature Tracking and Matching / S. N. Sinha, J.-M. Frahm, M. Pollefeys, Y. Gene // EDGE 2006, workshop on Edge Computing Using New Commodity Architectures. Chapel Hill, USA, May 2006. - P. 15.

81. Sinha S. N. Feature tracking and matching in video using programmable graphics hardware / S. N. Sinha, J.-M. Frahm, M. Pollefeys, Y. Gene // submitted to Machine Vision and Applications, July 2006.

82. Wu C. SiftGPU: A GPU Implementation of Scale Invariant Feature Transform (SIFT) Electronic resource.: 2007. URL: http://www.cs.unc.edu/~ccwu/siftgpu/.

83. Bjorkman M. Computer Vision and Active Perception Lab Electronic resource.: 2008. URL: http://www.csc.kth.se/~celle/.

84. Imaging and Computer Vision, Technical Reports on using CUDA for Imaging & Vision. Electronic resource. URL: http://www.nvidia.com/object/imagingcompvision.html.

85. Li X.R., Jilkov V. P., A Survey of Maneuvering Target Tracking Part III: Measurement Models // Proceedings of SPIE Conference on Signal and Data Processing of Small Targets, San Diego. - С A, USA, 2001. - pp. 423-446.

86. Gorecki F. D. Passive Tracking and Information Theory / Boeing Phantom Works -May 25, 1999.-P. 11.

87. Karlsson R. Various Topics on Angle-Only Tracking using Particle Filters // Department of Electrical Engineering, Linkoeping University, Sweden. 28 October 2002. - P.8.

88. Szeliski R. Computer vision algorithms and applications. Springer, 2010. - 1st edition. - P. 979. - ISBN 1848829345.

89. Schmid C., Mohr R., Bauckhage C. Evaluation of Interest Point Detectors // International Journal of Computer Vision, 2000. Vol. 37 (2). - pp. 151-172.

90. PETS: Performance evaluation of tracking and surveillance. Electronic resource. — URL: www.hitech-proiects.com/euprojects/cantata/datasetscantata/dataset.html.

91. VLFeat: open source library implements popular computer vision algorithms Electronic resource. URL: http://www.vlfeat.org/.

92. Фисенко B.T., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учеб. пособие. СПб: СПбГУ ИТМО, 2008. - 192 с.

93. Теоретические основы цифровой обработки изображений: учебное пособие / В.А.Сойфер, В.В.Сергеев, С. Б. Попов, В. В. Мясников. Самара: СГАУ, 2000.-256 с.

94. Warn S., Emeneker W., Cothren J. Accelerating SIFT on Parallel Architectures // IEEE Cluster 2009 Proceedings New Orleans, LA. - 2009. - pp. 1-4.

95. Samet H. The design and analysis of spatial data structures. Addison-Wesley, Reading MA, 1990. - P. 499. - ISBN 0-201-50255-0.

96. Vijaya Kumar V. IHBM: Integrated Histogram Bin Matching For Similarity Measures of Color Image Retrieval / V. Vijaya Kumar, N. Gnaneswara Rao, A. L. Narsimha Rao, V. Venkata Krishna // Pattern Recognition, 2009. pp. 109 -120.

97. Affine Covariant features. Electronic resource. URL: http://www.robots.ox.ac.uk/~vgg/research/affine/index.html.

98. Sattler Т., Leibe В., Kobbelt L. SCRAMSAC: Improving RANSAC's efficiency with a spatial consistency filter // International Conference on Computer Vision (ICCV'09). Kyoto, Japan, 2009. - pp. 2090-2097.

99. Parzen E. On the estimation of a probability density function and the mode // Annals of Mathematical. Statistics, 1962. Vol. 33, № 3. -pp. 1065-1076.

100. Walden А. Т., Medkour Т., Ensemble estimation of polarization ellipse parameters // Proc. Royal Soc. London A Mater. 2008 - vol. 463 - pp. 33753394.

101. Tsai D.M., Hou H. Т., Su H.J. Boundary based corner detection using Eigen values of covariance matrices // Pattern. Recognition letters, Sept 1999. Vol. 20 Issue 1. - pp. 31-40.

102. Kalal Z., Mikolajczyk K., Matas J. Forward-Backward Error: Automatic Detection of Tracking Failures // International Conference on Pattern Recognition, 2010. pp. 23-26.

103. Графические карты Электронный ресурс.: компания MSI. URL: http://ru.msi.com/product/vga/N470GTX-Twin-Frozr-II.html#?div=Specification.

104. ICX229AK: Diagonal 4.5mm (Type 1/4) CCD Image Sensor for PAL Color Video Cameras. URL: http://www.sony.net/Products/SC-HP/datasheet/90203/data/a6810467.pdf.

105. EVID100, PAN/TILT/ZOOM COLOR VIDEO CAMERA Electronic resource. URL: http://pro.sony.com/bbsc/ssr/cat-industrialcameras/cat-industrialcamerapantiltzoom/product-EVID 100/.

106. Громаков Е.И. Проектирование автоматизированных систем (Электронный курс лекций) / Томский политехнический университет, 2009. 134 с.

107. Abdel-Hakim А. Е., Farag A. CSIFT: A SIFT Descriptor with Color Invariant Characteristics // CVPR (2) 2006. pp. 1978-1983.

108. Luke R. Extending the Scale Invariant Feature Transform Descriptor into the Color Domain / R. Luke, J. Keller, J. Chamorro-Martinez // Journal of Graphics, Vision, and Image Processing, 2008. Vol. 8, № 4. - pp. 35-43.

109. Alhwarin F. VF-SIFT: Very Fast SIFT Feature Matching / F. Alhwarin, D. Ristic-Durrant, A. Gräser // Proceedings Annual Symposium German Association for Pattern Recognition, DAGM2010. 2010. - pp. 222-231.