Методы видеонаблюдения, сегментации и сопровождения движущихся объектов тема диссертации и автореферата по ВАК РФ 05.12.04, доктор технических наук Обухова, Наталия Александровна

• Обухова, Наталия Александровна
• доктор технических наук
• 2008

Оглавление диссертации доктор технических наук Обухова, Наталия Александровна

Введение.

Глава 1. Обзор современного состояния прикладных ТВ систем.

1.1. Классификация прикладных ТВ систем.

1.2. Функциональные особенности интеллектуальных прикладных ТВ систем

1.2.1. Функциональные особенности интеллектуальных систем видеопаблюдения.

1.2.2. Функциональные особенности интеллектуальных систем сегментации и сопровождения объектов интереса.

1.3. Анализ основных методов обработки видеоданных в ТВ системах сегментации и сопровождения объектов интереса.

1.3.1. Сегментация на основе признака яркости.

1.3.2. Сегментация на основе признака текстуры.

1.3.3. Сегментация на основе признака формы.

1.3.4. Сегментация на основе признака движения

1.3.4.1. Оценка признака движения на основе энергии движения.

1.3.4.2. Оценка признака движения на основе векторов движения.

Выводы и постановка задачи.

Глава 2. Оценка признака движения в интеллектуальных системах видеонаблюдения, сегментации и сопровождения подвижных объектов.

2.1. Анализ эффективности методов и алгоритмов определения векторов движения.

2.2. Априорная оценка достоверности векторов движения.

2.3. Метод определения векторов движения с учетом априорных оценок их достоверности и значимости.

2.4. Субпиксельная оценка векторов движения.

2.4.1. Интерполяционный метод.

2.4.2. Метод, основанный на многомасштабной межкадровой разности.

2.4.3. Экспериментальное исследование методов субпиксельной оценки.

Выводы по главе 2.

Глава 3. Обработка видеоданных в интеллектуальных системах видеонаблюдения на основе признака движения.

3.1. Анализ эффективности коррекции пространственных искажений на основе цифровой обработки изображений.

3.1.1. Метод коррекции пространственных искажений на основе идентификации параметров искажающих сигналов.

3.1.2. Экспериментальное исследование эффективности метода коррекции пространственных искажений на основе идентификации параметров искажающих сигналов.

3.2. Синтез панорамного изображения протяженного движущегося объекта на основе оценки его видимой скорости.

3.3. Определение видимой скорости движения протяженного объекта для построения его панорамного изображения.

3.3.1. Особенности определения векторов движения при оценке видимой скорости протяженных объектов.

3.3.2. Временная фильтрация векторов движения при определении скорости протяженного объекта.

3.3.3. Регрессионная предсказывающая модель пространственного среза скоростей.

Выводы по главе 3.

Глава 4. Сегментация и сопровождение объектов интереса на основе совокупности признаков.

4.1. Основные принципы анализа видеоданных на основе совокупности признаков.

4.2. Предварительный анализ изображения на основе признака детальности.

4.3. Сегментация объектов интереса на основе признаков движения и пространственной связности.

4.4. Сопровождение объектов интереса на основе гауссовой модели формы.

Выводы по главе 4.

Глава 5. Реализация и экспериментальное исследование интеллектуальных систем видеонаблюдения, сегментации и сопровождения движущихся объектов.

5.1. Многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов.

5.1.1. Экспериментальное исследование качественных показателей синтезированного изображения.

5.1.2. Точность оценки видимой скорости движения протяженного объекта.

5.1.3. Получение дополнительной информации об объекте интереса.

5.2. Многофункциональный оптико-элекгронный комплекс сегментации и сопровождения неточечных объектов.

5.3. Видеокомпьютерная система контроля запуска космических аппаратов.

Выводы по главе 5.

Введение диссертации (часть автореферата) на тему «Методы видеонаблюдения, сегментации и сопровождения движущихся объектов»

Прикладные ТВ системы имеют чрезвычайно широкое и разнообразное применение. В соответствии с характером решаемых задач следует выделить системы: видеонаблюдения, измерительные, классификации и распознавания, сегментации и сопровождения объектов, охранные системы и др. По целевому назначению рассматривают системы: космического и воздушного мониторинга, медико-биологические, криминалистические, наблюдения за высокотемпературными процессами, мониторинга газопроводов и нефтепроводов, транспортного и экологического мониторинга и т.д.

Научным проблемам синтеза прикладных телевизионных систем, их адаптации к внешним условиям, повышению качественных показателей, помехоустойчивости и точности измерения параметров объектов посвящены работы многих отечественных [1-12] и зарубежных ученых [14,15,44,96,126]:

Катаева С. И., Зубарева Ю. Б., Селиванова А. С., Гуревича С. Б., Рыфти-на Я. А., Гоголя А.А., Быкова Р. Е., Лысенко Н.В, Тимофеева Б. С., Пустынско-го И. Н., Цыцулина А. К., Хромова J1. И., Ярославского J1. П., Василенко Г. И., Ро-зенфельда А.А,. Горелика С. Д., Ероша И. JL, Сергеева М.Б., Фисенко В.Т., Кузьмина В П , Хорна Б. К. П., Претта У. К., Колера Д., Марагоса Г., Форести Л., Виа-рани, Хао Тау и др.

Разработкой современных прикладных ТВ систем занимаются научно — производственные коллективы: ФГУП «НИИ телевидения» под руководством Умби-талиева А. А., ФГУП НИИ 11Т «Растр» под руководством Кузьмина В.П. и Челпа-нова В.И., научно-производственная компания «ЭВС» под руководством Лебедева Н.В., Филиал ФГУП ЦНИИ «Комета» под руководством Фисенко В.Т. и др.

Главными особенностями современного этапа развития прикладных ТВ систем являются:

1. Стремительное развитие аппаратной базы и вычислительной техники. Это обусловило появление видеокомпьютерных систем и, как следствие, существенно ослабило ограничения на сложность и емкость методов обработки видеоданных в них.

2. Все большее распространение прикладных ТВ систем сопровождается значительным усложнением решаемых ими задач.

Указанные особенности ужесточают требования к эффективности методов анализа и представления видеоданных прикладными ТВ системами.

Для видеонаблюдения это предполагает построение систем, обеспечивающих максимальный уровень эргономичности. Для получения наиболее полной информации об объекте интереса и окружающей обстановке необходимо увеличение угла зрения видеокамеры. Обычно эту проблему решают путем применения широкоугольных и сверх широкоугольных объективов. Их использование приводит к существенным пространственным искажениям и снижению разрешения на краях формируемого изображении. Компенсация пространственных искажений цифровыми методами сопровождается дополнительными потерями разрешающей способности. Необходимо разработать методы синтеза изображений объектов интереса, исключающие указанные проблемы.

Существующие сегодня системы видеонаблюдепия при работе в режиме реального времени предъявляют видеоматериал оператору со скоростью движения объекта интереса или камеры. Например, при контроле железнодорожного состава его скорость определяет скорость просмогра видеоматериала. Если эта скорость достаточно высока, то нет возможности рассмотреть целостность вагонов, пломб и сверить с натурным листом бортовые номера. В этом случае оператор вынужден работать с видеоматериалом, помещенным в архив. В результате контроль состава выполняют после его прохождения, что снижает оперативность наблюдения. При наблюдении быстродвижущихся объектов должна быть обеспечена возможность регулирования скорости предъявления видеоданных непосредственно в режиме контроля, а не работы с архивом.

Одновременно с наблюдением необходимо предоставить оператору дополнительную информацию об объекте интереса, полученную на основе анализа видеоданных. Это могут быть данные о скорости движения объекта (поезда, автомобиля), информация о типе транспортного средства, его номерном знаке и др. Должен быть сформирован информационный кадр, включающий в себя изображение объекта, оперативные данные и информацию из баз данных.

Для систем видеонаблюдения актуальным является разрешение противоречия между качеством формируемых изображений и аппаратными возможностями существующих каналов связи, а также устройств хранения данных. Несмотря на высокую емкость современных жестких дисков ее недостаточно для хранения больших объемов информации длительное время, как это необходимо согласно техническим условиям. Традиционно это противоречие решают путем сжатия видеоданных с заметным понижением их качества и потерей информации. Для повышения эффективности систем видеонаблюдения необходимо разработать методы сжатия видеоданных без потери информации об объекте интереса для обеспечения длительного хранения и передачи в реальном времени высококачественных изображений по каналам связи с ограниченной пропускной способностью.

Помехоустойчивость пассивных телевизионных и тепловизионных систем сегментации и сопровождения обуславливает их высокую востребованность и широкое распространение: при проведении антитеррористических мероприятий, анализе транспортных потоков, при управлении воздушным и водным транспортом и др. Практика применения систем этого класса позволяет выделить следующие основные проблемы.

При высокой динамике и большом числе объектов интереса затруднено их первоначальное выделение оператором. Актуальным является обеспечение автоматической сегментации одновременно нескольких объектов интереса с присвоением им уникальных меток, которые не должны изменяться далее в процессе сопровождения даже при временном исчезновении объекта интереса.

При работе одновременно с несколькими объектами интереса возникает проблема разрешения их взаимодействия друг с другом и фоном. Необходимо корректно отрабатывать ситуации появления и исчезновения объектов в зоне наблюдения, слияние и разделение объектов интереса, перекрытия объектов друг другом или фоном (окклюзию). Наиболее часто используемое решение при возникновении ситуации окклюзии — это переход на сопровождение обоих объектов «по памяти». Это увеличивает вероятность потери объектов интереса и требует идентификации объекта после его вторичного выделения. Необходимо определить какой из объектов находится на переднем плане, и использовать сопровождение «по памяти» только для полностью закрытого объекта интереса. В этом случае вероятность срыва сопровождения возрастает только для одного (закрытого объекта), при этом выделение и сопровождение его до полного закрытия позволяет увеличить объем информации об объекте до перехода в режим предсказания, а также минимизировать длительность ведения по памяти.

В процессе сопровождения объекты меняют свои свойства ракурс, размеры, скорость движения вплоть до остановки; возможны существенные изменения фона и освещенности. Например, при старте ракеты после запусков двигателя возникает яркая вспышка и облако пыли, резко меняющие свойства изображения объекта интереса. Необходимо разработать многопризнаковую систему, позволяющую исключить срыв сопровождения при существенной динамике свойств объекта и окружающей обстановки.

Сформулированные задачи предполагают качественно новый анализ видеоинформации. Необходимо выработать правильные решения для плохо формализованных задач, требующих оригинальных методов и алгоритмов решения в зависимости от конкретной ситуации, характеризующейся неопределенностью и динамичностью исходных данных.

Система должна извлекать знания из накопленного опыта и применять их для решения задач, а также иметь способность к развитию в соответствие с объективными изменениями условий функционирования.

Перечисленные особенности являются признаками информационно-интеллектуальных систем [ 36,37 ].

Указанные выше положения делают актуальной проблему повышения эффективности прикладных ТВ систем путем придания им интеллектуальных свойств. Ее решению посвящена данная диссертационная работа.

Для систем видеонаблюдения предложено предъявлять оператору не исходный видеоматериал, а синтезированное на его основе изображение, обладающее качественно новыми свойствами. Изменен временной масштаб: изображение может быть остановлено, замедлено, ускорено. Качество созданного изображения лучше, чем у исходного по таким важнейшим показателям, как разрешающая способность и геометрические искажения. При синтезе удалена избыточная информация, в результате чего реализовано семантическое сжатие видеоданных в десятки раз без потери информации об объекте. Это позволяет запоминать значительный объем видеоданных на носителе, обеспечить передачу высококачественных изображений в реальном времени по каналам связи с низкой пропускной способностью.

Для систем сегментации и сопровождения предложено использовать совокупность признаков, объединенных на основе математического аппарата нечеткой логики. Это позволило одновременно выделить несколько объектов на сложном фоне, разрешить ситуации перекрытия, разделения и слияния объектов интереса.

Важнейшим из признаков объекта интереса является движение, которое учитывают в виде «энергии движения» или «оптического потока» [98 - 100]. Векторы движения, составляющие оптический поток, используют в задачах сегментации и сопровождения объектов, а также при сжатии видеоданных. При разработке методов определения векторов движения общепринятым критерием является быстродействие. Разработано большое число алгоритмов, построенных на минимизации числа пробных точек и отсчетов сигналов целевой функции при поиске [101 - 126]. В них увеличение быстродействия, по сравнению с методом полного перебора, достигают ценой снижения достоверности оценок векторов движения. Низкая достоверность приводит к некоторому уменьшению коэффициента сжатия, по совершенно недопустима при сегментации и сопровождении объектов. В работе предложено априорно оценить достоверность и значимость векторов движения на основе оценок детальности и энергии движения во фрагментах (блоках) изображения. Векторы движения ищут путем полного перебора только в блоках со значимой детальностью и энергией движения. Для типичных в прикладных задачах сюжетов число таких блоков составляет (5-И0)%. Это позволяет одновременно снизить вычислительную нагрузку и обеспечить необходимый уровень достоверности.

Повысить точность оценки векторов движения, а также учесть медленное движение со скоростью ниже одного пикселя за кадр, позволяет субпиксельпая оценка. Предложен метод субпиксельной оценки на основе многомасштабной межкадровой разности, который обеспечивает точность до десятых долей пикселя и, одновременно, повышение уровня достоверности за счет временного накопления и логической фильтрации.

Разработанные методы определения векторов движения, являющихся наиболее информативной оценкой признака движения, снимают ограничения на их использование в прикладных ТВ системах.

Достигнутые в работе результаты позволяют существенно повысить эффективность прикладных телевизионных систем.

Цель работы: разработка методов представления и анализа видеоданных, позволяющих реализовать функциональные особенности интеллектуальных прикладных ТВ систем для существенного увеличения их эффективности.

Основные задачи диссертационной работы

1. Определить функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения; сформулировать основные принципы представления и обработки видеоданных в них.

2. Оценить возможности и эффективность использования существующих методов определения векторов движения в прикладных ТВ системах.

3. Разработать новые методы оценивания векторов движения, учитывающие специфику видеоданных, получаемых в сложных условиях видеопаблюдения.

4. Разработать методы субпиксельной оценки векторов движения, позволяющие анализировать изображения объектов интереса с медленным движением.

5. Оценить эффективность применения методов цифровой коррекции пространственных искажений изображений, создаваемых сверхширокоугольными объективами.

6. Разработать метод синтеза изображения протяженного объекта интереса, обеспечивающий: высокую эргономичность видеонаблюдения; сжатие данных без потери информации об объекте интереса, позволяющее разрешить противоречие между объемом записанных данных и их качеством; передачу высококачественных видеоизображений по каналам связи с низкой пропускной способностью.

7. Построить обобщенную модель формы объекта интереса при отсутствии априорной информации о нем.

8. Разработать способ оценки текстурного признака, адаптированный к сложным условиям наблюдения и специфике объектов интереса.

9. Разработать принципы и методы обработки видеоданных на основе совокупности признаков сегментации с использованием математического аппарата нечеткой логики, позволяющие автоматически сегментировать и сопровождать одновременно несколько объектов интереса на сложном фоне при отсутствии априорной информации.

Методы исследования

В работе использованы методы теории распознавания образов, теории вероятностей и математической статистики, теории нечетких множеств и нечеткой логики, теории оптимизации, теории функционального анализа и высшая алгебры, теории регрессионного анализа и планирования эксперимента, методы цифровой обработки изображений, методы моделирования на ЭВМ и программирования, экспериментальные исследования.

Научная новизна

1. Выявлены функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения.

2. Разработаны основные принципы представления и обработки видеоданных в системах видеонаблюдения за протяженными объектами.

3. Разработаны принципы сегментации и сопровождения неточечных объектов с жестким движением при отсутствии априорной информации о них и при существенной динамике их свойств в процессе наблюдения.

4. На основе анализа особенностей определения и применения векторов движения для видеоданных, полученных в сложных условиях наблюдения, введен критерий эффективности методов нахождения векторов в виде уровня достоверности.

5. На основе экспериментальных данных аналитически описана функция достоверности, позволяющая анриорно определить вероятность корректного нахождения вектора движения в зависимости от уровня детальности изображения в блоке.

6. На основе экспериментальных данных аналитически описана функция значимости, позволяющая априорно определить вероятность существования непулевого вектора движения в зависимости от уровня абсолютной межкадровой разности в блоке.

7. Предложен метод определения трехкомпонептпых векторов движения с учетом априорных оценок их достоверности и значимости, позволяющий реализовать взвешенную оценку признака движения, а также существенно уменьшить число аномальных векторов движения и вычислительную емкость задачи.

8. Предложен метод субпиксельной оценки векторов движения на основе многомасштабной межкадровой разности, обеспечивающий точность до 0.07 пикселя и повышение числа корректно найденных векторов по отношению к полному перебору на 20%.

9. Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов. Изображения после коррекции имеют существенные потери разрешения: на краях растра более 70%, в центре до 40%.

10. Предложен метод синтеза панорамного изображения протяженного объекта интереса, позволяющий компенсировать пространственные искажения, вносимые сверхширокоугольным объективом, обеспечить максимальную четкость изображения по площади кадра, реализовать комфортные условия видеонаблюдения, а также семантическое сжатие.

11. Разработан алгоритм оценки видимой скорости протяженного объекта на основе анализа видеоданных.

12. Введена обобщенная модель формы объекта на основе эллипса рассеивания Гаусса.

13. Предложен метод автоматической сегментации объектов в видеоданных на основе совокупности признаков и с использованием аппарата нечеткой логики, позволяющий одновременно сегментировать несколько объектов на сложном фоне при отсутствии априорной информации о них.

14. Предложен метод автоматического сопровождения объектов при существенной динамике их свойств и окружающей обстановки, основанный на обобщенной модели формы объекта с обновляемыми параметрами и признаке движения.

Практическая значимость

1. Предложенный принцип и метод синтеза панорамного изображения обеспечивает резкое повышение эффективности систем видеонаблюдения за протяженными объектами:

• Систем, ведущих наблюдение за крупными объектами с собственным движением, например, комплексов пограничного и коммерческого контроля железнодорожных составов.

• Систем, использующих камеру, установленную на поворотном столе или подвижном носителе для наблюдения статичных объектов большой площади. В частности, обзорных и мониторинговых систем ландшафтов местности или морского дна, водных акваторий, нефтяных разливов, нефтепроводов и газопроводов.

Сформированное изображение объекта интереса имеет пространственные искажения в (20^25) раз ниже, чем в исходных кадрах; обеспечивает комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное. Это создает качественно новые условия для работы оператора и обеспечивает возможность автоматического анализа видеоданных.

Метод реализует семантическое сжатие без потери информации: коэффициент сжатия от 25 до 80 раз. Это снимает противоречие между объемом записанных данных и их качеством, и позволяет реализовать длительное хранение больших объемов информации. Для протяженных объектов обеспечена возможность передачи высококачественных изображений по каналам связи с низкой пропускной способностью в реальном масштабе времени

Все приведенные выше количественные оценки получены при апробации метода синтеза панорамного изображения в контексте видеонаблюдения на железной дороге).

2. В системах сегментации и сопровождения объектов реализован автоматический захват и сопровождение одновременно до 50 объектов на сложном фоне при условии минимума априорной информации. Автоматический захват имеет особую значимость в динамических сценах с несколькими быстродвижущимися объектами, где возможности оператора по наложению стробов на объекты интереса ограничены.

При сопровождении обеспечено устойчивое разрешение ситуации окклюзии, слияния и разделения объектов; сопровождение объектов при условии существенной динамики их свойств и окружающей обстановки; идентификация объектов интереса при вторичной сегментации.

3. Введение трехкомпонентных субпиксельных векторов движения, а также метод их определения с использованием функций достоверности и значимости одновременно обеспечивает необходимый уровень достоверности и резко снижает вычислительную нагрузку, что снимает ограничения по использованию этого инструмента в прикладных ТВ системах видеонаблюдения, сегментации и сопровождения объектов интереса, а также при сжатии видеоданных и в кинопроизводстве.

4. Использование результатов теоретических исследований, доведенных в работе до уровня практических алгоритмов, структурных схем, программных решений, инженерных рекомендаций и методик синтеза сократит сроки и затраты на создание новых систем различного назначения.

Реализация результатов работы

Полученные в диссертации результаты, сделанные обобщения и выводы позволили разработать ряд интеллектуальных прикладных телевизионных систем. В рамках научно-исследовательских и опытно - конструкторских работ совместно ПК НПК «Автоматизация» разработан многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов; совместно с филиалом ФГУП ЦНИИ «Комета» многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов; совместно с ФГУП НИИ промышленного телевидения «Растр» видеокомпьютерная система контроля запуска космических аппаратов, что подтверждено соответствующими актами.

Результаты исследований внедрены в учебный процесс СПб ГУАП при подготовке инженеров по специальностям: «Аудиовизуальная техника» и «Электронные системы». Они включены в разработанные автором учебно-методические комплексы по дисциплинам: «Автоматизированные телевизионные системы», «Синтез видеоизображений на ЭВМ» и др.

С использованием результатов, полученных в диссертации подготовлен электронный учебник по курсу «Автоматизированные телевизионные системы» (зарегистрирован в отраслевом фонде алгоритмов и программ № ВНИТЦ 50200100503, 2001) и изданы 4 учебно- методических указания к выполнению лабораторных работ.

Апробации работы

Основные положения работы докладывались и обсуждались на: 49,50 Научно - технической конференции «НТОРЭС им. А. С. Попова» 1994,1995; 10th International Conference on Control Systems and Computer Science. Bucharest, 1995; I Научно —технической конференции «Новейшие достижения в области телевидения, аудио и видеотехники.» СПб, 1999; III Международной конференции «Цифровая обработка сигналов и ее применение» Москва, ИВТА РАН,2000; 1,11,111,IV,V Международных научно - технических конференциях «Телевидение: передача и обработка изображений» СПб, 2000-2007; The International Conference «Radio - That Connects Time. 110 Anniversary of Radio Invention» St Petersburg, 2005; III Международная научно-практическая конференция «Электронные средства и системы управления» Томск, 2005; The Tenth IEEE International Symposium on Consumer Electronics, St Petersburg, 2006; 15 Всероссийской научно - технической конференции «Современное телевидение» Москва, 2007; Научно — технической конференции профессорско - преподавтельского состава, научных сотрудников и аспиран тов СПб ГУТ,2007.

Диссертационная работа получила апробацию:

- на расширенном научном семинаре кафедры «Телевизионных и электронных устройств», СПб ГУАП, 2006;

- научно-техническом совете ФГУП НИИ Прикладного телевидения «Растр», Великий Новгород, 2007;

- на заседании кафедры «Телевидения и видеотехники», СПб ТЭТУ «ЛЭТИ» им. В .И. Ульянова (Ленина), 2007.

Публикации

По теме диссертации опубликовано 48 научных работ, из них — 21 статья, в том числе в ведущих рецензируемых журналах и изданиях, определенных ВАК России; 17 работ - в материалах и трудах всероссийских и международных научных и научно — технических конференций и симпозиумов; 10 свидетельств об официальной регистрации программ для ЭВМ в отраслевом фонде алгоритмов и программ.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 194 наименования, трех приложений. Основная часть диссертации изложена на 297 страницах машинописного текста. Диссертация содержит 116 рисунков и 38 таблиц.

Заключение диссертации по теме «Радиотехника, в том числе системы и устройства телевидения», Обухова, Наталия Александровна

Выводы по главе 5

Разработанный метод синтеза панорамного изображения протяженного движущегося объекта позволил реализовать многоцелевой телевизионно-компъютерный комплекс видеомониторинга железнодорожных составов.

Результаты, полученные в результате экспериментального исследования и апробации комплекса, показывают:

1. Синтезированное панорамное изображение обеспечивает эффективную коррекцию геометрических искажений:

• нелинейные искажения третьего порядка: исходный уровень 120%; уровень после коррекции менее 5%;

• искажения типа «бочка/подушка»: исходный уровень 20%; уровень после коррекции менее 1%.

2. При движении протяженного объекта со скоростью от 20 до 60 км/ час и стандартной ширине кадра 768 пикселей по горизонтали обеспечиваемый коэффициент сжатия без потери информации об объекте интереса от 25 до 80 раз, соответственно.

Проведенные экспериментальные исследования алгоритма оценки скорости протяженного объекта на основе анализа видеоданных позволяют сделать следующие выводы:

1. Гипотеза об адекватности полиномиальной модели четвертого порядка пространственному срезу скоростей объекта интереса экспериментальным данным не противоречит. Отношение дисперсии адекватности и воспроизводимости меньше значения квантиля с соответствующими степенями свободы при уровне значимости 0,01 ( параграф 3.3).

2. Средняя ошибка при определении скорости протяженного объекта 2,7%, уровень достоверности 0,999985.

Полученные показатели обеспечивают все заявленные выше характеристики формируемого панорамного изображения.

Общие принципы сегментации по совокупности признаков получили конкретную реализацию с учетом особенностей объекта интереса и специфики решаемых задач в многофункциональном оптико-элекгронном комплексе сегментации и сопровождения неточечных объектов и в видеокомпьютерной системе контроля запуска космических аппаратов.

В многофункциональном оптико-электронном комплексе на основе предложенных методов решены задачи секторного обзора: автоматизированный захват и автоматическое сопровождение неточечных целей. Размеры целей от 4*4 до 100*100 элементов разложения (пикселей). Скорость движения от нуля до 10 элементов за кадр. Движение целей произвольное, возможно исчезновение длительностью до 10 сек. Типы целей - надводные (корабли), воздушные (самолеты, вертолеты и т.д.) и неподвижные береговые объекты. Число главных целей от одной до четырех.

Экспериментальное исследование показывает, что метод обеспечивает систематическую ошибку сегментации 16% от площади объекта интереса на изображении. Среднее значение систематической ошибки при сегментации стробом составляет 46% от площади объекта интереса. Предлагаемый метод имеет систематическую ошибку в три раза меньше, чем при сегментации стробом и вносимая им избыточная сегментация может быть оценена как незначительная в рамках решаемой задачи.

Случайная ошибка зависит от размеров объекта интереса: для объектов размером до 5 блоков она составляет 15 - 20%, для объектов большого размера 35%.

При сопровождении объектов ошибка при определении центра тяжести не превышает 1 пиксель. На всех тестовых сюжетах отсутствовали срывы сопровождения.

Разрешение ситуации окклюзии во всех экспериментах было выполнено корректно и не привело к ложному изменению размеров стробов объектов интереса.

Видеокомпьютерная система контроля запуска космических аппаратов предназначена для дистанционного видеонаблюдения и сопровождения объектов интереса во время их запуска

В автоматическом режиме система реализует удерживание в центре кадра объекта, выделенного первоначально оператором. Скорость перемещения объекта интереса в экранной плоскости до 5 пикселей за кадр.

При сопровождении активной камерой величина средней ошибки слежения колеблется: от минимального значения 0,7 пикселя до максимального 14 пикселей (при резких маневрах объекта). Проведенные эксперименты показывают, что во всех случаях, включая движение с максимальной скоростью 6 пикселей/кадр по траектории с резкой сменой направления, величина ошибки слежения не превышает 20 пикселей, оговоренных в требованиях к системе. В случае необходимости эта величина может быть уменьшена использованием поворотного стола с более высокими скоростями наведения. Ошибка слежения, определяемая предложенным методом, составляет 1,5 пикселя.

Компьютерное моделирование алгоритма определения начала движения космического аппарата позволило зафиксировать момент начала движения на всех тестовых сюжетах

Полученные показатели и качественные характеристики показывают, что предложенные в диссертационной работе методы обработки видеоданных, позволяют реализовать основные функциональные особенности интеллектуальной системы видеонаблюдения за протяженными объектами и систем сегментации и сопровождения неточечных объектов интереса с жестким движением.

Заключение

Основными результатами, полученными в диссертационной работе, являются:

1. Сформулированы функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения, обеспечивающие существенное повышение их эффективности.

2. Предложены принципы обработки и представления видеоданных на основе признака движения, обеспечивающие реализацию функциональных особенностей интеллектуальных прикладных ТВ систем.

3. Введен критерий оценки эффективности методов и алгоритмов определения векторов движения в интеллектуальных системах видеонаблюдения, сегментации и сопровождения - уровень достоверности. Проведены экспериментальные исследования существующих методов и алгоритмов, и у них выявлен низкий уровень достоверности 0,58.

4. Для оценки векторов движения в интеллектуальных прикладных системах разработаны специальные методы:

• Метод оценки векторов движения с учетом их априорных оценок достоверности и значимости, который позволяет задавать необходимый уровень достоверности и снижает вычислительные затраты по определению поля векторов движения в 10-20 раз. Метод дает возможность найти трехкомпонентные вектора движения. Третьей компонентой является вероятность правильного определения вектора движения (оценка достоверности), имеющая самостоятельную ценность при дальнейшей обработке видеоданных.

• Метод субпиксельной оценки векторов движения на основе многмасштабной межкадровой разности, позволяющий определить вектора движения с точностью до 0,07 пикселя и, одновременно, повышающий уровень достоверности на 20% по отношению к полному перебору.

5. Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов. Изображения после коррекции имеют существенные потери разрешения: на краях растра до 70%, в центре до 40%.

6. Разработан метод синтеза панорамного изображения протяженного движущегося объекта интереса на основе оценок его видимой скорости, позволяющий: обеспечить широкий угол обзора до 180 градусов; компенсировать пространственные искажения без потерь разрешения, присущих методам цифровой коррекции; реализовать комфортные условия анализа видеоданных; существенно сжать видеоданныее без потери информации об объекте интереса.

7. Предложен алгоритм оценки видимой скорости движения протяженного объекта на основе временной фильтрации и фильтрации по предсказывающей регрессионной модели. Средняя ошибка при оценке скорости 2,7%, уровень достоверности 0,999985.

8. Построена обобщенная модель формы объекта на основе эллипсов рассеивания Гаусса.

9. С учетом сложных условий видеонаблюдения и специфики объектов интереса предложено заменить текстурный признак признаком детальности. Введена оценка детальности фрагмента изображения. Разработана процедура предварительной классификации изображения на основе признака детальности, позволяющая исключить из дальнейшего анализа до 80% блоков изображения.

10. Разработан метод сегментации объектов интереса по совокупности признаков с использованием математического аппарата нечеткой логики, позволяющий одновременно выделить изображения нескольких объектов на сложном фоне.

11.Разработан метод сопровождения объектов на основе гауссовой модели формы с обновляемыми параметрами, позволяющий разрешать ситуации окклюзии, слияния и разделения объектов интереса, а также сопровождать объекты при существенной динамике их свойств и окружающей обстановки.

12. На основе разработанных методов реализованы многоцелевой телевизионно -компьютерный комплекс видеомопиторинга железнодорожных составов, многофункциональный оптико-электронпый комплекс сегментации и сопровождения неточечных объектов, видеокомпьютерная система контроля запуска космических аппаратов.

Совокупность проведенных исследований, полученных новых научных и практических результатов показывает, что поставленная в диссертационной работе проблема повышения эффективности прикладных ТВ систем, путем придания им интеллектуальных свойств решена.

Список литературы диссертационного исследования доктор технических наук Обухова, Наталия Александровна, 2008 год

1.Цыцулин А.К. Телевидение и космос. СПб.: СПбГЭТУ «ЛЭТИ», 2003. 228 с.

2. Хромов JI. И., Цыцулин А. К., Куликов А. Н. Видеоинформатика. М.: Радио и связь, 1991. -192 с.

3. Хромов Л.И. Информационная теория связи на пороге XXI века. СПб.: НИИТ, 1996. 88 с.

4. Хромов Л.И. Информационная революция и виртуальное познание. СПб.: ЗАО «ЭВС», 2000. 122 с.

5. Быков Р.Е. Теоретические основы телевидения СПб.: Лань, 1998.-288 с.

6. Хромов Л. И., Лебедев Н. В., Цыцулин А. К., Куликов А. Н. Твердотельное телевидение. М.: Радио и связь, 1986. 184 с.

7. Лысенко Н.В. Видеотехника. СПб.: СПбГЭТУ «ЛЭТИ», 1994. 64 с. 8.3убарев Ю. Б., Дворкович В. П., Нечепаев В. В., Соколов А. Ю. Методы анализа и компенсации движения в динамических изображениях // Электросвязь. 1998. №11. С.

8. Горелик А.Л., Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания. М.: Радио и связь, 1985. 160 с.

9. Тимофеев Б. С. Видеокомпьютерные системы для наблюдения за движущимися объектами // Известия высших учебных заведений России. Радиоэлектроника. 2003. № 4. С. 32.

10. Ерош И.Л, Сергеев М.Б., Соловьев Н.В. Обработка и распознавание изображений в системах превентивной безопастности: Учеб. пособие/ СПбГУАП, СПб.,2005 154с.

11. Г.К. Казанцев, М.И. Курячий, И.Н. Пустыиский И. Н. Измерительное телевидение: Учеб. пособ. для вузов. М.:Высш. шк. 1994.-228 с.

12. Кривошеев М.И. Основы телевизионных измерений. 3-е изд., доп. и перераб. М.: Радио и связь, 1989.- 608 с.

13. Paragious N., Deriche R Geodesic active contours and level sets for the detection and tracking of moving objects// IEEE Transaction on pattern analysis and machine intelligence. 2000.Vol.22.,№ 3. p. 266-280

14. Hai Tao, Harpreet S. Sawhney, Rakesh Kumar Object Tracking with Bayesian Estimation of Dynamic Layer Representations// IEEE Transaction on pattern analysis and machine intelligence. 2002 .Vol.24.,№ 1. P. 75-88

15. Вилесов JIД Обнаружение и измерение параметров объектов на изображении // Информационно управляющие системы. 2004. № 1 С. 22 - 29

16. Астратов О.С., Обухова Н.А., Тимофеев Б.С. Автоматизированный контроль транспортных потоков с помощью телевизионных систем// Радиотехнические и телевизионные системы: Сб. научн. Тр./ под ред. Тимофеева Б. С. — Спб. Изд-во ГУАП,2000. сс 61- 68

17. Traffic Engineering Handbook: Institute of Transportation Engineers. Washington, D.C., 1992 -228p

18. O.C.Астратов . Телевизионные средства в системах управления движением транспорта. //Телевидение. Видеотехника (Теория и практика):Сб.науч.трудов /Под ред. Б.С.Тимофеева;СПбГААП.Спб., 1996.

19. N.A.Obuhova, B.S.Timofeev. Sisteme teleinformftic pentru controrul automat all traficultui urban.//Informatica, economica, vol.2, №6, Bucuresti, 1998, pp.63-67.

20. А.В.Бегаев, Б.С. Тимофеев Калибровка видеосистемы контроля дорожного движения СПбГУАП. СПб., 1999.-5с. ил.-З.Руопись деп. в ВИНИТИ 26.05.99 №1657-В99.

21. Коган Г. А., Филиппов А. В., Шилоносов А. С. Автоматизированная система кадастрового картографирования // Автоматизация проектирования, №1, 1998. С. 15-23.

22. Биненко В.И. и др. Возможности использования микроавиационной техники для задач экологического мониторинга окружающей среды // Безопасность и экология Санкт-Петербурга: Сб. тр. конф., 11-13 марта 1999 г., Санкт-Петербург. -СПб.: 1999. С. 96-97.

23. Андреев B.J1. и др. Некоторые результаты и перспективы использования беспилотных летательных аппаратов для задач экологического мониторинга //Экологическая химия, №10, 2001. С. 21-31.

24. Fingas M.F. and Brown С.Е. A review of oil spill remote sensors // Proc. of the third intern, airborne remote sensing conf. and exhib., Copenhagen, Denmark, №1, 1997. P. 707-714.

25. Хренов H. H., Егурцов С. А. Аэрокосмический мониторинг газопроводов Западной Сибири // Газовая промышленность, № 2, 1996. С. 62-64.

26. Ремизов В.В., Егурцов С.А.,Степаненко А.И. Аэрометоды в диагностике трубопроводных природно-технических систем Крайнего Севера //Диагностика оборудования и трубопроводы, №3, 1998. С. 9-14.

27. Быков Р. Е., Бочко В. А. Многоспектральная интерактивная система обнаружения и измерения параметров объектов // Извести вузов России. Радиоэлектроника, вып. 1, 1998. С. 50 54.

28. Тимофеев Б.С. Алгоритмы сегментации ТВ-изображений водной поверхности // Радиотехнические и телевизионные системы: Сб.науч. тр. СПбГУАП СПб.: 2000. С. 11-17.

29. Справочник по радиоэлектронным системам: в 2-х томах./Болошин И.А., Быков В.В., Васин В.В. и др ; под ред. Кривицкого Б. X,- М .Энергия, 1979. -368 с.

30. Передовая технология компании PIXIM // CCTV Фокус. 2003. № 4

31. Ракович Н. Н. CameraChips: полная видеосистема на одном кристалле// Компоненты и технологии. 2004.№ 1 С. 128 130.

32. Кривченко И. Системы на кристалле: общее представление и тенденции развития // Компоненты и технологии. 2001. №6. С. .

33. Березии В. В. Видеоситемы на кристалле новый этап интеграции в телевизионной технике // Известия вузов России. Радиоэлектроника. 2005. № 3

34. Искусственный интеллект: справочник. В 3-х кн. / под ред. Д.А. Поспелова. — М. Радио и связь, 1990.

35. Андрейчиков А. В. Андрейчикова О. Н. Интеллектуальные информационные системы : Учебник. М. Финансы и статистика, 2004. -424 с.

36. Люггер Д.Ф. Искусственный интеллект: стратегия и методы решения сложных проблем. М.: Вильяме, 2003. 864 с.

37. Ши Ю., Личман С., Интеллектуальные телекамеры: обзор.// CCTV Focus №3(21) май -июнь 2006. сс 46-60

38. European Standard EN 50132-2-1 Alarm systems CCTV surveillance system for use in security applications Part 2-1: Black and white cameras/ European Committee for Electrotechnical Standardization .CENELEC 1997

39. Тимофеев Б.С. Проблемы стандартизации и сертификации систем видеонаблюдения. «Телевидение: передача и обработка изображений», Материалы международной конференции. СПб. 20-22 июня 2000г.

40. Doyle W. Operations usefull for similary invariant pattern recognition, JACM, 9, 2, 259-267 (April 82)43. .Prewitt J. M. S., Mendelshohn M. L. The analysis of cell images, Ann. N Y Acad. Sci 128, 1035-1053

41. ПрэттУ. Цифровая обработка изображений: пер. с англ.-М. Мир, 1982 кн 2 -480 с

42. Wang D. Unsupervised Video Segmentation Based on Watersheds and Temporal Tracking// IEEE Transactions on circuits and system for video technology, vol. 8, no 5, September 1998.

43. Salembier P Morphological multiscale segmentation for image coding // Signal Processing no 3, 1994

44. Wang D A multiscale gradient algorithm for image segmentation using watersheds// Pattern Recognition 30(12), 1997

45. Kass M., Wilkin A. Tezopoulos D. Snakes: active contour models// Int. J. Computer Vision. 1988. Vol.1, P321-331.

46. Chan T. F., Vese L.A. Active contour without edges// IEEE Transactions on image processing.2001. Vol.10. № 2. P 266-277

47. Мартышевский Ю.В. Сегментация изображений на основе фрактальной размерности и логического связывания/ZPIERS 98. France, Nantes, 1998. P. 1185

48. Харалик P.M. Статистический и структурный подход к описанию текстур// ТИИЭР.1979.Т67.№5, с 38 -45

49. Гонсалес Р. Вудс Р. Цифровая обработка изображений М. Техносфера, 2005 -1072с

50. Shapiro L.G., Stockman G. С . Computer Vision , Prentice Hall, Upper Saddle River, 2001

51. Haralic R.M., Shapiro L.G. Computer and Robot Vision, vols. 1& 2, Addison -Wesley,Reading, MA, 1992

52. Ballard D. H., Brown С. M. Computer Vision , Prentice Hall, Upper Saddle River, 1982

53. Rosenfeld R., Как A. C. Digital Picture Processing, vols. 1& 2, Academic Press, NY, 1982

54. Катыс Г. П. Восприятие и анализ оптической информации автоматической системой. М.: Машиностроение, 1986. - 416 с.

55. Дуда Р., Харт П. Распознавание образов и анализ сцен. Пер. с англ. М.: Мир, 1976.-512 с.

56. Верхаген К. и др. Распознавание образов: состояние и перспективы. Пер. с англ. -М.: Радио и связь, 1985. 104 с.

57. Sims S. ,Richard F., Mahalonobis A. Perfomance evalution of quadratic correlation filters for target detection and description in infrared imagery// Optical Engineering, 2004, vol. 43, № 8.

58. Bal A. and Alam M.S., Automatic Target Tracking in FLIR Image Sequences.// Automatic Target Recognition XIV, Proceedings of SPIE. 2004. Vol. 5426 (SPIE, Bellingham, WA). P 30-35.

59. McBride J.C., Stevens M.R., Eaton R.S. and Snorrason M., Adaptive Infrared Target Detection//Proceedings of SPIE. 2004. Vol. 5426 (SPIE, Bellingham, WA). P. 305-315.

60. Mahalanobis A., Kumar B.V.K. Vijaya, Sims S.R.F., Distance-classifier correlation filters for multiclass target recognition// Applied Optics, 1996. Vol. 35,No.17, June. P. 3127-3133.

61. Topiwala P., Casasent D., Correlation-Based Target Detection for Navy's SHARP Sensor Suite // Automatic Target Recognition XIV, Proceedings of SPIE , 2004. Vol. 5426 (SPIE, Bellingham, WA). P 15-29.

62. Mahalanobis A., Kumar B.V.K. Vijaya: Optimality of the maximum average correlation height filter for detection of target in noise // Optical Engeneering, 1997. Vol. 36 No 10, October. P 2642-2648.

63. G. L. Foresti. C. S. Regazzoni. "Coding of noisy binary images by using statistical morphological skeleton." IEEE Workshop Nonlinear Signal Processing. Cyprus. Greece, 1995.pp. 354-359.

64. G. L. Foresti. "A change detection method for multiple object localization in real scenes." IEEE Conf. Indust. Electron. Bologna, Italy. 1994. pp.984-987.

65. J. Serra. Image analysise and Mathematical Morphology. New YorkrAcademic. 1983.

66. P. Maragos and R. W. Schafer. "Morphological skeleton representation and coding of binarv images." IEEE Trans. Acqustic. Speech Signal Proc. vol34. pp. 1228-1244. 1986.

67. G. L. Foresti and C. S. Regazzoni. "Properties of binary statistical morphology." I3lh Int. Conf. Pattern Recognition. Vienna, Austria. Aug.25-29. 1996. pp.631-635.

68. G. L. Foresti. C. S. Regazzoni. "A real time model based method for 3D object orientation estimation in outdoor scene"// IEEE Signal Proc. Lett. 1997. Vol 4 .pp240-351.

69. Батраков A.C., Иванов В.П. Трехмерная компьютерная графика. М.: Радио и связь, 1995. 224с.

70. Шикин Е.В., Боресков А.В. Компьютерная графика. М., Диалог МИФИ,1995, 288с.

71. Эгрон Ж. Синтез изображений. Базовые алгоритмы. М., Радио и связь, 1993I

72. Аммерал . Принципы программирования в машинной графике. М.1992.

73. Фоли Дж., вэн Дэм А. основы интерактивной машинной графики: В 2-х книгах. М., Мир, 1985,Т1-367с.,Т2-368с.

74. Koller D., Daniilidis К., Nagel Н.-Н. Model-based object tracking iri monocular image sequences of road traffic scenes// International Journal of Computer Vision, v. 10, №3, 1993. P. 257-281.

75. R. Y. Tsai "An effcient and accurate camera calibration technique for 3-D machine vision." in IEEE Comp Soc. Conf. CVPR. Maiami Beach. FL. 1986. pp. 234-238.

76. Рапаков Г. Г. Исследование телевизионного метода измерения параметров движения летательных аппаратов// Автореферат диссертации на соискание ученой степени к. т. н. СПб: ГУАП, 2000. 19 с.

77. Обухова Н.А. Алгоритмы оценки параметров загрязнения акватории Сб.науч.трудов. «Радиотехнические и телевизионные системы» /Под ред. Б.С.Тимофеева; СПбГУАП. Спб.,2000

78. Мелик-Шахназаров А. М., Маркатун М. Г. Цифровые измерительные системы корреляционного типа. -М.: Энергоатомиздат, 1985. 128 с.

79. Растригин JI. А. Системы экстремального управления. М.: Наука, 1974. 632 с.

80. Растригин JI. А. Современные принципы управления сложными объектами. М.: Сов. Радио, 1980. 232 с.

81. Кориков A.M. Корреляционные зрительные системы роботов. М.: Р.иС. 1990, 264с.

82. Вермишев Ю. X. Методы автоматического поиска решений при проектировании сложных технических систем. М.: Радио и связь, 1982. 152 с.

83. Путятин Е. П., Аверин С. И. Обработка изображений в робототехнике. М.: Машиностроение, 1990. - 320 с.

84. Thomas Meier and King N. Ngan. Automatic Segmentation of Moving Objects for Video Object Plane Generation// IEEE Transactions on circuits and system for video technology, vol. 8, No 5, September 1998.

85. K.W.Lee,S.W.Ryu. "Motion based object tracking with mobile camera." Electronic Lett. Vol.34.no3. pp.256-258. 1998.92. .M.Hoetter. "Differential estimation of the global motion parameters zoom and pan."Signal Proc.v.16. pp.249-265.1989.

86. Maragos P. Tutorial on advances in morphological image processing and analysis//Optical Engineering, vol. 26, No 7. July 1987. P. p. 623 632.

87. D.Murray, A.Basu. "Motin Tracking with an Active Camera." IEEE Trans. Pattern Anal. Machine Intel. Vol.16, no5. pp449-459.1994.

88. Вороновицкий И. Э., Лабунец В. Г., Мальцев А. П. Телевизионная система слежения за целями с плазменным факелом//Зарубежная радиоэлектроника, № 10, 1987. С. с. 69-80.

89. Bremond F., Thonnat М Tracking multiple nonrigid objects in video sequences// IEEE Trasnaction on circuits and systems for video technology. 1998. Vol 8,№ 5. P. 585591

90. Gilbert А.Д., Giles M.K A real-time video tracking systems// Optical Ingineering. 1979. Vol. 18.№ 1, P.25-3298. .S.S Beauchemin and J.L. Barron The computation of optical flow ACM Computing Surveys, Vol. 27, No. 3, pp. 433-467,1995

91. Fleet D J., Jepson A.D. Computation of component image velocity from local phase information IJCV,5(1),1990 pp 77-104

92. Heeger D.J. Optical flow using spatiotemporal filters. IJCV,1,1990 pp 95-117

93. Aisbett J. Optical flow with intensity-weighted smoothing. IEEE PAMI, 11 (5), 1989 pp 512-555

94. Bergen J.R., Burt P. J., Hingorany and Peleg S. Three frame algorithm for estimating two -component image motion. IEEE PAMI, 14(9), 1992 pp 886-896

95. Horn B.K.P., Schunck B.G. Determing optical flow. // Artificial Intelligence,! 7,1981 pp 185-204

96. Schnorr C. Computation of discontinuous optical flow by domain decomposition, IEEE PAMI, 8(2),1992 pp 153-165

97. JW McCandless . Detection of aircraft in video sequences using a predictive optical flow algorithm. Optical Engineering №3, 1999; PP 523-530

98. Lucas D. Generalized image matching by the method of differences. PhD thesis. Carnegie-Mellon Univ., 1984

99. Reichardt W., Shlogl W. , Egelhoaf M. Movement detectors of the correlation type provide sufficient information for local computation of 2d velocity fields. // Naturwissenschaften,75,1988 pp 313 -315

100. Nagel H. H. On the estimation optical flow: realations between different approaches and some new results// Artificial Intelligence^3,1987 pp 299-324

101. Jenkin M.R.M, Jepson A.D., Tsotsos J. K. Techniques for disparity measurement CVGIP 53(1),1991 pp 14-30

102. Kories R., Zimmeman G. A versatile method for the estimation of displacement vectors fields from image sequences. IEEE Proceedings of workshop on motion: representation and analysis , Charleston, South Carolin, May 1986 pp 101-106

103. Information Technology Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbit/s - Part 2: Video ,ISO/IEC 11172-2 (MPEG1 Video), 1993

104. Information Technology Coding of Moving Pictures and Associated Audio information : Video ,ISO/IEC 13818-2 (MPEG2Video) / ITU-T H.262, 1996

105. Video Codec for Audiovisual Services at p*64 kbit/s ITU-T recommendation H.261 Version 3,1993

106. Video Coding for Low Bitrate Communication, Draft ITU-T recommendation H.263, 1996

107. Chock-Kwan Cheung and Lai-Man Po. A hierarchical block motion estimation algorithm using partial distorsian measure.

108. C.D. Bei and R.M. Gray. An improvement of the minimum distorsion encording algorithm for vector quantization. IEEE Trans. Commun, vol.COM-33, pp. 1132-1133, Oct. 1985.

109. Chock-Kwan Cheung and Lai-Man Po. Normalized Partial Distorsion Search Algorithm for Block motion estimation/ЯЕЕЕ Transaction circuit and systems for video technology, vol. 10, no.3, April,2000, pp 417-422

110. Koga T, Linuma K, Hirano A., Lijima Y., Ishiguro T. Motion compensated interframe coding for video conferencing" //NTC81, Nov. 1981. P G5.3.1-G5.3.5

111. Jain J.R, Jain K.A. Displacement measurement and its application in interframe image coding// IEEE Trans. Commun.,Vol Com 29, 1981. P 1799-1806

112. Puri A, Hang H.M., Shilling D.L An efficient block matching algorithm for motion compensated coding // IEEE Int. Conf. Acoustic, Speach and Signal Processing, Vol.19, 1987. P 1063-1066

113. Jianhua Lu and Ming I. Liou " A Simple and Efficient Search Algorithm for Block -Matching Motion Estimation.» IEEE Transaction on circuits and systems for video technology, vol. 7, no. 2, April 1997

114. Lurng-Kuo Liu and Ephraim Feig " A Block -Based Gradient Descent Search Algorithm for Block Motion Estimation in Video Coding" IEEE Trans, Circuit Syst. Videotech., vol. 6,no 4 ,Aug 1996.

115. R.Li,B.Zeng, and M.L.Liou " A new three-step search algorithm for block motion estimation" IEEE Trans, Circuit Syst. Videotech., vol.4,no 1, Feb. 1994.

116. L.M. Po and W.C. Ma " A Novel four-step search algorithm for fast block estimation", IEEE Trans, Circuit Syst. Videotech., vol. 6,no 3 ,Jun 1996.

117. Xu J-B, Po L-M, Cheung С -К Adaptive Motion Tracking Block Matching Algorithms for Video coding // IEEE Transactions on circuits and system for video technology, vol. 10(3), 2000, P417-422

118. Shi Y.Q. and Xia X. A Thresholding Multiresolution Block Matching Algorithm// IEEE Transactions on circuits and systems for video technology, vol7(2), 1997,p437-440

119. Viarani Enrico, Di Stefano Luigi. Vehicle Detection and Tracking Using the Block Matching Algorithm. Department of Electronics, Computer Science and Systems (DEIS) University of Bologna// http://labvisione.deis.unibo.it/.

120. Lee M., Chen W., Bruce Lin C., Gu С., Markoc Т., Zabinskt S., Szeliski R A layerd video object coding system using sprite and affine motion model// IEEE Transactions circuit and systems for video technology vol. 7(1), 1997, pp 130-145.

121. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир, 1975. -383 с.

122. Сакин И.Л. Инженерная оптика. Л.: Машиностроение, 1976, - 255 с.

123. Горелик С.М., Кац Б.М. Электронно-лучевые трубки в системах обработки информации . М.: Энергия, 1977, - 112 с.

124. Липник Ю.В. Метод наименьших квадратов и основы теории обработки наблюдений.-М.: Физматгиз, 1962

125. Айвазян С.А., Енюков М.С., Мешалин А.Д. Прикладная статистика. Исследование зависимостей.- М. : Финансы и статистика , 1985, 487 с

126. Налимов В.В., Голикова Г.И . Логические основания планирования эксперимента. М.: Металлургия, 1976, - 128 с.

127. Налимов В.В Теория эксперимента. М.: Наука, 1971, - 208 с.

128. Соболь И. М., Статников РБ Выбор оптимальных параметров в задачах со многими критериями- М.: Наука, 1981, 110 с.

129. ISO/IEC 13818-2 Information Technology Coding of Moving Pictures an Associated Audio for Digital Storage Media up to about 1.5Mbit/s. Part 2: Video/Ed/1,JTS 1/SC 29,1994.

130. ISO/IEC JTCI/SC29/WG11 Coding of Moving Pictures an Audio. MPEG-4.Overview,1999

131. Цифровая обработка телевизионных и компьютерных изображений/ Под ред. Зубарева Ю.Б., Дворковича В,П, М.: Международный Центр научной и технической информации,1997.-212 с.

132. ISO/IEC DIS 10918-1 Information Technology Digital Compression and Coding of Continuous tone Still Images: Requirement and Guidelines/Ed/1,JTS 1/SC 9,1994.

133. Мартинес Ф. Синтез изображений: Принципы, аппаратное и программное обеспечение. М.: Радио и связь, 1993 - 392 с.

134. Достижения в области кодирования изображений/Х.Г.Мусман, П.Пирш, Х.Й. Граллерт// ТИИЭР:Пер. с англ. 1985. Том 73. №4.- С. 31-59.

135. Поляк Б.Т. Введение в оптимизацию.- М.: Наука, 1983. 384 с.

136. Банди Б. Методы оптимизации: Вводный курс. -М.: Радио и связь, 1988.- 128 с.

137. Васильев ФП Численные методы решения экстремальных задач.- М.: Наука, 1988.- 552 с.

138. Френке Л. Теория сигналов- М.: Сов. радио, 1974, 344 с.

139. Аоки М. Введение в методы оптимизации- М.: Наука, 1977, 343 с.

140. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия.- М. : Финансы и статистика, 1982, 302 с

141. Дрейпер Н. , Смит Г. Прикладной регрессионный анализ.- М. : Финансы и статистика, 1982, 302 с

142. Киселев А. Вейвлет своими pyKaMH.BaseGroup Labs,2003153. http://www.basegroup.ru/filtration/making.wavelet.htm

143. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии. Учебное пособие, М: «Триумф», 2003,-320с.

144. Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ Регулярная и хаотическая динамика, 2001,464 с.

145. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии. Учебное пособие, М: «Триумф», 2003,-320с.

146. Воробьев В.И., Грибунин В. Г. Теория и практика вейвлет — преобразования. — Спб. Изд-во ВУСД999. 204 с.

147. Цифровое преобразование изображений: Учебн. пособие для вузов / Р. Е. Быков, Р. Фрайер, К. В. Иванов, А. А. Манцветов; Под ред. профессора Р.Е. Быкова; Горячая линия — Телеком,. М., 2003. — 228 с.

148. Цифровая обработка телевизионных и компьютерных изображений/ Под ред. Ю.Б.Зубарева и В.П.Дворковича. 2-е изд., перераб. и доп. Москва. 1997 г.160. .Березовский Б.А., Гнедин А.В. Задача наилучшего выбора М.: Наука, 1984, -197 с.

149. Файн В. С. Опознавание изображений: основы непрерывно групповой теории и ее применение- М.: Наука, 1970, - 296 с.

150. Фукунага К. Введение в статистическую теорию распознавания образов- М.: Наука, 1989,

151. Левин Б.Р., Шварц В. Вероятностные модели и методы в системах управления и связи. М.: Радио и связь, 1985. — 312 с.

152. Левин Б.Р. Теоретические основы статистической радиотехники. М.: Сов. радио, 1976.-288 с.

153. Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 1991. 608 с.

154. Левин Б.Р. Статистическая радиотехника. М.: Сов.радио, 1973. Т.1.

155. Белоглазов И.Н., Тарасеико В.П. Корреляционно-экстремальные системы. М.: Сов.радио, 1974.

156. Bezdek J.C. Pattern Recognition with Fuzzy Objective Function. New York: Plenum Press. 1981.

157. Babuska R. Fuzzy Modeling for Control. Boston: Kluwer Academic Publishers. -1998.

158. Xei X.L., Beni G.A. Validity Measure for Fuzzy Clustering // IEEE Trans, on Pattern Anal, and Machine Intell. 3 (8). 1991. - P. 841 - 846.

159. Gustafson D.E., Kessel W.C. Fuzzy Clustering with a Fuzzy Covariance Matrix. Proc. of IEEE CDC, San-Diego, USA. P.761 - 766.

160. Yager R., Filev D. Essentials of Fuzzy Modeling and Control. USA: John Wiley & Sons. 1984. -387p.

161. Борисов A.H., Крумберг О.А., Федоров И.П. принятие решений на основе нечетких моделей: примеры использования. Рига: Зинатне. 1990. 184 С.

162. Саати T.JI. Взаимодействие в иерархических системах // Техническая кибернетика. 1979. №1. С. 68-84.

163. Rotshtein А.Р. Modification of Saaty Method for the Construction of Fuzzy Set Membership Functions. Proc. of the International Conference "Fuzzy Logic and its Applications", Zichron, Israel, 1997. P. 125-130.

164. Ротштейн А.П., Штовба С.Д. Нечеткий многокритериальный анализ вариантов с применением парных сравнений // Известия РАН. Теория и системы управления.-2001.-№3.- С.150-154.

165. Zimmerman H.-J. Fuzzy Set Theory and its Applications. Dordrecht: Kluwer Academic Publishers. 1996.315р.

166. Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткая логика, генетические алгоритмы, нейронные сети. Винница: УНИВЕРСУМ-Винница, 1999. - 320 с.

167. Yager R., Filev D. Essentials of Fuzzy Modeling and Control. USA: John Wiley & Sons. 1984. - 387p.

168. BellmanR.E., ZadehL.A. Decision-Making in Fuzzy Environment// Management Science, vol. 17. 1970. - №4. - P.141 - 160.

169. Беллман P., Заде JI. Принятие решений в расплывчатых условиях. В кн.: Вопросы анализа и процедуры принятия решений. М.: Мир 1976. - С.172-215.

170. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации. М.: Радио и связь, 1981. - 286 с.

171. Zimmermann H.-J. Fuzzy Set Theory and its Applications. 3rd ed.- Dordrecht: Kluwer Academic Publishers.- 1996. 315p.

172. Методы компьютерной обработки изображений/Под ред. В.А. Сойфера М.: ФИЗМАТЛИТ,2003 -784с

173. Венгеров А. А., Щаренский В.А. Прикладные вопросы оптимальной линейной фильтрации.- М. : Энергоиздат, 1982, 192 с

174. Вейс И. Дискретная фильтрация Калмана -Бьюси при неизвестных ковариациях шумов. —Вопросы военной техники, 1971, с 63-84.

175. Сейдж Э., Меле Дж. Теория оценивания и ее применение в связи и управление.- М. : Связь , 1976, 496 с

176. Телевидение: учебник для вузов/ В.Е. Джакония, А.А. Гоголь, Я.В. Друзин. М.: Горячая линия Телеком, 2007. - 616 с

177. Корнышев Н.П. Телевизионная визуализация и обработка люминесцирующих объектов в криминалистике, молекулярной биологии и медицине. Великий Новгород: НовГУ им. Ярослава Мудрого, 2004.-226 с.

178. Радионов С. О. Основы оптики (конспект лекций). СПб: ИТМО, 2001.- 170 с.

179. Слюсарев Г.Г. Расчет оптических систем. JI: Машиностроение, 1975.- 640 с.

180. Роджерс Д.Алгоритмические основы машинной графики. М: Мир, 1989.- 512 с.

181. Опубликованные работы по теме диссертации.

182. Обухова, Н.А. Система для автоматического оценивания и минимизации растровых искажений ТВ приемников и ВКУ./ Н.А Обухова // К Дню радио: материалы 49-й науч. -техн. конф. «НТОРЭС им. А. С. Попова», г. С.-Петербург, 1994 г. СПб., 1994. - С. 47.

183. Обухова, Н.А. Система автоматической настройки и контроля качества ТВ приемников./ Н.А Обухова // К Дню радио: материалы 50-й науч. -техн. конф. «НТОРЭС им. А. С. Попова», г. С.-Петербург, 1995 г. СПб., 1995. - С. 34.

184. Обухова, Н.А. Автоматическое оценивание растровых параметров ТВ приемников / Н.А. Обухова // Телевидение. Видеотехника. Теория и практика: Сб. науч. тр. / СПб ГААП (ГУАП) СПб., 1996. - С. 86-91.

185. Обухова, Н.А. ТВ системы экологического мониторинга / Н.А Обухова, Б.С. Тимофеев // Новейшие достижения в области телевидения, аудио и видеотехники: сборник докл. I науч. техн. конф., г. С.-Петербург, 24-25 июня 1999 г. - СПб., 1999.-С. 15-16.

186. Обухова, Н.А. Телевизионная система оперативного оценивания параметров загрязнения акватории/ Н.А. Обухова // Телевидение: передача и обработка изображений: материалы I Междунар. науч. конф., г. С.-Петербург, 20-22 июня 2000 г. СПб., 2000. - С. 106-107.

187. Обухова, Н.А. Алгоритмы оценки параметров загрязнения акватории / Н.А. Обухова // Радиотехнические и телевизионные системы: Сб. науч. тр / СПб ГУАП.-СПб, 2000. С. 28-34.

188. Обухова, Н.А. Оценка параметров модели искажающих сигналов ТВ приемника при неопределенности предиктора / IT.A. Обухова // Радиотехнические и телевизионные системы: Сб. науч. тр / СПб ГУАП.- СПб, 2000. С. 82-88.

189. П.Обухова, Н.А. Цифровая обработка изображений в ТВ системах контроля водной поверхности./ Н.А. Обухова // Цифровая обработка сигналов и ее применение материалы III Междунар. науч. конф., г. Москва, 2000 г. М., 2000. -С. 48-50.

190. Астратов, О.С. Автоматический контроль транспортных потоков с помощью телевизионных систем /О.С. Астратов, Н.А.Обухова, Б.С. Тимофеев // Радиотехнические и телевизионные системы: Сб. науч. тр / СПб ГУАП.- СПб., 2000.-С. 61-68.

191. Обухова, Н.А. Метод видеонаблюдения за медленно движущимися малоразмерными объектами / Н.А. Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2003 - №4. -С. 44-52.

192. Обухова, Н.А. Системы видеобнаружения и сопровождения подвижных объектов / Н.А. Обухова, Б.С. Тимофеев //Телекоммуникации,- 2003- №12- С.36-44.

193. Обухова, Н.А. Программа исследования на ЭВМ алгоритмов сегментации и сопровождения движущихся объектов методом сопоставления блоков: свид-во об отраслевой регистрации разработки № 2805 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 № 50200300802.

194. Обухова, Н.А. Программа исследования на ЭВМ алгоритмов сегментации движущихся объектов на основе энергии движения: свид-во об отраслевой регистрации разработки № 2806 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 -№ 50200300803.

195. Обухова, Н.А. Программа сегментации нефтяного разлива и оценивания его параметров: свид-во об отраслевой регистрации разработки № 2807 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 № 50200300804.

196. Обухова Н.А. Программа коррекции геометрических искажений в видеоданных полученных ТВ камерой с короткофокусным объективом: свид-во об отраслевой регистрации разработки № 2808 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 № 50200300805.

197. Обухова Н.А. Программа исследования на ЭВМ алгоритмов сегментации и сопровождения медленно движущихся малоразмерных объектов: свид-во об отраслевой регистрации разработки № 2809 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2003 № 50200300806.

198. Обухова, Н.А. Обнаружение и сопровождение объектов движущихся объектов методом сопоставления блоков/ Н.А. Обухова // Информационно-управляющие системы. 2004 - № 1. - С. 30-37.

199. Обухова, Н.А. Анализ параметров движения в системе видеонаблюдения железнодорожных составов/ Н.А.Обухова, Б.С. Тимофеев // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2005- №3.-С. 42-50.

200. Обухова, Н.А. Предварительный анализ изображения при сегментации по совокупности признаков/ Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2006- №1.-С. 35-41.

201. Обухова, Н.А. Векторы оптического потока в задачах сегментации и сопровождения подвижных объектов/ Н.А.Обухова //Известия высших учебных заведений России. Сер. Радиоэлектроника. — 2006- №2.- С. 42-51.

202. Обухова, Н.А. Априорная оценка достоверности векторов оптического потока (векторов движения) /Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2006- №3,- С. 30-36.

203. Обухова, H.A. Программа исследования на ЭВМ алгоритмов субпиксельной оценки векторов движения: свид-во об отраслевой регистрации разработки № 7412 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 № 50200700029.

204. Обухова, Н.А. Программа исследования на ЭВМ метода сегментации и сопровождения объектов интереса по совокупности признаков: свид-во об отраслевой регистрации разработки № 7413 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007-№ 50200700030.

205. Обухова, Н.А. Программа исследования па ЭВМ метода предварительного анализа изображения на основе признака детальности: свид-во об отраслевой регистрации разработки № 7414 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 -№ 50200700031.

206. Обухова, Н.А. Программа исследования на ЭВМ метода определения векторов движения с учетом априорной оценки их достоверности и значимости: свид-во об отраслевой регистрации разработки № 7411 / Н.А. Обухова; СПб ГУАП.- М.: ВНИТЦ, 2007 № 50200700028.

207. Обухова, Н.А. Предварительная классификация изображения в задачах сегментации объектов / Н.А. Обухова // Информационно- управляющие системы. -2007 № 2,- С.22-28.

208. Обухова, Н.А. Сегментация объектов интереса на основе признака движения в видеокомпьютерных системах / Н.А.Обухова // Инфокоммуиикационные технологии. 2007 - №1 - С.77-85.тей

209. Обухова, Н.А. Метод определения векторов движения с учетом априорной оценки их достоверности и значимости. / Н.А Обухова. // Современное телевидение: труды 15-й Всеросс. науч. техн. конф., г. Москва, 20- 21 марта 2007 г.-М., 2007.-С.156-157.

210. Обухова, Н.А. Интеллектуальные видеосистемы/ Н.А. Обухова, Б.С. Тимофеев // Телевидение: передача и обработка изображений: материалы V Междунар. науч. конф., г. С.-Петербург, 19-20 июня 2007 г. СПб., 2007. - С. 3-4.

211. Обухова, Н.А. Субпиксельная оценка векторов движения / Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2007- №1. -С. 18-23.

212. Обухова, Н.А. Метод автоматической сегментации и сопровождения объектов интереса на основе математического аппарата нечеткой логики/ Н.А.Обухова // Известия высших учебных заведений России. Сер. Радиоэлектроника. 2007- №3. - С. 53-63.

213. Обухова, Н.А. Интеллектуальные системы видеонаблюдения железнодорожных составов / Н.А. Обухова, Б.С. Тимофеев // Вопросы радиоэлектроники. Сер. Техника телевидения.- 2007- №1. С 10-23.

214. ФЕДЕРАЛЬНОЕ АГЕНСТВО ПО ОБРАЗОВАНИЮ

215. Государственное образовательное учреждение высшего профессионального образования

216. САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ АЭРОКОСМИЧЕСКОГО ПРИБОРОСТРОЕНИЯ»1. На правах рукописи s

217. Обухова Наталия Александровна052.00 8 01572

218. МЕТОДЫ ВИДЕОНАБЛЮДЕНИЯ, СЕГМЕНТАЦИИ И СОПРОВОЖДЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ

219. Специальность: 05 Л 2.04 Радиотехника, в том числе системы и устройствателевидения

220. ДИССЕРТАЦИЯ на соискание ученой степени доктора технических наук5 to,,

221. Научный консультант: доктор технических наук, профессор Тимофеев Б.С.1. Санкт-Петербург 2008