Многокадровая система повышения разрешения для видеоконтроля движущихся объектов тема диссертации и автореферата по ВАК РФ 05.11.16, кандидат технических наук Феофанов, Кирилл Валерьевич

• Феофанов, Кирилл Валерьевич
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Феофанов, Кирилл Валерьевич

Введение.

1. Аналитический обзор и систематизация методов повышения разрешения изображений.

1.1. Однокадровое восстановление изображений.

1.1.1. Однокадровая модель формирования изображения.

1.1.2. Однокадровое восстановление.

1.2. Многокадровое восстановление.

2.2.1. Многокадровое повышение разрешения.

2.2.2. Многокадровая модель формирования изображения.

2.2.3. Восстановление многокадровыми методами повышения разрешения.

1.3. Анализ методов оценивания межкадровых движений.

1.3.1. Соотношение трёхмерного движения и его двухмерной проекции. Оптический поток.!.

1.3.2. Классификация методов оценивания межкадровых движений.

1.3.3. Дифференциальные методы оценивания межкадровых движений.

1.3.4. Блочные методы оценивания межкадровых движений.

1.3.5. Методы, основанные на анализе Фурье-спектров.

1.3.6 Исследование характеристик блочного и дифференциального методов оценивания межкадровых движений.

1.4. Анализ методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения.

1.4.1. Классификация методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения.

1.4.2. Методы, основанные на преобразовании Фурье.

1.4.3. Интерполяция неравномерно расположенных отсчётов.

1.4.4. Метод деформации и слияния.

1.4.5. Метод максимума апостериорной вероятности.

1.5. Анализ особенностей применения многокадровых методов повышения разрешения к видеопоследовательностям, формируемым в СВН.

1.6. Выводы и постановка задачи диссертационной работы.

2. Комбинированный метод оценивания межкадровых движений.

2.1. Разработка комбинированного метода оценивания межкадровых движений.

2.2. Исследование характеристик комбинированного метода оценивания межкадровых движений.

2.2.1. Исследование с использованием видеопоследовательностей, синтезированных путем параллельного сдвига.

2.2.2. Исследование с использованием реалистичных тестовых видеопоследовательностей.

2.3. Критерий сравнения блоков для блочного метода оценивания межкадровых движений.

2.3.1. Критерий максимума взаимной информации для блочного метода.

2.3.2. Экспериментальное исследование критерия максимума взаимной информации в блочном методе.

2.4. Адаптивный выбор размеров окрестности.

2.4.1. Адаптивный выбор размеров окрестности на основе правила пересечения доверительных интервалов.

2.4.2. Экспериментальное исследование метода оценивания межкадровых движений при адаптивном выборе размеров окрестностей.

2.5. Практические пределы оценивания межкадровых движений с субпиксельной точностью.

2.6. Результаты и выводы.

3. Формирование изображения высокого разрешения из видеопоследовательности низкого разрешения.

3.1. Разработка метода формирования изображения высокого разрешения на основе деформации и слияния.

3.1.1. Этап деформации исходных кадров.

3.1.2. Этап слияния деформированных изображений.

3.1.3. Этап устранения размытости.

3.2. Анализ погрешностей восстанавливаемого изображения высокого разрешения.

3.3. Разработка способа объединения оценок для метода деформации и слияния, минимизирующего среднеквадратичную погрешность восстанавливаемого изображения

3.4. Описание алгоритма формирования изображения высокого разрешения.

3.5. Исследование характеристик разработанного метода формирования изображения высокого разрешения.

3.5.1. Исследование погрешности восстановленного изображения.

3.5.2. Экспертная оценка восстановленного изображения.

3.5.3. Оценка согласованности метрики погрешности восстановленного изображения и экспертной оценки.

3.5.4. Исследование разрешения восстановленных изображений.

3.6. Результаты и выводы.

4. Практическая реализация алгоритма многокадрового сверхразрешения для систем видеонаблюдения.

4.1. Требования к разрабатываемому программному обеспечению.

4.2. Средства разработки.:.

4.3. Алгоритм работы разрабатываемого программного обеспечения.

4.4. Описание разработанного программного обеспечения.

4.5. Практическое исследование возможностей программного обеспечения.

4.6. Результаты и выводы.:.

Введение диссертации (часть автореферата) на тему «Многокадровая система повышения разрешения для видеоконтроля движущихся объектов»

Актуальность темы. Основной задачей систем видеоконтроля (СВК) является формирование качественного видеоизображения, обеспечивающего возможность анализа наблюдаемых объектов. Основным показателем, определяющим качество видеоизображений в СВК, является разрешение, характеризуемое воспроизведением мелких деталей наблюдаемой сцены.

Основным фактором, ограничивающим разрешение изображений, формируемых видеокамерами СВК, является количество элементов твердотельных матричных фотоприёмников (ПЗС или КМОП-матриц), используемых в видеокамерах в качестве фоточувствительных элементов. Использование в многоканальных СВК, таких, например, как системы г видеонаблюдения (СВН), видеокамер с большим количеством элементов фотоприёмника имеет ряд существенных ограничений, таких, как ограничения используемых стандартов видеосигнала, ухудшение соотношения сигнал/шум, ограничения каналов передачи данных, ограничения объёмов устройств хранения видеоданных.

Одним из перспективных подходов для решения задачи повышения разрешения формируемых изображений является использование методов восстановления изображений высокого разрешения по видеопоследовательностям низкого разрешения. Восстановление осуществляется путём использования нескольких соседних кадров исходной видеопоследовательности для построения приближения идеального изображения наблюдаемой сцены. Для возможности осуществления такого восстановления необходимо наличие относительного движения камеры и наблюдаемой сцены. С 1980-х годов такие методы являются объектом исследований многих учёных, и исследования по их применению активно проводятся в таких областях, как медицина и аэрокосмические фотосъёмки.

В настоящее время многокадровые методы повышения разрешения в СВН не применяются [10,11]. Существующие многокадровые методы не учитывают особенности видеопоследовательностей, формируемых в СВН и, поэтому, непосредственное их применение к этим видеопоследовательностям не позволяет производить эффективное восстановление изображений высокого разрешения. В связи с этим развитие методов многокадрового сверхразрешения для использования их в СВН представляется актуальной задачей.

Цель работы. Целью диссертационной работы является разработка методов, алгоритмов и программных средств, предназначенных для многокадровой системы повышения разрешения СВН.

Решение этой задачи связано с выполнением следующих этапов исследования:

1. Анализ и систематизация существующих методов оценивания межкадровых движений и методов формирования изображений высокого разрешения по видеопоследовательностям низкого разрешения.

2. Разработка метода оценивания межкадровых движений, позволяющего получать оценку с • субпиксельной точностью в широком диапазоне межкадровых движений.

3. Разработка метода формирования изображения высокого разрешения по видеопоследовательности низкого разрешения, минимизирующего погрешность восстанавливаемого изображения.

4. Разработка программного обеспечения многокадровой системы повышения разрешения, реализующего разработанные методы.

Предметом исследования является проблема повышения разрешения изображений, формируемых СВН, сверх пределов, накладываемых ограниченным количеством элементов (пикселей) фотоприемников видеокамер.

Методы исследований. Теоретические исследования выполнены с использованием аппарата цифровой обработки сигналов, теории численных методов, теории вероятностей, математической статистики, программирования.

Научная новизна. В диссертационной работе получены следующие новые научные результаты:

1. Показано, что в задаче повышения разрешения СВН с помощью многокадровых методов, применение существующих методов оценивания межкадровых движений не эффективно;

2. Разработан новый, комбинированный метод оценивания межкадровых движений. Метод использует блочный подход для грубой оценки межкадровых движений и дифференциальный подход Лукаса-Канаде для получения точной оценки;

3. Предложен новый критерий сравнения блоков для блочного метода, основанный на взаимной информации между сравниваемыми блоками;

4. Разработан метод адаптивного формирования окрестности точки при оценивании межкадровых движений, использующий правило пересечения доверительных интервалов и локальную полиномиальную аппроксимацию нулевого порядка;

5. Предложена математическая модель погрешности формируемого изображения высокого разрешения для метода деформации и слияния;

6. Предложен способ объединения оценок изображения высокого разрешения для метода деформации и слияния, минимизирующий среднеквадратическую погрешность формируемого изображения высокого разрешения.

Практическая значимость полученных в диссертационной работе результатов:

1. Комбинированный метод обеспечивает более низкое среднее значение и дисперсию погрешности определения смещения. В частности, средняя величина модуля погрешности определения смещения на 10-30% меньше, чем в блочном методе, и в 1.5-3 раза меньше, чем в дифференциальном методе; дисперсия модуля погрешности определения смещения 1.5-8 раз меньше чем в блочном методе и в 10-95 раз меньше, чем в дифференциальном методе.

2. Предложенный информационный критерий сравнения блоков в блочном методе позволяет на 10% - 20% уменьшить среднее значение и на 17% -40% дисперсию погрешности определения межкадровых движений.

3. Использование адаптивного выбора размеров окрестности. рассматриваемой точки опорного кадра видеопоследовательности при оценивании межкадровых движений позволяет повысить точность оценивания на 13-20% по математическому ожиданию погрешности и на

18-30% по дисперсии погрешности определения межкадровых движений.

4. Разработанный способ объединения оценок для восстановления на основе деформации и слияния, минимизирующий среднеквадратичную погрешность восстанавливаемого изображения высокого разрешения, позволяет уменьшить дисперсию погрешности восстановленного изображения на 10-20%.

5. Разрешение изображения, восстановленного разработанным алгоритмом, в 1,5 раза превышает разрешение изображений, восстановленных методом деформации и слияния с объединением оценок по среднему или медианному значению.

6. Разработано прикладное программное обеспечение для анализа видеопоследовательностей в СВН.

Апробация результатов. Основные положения и результаты диссертации докладывались на 33-й и 34-й научно-технических конференциях (НТК) «Неделя науки СПбГПУ» (СПбГПУ, 2004, 2005),- 16-ой, 17-ой, 18-й и 19-й НТК "Экстремальная робототехника" (ЦНИИ РТК, 2005, 2006, 2007, 2008).

Публикации. По теме диссертации опубликовано 3 статьи, 5 текстов докладов и 2 тезисов докладов.

Структура диссертации. Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы (104 наименования), одного приложения. Основная часть работы изложена на 151 странице машинописного текста, содержит 41 рисунков и 17 таблиц.

Заключение диссертации по теме «Информационно-измерительные и управляющие системы (по отраслям)», Феофанов, Кирилл Валерьевич

Основные результаты диссертационной работы подытожим в виде следующих выводов:

• Разработанный комбинированный метод оценивания межкадровых движений позволяет производить субпиксельное оценивание в широком диапазоне межкадровых движений. в Математическое ожидание абсолютной величины погрешности оценки межкадровых движений разработанным комбинированным методом на 23% меньше, чем для блочного метода. Дисперсия абсолютной величины погрешности на 39% меньше, чем для блочного метода.

• Разработанный способ объединения оценок для метода деформации и слияния, минимизирующий среднеквадратичную погрешность восстанавливаемого изображения высокого разрешения, позволяет уменьшить дисперсию погрешности восстановленного изображения на 10-20%.

• Восстановление изображений разработанным методом, минимизирующим погрешность восстанавливаемого изображения высокого разрешения, позволяет повысить возможности по анализу изображений, что было подтверждено экспертными оценками.

• Разрешение изображений, восстановленных разработанным методом, на 50% выше разрешения изображений, восстановленных методом деформации и слияния с объединением оценок по среднему или медианному значению.

Заключение

В разделе 1.5 были сформулированы требования, которым должны удовлетворять многокадровые методы повышения разрешения для их эффективного применения в СВН. Рассмотрим, на сколько эти требования выполнены для разработанных методов.

Оценка межкадровых движений по двум соседним кадрам. Разработанный комбинированный метод оценивания межкадровых движений основан на блочном и дифференциальном методе и производит оценивание межкадровых движений по двум соседним кадрам.

Субпиксельная точность оценивания межкадровых движений в разработанном комбинированном методе достигается использованием на заключительном этапе метода Лукаса-Канаде к интерполированным исходным данным.

Устойчивость к большим значениям межкадровых движений в разработанном комбинированном методе достигается применением на начальном этапе блочного метода и кратномасштабного подхода на основе пирамиды изображений.

Использование непараметрической модели межкадровых движений. Разработанный комбинированный метод оценивания межкадровых движений основан на блочном и дифференциальном методе и производит оценивание межкадровых движений независимо для каждого пикселя опорного кадра.

Устойчивость к аддитивному шуму. Для разработки комбинированного метода оценивания межкадровых движений использовались блочный и дифференциальный методы, обладающие хорошей устойчивостью к аддитивному шуму. При разработке способа объединения оценок для метода деформации и слияния также учитывался аддитивный шум исходных кадров.

Невысокая вычислительная сложность. Разработанный комбинированный метод оценивания межкадровых "движений основан на методах, имеющих наименьшую вычислительную сложность из всех существующих методов, удовлетворяющих предъявляемым требованиям. Разработанный метод формирования изображения высокого разрешения на основе деформации и слияния также имеет небольшую вычислительную сложность по сравнению с другими методами формирования изображений высокого разрешения.

Таким образом, разработанные методы удовлетворяет сформулированным требованиям. Результаты применения разработанных методов и алгоритмов на практике показывают их более высокую эффективность по сравнению с увеличением кадров с помощью интерполяции и другими многокадровыми методами, не учитывающими особенности видеопоследовательностей, формируемых в СВН.

Список литературы диссертационного исследования кандидат технических наук Феофанов, Кирилл Валерьевич, 2009 год

1. Бахвалов, Н. С. Численные методы / Н. С. Бахвалов, Н. П. Жидков, Г. М. Кобельков. 3-е изд., доп. и перераб. - М.: БИНОМ. Лаборатория знаний, 2004. - 636 е., илл.

2. Бейтс, Р. Восстановление и реконструкция изображений / Р. Бейтс, М. Мак-Доннелл. Пер. с англ. - М.: Мир, 1989. - 336 с.

3. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс.- М.: Техносфера, 2005. 1072 с. - ISBN 5-94836-028-8.

4. Грузман, И. С. Цифровая обработка изображений в информационных системах: Учебн. Пособие / И.С. Грузман и др. Новосибирск: Изд-во НГТУ, 2002. - 352 с. - ISBN 5-7782-0330-6.

5. Дамьяновски, В. CCTV. Библия охранного телевидения / Владо Дамьяновски. Пер. с англ. - М.: ООО «Ай-Эс-Эс Пресс», 2003. - 344 с. : ил.- ISBN 5-87049-260-2.

6. Ильман, В. М. Алгоритмы триангуляции плоских областей по нерегулярным сетям точек / В. М. Ильман // Алгоритмы и программы. — 1985. -Вып. 10 (88).-С. 3-35.

7. Никитин, В. В. Телевидение в системах физической защиты: Учеб. Пособие / В. В. Никитин, А. К. Цыцулин. СПб. гос. электротехнич. университет. - СПб., «ЛЭТИ», 2001. - 132 с.

8. Ташлинский, А. Г. Оценивание параметров пространственных деформаций последовательностей изображений / А. Г. Ташлинский. -Ульяновский государственный технический университет. Ульяновск, УлГТУ, 2000.- 132 с.

9. Феофанов, К. В. Обработка изображений автомобильных регистрационных знаков / К. В. Феофанов // Измерительные информационные технологии: Сборник статей. СПб.: факультет технической кибернетики СПбГПУ, 2005. - С. 82-90.

10. Феофанов, К. В. Блочный алгоритм оценки оптического потока на основе максимума взаимной информации / К. В. Феофанов // Научно-технические ведомости СПбГТУ. СПб., 2006. — №5. Т.1. Естественные и технические науки. — С. 138-142.

11. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс. Пер. с англ. - М. : Издательский дом "Вильяме", 2004. -928 с.

12. Хромов, Л. И. Видеоинформатика. Передача и компьютерная обработка видеоинформации / Л.И. Хромов, А.К. Цицулин, А.Н. Куликов. -М.: Радио и связь, 1991. 192 с. - ISBN 5-256-00892-7

13. Baker, S. Super-resolution optical flow / S. Baker, T. Kanade // Technical Report CMU-RI-TR-99-36, The Robotics Institute, Carnegie Mellon University. -1999.

14. Barber, С. B. The Quickhull Algorithm for Convex Hulls / С. B. Barber, D. P. Dobkin, H. T. Huhdanpaa // ACM Transactions on Mathematical Software. — 1996. T. 22, № 4. - C. 469-483.

15. Barron, J. L. Performance of Optical Flow Techniques / J. L. Barron, D. J. Fleet, S. S. Beauchemin // International Journal of Computer Vision. 1994. -T. 12, № 1, C. 43-77.

16. Borman, S. Block-matching sub-pixel motion estimation from noisy, under-sampled frames an empirical performance evaluation / S. Borman, M. Robertson, R. Stevenson // Proceedings of the SPIE. - 1999. - T. 3653, № 1. - C. 1442-1451.

17. Borman, S. Image resampling and constraint formulation for multi-frame super-resolution restoration / S. Borman, R. Stevenson//Proceedings of the SPIE. San Jose, CA, USA, 2003. - T. 5016, №1.

18. Bovik, A. Handbook of image and video processing / A. Bovik, J. Gibson. — Academic Press, 2000.

19. Burt, P. Smart sensing within a pyramid vision machine / P. Burt: // Proc. IEEE. 1988. - T. 76. - С 1006-1015.

20. Chan, M. Variable: size: block matching motion compensation with applications to video coding / M. Chan , Y. Yu , A. Constantinides // IEE Proc. I, Gommun. Speech Vis. 1990. - T. 137. - C. 205-212.

21. Chiang, M. Efficient image warping and.superrresolution / M. Chiang, T. Boult // In Proceedings of the Third Workshop on Applications of Computer Vision. 1996. - Декабрь. - С. 56-61.

22. Chiang, M. Efficient super-resolution via image warping / M. Chiang, T. Boult // Image and Vision Computing. 2000. - T. 18, Вып. 12. - С. 761-771.

23. Clark, J. A transformation method for the reconstruction of functions from non-uniformly spaced samples / J. Clark, M. Palmer, P. Laurence // IEEE

24. Transactions on Acoustics Speech and Signal Processing. 1985. - № 33(4). - C. 1151-1165.

25. Coban, M. Z. A fast exhaustive search algorithm for rate-constrained motion estimation / M. Z. Coban , R. M. Mersereau // IEEE Trans, on Image Processing. 1998. - T. 7 , № 5. - C. 769-773.

26. Crochiere, R. E. Interpolation and decimation of digital signals A turorial review / R. E. Crochiere , L. R. Rabiner // Proc. IEEE. - 1981. - T. 69, № 3, C. 300-331.

27. Denney, T. S. Optimal brightness functions for optical flow estimation of deformable motion / T. S. Denney, J. L. Prince // IEEE Trans, on Image Processing. 1994. — T. 3 , № 2. — C. 178-191.

28. Dufaux, F. Motion estimation techniques for digital TV: A review and a new contribution / F. Dufaux, F. Moscheni // Proc. IEEE. 1995. - T. 83, Июнь. — С. 858-876.

29. Elad, M. Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images / M. Elad, A. Feuer // IEEE Trans, on Image Processing. 1997. - T. 6, № 12. - С. 1646-1658.

30. Enkelmann, W. Investigations of multigrid algorithms for the estimation of optical flow fields in image sequences / W. Enkelmann // Comput. Vis. Graph. Image Process. 1988. -T. 43. -C. 150-177.

31. Fleet, D. J. Computation of component image velocity from local phase information / D. J. Fleet, A. D. Jepson // International Journal of Computer Vision. 1990.-№ 5(1).-C. 77-104.

32. Fleet, D. J. Measurement of image velocity / D. J. Fleet. Kluwer Academic Publishers Norwell, MA, USA, 1992.

33. Fleet, D. J. Optical flow estimation / D. J. Fleet, Y. Weiss // Mathematical models for Computer Vision: The Handbook. Springer, 2005.

34. Foi, A. Pointwise Shape-Adaptive DCT for High-Quality Denoising and Deblocking of Grayscale and Color Images / A. Foi, V. Katkovnik, K.

35. Egiazarian // IEEE Transactions on Image Processing. — 2007. T. 16, Вып. 5, С. 1395- 1411.

36. Gao, X. Q. A multilevel successive elimination algorithm for block matching motion estimation / X. Q. Gao, C. J. Duanmu , C. R. Zou // IEEE Trans. Image Processing. 2000. - T. 9, № 3. - C. 501-504.

37. Hardie, R. Joint MAP registration and high-resolution image estimation using a sequence of undersampled images / R. Hardie, K. Barnard, E. Armstrong // IEEE Trans. Image Processing. 1997. -T. 6., Дек. - С. 1621-1633.

38. Horn, В. Determining optical flow / B. Horn, B. Schunk // Artificial Intelligence. 1981.-T. 17,№8.-C. 185-203.

39. Jain, J. R. Displacement measurement and its application in interframe image coding / J. R. Jain, A. K. Jain // IEEE Trans. Commun. 1981. - COM-29, Дек. - С. 1799-1808.

40. Kanade, Т. A stereo matching algorithm with an adaptive window: theory and experiment / T. Kanade, M. Okutomi // IEEE Transaction on Pattern Analysis and Artificial Machine Intelligent. 1994. - № 9. - C. 920-932.

41. Katkovnik, V. A new method for varying adaptive bandwidth selection / V. Katkovnik // IEEE Trans. Signal Process. 1999. - T. 47, № 9. - C. 25672571.

42. Katkovnik, V. Adaptive varying window size selection based on intersection of confidence intervals rule / V. Katkovnik, K. Egiazarian, I. Schmulevic // NSIP 2001 Nonlinear Signal and Image Processing Conference. — 2001.

43. Kim, S. Reconstruction of 2-D bandlimited discrete signals from nonuniform samples / S. Kim, N. Bose // Proceeding of the IEE. — 1990. — Вып. 137. -С. 197-204.

44. Kim, S. Recursive reconstruction of high resolution image from noisy undersampled multiframes / S. Kim, N. Bose, H. Valenzuela // IEEE Trans. Acoust., Speech, Signal Processing. 1990. -T. 38, Июнь. - С. 1013-1027.

45. Kim, S. Recursive high-resolution reconstruction of blurred multiframe images / S. Kim, W. Su // IEEE Trans. Image Processing. — 1993. T. 2, Октябрь.- С. 534-539.

46. Koga, Т. Motion-compensated interframe coding for video conferencing / T. Koga // In Proc. Nat. Telecommun. Conf. New Orleans, LA, 1981. - Ноябрь. -С. G5.3.1-G5.3.5.

47. Konrad, J. Bayesian estimation of motion vector fields / J. Konrad, E. Dubois // IEEE Trans. Pattern Anal. Machine Intell. 1992. - T. 14, Сентябрь. -С. 910-927.

48. Kuglin, С. The phase correlation image alignment method / C. Kuglin, D. Hines // In Proc. IEEE Int. Conf. Cybern. Soc. 1975. - C. 163-165.

49. Kuo-Liang, C. A new predictive search area approach for fast block motion estimation / Kuo-Liang Chung, Lung-Chun Chang. // IEEE Trans. Image Processing. 2003. - T. 12, № 6, C. 648-652.

50. Li, W. Successive elimination algorithm for motion estimation / W. Li, E. Salari // IEEE Trans. Image Processing. 1995. - vol. 4, № 1. - C. 105-107.

51. Liu, H. A general motion model and spatio-templral filters for computing optical flow / H. Liu, Т. H. Hong, M. Herman, R. Chellappa // Int. J. Сотр. Vis. -1997.-Вып. 22.-С. 141-172.

52. Liu, H. Accuracy vs. Efficiency Trade-offs in Optical Flow Algorithms / H. Liu, Т. H. Hong, M. Herman, R. Chellappa // Computer Vision and Image Understanding. 1998. - T.72, Вып. 3. - С. 271 - 286.

53. Liu, H. Fast two-frame multiscale dense optical flow estimation using discrete wavelet filters / H. Liu, R. Chellappa, A. Rosenfeld // J. Opt. Soc. Am. A.2003. — T. 20, № 8. — C. 1505-1515.

54. Lucas, В. An iterative image registration technique with an application to stereo vision / B. Lucas, T. Kanade // Proc. DARPA Image Understanding Workshop. 1984. - C. 121-130.

55. McCane, B. On Benchmarking Optical Flow / В. McCane, K. Novins, D. Crannitch, B. Galvin // Computer Vision and Image Understanding. — 2001. -Вып. 84.-С. 126-143.

56. Milanfar, P. Two-dimensional matched filtering for motion estimation / P. Milanfar// IEEE Trans, on Image Processing. 1999. - T. 8, № 3. - C. 438444.

57. Nagel, H. An investigation of smoothness constraints for the estimation of displacement vector fields from images sequences / H. Nagel, W. Enkelmann // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 1986. Вып. 8, № 5. - С. 565-593.

58. Namazi, N. M. Nonuniform image motion estimation using the maximum a posteriori principle / N. M. Namazi, J. I. Lipp // IEEE Trans, on Image Processing. 1992. - Т. 1, № 4. - C. 520-525.

59. Namazi N.M., Lipp J.I. Nonuniform image motion estimation in reduced coefficient transformed domains / N. M. Namazi, J. I. Lipp // IEEE Trans, on Image Processing. 1993. - T. 2, № 2. - C. 236-246.

60. Nesi, P. Analysis of optical flow constraints / P. Nesi, A. Del Bimbo , J. L. C. Sanz // IEEE Trans, on Image Processing. 1995. - T. 4, № 4. - C. 460469.

61. Nguyen, N. Efficient generalized cross-validation with applications to parametric image restoration and resolution enhancement / N. Nguyen, P. Milanfar, G. Golub // IEEE Trans, on Image Processing. 2001. - T. 10. - C. 1299-1308.

62. Nicolas, H. Region-based motion estimation using deterministic relaxation schemes for image sequence coding / H. Nicolas, C. Labit // in Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing. 1992. - T. 1605, Апрель. - С. 265-268.

63. Okutomi, M. A locally adaptive window for signal matching / M. Okutomi, T. Kanade // Proc. Int. Conf. Comput. Vision. 1990. - Декабрь.

64. Otte, M. Estimation of optical flow based on higher-order spatiotemporal derivatives in interlaced and non-interlaced image sequences / M. Otte, H.-H. Nagel // Artif. Intell. 1995. - Вып. 78. - С. 5-43.

65. Ozkan, M. K. POCS-based restoration of space-varying blurred images / M. K. Ozkan , A. M. Tekalp , M. I. Sezan // IEEE Trans. Image Processing. -1994. T. 3, № 4. - C. 450-454.

66. Park, C. Super-resolution image reconstruction: a technical overview / C. Park, M. K. Park, M. G. Kang // IEEE Signal Processing Magazine. 2003. -Вып. 3.-C. 21-36.

67. Patti, A. Superresolution video reconstruction with arbitrary sampling lattices and nonzero aperture time / A. Patti, M. Sezan, A. Tekalp // IEEE Trans. Image Processing. 1997. -T. 6, № 8. -C. 1064-1076.

68. Pratt, W. K. Digital Image Processing / W. K. Pratt. John Wiley & Sons, Inc Third Edition, 2001. - ISBN: 0-471-37407-5.

69. Rajagopalan, R. Motion field modeling for video sequences / R. Rajagopalan , M. T. Orchard , R. D. Brandt // IEEE Trans. Image Processing. -1997.-Т. 6,№ Ц.-С. 1503-1516.

70. Sayrol, E. Motion estimation using higher order statistics / E. Sayrol, A. Gasull, J. R. Fonollosa // IEEE Trans. Image Processing. — 1996. T. 5, № 6. — C. 1077-1084.

71. Schultz, R. Extraction of high-resolution frames from video sequences / R. Schultz , R. Stevenson // IEEE Trans. Image Processing. 1996. - T. 5., Июнь -С. 996-1011.

72. Simchony, Т. Pyramid implementation of optimal-step conjugate-search algorithms for some low-level vision problems / T. Simchony, R. Chellappa, Z. Lichtenstein // IEEE Trans. Pattern Anal. Machine Intell. 1989. - T. 19., Ноябрь -С. 1408-1425.

73. Simoncelli, E. P. Probability distribution of optical flow / E. P. Simoncelli, E. H. Adelson , D. J. Heeger // Proc. Conf. Comput. Vis. Patt. Recog. 1991.-C. 310-315.

74. Shan, Z. A new diamond search algorithm for fast block-matching motion estimation / Shan Zhu, Kai-Kuang Ma. // IEEE Trans. Image Processing. — 2000. -T. 9, № 2. C. 287-290.

75. Stark, H. High resolution image recovery from image-plane arrays, using convex projections / H. Stark , P. Oskoui // J. Opt. Soc. Am. A. 1989. - T. 6. -C. 1715-1726.

76. Stiller, C. Object-based estimation of dense motion fields / C. Stiller // IEEE Trans. Image Processing. 1997. - vol. 6, № 2. - C. 234-250.

77. Stiller, C. Estimating motion in image sequences / C. Stiller, J. Konrad // IEEE Signal Processing Magazine. 1999. - T.16. - C. 70-91.

78. SukHwan, L. Optical flow estimation using high frame rate sequences / L. SukHwan, A. El Gamal // International Conference on Image Processing. -2001.-T. 2. C. 925-928.

79. Tekalp, A. Digital Video Processing / A. Tekalp. Prentice Hall, Upper Saddle River, NJ, 1995. - ISBN: 0-13-190075-7.

80. Thevenaz, P. A pyramid approach to subpixel registration based on intensity / P. Thevenaz, U. E. Ruttimann, M. Unser // IEEE Transaction on Image Processing. 1998. - T. 7, № 1. - C. 27-41.

81. Tsai, R. Multiframe image restoration and registration / R. Tsai, T. Huang // Advances in Computer Vision and Image Processing. — JAI Press Inc., 1984. — Т. l.-C. 317-339.

82. Unser, M. Fast B-spline transform for continuous image representation and interpolation / M. Unser, A. Aldroubi, M. Eden // IEEE Transaction on pattern analysis and machine intelligence. 1991. - T. 13, Вып. 3. - С. 277-285.

83. Unser, M. A multiresolution image registration procedure using spline pyramids / M. Unser, A. Aldroubi // Proc. of SP1E, Wavelet Applications in Signal and Image Processing. 1993. — Vol. 2034.

84. Unser, M. B-spline signal processing: Part I — Theory / M. Unser, A. Aldroubi, M. Eden // IEEE Trans. Signal Processing. 1993. - Вып. 2. - С. 821833.

85. Unser, M. B-spline signal processing: Part II — Efficient design and application / M. Unser, A. Aldroubi, M. Eden // IEEE Trans. Signal Processing. -1993. Вып. 2. - С. 834-848.

86. Unser, M. Enlargement or reduction of digital images with minimum loss of information / M. Unser, A. Aldroubi, M. Eden // IEEE Trans. Image Processing. 1995. - T. 4, № 3. - C. 247-258.

87. Unser, M. Mathematical Properties of the JPEG2000 Wavelet Filters / M. Unser, T. Blu // IEEE Transactions on Image Processing. 2003. - T. 12, № 9. -C. 1080-1090.

88. Vandewalle, P. Superresolution images reconstructed from aliased images / P. Vandewalle, S. Susstrunk, M. Vetterli // In SPIE/IS&T Visual Communication and Image Processing Conference. 2003. - T. 5150, Июль. - С. 1398-1405.

89. Viola, P. Alignment by maximization of mutual information / P. Viola, W.M. Wells // International Journal of Computer Vision. 1997. - №24. - C. 137-154.

90. Wang, Y. Video Processing and Communications / Y. Wang, J. Ostermann, Y. Zhang. Prentice Hall, 2002. - ISBN 0-13-017547-1.

91. Weber, J. Robust computation of optical flow in multi-scale differential framework / J. Weber, J. Malik // Int. J. Comput. Vision. 1995. - № 14. - C. 6781.

92. Yong-Sheng, С. Fast block matching algorithm based on the winner-update strategy / Yong-Sheng Chen, Yi-Ping Hung, Chiou-Shann Fuh // IEEE Transactions on Image Processing. 2001. - T. 10, № 8. - C. 1212-1222.

93. Yui-Lam, C. An efficient search strategy for block motion estimation using image features / Yui-Lam Chan, Wan-Chi Siu // IEEE Transactions on Image Processing. 2001. - T. 10, № 8. -C. 1223-1238.