Улучшение качества тепловизионных изображений на основе суперразрешения и анализа ситуаций тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Коссов, Павел Валерьевич

• Коссов, Павел Валерьевич
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Коссов, Павел Валерьевич

Содержание.

Введение.

1 Аналитический обзор и систематизация методов улучшения качества тепловизионных изображений.

1.1 Исследование влияния разрешения на характеристики системы наблюдения.

1.2 Обзор и классификация методов увеличения разрешения изображений.

1.2.1 Микросканирование.

1.2.2 Макросканирование.

1.2.3 Частотные методы увеличения разрешения.'.

1.2.4 Регуляризация Тихонова.

1.2.5 Однокадровые методы увеличения разрешения.

1.2.6 Многокадровые методы увеличения разрешения.

1.3 Краевые эффекты на тепловизионных изображениях высокого разрешения.

1.4 Выводы.

2 Увеличение разрешения методом суперразрешения.

2.1 Метод быстрого суперразрешения.

2.2 Определение межкадровых движений.

2.2.1 Корреляционный алгоритм на основе модуля абсолютной разности.

2.2.2 Дифференциальный метод Лукаса-Канаде.

2.2.3 Комбинированный метод определения межкадровых движений.

2.3 Влияние числа кадров в серии и фактора заполнения матрицы приемника на эффективность методов суперразрешения.

2.4 Выводы.

ЦНЛ ашш^лхио ни Ч/ЧУАХV иишшои VII 1 ^ ицхш. ализ ситуаций и поиск границ, принадлежащих искусственш ениям. ревод координат искусственных сооружений в систему коордиь иск контурных линий.

1.1 Статистические методы обнаружения и распознавания.

Введение диссертации (часть автореферата) на тему «Улучшение качества тепловизионных изображений на основе суперразрешения и анализа ситуаций»

Актуальность. Одной из основных характеристик оптико-электронных тепловизионных систем наблюдения (TUB СН), определяющих эффективность решения целевых задач оператором, является качество сформированного изображения. При этом качество изображения в значительной мере связно с его разрешением, а также точностью отображения границ (краев) объектов интереса [1]. В последние годы применение «смотрящих» фокально - плоскостных двумерных многоэлементных матриц фотоприемников позволило существенно увеличить качество изображений ТВП СН [2-4]. Несмотря на это, разрешение таких приемников значительно ниже аналогичных по классу телевизионных приемников. В большей степени это обусловлено современными технологиями производства! Кроме этого, на тепловизионные приемники высокого разрешения накладываются, жесткие таможенные ограничения, а приемники с разрешением выше 1280x768 серийно не выпускаются.

Увеличение разрешения тепловизионных систем наблюдения возможно осуществлять аппаратными, программными и аппаратно-программными методами. Развитие современной микроэлектроники позволяет успешно применять программные методы увеличения разрешения. Среди программных методов можно выделить методы, использующие один» кадр, и методы, использующие последовательность кадров. В литературе методы, использующие последовательность кадров часто называются методами суперразрешения [5 -10]. Методы суперразрешения используют серию кадров низкого разрешения для получения кадра (кадров) высокого разрешения. Увеличенное таким методом изображение содержит в себе больше деталей, и обладает большей информативностью, чем каждый кадр по отдельности. В то же время, при увеличении разрешения тепловизионных изображений, возможно усиление краевого эффекта — размывания границ наблюдаемых объектов, в частности искусственных (зданий, сооружений)

И]. Для уменьшения влияния краевого эффекта предлагается обрабатывать эти границы специальным фильтром. При этом обрабатываемые области предварительно локализуются с помощью анализа наблюдаемой ситуации, реализуемого вычислителем системы наблюдения.

Цифровой обработке изображений в отечественной и зарубежной литературе посвящено большое число работ [12-—16]. Тем не менее, в настоящее время в тепловизионных системах наблюдения для улучшения качества не применяются методы увеличения разрешения, основанные на методах суперразрешения' и анализе наблюдаемой ситуации. Восстановление этих границ на основе традиционного; использования, например,, высокочастотных фильтров, не всегда позволяет , получать . желаемые результаты, либо вообще может привести к искажению.формьг полученных линий по отношению к истинным: (идеальным) границам изображений объектов. В связи с этим исследование и- разработка методов' улучшения качества тепловизионных изображений на основе суперразрешения и анализа ситуаций является актуальной задачей.

Целью диссертационной, работы является- улучшение качества предъявляемых оператору тепловизионных изображений за счет повышения разрешения: методами суперразрешения и точности отображения краев искусственных объектов на основе использования методов анализа ситуаций.

Для достижения сформулированной цели необходимо решить следующие основные задачи:

• исследовать влияние разрешения приемника ТПВ на вероятности; обнаружения/распознавания целей в зависимости от их дальности;

• провести анализ известных алгоритмов увеличения разрешения - изображений и выделить наиболее эффективные из них;

• разработать метод компенсации краевых эффектов на тепловизионных изображениях высокого разрешения на основе анализа ситуации;

• разработать комплексный алгоритм улучшения качества тепловизионных изображений;

• провести исследование разработанного' комплексного алгоритма и предложить критерий оценки качества восстановленного изображения;

• провести исследования, подтверждающие работоспособность и эффективность предлагаемых решений;

Методы исследования. В работе использованы методы^ математического моделирования, цифровой* обработки*, сигналов, теории вероятностей, математической статистики, компьютерного • зрения. Моделирование проводилось в среде Microsoft VisuaL Studio, Matlab, Borland, Delphi. Для« реализации, алгоритмов использовались языки- С и С++ в среде программирования Texas Instruments^ Code Composer Studio» для DSP-процессоров серии TMS320C64xx'.

Научная новизна работы состоит в следующем:

1. Определены особенности: применения методов суперразрешения при обработке тепловизионных изображений: Показана» зависимость эффективности методов суперразрешения, от числа используемых кадров в серии и величины фактора заполнения матрицы^приемника.

2. Предложен, критерий оценки,качества изображения, основанный на использовании среднеквадратического отклонения производной яркости.

3. Разработан метод обнаружения краев сегментируемых областей на тепловизионном изображении искусственных сооружений; основанный на анализе ситуаций, в том числе с использованием цифровых карт местности.

4. Разработана методика улучшения качества тепловизионных изображений, содержащих искусственные сооружения.

Практическая ценность работы заключается в том, что разработанный и реализованный алгоритм позволяет программными средствами существенно (до 4-х раз) увеличивать разрешение и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений. Это повышает эффективность работы оператора-наблюдателя системы наблюдения в задачах обнаружения, распознавания, слежения и т.п. Также возможно использование результатов работы при модернизации серийно выпускаемых тепловизионных систем наблюдения, в том числе, в многоканальных системах с комплексированием изображений [17-19].

Достоверность результатов, полученных в работе, подтвердилась результатами математического моделирования, а также в процессе проводимых исследований и,испытаний в ЗАО «ТПК «Линкос» в.рамках НИР «Интриган», ОКР: «Интриган-Д2», «Тайфун-М-ОЭС», что подтверждается, соответствующими*актами о внедрении результатов-диссертационной работы.

Апробация работы. Основные положения докладывались на 18-ом международном научно-техническом семинаре «Алушта-2009», на VIII' всероссийской юбилейной научно-технической конференции «Проблемы совершенствования робототехнических и интеллектуальных систем* летательных аппаратов», 9-ой Международной* конференции* «Авиация и. космонавтика-2010», научно-технической конференции «Техническое зрение в системах управления - 20Г1».

Публикации. По результатам диссертационной работы опубликовано 4 работы, в том числе 2 научно-технических статьи в изданиях, включенных.в перечень ВАК.

Структура и объем работы.

Диссертация состоит из введения, четырех глав, заключения, списка литературы. Работа изложена на 111 страницах машинописного текста, содержит 43 рисунка, 7 таблиц и 63 наименования литературных источников.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Коссов, Павел Валерьевич

4.5 Выводы

Разработан критерий оценки качества изображения, основанный на использовании среднеквадратического отклонения координаты максимума производной яркости вдоль границы.

Разработан1 комплексный алгоритм улучшения качества тепловизионных изображений, основанный на методе суперразрешения и предложенном методе компенсации краевых эффектов, позволяющий существенно (до 4-х раз) увеличивать разрешение изображений и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений.

На основании результатов экспериментов, проведенных с помощью опытных образцов разрабатываемой ТПК «Линкос» ТПВ СН показано, что предлагаемые решения являются работоспособными и позволяют в существенной степени повысить качество предъявляемых оператору тепловизионных изображений.

Заключение

В представленной работе сформулирована и решена актуальная техническая- задача улучшения качества предъявляемых оператору тепловизионных изображений1 за счет повышения разрешения методами суперразрешения> и точности отображения^ краев искусственных объектов на основе использования методов анализа ситуаций.

В рамках проведенных системных исследований было показано, что многокадровые методы; суперразрешения являются наиболее эффективными, программными методами увеличения разрешения; В: частности; ошибки восстановленных кадров методом суперразрешения ниже на 45-65% наиболее простых методов? ближайшего соседа и на 25-35% наиболее эффективных однокадровых методов бикубической интерполяции: Кроме того; на основе проведенного анализа методов суперразрешения« показано;- что важным? параметром, влияющим* на эффективность, методов . суперразрешения, является число используемых кадров в серии и-величина-фактора заполнения матрицы? приемника-. При этом, т.к. тепловизионные матрицы имеют; существенно . более низкий« фактор,' заполнения, применение: метода; суперразрешения; к ТПВ видеопоследовательностям более эффективно, чем к телевизионным видеопоследовательностям: В среднем разница; в эффективности, применения методов суперразрешения; для ТВ и ТПВ около 13-17%.

Предварительная реализация методов; суперразрешения показала;, что при увеличении разрешения тепловизионных изображений возможно также увеличение нежелательных краевых эффектов, с целью устранения которых, были определены направления исследований, основанные на использовании методов анализа ситуаций.

На основе выбранных направлений исследований предложены, и реализованы методы и алгоритмы, позволяющие решить поставленные в работе задачи:

1. Реализован алгоритм быстрого суперразрешения. Отмечено, что одним из основных этапов увеличения разрешения методами быстрого суперразрешения'является определение межкадрового движения. Предложен комбинированный метод определения межкадрового движения, суть которого состоит в том, чтобы проводить грубую оценку блочным методом, а уточнять и проводить субпиксельную оценку методом Лукаса-Канаде.

2. Разработан критерий* оценки качества изображения, основанный на использовании' среднеквадратического отклонения координаты максимума производной яркости вдоль границы.

3. Разработан,метод компенсации краевых эффектов, обеспечивающий повышение точности отображения краев объектов интереса (зданий, искусственных сооружений) на тепловизионном изображении- высокого разрешения, при этом, локализация обрабатываемых областей, позволяющая определить границы искусственных объектов, выполняется на основе анализа наблюдаемой ситуации и использовании цифровых карт местности.

4. Предложено использование статистических методов обнаружения- и, распознавания для принятия» решения о принадлежности контурной линии искусственному сооружению. В качестве признака принадлежности^ найденных линий искусственным сооружениям предлагается! использовать, среднеквадратическое отклонение координаты максимума производной яркости вдоль границы линии. В зависимости от наличия цифровых карт местности рассмотрены, различные критерии- обнаружения. Предлагается использовать критерий идеального наблюдателя' Зигерта-Котельникова для случая использования цифровых карт местности, а также критерий максимального правдоподобия Фишера для случая их отсутствия.

5. Предложен фильтр для двухстороннего восстановления окраски приграничных областей фона и объекта на основе сглаживания их яркостей.

Данный фильтр в наименьшей степени изменяет области, прилегающие к обрабатываемой линии, и предотвращает появление артефактов и искажений формы полученных линий по отношению к истинным границам изображений объектов.

6. Разработан комплексный алгоритм улучшения качества тепловизионных изображений, основанный на методе суперразрешения и предложенном методе компенсации краевых эффектов, позволяющий существенно (до 4-х раз) увеличивать разрешение изображений и до 10 раз уменьшать СКО координаты максимума производной яркости вдоль границы искусственных сооружений.

7. На основании результатов экспериментов, проведенных с помощью опытных образцов разрабатываемых ТПК «Линкос» тепловизионных систем наблюдения показано, что предлагаемые решения являются работоспособными и позволяют в существенной степени повысить качество предъявляемых тепловизионных изображений.

Список литературы диссертационного исследования кандидат технических наук Коссов, Павел Валерьевич, 2011 год

1. Теория передачи и восприятия изображений. Красильников Н.Н. -М.: Радио и связь, 1986.

2. Волков В.Г., Ковалев А.В., Федчишин В.Г. Тепловизионные приборы нового поколения. Специальная техника. 2004.

3. Илюшин В.А. Многоэлементные фотоприемные устройства и тепловизоры: Учеб. пособие. — Новосибирск: Изд-во НГТУ, 2003.

4. Irani М., Peleg S. Super resolution from image sequences. Departament of Computer Science The Hebrew University of Jerusalem, Israel, June 1990.

5. S. Farsiu, D. Robinson, M. Elad, and P. Milanfar. Fast and Robust Multi-frame Super-resolution. IEEE Transactions on Image Processing, vol. 13, 2004.

6. A. Krokhin. Superresolution in image sequences. Boston, 2005.

7. Насонов A.B., Крылов А.С. Быстрое суперразрешение изображений с использованием взвешенной медианной фильтрации // Труды 12-й международной конференции и выставки «Цифровая обработка сигналов и её применение» (DSPA2010), т. 2. Москва, 2010. С. 101-104.

8. A.W.M. van Eekeren. Super-Resolution of Moving Objects in Under-Sampled Image Sequences. Delft, 2009.

9. Trimeche. Super-Resolution Image Reconstruction Using Non-Linear Filtering Techniques. Tampere, 2006.7.M. Trimeche. Super-Resolution.

10. Ким H.B., Коссов П.В., Михеев C.M. Увеличение информативности телевизионных и тепловизионных изображений // Вестник компьютерных и информационных технологий. 2011. №11.

11. Гонсалес Р., Вудс Р. Цифровая обработка изображений. — М.:Техносфера, 2005.

12. Прэтт. У. Цифровая обработки изображений: Пер. с анг.- М.: Мир, 1982.

13. Форсайт А., Понс Дж. Компьютерное зрение. Современный подход. -М.: Вильяме, 2004.

14. Ярославский Л.П. Введение в цифровую обработку изображений. — М.: Советское Радио, 1979.

15. Визильтер. Ю.В. Желтов С.Ю., Бондаренко А.В., Ососков М.В„ Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: Курс лекций и практических занятий,- М.: Физматкнига, 2010.

16. Иванов Е.Л., Смагин М.С. Слияние изображений в многоканальной системе наблюдения местности // Датчики и системы.-2006.-№11. С.6-9.

17. Blum R.S. Multi-Sensor Image Fusion and Its Applications / Blum R.S., Liu Z. // Signal Processing and Communications.- 2006.- C.40-42.

18. Дж. Ллойд, Системы тепловидения. Москва, Мир, 1978

19. Gerald С. Hoist, Electro-optical imaging system performance, Second Ed., SPIE Optical engineering press, 2000.

20. Krapels K., Driggers R., Garcia J., III. Optics Express. Vol. 15, № 19, pp 12296-12305.

21. Cabanski W., Breiter R., Mauk K-H. Miniaturized high performance starring thermal imaging system. -SPIE Proc., vol. 4028 (2000), p.p. 208 219.

22. Тарасов B.B., Якушенков Ю.Г. Некоторые пути совершенствования тепловизионных систем. Специальная техника. 2004. №2.

23. Cabanski W., Breiter R., Koch R. et al. Third generation focal plane array IR detection modules at AIM SPIE Proc., vol.4369 (2001), p.p.547 - 558.

24. Scan 5000. — URL: http://scanner.pentacon.de/index.php?id=l 1 &L=1

25. Schneider D., Potzsch M., Maas H.-G. Accuracy and application potential of the 94 megapixel RGB macro-scanning camera Pentacon Scan 5000.

26. Винер H., Пэли P. Преобразование Фурье в комплексной плоскости: Пер. с англ. М.: Наука, 1964. - 267 с.

27. Василенко Г.И., Тараторин A.M. Восстановление изображений. — М.: Радио и связь, 1986. 304 с.

28. Хонина С.Н., Баранов В.Г., Котляр В.В. Спектральный метод увеличения фрагментов цифровых изображений. Компьютерная оптика. 1999. №19.

29. Soifer V.A., Kotlyar V.V., Doskolovich L.L. Iterative methods for diffractive optical elements computation. London: Taylor & Francis, 1997.32; Тихонов A.H., Арсенин В.Я. Методы- решения некорректных задач. М.: Наука, 1979.- 286 с.

30. Насонов А. В., Крылов А.Г., Лукин А.С. Увеличение разрешения изображения с использованием метода регуляризации Тихонова. Материалы международной конференции "Тихонов и современная математика". Москва, 2006. №1. С. 1-1.

31. Математическая энциклопедия. Под редакцией И.М. Виноградова. -М.: Советская энциклопедия, 1977.

32. Denney, Т. S. Optimal brightness functions for optical flow estimation of deformable motion / T. S. Denney, J. L. Prince // IEEE Trans, on Image Processing. 1994. T . 3 , № 2. - С 178-191.

33. Elad, M: Restoration of a single superresolution image from: several blurred, noisy, and, undërsamplèd measured images / M. Elad, A. Feuer // IEEE Trans, on Image Processing;,- 1997. T. 6, № 12. - G 1646-1658.

34. Nguyen, N. Efficient generalized cross-validation; with applications to parametric image restoration and resolution enhancement / N. Nguyen, P. Milanfar, G; Golub // IEEE Trans, on Image Processing. 2001. - T. 10. - C. 1299-1308.

35. Park, C. Super-resolution image reconstruction: a technical overview / Park, M. K. Park, M. G: Kang // IEEE Signal Processing Magazine. 2003. - Вып: 3 . - G 21-36: "

36. Ким H: В; «Обработка и анализ изображений в системах технического зрения: Учебное пособие» М. Изд-во МАИ, 2001.

37. Солонина А.И., Улахович Д.А., Яковлев JI.A. «Алгоритмы и процессоры цифровой обработки сигналов»: СПб.: БХВ-Петербург,:2001.46; Хорн?Б:К. Зрение роботов.г Mt: Мир, 1989;

38. Zhigang Zhu, Guangyou Xu, Yudong Yang, Jesse S. Jin "Stabilization . Based on 215DjMotion Estimation and Inertia!'Motion Filtering". Department of Computer Science and Technology, Tsinghua University, China.

39. К.-Н. Lee, S.-H. Lee, S.-J. Ко. «Digital image stabilizing algorithms based on bit-plane matching». IEEE Transactions on Consumer Electronics, Vol. 44, No. 3, pp. 617-622, August 1998.

40. Eddy Vermeulen «Real-Time Video Stabilization For Moving Platforms». 21st UAV Bristol Systems Conference, April 2007.

41. Т.-К. Chiew, P. Hilll, D.R. Bulll, C.N. Canagarajah. "Robust global motion estimation using the Hough transform for real time video coding". Picture Coding Symposium 2004, December 2004.

42. A. Litvin, J. Konrad; W.G. Karl. Probabilistic Video Stabilization Using Kalman Filtering and Mosaicking. Proceedings of SPIE Conference on Electronic Imaging, 2003.

43. Carlos Morimoto, Rama Chellappa. "Fast Electronic Digital Image Stabilization for Off-Road Navigation". Computer Vision laboratory, Center for Automation Research, University of Maryland.

44. Bouguet J.-Y. Pyramidal Implementation of the Lucas Kanade Feature Tracker. Intel Corporation Microprocessor Research Labs, 2000.

45. Дуда. P., Харт П. Распознавание образов и анализ сцен: Пер. с анг,-М.:Мир, 1976.

46. Марр. Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. — М.: Радио и связь, 1987.

47. Б. Яне. Цифровая обработка изображений. Техносфера, 2007. — 584с.

48. Milan Sonka, Vaclav Hlavac, Roger Boyle. Image processing, analysis and Machine vision. 2008.

49. H.B. Ким. Алгоритмы сжатия изображения. Учебное пособие. — М.: Изд-во МАИ, 2005.

50. D. Sorokin. A. Krylov. Short Reference Image Quality Estimation Using Modified Angular Edge Coherence. Moscow, 2010.