Адаптивный видеодатчик на базе КМОП приемника излучения с предварительной обработкой изображений тема диссертации и автореферата по ВАК РФ 05.13.05, кандидат технических наук Табаси Сейед Хашем

• Табаси Сейед Хашем
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Табаси Сейед Хашем

ВВЕДЕНИЕ

1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ СОВРЕМЕННЫХ 10 ВИДЕОДАТЧИКОВ НА БАЗЕ КМОП ПРИЕМНИКОВ ИЗЛУЧЕНИЯ И МЕТОДОВ ОБРАБОТКИ ИЗОБРАЖЕНИЙ, ИСПОЛЬЗУЕМЫХ В НИХ

1.1. Методы обработки изображений

1.2. Современные видеодатчики на основе КМОП приемников 29 излучения

Выводы

2. МАТЕМАТИЧЕСКАЯ МОДЕЛЬ АДАПТИВНОГО 52 ВИДЕО ДАТЧИКА НА БАЗЕ КМОП ПРИЕМНИКА ИЗЛУЧЕНИЯ С ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКОЙ ИЗОБРАЖЕНИЙ

Вывод

3. СОЗДАНИЕ АППАРАТНО-ОРИЕНТИРОВАННОГО АЛГОРИТМА 61 ПРОСТРАНСТВЕННОЙ ФИЛЬТРАЦИИ И БЫСТРОГО АЛГОРИТМА АДАПТИВНОЙ ИНТЕРПОЛЯЦИИ ИЗОБРАЖЕНИЯ

3.1. Алгоритм адаптивной интерполяции

3.2. Аппаратно-ориентированный алгоритм пространственной 74 фильтрации изображений

Выводы

4. СТРУКТУРНО-ФУНКЦИОНАЛЬНАЯ ОРГАНИЗАЦИЯ 84 АДАПТИВНОГО ВИДЕОДАТЧИКА С ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКОЙ ИЗОБРАЖЕНИЙ.

4.1. Структурно-функциональная организация КМОП видеодатчика

4.2. Оптико-электронный адаптивный датчик на базе КМОП 86 приемника излучения

4.3. Адаптивный видеодатчик с предварительной обработкой 90 изображений

4.4. Моделирование параметров адаптивного видеодатчика на базе 96 КМОП приемника излучения с предварительной обработкой изображений

Выводы

Введение диссертации (часть автореферата) на тему «Адаптивный видеодатчик на базе КМОП приемника излучения с предварительной обработкой изображений»

Актуальность. В настоящее время видеодатчики на базе КМОП приемников излучения (ПИ) применяются в различных отраслях науки, техники и промышленности: в системах управления технологическими процессами, в биомедицинских системах, системах наблюдения, охраны и безопасности, видеокамерах, фотоаппаратах, мобильных телефонах и т.д. В таких видеодатчиках имеется возможность предварительной обработки визуальной информации в процессе ее восприятия за счет объединения в пределах одного кристалла фотоприемника, устройств развертки, квантования и модулей, реализующих процедуры обработки изображения.

Наиболее распространенными процедурами обработки изображений, получаемых с видеодатчиков на базе КМОП ПИ, реализуемыми непосредственно на кристалле видеодатчика, являются процедуры преобразования изображения в цифровой формат, уменьшения шумов, компенсации эффекта размытости изображения. В системах технического зрения, построенных на основе современных видеодатчиков на базе КМОП ПИ, такие важные операции как пространственная фильтрация, интерполяция, сжатие, распознавание изображений выполняются с использованием внешних специализированных устройств обработки, что снижает быстродействие таких систем и не позволяет вести предварительную обработку изображения непосредственно в процессе его получения. Кроме того, широко используемая в современных видеодатчиках операция интерполяции изображения, при которой выполняется масштабирование (увеличение) изображения, не позволяет получать четкое изображение, поскольку используемые методы линейной, билинейной и бикубической интерполяции снижают качество изображения, что в зависимости от используемого метода и типа обрабатываемого изображения проявляется в виде блочного дефекта или снижения резкости, и вызывает необходимость разработки алгоритмов интерполяции, учитывающих особенности обрабатываемых изображений.

Поскольку априорная неопределенность условий функционирования видеодатчиков вызывает необходимость использования адаптивных алгоритмов обработки изображения, а в большинстве современных видеодатчиков на базе КМОП ПИ происходит только формирование матрицы яркостей изображения, тогда как фильтрация и интерполяция выполняются в отдельных устройствах, то аппаратная реализация адаптивных алгоритмов обработки изображения непосредственно на кристалле видеодатчика с использованием параллельных структур позволит значительно ускорить процесс обработки изображения и обеспечит расширение функциональных возможностей видеодатчика.

Таким образом, актуальной научно-технической задачей является расширение функциональных возможностей и повышение быстродействия видеодатчиков на базе КМОП ПИ за счет аппаратной реализации алгоритмов предварительной обработки изображений.

Работа выполнялась в рамках плана НИР Курского государственного технического университета по единому заказ-наряду Министерства образования РФ в 2006-2008 годах.

Цель диссертации: разработка теоретических и реализационных основ создания видеодатчиков на базе КМОП приемников излучения с возможностью интерполяции изображений и адаптацией к изменению параметров яркости рабочей сцены на основе фильтрации в режиме реального времени.

В соответствии с поставленной целью в работе решаются следующие задачи:

Заключение диссертации по теме «Элементы и устройства вычислительной техники и систем управления», Табаси Сейед Хашем

Выводы

1. Разработана структурно-функциональная организация ряда адаптивного видеодатчика с предварительной обработкой изображения на базе КМОП приемника излучения.

2. Анализ характеристик разработанного адаптивного видеодатчика и устройств обработки изображений на основе видеодатчиков-аналогов показал, что разработанный видеодатчик обладает расширенными функциональными возможностями, а скорость получения выходных изображений с учетом выполнения операций фильтрации или интерполяции (масштабирования) у разработанного видеодатчика до 2-х раз выше.

ЗАКЛЮЧЕНИЕ

При решении поставленной в диссертационной работе задачи были получены следующие результаты.

1. По результатам анализа существующих методов и устройств фильтрации сигнала в видеодатчиках разработана математическая модель адаптивного видеодатчика с предварительной обработкой изображений, отличающаяся введением модели обработки сигнала и позволяющая учесть параметры обработки изображения для адаптации видеодатчика к изменению рабочей сцены.

2. Разработаны алгоритм адаптивной интерполяции изображения, основанный на комбинации алгоритмов линейной, билинейной и бикубической интерполяции и аппаратно-ориентированный алгоритм пространственной фильтрации изображения, позволяющий сократить время обработки изображений.

3. Разработана структурная схема адаптивного видеодатчика с предварительной обработкой изображений на базе КМОП приемника излучения с цифровыми пикселями, обеспечивающего фильтрацию и адаптивную интерполяцию изображения непосредственно в процессе его получения, отличающиеся использованием параллельных структур и позволяющие повысить быстродействие за счет конвейерно-параллелыюй организации вычислений.

4. Сравнительный анализ характеристик разработанного адаптивного видеодатчика и устройств обработки изображений на основе видеодатчиков-аналогов показал, что разработанный видеодатчик обладает расширенными функциональными возможностями, а скорость получения выходных изображений с учетом выполнения операций фильтрации или интерполяции (масштабирования) у разработанного видеодатчика до 2-х раз выше.

Список литературы диссертационного исследования кандидат технических наук Табаси Сейед Хашем, 2009 год

1. Табаси, С.Х. Оптико-электронный адаптивный датчик на базе КМОП приемника излучения Текст. / С.Х. Табаси, B.C. Панищев // Датчики и системы. 2009. - № 2. - С. 23-25.

2. Табаси, С.Х. Алгоритм адаптивной интерполяции изображений Текст. / С.Х. Табаси, B.C. Панищев, B.C. Титов // Телекоммуникации. 2009. - № 1. -С. 16-19.

3. Табаси, С.Х. Уменьшение внутренних шумов видеодатчиков Текст. / С.Х Табаси, В.С Панищев, B.C. Яковлева // Материалы научно-технической конференции «Материалы и упрочняющие технологии-2008». г.Курск. 2008. — С.278 - 280.

4. Tabasi, S.H. Homoclinic Bifurcation in a Non-Smooth Differential Equation with Quasiperiodic Behavior Text. / S.H. Tabasi , ZH.T. Zhusubaliyev, V.S. Titov, S.Yu. Chevychelov. Journal ofDamghan University of Basic Sciences, volume 1, № 2 2008 . c. 57-62.

5. Tabasi, S.H. Chaotic and Quasiperiodic Oscillations in Piecewise Smooth Dynamical Systems Text. / S.H. Tabasi , ZH.T. Zhusubaliyev, S.Yu. Chevychelov. Journal ofDamghan University of Basic Sciences, volume 1, № 2 — 2008 . c. 63-68.

6. Методы компьютерной обработки изображений Текст. / Под ред. В.А. Сойфера. М.: Физматлит. - 2001. - 784 с.

7. Обработка изображений и цифровая фильтрация Текст.: Пер. с англ. под ред. Т. Хуанга. М.: Мир. - 1979.

8. Прэтт, У. Цифровая обработка изображений: В 2-х кн. Текст. / Прэтт У.; пер. с англ. под ред. Д.С. Лебедева. М.: Мир, 1982. - 2 кн., 790 с.

9. Кун С. Матричные процессоры на СБИС Текст. / С. Кун; пер. с англ. Ю.Г. Дадаев и др.; под ред. Ю.Г. Дадаева. М.: Мир, 1991. - 672 с.

10. Вакунов, Н.В. Вейвлет-преобразование в обработке и анализе изображений Текст. / Н.В. Вакунов, А.Л. Жизняков М.: Государственный научный центр Российской Федерации - ВНИИгеосистем, 2004. — 102 е.: ил.

11. Хуанг, Т.С. Быстрые алгоритмы в цифровой обработке изображений Текст. / Т.С. Хуанг, Дж. О. Эклунд. Г. Дж. Нусбаумер и др.: Под ред. Т.С. Хуанга; Пер. с англ. под ред Л.П. Ярославского. М. Радио и связь, 1984. - 221 с.

12. Блейхут, Р. Быстрые алгоритмы цифровой обработки сигналов Текст. / Р. Блейхут: пер. с англ. М.: Мир, 1989. - 448 с.

13. Ильин, А.А. Быстрые алгоритмы цифровой обработки сигналов Текст. / А.А. Ильин, B.C. Титов, Е.В. Евсюков; Учеб. пособие Тула: Изд-во ТулГУ, 2004.- 125 с.

14. Калинкина, Д. Проблема подавления шума на изображениях и видео и различные подходы к ее решению Электронный ресурс. / Д. Калинкина, Д. Ватолин // Электронный журнал «Графика и мультимедиа»; http://cgm.graphicon.ru/content/view/74/28/. 2005. - № 2.

15. Пахомов, С. ПЗС- и КМОП-ПИ для цифровых фото- и видеокамер Текст. / С. Пахомов // Компьютер-пресс. 2001. № 12.- С. 127-132.

16. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле Текст. / В.В. Березин, А.А. Умбиталиев, Ш.С. Фахми, А.К.

17. Цыцулин, Н.Н. Шипилов; под ред. А.А. Умбиталиева и А.К. Цыцулина. М.: Радио и связь, 2006. - 300с.

18. Методика построения и анализа формирователей изображения с фотоприемными матрицами ресурс Интернет. // http://www.ssga.ru/eossib/malin-inono/index.html

19. Электронно-оптические преобразователи ресурс Интернет. // http://www.piter.com/book/978594723953

20. Tian, Н. Analysis of Temporal Noise in CMOS APS. Text. / H. Tian, B. Fowler, A. ElGamal.// Proceedings of the SPIE, vol. 3301, (San Jose, CA), January 1998.

21. Tian, H. Noise analysis in CMOS image sensors Text. / H. Tian Stanford: Stanford University, 2000 - 114 p.

22. El Gamal, A. Modeling and Estimation of FPN Components in CMOS Image Sensors. Text. / A. El Gamal, B. Fowler, H. Min, X. Liu. // Proceedings of the SPIE, vol. 3301, (San Jose, CA), January 1998.

23. Dierickx, B. CMOS image sensors: Concepts. Text. / В Dierickx // Photonics West 2000 Short Course, San Jose, CA, 2000. 64p.

24. Этапы обработки цифрового изображения ресурс Интернет. // http://cifra.nl.by/info-254.html.

25. Software for the intelligent cameras ресурс Интернет. // www.siemens.com/automation.

26. Smart cameras IVC-2D, IVC-3D ресурс Интернет. // www.sick.com.

27. AVT Active FirePackage: The New AVT Software Package Text. // EyesOnVision, №11, 2007. p. 6.

28. ActivVisionTools ресурс Интернет. // http://www.theimagingsource.com

29. Marston, N. Solid-state imaging: a critique of the CMOS sensor N. Marston Text. / Edinburgh: The University of Edinburgh, 1998. -263 p.

30. Пат. 6115066 США, МКИ H 04 N5/217. Image sensor with direct digital correlated sampling Text. / S.M. Gowda, H.J. Shin, H-S.P. Wong, P.H. Xiao, J. Yang № 876694; заявлено 12.06.1997; опубл. 05.09.2000. - 12c.

31. Пат. 5883830 США, МКИ G 11 С 11/34; G 11 С 11/36. CMOS imaging device with integrated flash memory image correction circuitry Text. / R. Hirt, M. Rollender № 855658; заявлено 13.05.1997; опубл. 16.03.1999. - 12c.

32. Пат. 7061524 США, МКИ Н 04 N5/228. Motion/saturation device and method for synthesizing high dynamic range motion blur free images from multiple capture. Text. / X.Liu, A. El Gamal № 09/992408; заявлено 13.11.2001; опубл. 13.06.2006.-23 с.

33. Claus G., at al, Particle Tracking using CMOS Monolithic Active Pixel SensorText. / G.Claus, at al. Nuclear Instruments and Methods in Physics Research, 2001, V. A465,pp.l20-124.

34. Claus G., at al, Monolithic active pixel sensors for a linear collider, Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment, 2001, V. A 473, pp.83-85.

35. Создан объемный датчик изображения ресурс Интернет. // http://\vw\v. ixbt.com/news/

36. Сысоева, С. Актуальные технологии и применения датчиков автомобильных систем активной безопасности. Часть 2. Подробнее об элементной базе автомобильных видеокамер ресурс Интернет. // http://www.kit-e.ru/

37. Chen, Т. Digital camera system simulator and applications Text. / T. Chen -Stanford: Stanford University, 2003 131 p.

38. Школа схемотехнического проектирования устройств обработки сигналов ресурс Интернет. // http://www.compitech.ru/

39. Кнышев, Д. А. ПЛИС фирмы "Xilin" :описание структуры основных семейств Текст. : Справочник / Д.А.Кнышев, М.О.Кузелин. -М.:ДОДЭКА-ХХ1. -2001.-238с.

40. Фрунзе, А. Однокристальные микроЭВМ Текст. / Фрунзе А., Хоркин С. //Радио. 1994.-№№1-12.

41. Лебедев, О.Н. Применение микросхем памяти в электронных устройствах Текст.: Справ, пособие / О.Н. Лебедев-М.: Радио и связь. 1994. - 216 с.

42. Разработка устройств сопряжения для персонального компьютера тапа IBM PC Текст. / Под редакцией Ю.В. Новикова. Практ. пособие М.:ЭКОМ. -1997. - 224 с.

43. Пат. № 2299521 РФ, МКИ H04N3/14. Однокристальный адаптивный видеодатчик Текст. / B.C. Яковлева, М.И. Труфанов, B.C. Титов. -№2005132710/09; заявлено 24.10.2006; опубл. 20.06.2007, Бюл. №14. 8с.

44. Киселев, А.В. Современные микропроцессоры Текст. / В.В. Корнеев, А.В. Киселев М.: Нолидж, 2000. - 320 с.

45. Сырямкин, В.И. Системы технического зрения: Справочник Текст./ В.И. Сырямкин, B.C. Титов, Ю.Г. Якушенков и др. // Под общей редакцией В.И. Сырямкина, B.C. Титова. Томск: МГП "РАСКО". - 1993. - 367 с

46. Тенденции и перспективы развития ПЛИС и их применение при проектировании аппаратуры ЦОС ресурс Интернет. // http://www.compitech.ru/

47. Тербер, К. Дж. Архитектура высокопроизводительных вычислительных систем Текст. / Пер. с англ.— М.: Наука. Главная редакция физико-математической литературы, 1985.— 272 с.

48. Шпаковский, Г.И. Архитектура параллельных ЭВМ Текст. / Г.И. Шпаковский; Учеб. пособие для вузов. -Мн.: Университетское, 1989. 192 с.

49. Кун С. Матричные процессоры на СБИС Текст. / С. Кун; пер. с англ. Ю.Г. Дадаев и др.; под ред. Ю.Г. Дадаева. М.: Мир, 1991. - 672 с.

50. Архангельский, А.Я. Программирование в С++ Builder 5-Текст. / А.Я. Архангельский. -М.: ЗАО «Издательство БИНОМ», 2000г. — 1152 с.

51. Угрюмов, Е.П. Цифровая схемотехника: Учебное пособие для вузов Текст. / Е.П. Угрюмов. Спб.: БХВ-Петербург, 2004. - 800 с.

52. Порев, В.Н. Компьютерная графика Текст. / В.Н. Пореев. — Спб.: БХВ-Петербург, 2002. 432 с.

53. М. Бондаренко, В. Гриценко Реализация фильтров с бесконечной импульсной характеристикой на FPGA ресурс Интернет. // htlp://www.chipinfo.m/click.html?tid=:topliles&id=925

54. Макконел, Дж. Анализ алгоритмов. Вводный курс. Текст. / Дж. Макконел; пер. с англ. С.К. Ландо. М.: Техносфера, 2002. 304 с.

55. TMS320C6000 CPU and Instruction Set Reference Text. / Guide Literature Number: SPRU189F October 2000.

56. Guibert L, Attia M. Optical processing at the driver's service // Conference Towards an Intelligent Transport System. Proceedings of the First World Congress on Applications of Transport Telematics and Intelligent Vehicle-Higway Systems.

57. Новая DSP-архитектура NeuroMatrix и традиционный RISC единое вычислительное ядро процессора NM6403 Электронный ресурс. // http://www.osp.ru/os/1999/05-06/04.htm - 2002г.

58. Нейрокомпьютеры архитектура и реализация. Часть 3.2. Аппаратная реализация нейровычислителей Электронный ресурс. // http://www.chipinfo.ru/literature/chipnews/200101/24.html - 2002г.

59. Панищев, B.C. Использование ретиноподобных структур в адаптивных видеодатчиках Текст. / B.C. Панищев, B.C. Яковлева // Известия КурскГТУ. -2004. -№2(13). -С. 112-117.

60. Degtyarev, S.V. Adaptive Image Sensor with Reconfigurable Parameters and Structure Text. / S.V. Degtyarev, V.S. Yakovleva // Pattern Recognition and Image Analysis. 2005. - Vol. 15, №. 2. - P. 472-473.

61. Жуковский, Д.В. Проектирование системы технического зрения для управления транспортным роботом Текст. / Д.В. Жуковский, С.В. Дегтярев, B.C. Яковлева // Приборостроение. 2005. - т.48, №2. - С.39-44.

62. Яковлева, B.C. Структурная организация адаптивного видеодатчика для СТЗ мобильного робота Текст. / B.C. Яковлева, С.В. Дегтярев // Сборникматериалов VI Международной конференции Распознавание-2003. Курск, 2003. - С. 112-114.

63. Пат. № 2251735 РФ, МКИ G06K9/46. Устройство для обработки изображений Текст. / А.Е. Архипов, B.C. Яковлева, С.В. Дегтярев, B.C. Титов. -№2003123313; заявлено 16.09.2003; опубл. 10.05.2005, Бюл. №13. 5с.

64. Atmel Corporation ATMOS-1M30 / 1М60 Data Sheet Electronic resource. // Internet. http://www.atmel.com/dyn/resources/proddocuments/doc5429.pdf.

65. Казанцев, Г. Д. Измерительное телевидение Текст. / Г.Д.Казанцев, М.И. Курячий // М.: Высшая школа, 1994. 288 с.

66. Якушенков, Ю.Г. Теория и расчет оптико-электронных приборов: Учебник для студентов вузов Текст. / Ю.Г. Якушенков. М.: Логос. - 1999. -480 е.,

67. Афанасьев, В.Н. Математическая теория конструирования систем управления Текст. / В.Н. Афанасьев, В.Б. Колмановский, В.Р. Носов -М.: Высш. Шк. 1989. - 447 с.

68. Справочник по теории автоматического управления Текст. / Под ред. :Крассовского А.А. М.: Наука. - 1987. - 254 с

69. Афанасьев, В.Н. Алгоритмическое конструирование систем управления с неполной информацией. Учебное пособие Текст. / В.Н. Афанасьев, А.Н. Данилина. -М.: изд. МИЭМ. 1985. - 94с.

70. Изерман, Р. Цифровые системы управления Текст. / Р. Изерман. М.: Мир, 1984.

71. Gallant М. An Efficient Computation-Constrained Block-Based Motion Estimation Algorithm for Low Bit Rate Video Coding Text. / M. Gallant et al. // IEEE Transactions on Image Processing, vol. 8, no. 12, Dec. 1999.

72. Olivieri, S. Noise-robust recursive motion estimation for H.263-based videoconferencing systems Text. / S. Olivieri, G. de Haan, L. Albani. Proc. Int. Workshop on Multimedia Signal Processing, Sep, 1999, Copenhagen, pp. 345-350.