Методы, алгоритмы и устройства для покадрового кодирования и передачи видеоданных по радиоканалам с низкой пропускной способностью тема диссертации и автореферата по ВАК РФ 05.13.05, кандидат технических наук Плахов, Александр Геннадьевич

• Плахов, Александр Геннадьевич
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Плахов, Александр Геннадьевич

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЗОР МЕТОДОВ, АЛГОРИТМОВ И УСТРОЙСТВ СБОРА, СЖАТИЯ И ПЕРЕДАЧИ ВИДЕОДАННЫХ, ПРИМЕНЯЕМЫХ В ВИДЕОКОМПЬЮТЕРНЫХ СИСТЕМАХ.

1.1. Известные стандарты сжатия видеоданных.

1.2. вейвлет-преобразование.

1.2.1. Система фильтров анализа-синтеза.

1.2.2. Каскадное соединение систем А-С.

1.2.3. Представление субполосного кодирования при помощи аппарата матриц.

1.2.4. Обратное преобразование.

1.2.5. Ортогональное преобразование.

1.3. Примеры преобразований.

1.3.1. Преобразование Габора.

1.3.2. Дискретное косинусное и перекрывающееся ортогональное преобразования.

1.3.3. Пирамида Лапласа.

1.4. Квадратурно-зеркальные фильтры.

1.4.1. Построение КЗФ.

1.4.2. Асимметричная система.

1.5. Методы синтеза неразделимых банков фильтров и вейвлетов.

1.6. Методы и технические средства организации радиоканала.

1.6.1. Введение.

1.6.2. Стандарт 802.11b-Wi-Fi.

1.6.3. Стандарт 802.15.1 -Bluetooth.

1.6.4. Стандарт 802.15.4 -ZigBee.

1.7. Обсуждение результатов обзора.

1.8. Постановка задачи.

ГЛАВА 2. РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ СЖАТИЯ ВИДЕОДАННЫХ НА ОСНОВЕ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ.

2.1. Вейвлет-декомпозиция как вход алгоритма.

2.2. Общие положения алгоритма.

2.2.1. Принцип последовательной передачи битовых полей.

2.2.2. Взаимосвязь коэффициентов различных субполос.

2.2.3. Алгоритм А. Льюиса и Г. Ноулеса.

2.2.4 Алгоритмы Шапиро и Саида-Пирлмана.

2.2.5. Алгоритм SPIHT.

2.2.6. Свойства потока.

2.3. Оптимизация алгоритма SPIHT.

2.3.1. Необходимость оптимизации.

2.3.2. Mampuifa значимости.

2.4. Применение алгоритма SPIHT к вейвлет-разложениям, полученным с применением разделимых и неразделимых фильтров.

2.5. Оптимизация алгоритма 3D-SPIHT.

Выводы по главе 2.

ГЛАВА 3. ПОДАВЛЕНИЕ ШУМОВ В ИЗОБРАЖЕНИЯХ.

3.1. Природа мужтипликативного шума.

3.2. Математические модели изображений, искаженных мультипликативным шумом.

3.3. Методы и алгоритмы подавления мультипликативного шума, использующие локальные статистики.

3.4. Основные сведения о вейвлет-базисах и фреймах.

3.4.1. Базисы.

3.4.2. Фреймы.

3.4.3. Необусловленные базисы.

3.5. Нелинейная оценка функций.

3.5.1. Идеальное ослабление коэффициентов.

3.5.2. Пороговая обработка.

3.5.3. Цветной шум.

3.5.4. Мультипликативный шум.

3.5.5. Обработка изображений.

3.5.6. Оптимальность преобразования.

3.6. подход к анализу изображения.

3.7. удаление шума на основе вейвлет-преобразования.

3.7.1. Подавление мультипликативного шума путем поиска оптимальных пороговых значений в каждом частотном диапазоне.

3.8. Одновременное сжатие изображений и удаление аддитивного шума

3.9. Новые критерии оценки качества сжатых изображений.

3.9.1. Недостатки стандартных алгоритмов оценки качества сжатых изображений

3.9.2 Новые объективные критерии оценки качества сжатия изображений. выводы по главе 3.

ГЛАВА 4. ТЕХНИЧЕСКАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВ СЖАТИЯ И ПЕРЕДАЧИ ВИДЕОДАННЫХ.

4.1. Бессписковый алгоритм.

4.1.1. Аппаратная ориентация.

4.1.2. Описание алгоритма.

4.2. Описание прототипа устройства.

4.2.1. Описание передающей части прототипа.

4.2.2. Описание приемной части.

4.2.3. Описание программного обеспечения.

4.3. Описание разработанного устройства.

4.3.1. Обоснование элементной базы.

4.3.2. Выбор сигнального процессора.

4.3.3. Видеокодер.

4.3.4. Модуль радиоинтерфейса.

4.3.5. Описание работы устройства для покадрового кодирования и передачи видеоданных по радиоканалу.

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Методы, алгоритмы и устройства для покадрового кодирования и передачи видеоданных по радиоканалам с низкой пропускной способностью»

Актуальность темы. В последнее время в мире отмечается повышенный интерес к вопросам безопасности в различных сферах человеческой деятельности в связи с ростом риска природных и техногенных катастроф, террористических актов. В частности, 21.05.2006г. президентом В.В. Путиным утвержден ПКТ1 РФ Российской Федерации, в котором отражены вопросы безопасности атомной энергетики, безопасности движения, управления наземным и воздушным транспортом, системами жизнеобеспечения и защиты человека («Технологии обработки, хранения, передачи и защиты информации» и «Технологии создания и управления новыми видами транспортных систем»), а также утвержден ПНРНТТ2 РФ (направления «Информационно-телекоммуникационные системы», «Безопасность и противодействие терроризму», «Транспортные, авиационные и космические системы» и «Энергетика и энергосбережение»).

Для снижения риска и уменьшения последствий катастроф возникает необходимость использования различных систем видеонаблюдения. К сожалению, многие объекты вышеуказанных технологий, за которыми необходимо вести постоянное видеонаблюдение, находятся в труднодоступных (возможно, герметичных) зонах. Прокладка проводных соединений в таких зонах часто нежелательна или же невозможна. Однако видеосигнал, снятый непосредственно с технологических объектов, обладает большой информативностью для принятия решения о состоянии (аварийности) объекта. Кроме того, видеосигнал может быть использован для анализа причин аварии, при условии его записи на специальный носитель.

В связи с этим актуальным является разработка методов, алгоритмов и устройств снятия видеосигнала с некоторого технологического объекта, его обработки с целью сжатия и передачи посредством радиосвязи. Необходимость сжатия обусловлена низкой пропускной способностью специальных накопителей и бортовых каналов связи. Кроме того, при проектировании устройств на

1 ПКТ РФ - Перечень критических технологий РФ.

2 ПНРНТТ РФ - Приоритетные направления развития науки, технологий и техники РФ. основе таких алгоритмов должны быть учтены интерфейсы сопряжения с применяемыми носителями. В частности, подобные устройства востребованы сейчас в гражданской авиации, где до настоящего времени в «черном ящике» фиксировались только показания бортовых приборов и звуковая информация. Возможность анализа видеосигнала, снятого с кабины пилотов и пассажирских отсеков, может существенно облегчить разбор причин аварии. Однако многие известные методы для передачи видеоданных, например стандарт MPEG-4, не подходят по ряду причин, что зафиксировано Международным авиационным комитетом (МАК). Следовательно, требуются алгоритмы покадровой обработки (сжатия) и записи видеоданных с телевизионных камер, установленных на борту самолета.

Цель и задачи работы. Целью диссертации является разработка и исследование методов, алгоритмов и цифровых устройств покадровой обработки видеоданных для их сжатия с помощью иерархического кодирования и передачи по каналам беспроводной связи с низкой пропускной способностью.

Для достижения поставленной цели должны быть решены следующие задачи:

1. Разработка методов и быстрых алгоритмов сжатия последовательности кадров на основе алгоритмов 3D-SPIHT и «классического» иерархического алгоритма с использованием неразделимых фильтров.

2. Разработка методов частичной сортировки трехмерных (3D) вейвлет-коэффициентов.

3. Разработка методов ускорения вычислительных процедур и улучшения качества двумерного алгоритма сжатия кадра видеоданных на базе вейвлет-базиса.

4. Синтез методов удаления шумов из изображений, основанных на применении многомерного вейвлет-преобазования.

5. Разработка методики программно-аппаратной адаптации полученных алгоритмов с учетом обработки видеоданных в реальном масштабе времени.

6. Разработка состава приемной и передающей частей прототипа систем видеонаблюдения, использующих радиоканалы с низкой пропускной способностью, и реализующих разработанные алгоритмы сжатия видеоданных на цифровых сигнальных процессорах.

Научная новизна. В диссертационной работе получены следующие научные результаты.

1. Рассмотрена и теоретически обоснована возможность применения неразделимого вейвлет-базиса с заданными характеристиками для SPIHT-алгоритма.

2. Разработаны быстрые алгоритмы 3D-SPIHT на основе разделимого вейвлет-базиса, учитывающие межкадровую зависимость вейвлет-коэффициентов в пакете данных.

3. Разработаны быстрые двумерные SPIHT-алгоритмы на основе разделимого вейвлет-базиса для покадровой обработки видеоданных, не уступающие по критерию пикового отношения сигнал/шум известным методам и алгоритмам сжатия изображений.

4. Разработаны метода удаления мультипликативного шума из изображений, основанные на применении многомерного вейвлет-преобразования. Реализован метод одновременного сжатия изображений и удаления аддитивного шума.

5. Рассмотрены и применены новые объективные критерии качества изображений, сжатых с потерями.

6. Разработаны оригинальные структуры приемной и передающей частей прототипа системы видеонаблюдения на основе стандарта 802.15.1 (Bluetooth), в которых алгоритм SPIHT реализован на сигнальном процессоре и учтено возможное сопряжение с существующими специальными устройствами хранения информации, применяемыми в энергетике и авиации (по интерфейсу RS232).

7. Разработано оригинальное программное обеспечение для всех узлов системы видеофикации без использования сторонних библиотек, код которого является открытым и доступным для органов сертификации.

8. Разработано устройство видеофикации для установки на борт воздушного судна.

Практическая ценность. Получены быстрые алгоритмы иерархического кодирования для покадрового сжатия данных видеонаблюдений, позволяющие в среднем в 10 раз снизить число операций сравнения, и тем самым обеспечить выигрыш по времени до 70 % по сравнению со стандартнымиреализациями.

Разработаны методики программно-аппаратной адаптации алгоритмов иерархического кодирования^ позволяющие реализовать их на цифровых сигнальных процессорах, и работающих в реальном масштабе времени.

Разработаны структура, состав прототипа системы видеонаблюдения, а также оригинальное программное обеспечение для всех ее узлов, которая может быть использована на объектах энергетики и в гражданской авиации.

Реализация результатов работы. Основные результаты, диссертационной работы были проверены путем статистического моделирования на ЭВМ, а также экспериментальными исследованиями разработанного программного обеспечения для ЦПОС семейства TMS320C6x фирмы Texas Instruments.

Разработанные в диссертационной работе методы, структуры, программное обеспечение внедрены в ФГУП «НИИА» с целью создания и установки на борту летательного аппарата улучшенной системы видеофиксации авиапро-ишествий. Работа выполнялась в соответствии с планом научно-исследовательских работ по нескольким темам. Работа поддержана грантами Минобрнауки РФ № 208.04.04.042 «Разработка системы сжатия видео сигналов для передачи по низкоскоростному телекоммуникационному каналу на основе сигнальных процессоров TMS320C6x», госрегистрации 01200105418, (2001-2002) (г/б), № 209.01.01.044 «Применение многомерного вейвлет-преобразования для улучшения изображений и трехмерных сигналов», № госрегистрации 01200304660, (2003-2004) (г/б), Т02-03.1-2522 «Синтез эффективных двух-, трех- и четырехмерных многоскоростных систем для обработки многомерных сигналов», № госрегистрации 01200305655, (2003-2004) (г/б).

Апробация работы. Результаты теоретических исследований были представлены на Международной конференции Международной Академии информатизации «Информационные средства и технологии» ITS-2002, Всероссийской научной удаленной конференции по Информационным и телекоммуникационным технологиям в 2003 г., Первой международной научно-технической школе-семинаре «Современные проблемы оптимизации в инженерных приложениях» IWOPE-2005, Международных конференциях «Цифровая обработка сигналов и ее применение» DSPA-2006 и DSPA-2007. Прототип системы был представлен на Международной выставке DSPA-2006 и был награжден Почетным Дипломом выставки. Основные положения и результаты диссертации использованы в учебном процессе на кафедре Электрофизики МЭИ (ТУ) при чтении лекций и проведении практических занятий и лабораторных работ по курсу «Сигнальные процессоры и СБИС». Результаты диссертационной работы также использовались в учебном и научном процессе в Ярославском государственном университете им. П.Г. Демидова.

Публикации. По теме диссертации опубликовано 12 печатных работ общим объемом более 2 п.л., включая 1 статью в журнале из Перечня ВАК -«Электросвязь», рекомендованном для публикации материалов по кандидатским диссертациям. Материалы диссертации вошли в 4 отчета по НИР, выпущенных кафедрой электрофизики МЭИ (ТУ).

Структура диссертации. Диссертация общим объемом 166 с. состоит из введения, четырех глав и заключения, содержит 131 с. основного текста, перечень используемой литературы из 58 наименований на 5 е., приложения на 30 с.

Заключение диссертации по теме «Элементы и устройства вычислительной техники и систем управления», Плахов, Александр Геннадьевич

Выводы по главе 4

1. Для адаптации алгоритма сжатия SPIHT к программно-аппаратным требованиям вводятся в рассмотрение бессписковые структуры, ускоряющие процесс сортировки вейвлет-коэффициентов и формирование выходных битовых потоков в 3 раза по сравнения со стандартной реализацией.

2. Разработаны приемная и передающая части радиоканала, работающего по стандарту связи Bluetooth, с интерфейсом RS232.

3. Разработано и реализовано на ЦПОС семейства TMS320C6x фирмы Texas Instruments программное обеспечение работы алгоритма сжатия SPIHT, созданное с использованием инструментальных средств программирования на языке высокого уровня С++.

4. Проведен обзор элементной базы устройства кодирования и обработки видеосигнала

131

ЗАКЛЮЧЕНИЕ

В ходе диссертационного исследования были получены следующие основные результаты:

1. Разработаны и исследованы быстрые алгоритмы сортировки вейвлет-коэффициентов для покадрового сжатия видео данных.

2. Разработан метод ускорения вычислительных процедур и улучшения качества двумерного алгоритма сжатия кадра видеоданных на базе вейвлет-преобразования.

3. Синтезирован метод удаления шумов из изображений, основанный на применении многомерного вейвлет-преобазования.

4. Разработано программное обеспечение для всех устройств системы видеофиксации, позволяющее вести обработку видеоданных в реальном масштабе времени.

5. Разработана структура, состава приемной и передающей частей системы видеофиксации, использующих радиоканалы с низкой пропускной способностью, и реализующих разработанные алгоритмы сжатия видеоданных на цифровых сигнальных процессорах.

6. Разработано законченное устройство видеофиксации авиопроишествий на борту воздушного судна.

Список литературы диссертационного исследования кандидат технических наук Плахов, Александр Геннадьевич, 2008 год

1. В.И. Воробьев, В.Г. Грибунин. Теория и практика вейлет-преобразования. СПб.: ВУС, 1999. 204 е.

2. Said and W.A. Pearlman, «А New Fast and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees,», IEEE Trans, on Circuits and Systems for Video Technology, vol. 6., p. 243-250, June 1996.

3. F. W. Wheeler and W. A. Pearlman, «SPIHT Image Compression without Lists», IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP 2000), Istanbul, Turkey, June 5-9, 2000.

4. Shapiro J. «Embedded image coding using zerotrees of wavelet coefficients», IEEE Trans, on Signal Processing, 1993, p. 3445-3462.

5. Плахов А. Г., Чобану M. К. Обзор элементной базы для построения систем сжатия видеосигнала. // Труды Междун. конгресса Академии информатизации ITS-2002 / МЭИ (ТУ), т. 3. М., 2002, с. 123-125.

6. Чобану, М. К., Миронов, В. Г., Большакова О. В., Плахов, А. Г., «Синтез двумерных ортогональных банков фильтров и вейвлетов», 2003, Труды Всероссийской научной удаленной конференции по информационным и телекоммуникационным технологиям-2003.

7. Плахов А.Г. Устройство иерархического кодирования и передачи видеосигналов по радиоканалам с низкой пропускной способностью // Труды 9-й Междун. конф. «Цифровая обработка сигналов и ее применение» DSPA-2007, т. 2. М

8. Плахов А.Г., Чобану М. К. Устройство кодирования и передачи видеоданных по радиоканалам с низкой пропускной способностью // Электросвязь, №3, 2007

9. Wallace G.K., The JPEG Still Picture Compression Standard // Commun. ACM, 1991, Vol. 34, no 4, p. 30-44.

10. Мастрюков Д., "Алгоритмы сжатия информации", Часть 5, "Сжатие по Хаффмену", 1993, Монитор.

11. Westwater R., Furht В. Real-Time Video Compression: Techniques and Algorithms. Springer, 2001, 176 c.

12. Ричардсон Я. Видеокодирование: H.264 и MPEG-4 стандарты нового поколения. Техносфера, 2005, 368 с.

13. Черников А.В., Чобану М.К. «Сжатие изображений на базе вейвлет-преобразования и иерархического алгоритма кодирования», научно-технический журнал «Цифровая обработка сигналов», 2/2005, с. 40-49

14. Спецификация стандарта 802.1 lb IEEE.

15. Спецификация стандарта 802.15.1 IEEE.

16. Спецификация стандарта 802.15.4 IEEE.

17. Ю.Плахов А., Подтуркин В. На расстоянии // Все новости света, 2005, №32, с. 24.

18. Чобану М.К. Многомерные многоскоростные системы и многомерные вейв-лет-функции. Часть 1. Теория // Вестник МЭИ, 2003. №2, с. 75-82.

19. Чобану М.К. Многомерные многоскоростные системы и многомерные вейв-лет-функции. Часть 2. Синтез // Вестник МЭИ, 2003. №3, 69-78

20. Proc. 2 International Workshop on Spectral Methods and Multirate Signal Processing, SMMSP-2002, p. 83-86, Toulouse, France, 2002. 26J.W.Goodman, "Some Fundamental Properties of Speckle," J.Opt. Soc. Am., Vol.66, No.ll, pp. 1145-1150, 1976.

21. D.L.Donoho, "De-noising by Soft-Thresholding," IEEE Trans, on Info. Theory, Vol.41, No.3, pp. 613-627, 1995.

22. T.Chang, C.-C.J.Kuo, "Texture Analysis and Classification with Tree-Structured Wavelet Transform," IEEE Trans, on Image Processing, Vol.2, No.4, pp.429-441, 1993.

23. E.Jakeman, P.N.Pusey, "A model for non-Rayleigh sea echo." IEEE Trans, on Antennas Propagation, AR-32, pp. 806-814.

24. D.T.Kuan, A.A.Sawchuk, T.C.Strand, P.Chavel, "Adaptive noise smoothing filter for images with signal-dependent noise", IEEE Trans, on Pattern Analysis and Machine Intelligence, Vol. PAMI-7, pp. 165-177, 1985.

25. J.-S.Lee, "Digital Image Enhancement and Noise Filtering by Use of Local Statistics", IEEE Trans, on Pattern Analysis and Machine Intelligence, Vol. PAMI-2, pp. 165-168, 1980.

26. Ъ A.K.S.Nathan, J.Curlander, "Speckle Noise Reduction of 1-look SAR Imagery", Proc. IGARSS'87 Symposium, pp. 1457-1462, 1987/

27. V.S.Frost, J.A.Stiles, K.S.Shanmugan, J.C.Holtzman, "A model for Radar Images and its Application to Adaptive Digital Filtering of Multiplicative Noise", IEEE Trans, on Pattern Analysis and Machine Intelligence, Vol. PAMI-4, pp. 157-166, 1982.

28. A.Lopes, E.Nezry, R.Tozzi, H.Laur, "Structure Detection and Statistical Adaptive Speckle Filtering in SAR Images", Int. J. Remote Sensing, Vol. 14, pp. 17351758, 1993.

29. C.J.Oddy, A.J.Rye, "Segmentation of SAR Images using a Local Similarity Rule", Pattern Recognition Letters, pp. 443-449, 1983.

30. Yu.S.Bekhtin, "Searching an Optimal Wavelet Threshold using Noisy and non-Noisy Data of Images", Proceedings of SSAB'2001, 14-15, March, 2001.

31. C. S. Burrus , R. A. Gopinath, H. Guo Introduction to Wavelets and Wavelets Transforms 1997, ISBN: 0134896009

32. Donoho D.L., Unconditional Bases are Optimal Bases for Data Compression and for Statistical Estimation Department of Statistics Stanford University, Technical Report 1992.

33. J. Daubechies Ten Lectures on Wavelets (SIAM, 1992)

34. AA.Donoho, D.L. De-Noising via Soft Thresholding. IEEE Trans. Inform. Theory, May, 1995.

35. Donoho, D.L. Johnstone, I.M. Ideal spatial adaptation via wavelet shrinkage. Biometrika, 81, 425-455.

36. S. Mallat ,A Wavelet Tour of Signal Processing, Academic Press, 1999

37. Черников А.В., Плохое А.Г., Чобану M.K. Реализация алгоритма SPIHT на сигнальном процессоре // Труды 8-й Междун. конф. «Цифровая обработка сигналов и ее применение» DSPA-2006, т. 2. М., с. 383-385.

38. Плахов А.Г. Метод одновременного сжатия и удаления шума из изображений // Труды Междун. конгресса Академии информатизации ITS-2007 / МЭИ (ТУ), т. 3. М., 2007.

39. Плохое А.Г. Методы и алгоритмы подавления мультипликативного шума путем поиска оптимальных пороговых значений в вейвлет-области // Труды Междун. конгресса Академии информатизации ITS-2007 / МЭИ (ТУ), т. 3. М., 2007.

40. Плахов А. Г. Разработка системы сжатия и передачи видеосигналов для энергосистем. // Труды Междун. конгресса Академии информатизации ITS-2006 / МЭИ (ТУ), т. 3. М., 2006, с. 19-22.

41. TMS320DM642, Video/Imaging Fixed-Point Digital Signal Processor, SPRS200K-JULY 2002-REVISED JULY 2006

42. TMS320DM644x DMSoC Peripherals Overview, Reference Guide, Literature Number: SPRUE 19B, January 2006

43. TMS320C6000 McBSP: UART, Application Report, SPRA633B May 2004

44. TMS320DM641 /TMS320DM640, Video/Imaging Fixed-Point Digital Signal Processors, Data Manual, Literature Number: SPRS222E, June 2003 Revised October 2005

45. TVP5150A/TVP5150AM1 Ultralow Power NTSC/PAL/SECAM Video Decoder, Literature Number: SLES098A, April 2005 Revised March 2006

46. SPECIFICATION, WML-C40A Series Date: 5. Sep. 2005

47. ОПИСАНИЕ ПРОГРАММНОЙ РЕАЛИЗАЦИИ РАЗРАБОТАННОГО АЛГОРИТМА SPIHT

48. Алгоритм реализован для ЦПОС семейства TMS320C6x фирмы Texas Instruments.

49. В коде программы не используются специфические особенности конкретных сигнальных процессоров. Поэтому кодек может использоваться для любых представителей шеститысячной серии.

50. П1.1. Ресурсоемкость реализации

51. В табл. П1.1 приведены размер и тип требуемой для работы кодека памяти. Символы WnHобозначают ширину и высоту соответственно. Рабочие данные кодера представляют собой матрицу значимости и рабочие биты бесспискового алгоритма.