Разработка технологии высокопроизводительной обработки аэрокосмических изображений методом параллельных вычислений тема диссертации и автореферата по ВАК РФ 25.00.34, кандидат технических наук Кочнова, Ирина Владимировна

• Кочнова, Ирина Владимировна
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Кочнова, Ирина Владимировна

ВВЕДЕНИЕ -.

ГЛАВА I. Аналитический обзор многопроцессорных систем, методов автоматизированного дешифрирования аэрокосмических изображений и их реализация с использованием метода параллельных вычислений

1.1. Аналитический обзор многопроцессорных систем, их классификация

1.2. Методы и алгоритмы автоматизированного дешифрирования аэрокосмических изображений

1.2.1. Алгоритмы фильтрации и улучшения качества изображений

1.2.2. Алгоритмы сегментации изображений

1.2.3. Методы обработки гиперспектральных изображений

1.3. Применение параллельных вычислений в задачах автоматизированной обработки аэрокосмических изображений

ГЛАВА II. Программное обеспечение и аппаратная реализация вычислительного кластера

2.1. Аппаратная реализация вычислительного кластера

2.2. Программное обеспечение вычислительного кластера

2.2.1. Структура программного обеспечения вычислительного кластера

2.2.2. Операционная система вычислительного кластера

2.3. Система параллельного программирования MPI

2.3.1. Общие положения MPI

2.3.2. Типы обмена данными в MPI

2.4. Производительность вычислительного кластера МВС-1000 и эффективность параллельных программ

2.4.1. Оценка производительности вычислительного

I^JTcl С Т cl б б

2.4.2. Эффективность параллельных программ

ГЛАВА III. Теоретические основы и экспериментальные исследования алгоритмов высокопроизводительной обработки аэрокосмических изображений методом параллельных вычислений

3.1. Применение метода параллельных вычислений для алгоритмов фильтрации скользящими порядковыми статистиками

3.2. Методология расчета оптимальных параметров вычислительного кластера и оценки эффективности распараллеливания алгоритмов обработки аэрокосмических изображений скользящими пространственными фильтрами

3.3. Алгоритм выделения малоразмерных объектов заданного размера на аэрокосмических изображениях

3.4. Технология параллельного дешифрирования гиперспектральных изображений для выделения антропогенных и природных объектов характерных для средней полосы России

Введение диссертации (часть автореферата) на тему «Разработка технологии высокопроизводительной обработки аэрокосмических изображений методом параллельных вычислений»

Интенсивное развитие средств дистанционного зондирования Земли аэрокосмического базирования, увеличение объемов и информативности аэрокосмической информации приводит к непрерывному расширению круга задач, решаемых с использованием данных дистанционного зондирования. Дистанционное зондирование из космоса находит все более широкое применение при решении задач контроля загрязнений окружающей среды, в картографии, в исследованиях природных ресурсов, климатологии, океанографии, для мониторинга земной поверхности, для наблюдения за пожарами и др. Необходимость обработки больших объемов данных и требования к оперативности получения результатов обуславливают интенсивное внедрение компьютерных технологий обработки изображений. Несмотря на стремительный прогресс в развитии аппаратных компьютерных средств, возможностей даже самых быстродействующих компьютеров последовательной архитектуры не достаточно для оперативного решения ряда задач обработки изображений, полученных методами дистанционного зондирования. Для решения задач анализа, преобразования и обработки большого объема аэрокосмической информации с минимальными временными затратами требуется мобилизации всех возможностей доступных аппаратно-программных средств. На сегодняшний день средствами, позволяющими существенно время вычислений, являются высокопроизводительные многопроцессорные системы различных архитектур, в частности вычислительный кластер, который при относительно невысокой стоимости обеспечивает высокопроизводительную обработку изображений.

Несмотря на то, что сами по себе вопросы компьютерной обработки изображений и распараллеливания вычислений достаточно хорошо изучены, вопросы применения различных алгоритмов распараллеливания для решения реальных задач обработки изображений рассмотрены явно недостаточно. Поэтому задача создания технологии высокопроизводительной обработки аэрокосмических изображений с использованием параллельных вычислений является весьма актуальной.

Методы обработки аэрокосмических изображений разделяются на два класса: предварительной (первичной) обработки изображений, и тематической обработки (дешифрирования) изображений. Для повышения производительности методов обработки аэрокосмических изображений было необходимо провести исследования методов распараллеливания вычислений и создать оптимальные или близкие к ним методы обработки изображений с использованием распараллеливания, значительно повышающие эффективность процедур обработки аэрокосмических изображений.

Целью диссертационной работы является разработка технологии высокопроизводительной обработки аэрокосмических изображений с использованием метода параллельных вычислений .

Для достижения поставленной цели необходимо было решить следующие задачи:

Проанализировать существующее программное обеспечение и архитектуры многопроцессорных систем для выбора системы, обеспечивающей решение задач высокопроизводительной обработки аэрокосмической информации и оптимальной с точки зрения критерия эффективность/стоимость.

Создать и ввести в действие многопроцессорный аппаратно-программный комплекс.

Провести анализ существующих алгоритмов обработки изображений, выбрать и разработать алгоритмы, эффективность которых может быть повышена за счет распараллеливания.

Выбрать и разработать программное обеспечение, позволяющее реализовать параллельную обработку аэрокосмических изображений.

Провести экспериментальные исследования по обработке реальных изображений, полученных методами дистанционного зондирования, с использованием метода параллелельных вычислений. Проанализировать полученные результаты.

При решении поставленных задач использовались методы теории информации, математической статистики, дешифрирования и обработки изображений. Экспериментальные исследования включали полевые и заверочные работы по изучению земных покрытий на территории, занимающей площадь около 3500 кв.км., выполненные автором в 2003-2004гг.

Результаты исследований изложены в трех главах.

В первой главе рассмотрены существующие многопроцессорные системы, методы и алгоритмы распараллеливания в задачах обработки изображений. Рассмотрены современная технология и методы предварительной и тематической обработки аэрокосмических изображений. Выполненный обзор позволил изучить и проанализировать существующие многопроцессорные системы и различное программное обеспечение с целью выбора системы, являющейся оптимальной для решения задач обработки аэрокосмических изображений с точки зрения критерия эффективность/стоимость . В результате проведенного анализа методов автоматизированной обработки аэрокосмических изображений выбраны алгоритмы, эффективность которых может быть повышена за счет распараллеливания.

В Главе II приведено описание созданного и введенного в действие многопроцессорного комплекса, его программного обеспечения и основных принципов его работы. На основе анализа архитектур многопроцессорных систем, выполненного в Главе 1, были выработаны определенные требования на основе критерия эффективность/стоимость к многопроцессорной системе, предназначенной для решения задач обработки аэрокосмических изображений. На основе этих требований был создан и введен в эксплуатацию вычислительный кластер, позволяющий сокращать время обработки аэрокосмических изображений за счет создания эффективных параллельных приложений .

В главе III описана разработанная методология выбора оптимальных параметров вычислительного кластера и расчета эффективности распараллеливания алгоритмов обработки изображений скользящими пространственными фильтрами. Подробно описан разработанный автором алгоритм автоматизированного выделения малоразмерных объектов заданного размера, позволяющий с высокой достоверностью выделять малоразмерные объекты с сохранением разрешающей способности исходных снимков. Приведены результаты экспериментальных исследований его работы на реальных аэрокосмических изображениях. Изложена разработанная технология параллельного дешифрирования гиперспектральных изображений высокого разрешения для выделения набора объектов характерных для средней полосы России.

Научное значение и новизна работы. В настоящей работе разработаны и реализованы на практике теория и методы предварительной и тематической параллельной обработки аэрокосмических изображений. Результаты исследований позволяют повысить эффективность и оперативность обработки данных дистанционного зондирования.

На защиту выносятся следующие оригинальные разработки и результаты:

- Методология расчета оптимальных параметров вычислительного кластера и оценки эффективности распараллеливания при использовании алгоритмов обработки аэрокосмических изображений скользящими пространственными фильтрами.

- Алгоритм выделения малоразмерных объектов заданного размера на аэрокосмических изображениях, позволяющий достоверно выделять объекты с высокой точностью выделения контуров.

Технология параллельного дешифрирования гиперспектральных изображений для выделения антропогенных и природных объектов характерных для средней полосы России.

Практическая часть работы заключалась в создании программно-аппаратного комплекса, обеспечивающего параллельную обработку данных дистанционного зондирования. Разработанные методы используются в лабораторных занятиях по следующим курсам для студентов факультета прикладной космонавтики МИИГАиК:

- Дешифрирование аэрокосмических снимков.

- Технология тематической обработки данных дистанционного зондирования.

Работы выполнялись в рамках федеральной научно-технической программы «Интеграция».

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались:

- на 58 научно-технической конференции студентов, аспирантов и молодых ученых, проходившей в Московском Государственном университете геодезии и картографии (МИИГАиК); на Международной научно-технической конференции, посвященной 225-летию со дня основании МИИГАиК.

Основные результаты выполненных исследований представлены в 5 научных статьях, опубликованных в открытой печати, и в методических указаниях по выполнению лабораторных работ.

Структура и объем диссертационной работы.

Работа состоит из введения, трех глав, заключения, списка литературы и приложения.

Диссертация изложена на 156 страницах текста, содержит 57 рисунков и 13 таблиц, приложение содержит 14 страниц. Список литературы включает 80 наименований, из них 32 на иностранных языках, на б страницах.

Автор выражает благодарность научному руководителю доктору технических наук, профессору Малинникову В.А., а так же к.т.н. Марчукову B.C. и к.т.н. Меньшикову К.С. за постоянную поддержку, помощь и консультации в процессе работы. Автор признателен д.т.н., профессору Журкину И.Г. за поддержку выбранного направления исследований на 58 научно-технической конференции студентов, аспирантов и молодых ученых, проходившей в Московском Государственном университете геодезии и картографии (МИИГАиК).

Автор считает своим долгом поблагодарить Институт прикладной математики им. М.В. Келдыша РАН и лично Лациса А.О., Абрамову В.А. за плодотворное сотрудничество по введению в эксплуатацию вычислительного кластера.

Неоценимую помощь в исследовании местности Серпуховского района оказали Кочнов В.Б. и Кочнова Е.В., которых автор сердечно благодарит.

Заключение диссертации по теме «Аэрокосмические исследования земли, фотограмметрия», Кочнова, Ирина Владимировна

Выводы. Разработанная методология расчета оптимальных параметров вычислительного кластера и оценки эффективности распараллеливания алгоритмов обработки изображений скользящими пространственными фильтрами может быть использована при создании кластерных систем и модернизации существующих для решения определенных задач предварительной обработки аэрокосмических изображении.

Предложенный алгоритм выделения малоразмерных объектов заданного размера на аэрокосмических изображениях можно применять для различных задач тематического дешифрирования, например выделение зданий, при оценке жилого фонда, и других антропогенных объектов или площадей вырубок, при оценке лесного фонда.

Технология параллельного дешифрирования гиперспектральных изображений, предложенная в работе, может найти свое применение для решения широкого круга задач картографии, исследования природных ресурсов, в лесном и сельском хозяйствах.

Возможны следующие направления использования: региональные центры приема и обработки аэрокосмической информации; высокопроизводительные центры по обработке аэрокосмической информации; центры обработки мониторинговой информации об окружающей среде; при подготовке специалистов в области тематической вы сокопроизводительной обработки аэрокосмических изобра жений.

Заключение

В ходе научно-исследовательских работ решена основная задача диссертации - разработана технология высокопроизводительной обработки аэрокосмических изображений с использованием метода параллельных вычислений.

В работе получены следующие основные результаты:

Изучены и проанализированы существующие варианты программного обеспечения и аппаратной реализации многопроцессорных систем с точки зрения выбора системы, обеспечивающей решение задач высокопроизводительной обработки аэрокосмической информации и являющейся оптимальной на основе критерия эффективность/стоимость.

Создан и введен в эксплуатацию многопроцессорный аппаратно-программный комплекс.

Проведен анализ существующих алгоритмов обработки изображений, выбраны и разработаны алгоритмы, эффективность которых может быть повышена за счет распараллеливания .

Реализовано программное обеспечение, позволяющее использовать параллельную обработку аэрокосмических изображений.

Проведены экспериментальные исследования по обработке реальных аэрокосмических изображений, полученных методами дистанционного зондирования, с использованием распараллеливания вычислений. Проанализированы полученные результаты.

Список литературы диссертационного исследования кандидат технических наук Кочнова, Ирина Владимировна, 2004 год

1. - Аковецкий В.И. Дешифрирование снимков. М. : Недра, 1980. - 385 с.

2. Амамия М., Танака Ю. Архитектура ЭВМ и искусственный интеллект. - М.: Мир, 1993. - 400 с.

3. Андрианов А.Н., Бугеря А.Б., Ефимкин К.Н. и др. Норма. Описание языка. Рабочий стандарт. - Препринт ИПМ им. М.В. Келдыша РАН, № 120, 1995. - 50с.

4. Антонов А. С. Введение в параллельные вычисления: методическое пособие. - Изд-во Физического факультета МГУ, 2002. - 70 с.

5. Антонов А. С. Параллельное программирование с использованием технологии MPI: учебное пособие. М. : Изд. МГУ, 2004. - 71 с.

6. Богомолов А.А. Дешифрирование снимков. М. : Недра, 1976. - 298 с.

7. Борисенко В. И., Златопольский А. А., Мучник И. Б. Сегментация изображения (состояние проблемы) // Автоматика и телемеханика. - М. : Наука, 1987. - с. 3- 56.

8. Букатов А.А., Дацюк В.Н., Жегуло А. И. Программирование многопроцессорных вычислительных систем. - Ростов-на-Дону: Изд-во ООО «ЦВВР», 2003. -208 с.

9. Бучнев А.А., Ким П.А., Пяткин В. П. Параллельная обработка аэрокосмических изображений на высокопроизводительной гетерогенной вычислительной сети. Исследование Земли из космоса, №2, 2002. - с. 46- 51.

10. Верещака Т.В., Зверев А.Т., Сладкопевцев С. А., Судакова С.С. Визуальные методы дешифрирования. М. : Недра, 1990. - 339 с.

11. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

12. Воеводин Вл. В., Капитонова А.П. Методы описания и классификации архитектур вычислительных систем. - М. : МГУ, 1994г. - 79 с.

13. Высокоскоростные вычисления. Архитектура, производительность, прикладные алгоритмы и программы суперЭВМ: пер. с англ./ Под. Ред. Я. Ковалика. - М. : Радио и связь, 1988. - 432 с.

14. Гарбук С.В., Гершензон В.Е. Космические системы дистанционного зондирования Земли. - М. : А и Б, 1997.- 2 96 с. : ил.

15. Гергель В. П. Параллельные вычисления. - Нижний Новгород, ННГУ, 2001.

16. Дешифрирование многозональных аэрокосмических снимков. Сканирующая система фрагмент. Методика и результаты. Берлин: Академи-Ферлаг, М.: Наука, 1988. -124 с.

17. Дистанционное зондирование: количественный подход. Под редакцией Ф. Свейна и Ш. Дейвис. М. : Недра, 1983.- 415 с.

18. Дуда Р., Харт П. Распознавание образов и анализ сцен: Пер. с англ./Под ред. B.J1. Стефанюка. - М. : Мир, 1976. - 512 с.

19. Еремеев В.А., Мордвинцев И.Н. и др. Современные гиперспектральные сенсоры и методы обработки гиперспектральных данных // Исследование земли из космоса, №6, 2003. - с. 80-90.

20. Итоги науки и техники, серия: "Исследование Земли из космоса", т. 1, "Физические основы, методы и средства исследований Земли из космоса". М., 1987. -196 с.

21. Итоги науки и техники, серия: "Исследование Земли из космоса", т. 2, "Обработка и использование аэрокосмической информации о Земле". М., 1987. - 172 с.

22. Кашкин В. Б. Сухинин А. И. Дистанционное зондирование Земли из космоса. Цифровая обработка изображений: Учебное пособие. - М. : Логос, 2001. - 264

23. Киенко Ю. П. Основы космического природоведения: Учебник для вузов. - М. : Картгеоцентр - Геодезиздат, 1999. - 285 с.

24. Классификация и кластер/Под ред. Дж. Вэн Райзина. Москва: «Мир», 1980.

25. Книжников Ю.Ф., Кравцова В.И. Многозональная космическая съемка и ее применение при изучении окружающей среды. Обнинск, 1978. - 47 с.

26. Коновалов Н.А., Крюков В. А. и др. C-DVM - язык разработки мобильных параллельных программ // программирование. - 1999 - №1 - с. 20-28.

27. Корнеев В.Д. Параллельное программирование в MPI. -Изд-во СО РАН, Новосибирск, 2000. - 213 с.

28. Космическая съемка и тематическое картографирование. Под ред. Салищева К. А., Книжникова Ю. Ф. Изд - во МГУ, 1980. - 272 с.

29. Космическое землеведение. Под ред. Садовничего В. А. - МГУ, 1992. - 269 с.

30. Костромин В.А. Самоучитель Linux для пользователя. - СПб.: БХВ-Петербург, 2002. - 672с.: ил.

31. Кочнова И.В. Развитие в МИИГАиК систем высокопроизводительной обработки изображений, использующих метод параллельных вычислений // Труды международной научно-технической конференции, посвященной 225 МИИГАиК - М. : МИИГАиК, 2004. - с. 8891.

32. Кронберг П. Дистанционное изучение Земли. - М. : Мир, 1988. - 343 с.

33. Кук, Розенфельд. Схема обнаружения объектов заданных размеров. ТИИ ЭР, письма, 1970, т.58, № 12, с.109,110.

34. Лацис А. О. Как построить и использовать суперкомпьютер. - М.: Бестселлер, 2003. - 240 с.

35. Малинников В.А., Марчуков B.C., Кочнова И. В. Проблемы распараллеливания в задачах предварительной обработки изображений скользящими пространственными фильтрами // Известия высших учебных заведений. Геодезия и аэрофотосъемка. №6 - М.: МИИГАиК, 2004.

36. Марчуков B.C. Технология автоматизированной обработки материалов многозональной аэрокосмической съемки: Дис. . кандидата техн. наук. - М., 1998. - 143 с.

37. Немнюгин С., Стесик О. Параллельное программирование для многопроцессорных вычислительных систем. - СПб.: БХВ-Петербург, 2002. - 400 с.

38. Ососков А.Г. Параллельная обработка изображений на многопроцессорных системах, управляемых потоком событий - ВЦ Акад. наук СССР, 198 6г.

39. Подбельский В.В. Язык Си++: учебное пособие. М. : Финансы и статистика, 2001. - 5 60 с.

40. Савиных В. П. Визуально - инструментальные исследования Земли с пилотируемого космического комплекса. М.: Недра, 1991. - 110 с.

41. Труды Всероссийской научной конференции. Высокопроизводительные вычисления и их приложения. Черноголовка 2000 - Московский Университет, 2000. - с. 240 - 241.

42. Хокни Р., Джессхоуп К. Параллельные ЭВМ. Архитектура, программирование и алгоритмы. - М.: Радио и связь, 1986. - 392 с.

43. Шилдт Г. Самоучитель С++, 3 издание: пер. с англ. -Спб.: BHV - Санкт-Петербург, 1998. - 688 с.

44. Юстуссон Б. И. Быстрые алгоритиы в цифровой обработке изображений. Под ред. Т.С.Хуанга. - М.: Радио и связь, 1984. - с. 156-191.

45. Amdahl G. Validity of the single-processor approach to achieving large-scale computing capabilities. // Proc. 1967 AFIPS Conf., AFIPS Press, V. 30, 1967. - p. 483.

46. Chang С. I., Smith S. C. Linear spectral random mixture analysis for hyperspectral imagery // IEEE Transactions on Geoscience and Remote Sensing, V. 40, № 2, 2002. - pp. 375 - 392.

47. Davies L.S., Rosenfeld A. IEEE Trans. - v. SMC -8, n 9, 1978. - pp. 705 - 710.

48. Feng T. Some Characteristics of Assotiative Parallel Processing // Proc. 1972 Sagamore Computing Conf., 1972. - pp. 5 - 16.

49. Flynn M.J. Very high-speed computing systems. Proc. IEEE. - vol. 54, 1966. - pp. 1901 - 1909.

50. Fu K.S., Mui J.K. - Pattern Recognition. - v. 13, N 1, 1981. - pp. 3 - 16.

51. Gat N., Subramanian S. Spectral Imaging: Technology and Application. Special Issue // Hyper spectrum News Letter, V. 3, № 1, 1997.

52. Haertel V., Langrebe D.A. On the classification of classes with nearly equal spectral response in remote sensing hyperspectral image data // IEEE Transactions on Geoscience and Remote Sensing, V. 37, № 5, 1999. -pp. 2374-2386.

53. Handler W. On classification schemes for computer systems in the post Von Neumann era // Lecture Notes in Computer Science, 1975.

54. Handler W. Standarts, Classification and Taxonomy: Experiences with ECS // Workshop on Taxonomy in Computer Architecture, 1981. - pp. 39 - 75.

55. Haralick R.M., Watson L. Computer Graphics and Image Processing. - v. 15, n 2, 1981. - pp. 113 - 129.

56. Hu Y.H., Lee H.B., Scarpace F.L. Optimal linear spectral unmixing // IEEE Transactions on Geoscience and Remote Sensing, V. 37, № 1, 1999. - pp. 639 - 644.

57. Ifarraguerri A., Chang C.I. Multispectral and hyperspectral image analysis with convex cones. // IEEE Transactions on Geoscience and Remote Sensing, V. 37, № 2, 1999. - pp. 756 - 770.

58. Invariant subpixel material detection in hyperspectral imagery // IEEE Transactions on Geoscience and Remote Sensing, V. 40, № 3, 2002. - pp. 599 - 608.

59. Jia X., Richards J.A. Efficient maximum likelihood classification for imaging spectrometer data sets // IEEE Transactions on Geoscience and Remote Sensing, V. 32, № 2, 1994. - pp. 274 - 281.

60. Jia X., Richards J. A. Segmented principal components transformation of efficient hyperspectral remote sensing image display and classification // IEEE Transactions on Geoscience and Remote Sensing, V. 37, № 1, 1999. - pp. 538 - 542.

61. Johnson E. E.Completing an MIMD Multiprocessor Taxonomy // Computer Architecture News, 1988. - V. 16. N 2. - pp. 44 - 48.

62. Keshava N. Distance Metrics and Band Selection in Hyperspectral Processing With Applications to Material Identification and Spectral Libraries // IEEE Transactions on Geoscience and Remote Sensing, V. 42,• № 7, 2004. pp. 1552 - 1565.

63. Lee J.S. - Computer Vision Graphics and Image Processing, 1983. - v. 24, n 2. - pp. 255-269.

64. Miller C., Payne G. D. Parallel Processing of Spaceborne Imaging Radar Data. Supercomputing, 1995.

65. Minski M., Papert S. On some associative, parallel and analog computations. Associative /information

66. Techniques, edit. E. J. Jacobs Elsevier. New York, 1971.

67. Nagao M., Matsuyama T. Computer Graphics and Image Processing, 1979. - v. 9, n 4. - pp. 394-407.

68. Ostu H. A threshold selection method from gray-level histogram, IEEE Trans. Systems Man Cybernet, SMC- 8, 1978. pp. 62-66.

69. Prewit J.M.S. - In: Picture Processing and Psychopictorics Ed. by A. Rosenfeld, B. Lipkin. N.Y.: Academic Press, 1970. - pp. 75-149.

70. Prewit J.M.S. and Mendelson M.L. The analysis of cell image, in Ann.New York, Acad. Sci. - Vol. 12 8, New York Acad Sci., New York, 1966. - pp. 1035 - 1053.

71. Skillicorn D. A Taxonomy for Computer Architectures // Computer, 1988. - V. 21, N 11. - pp. 46 - 57.7 6. Snyder L. A Taxonomy of Synchronous Parallel Machines. University Park. Penn., 1988. - pp. 281 -289.

72. Tennenbaum J.M., Sobel I, e.a. - In: Proc. of Intern. Joint Conf. on Artificial Intelligence, 1969.- pp. 521-526.

73. Tsai W. Moment-preserving thresholding: A new approach comput Vision Graphics Image Process. 29, 1985. - pp. 377 - 393.

74. Wang D.C.C., Vangnucci A.H., Li C.C. Computer Graphics and Image Processing. - v. 15, n. 2, 1981. -pp. 167 - 181.

75. Zucker S.W., Rosenfeld A., Davis L.S., Picture Segmentation by Texture Discrimination, IEEE Trans. Computers, C-24, 12, 1228 - 1233 (December 1975) .