Технология построения автоматизированных систем хранения спутниковых данных тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Прошин, Андрей Алексеевич

• Прошин, Андрей Алексеевич
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Прошин, Андрей Алексеевич

Введение.

Глава 1. Задача организации доступа к спутниковым данным дистанционного зондирования Земли.

1.1. Организация доступа к спутниковым данным ДЗЗ.

1.2. Роль автоматизированной системы хранения спутниковых данных в ИС доступа к спутниковым данным.

1.3. Задача построения автоматизированных систем хранения спутниковых данных.

Глава 2. Описание технологии построения автоматизированных систем хранения спутниковых данных.

2.1. Архитектура построения автоматизированной системы хранения спутниковых данных.

2.2. Реализация базовых программных компонент системы хранения спутниковых данных.

2.3. Оценка требований к ресурсам необходимым для функционирования системы хранения.

Глава 3. Системы хранения исходных спутниковых данных.

3.1. Особенности систем хранения исходных спутниковых данных

3.2. Система хранения данных метеорологических спутников ИОАА вИКИРАН.

3.3. Система хранения данных российских спутников Ресурс, Океан-О и Метеор-ЗМ в ЦКН «Росавиакосмос».

3.4. Система хранения данных российских и зарубежных спутников ДЗЗ в НИЦ «Планета».

Глава 4. Системы хранения результатов тематической обработки спутниковых данных.

4.1. Особенности систем хранения результатов тематической обработки спутниковых данных.

4.2. Оперативный архив данных российской системы спутникового мониторинга лесных пожаров.

4.3. Общеотраслевой архив спутникового мониторинга океанографической обстановки «Госкомрыболовства».

4.4. Интеграция продуктов тематической обработки спутниковых данных в специализированные ИС.

Введение диссертации (часть автореферата) на тему «Технология построения автоматизированных систем хранения спутниковых данных»

Развитие в последние годы прикладных систем, в которых используются данные мониторинга окружающей среды, привело к расширению области практического использования спутниковых данных и результатов их обработки. В настоящее время, данные спутникового дистанционного зондирования Земли (ДЗЗ) используются для решения различных задач контроля состояния окружающей среды и природных ресурсов, таких как, выявление и классификация промышленных загрязнений, определение различных метеорологических характеристик, обнаружение лесных пожаров, оценка масштабов наводнений, контроль динамики снежных и ледовых покровов и многих других. Увеличение спроса на данные ДЗЗ привело к тому, что к системам приема, обработки и распространения спутниковых данных (СПОРСД) стали предъявляться более жесткие требования по оперативности и технологичности их работы. Важно также отметить, что для широкого использования таких систем для решения прикладных задач они должны быть сравнительно дешевы в разработке и эксплуатации. Естественно, что для того чтобы удовлетворить вышеперечисленным требованиям все элементы СПОРСД должны быть максимально автоматизированы.

Одним из ключевых элементов СПОРСД является автоматизированная система хранения спутниковых данных (СХСД), предназначенная для решения всего комплекса задач, связанных с архивацией данных и предоставлением к ним доступа. К таким задачам относятся: аннотация данных, входной контроль и усвоение данных, хранение данных в режиме непосредственного доступа и в долговременном архиве, предоставление данных системам обработки и обеспечение оперативного доступа к данным удаленных пользователей. При этом для надежного функционирования

СХСД необходимо также обеспечить уделенный контроль за ее функционированием.

Существовавшие до недавнего времени системы хранения спутниковых данных, как правило, были либо чересчур дороги и громоздки, либо узко специализированы, что затрудняло адаптацию их под решение новых прикладных задач. Кроме того, многие из этих систем были недостаточно автоматизированы и поэтому для их эксплуатации требовался специальный обслуживающий персонал. Еще одним важным недостатком многих из существовавших систем, в первую очередь отечественных, был недостаточно развитый интерфейс для удаленного доступа к спутниковым данным.

Конкретная реализация СХСД в большой мере определяется типом используемых спутниковых данных и специфическими требованиями по организации доступа к ним. Однако при всех отличиях различных систем хранения основные решаемые ими задачи схожи, что позволяет выработать общие принципы построения подобных систем. Представленная работа посвящена созданию и внедрению технологии построения автоматизированных СХСД, которая позволила бы со сравнительно малыми затратами разрабатывать и эксплуатировать системы хранения спутниковых данных, предназначенные для решения различных прикладных задач. С этой целью была разработана общая архитектура построения СХСД. В рамках этой архитектуры были разработаны базовые программные компоненты, используемые при построении СХСД. При их создании основной упор делался на гибкость и масштабируемость получаемых программных решений при минимальных затратах на дополнительное программное обеспечение.

Настоящая работа состоит из четырех глав.

В первой главе рассматривается задача организации доступа к спутниковым данным. Сначала анализируются особенности архивации данных ДЭЗ и обеспечения к ним удаленного доступа, описываются требования по организации доступа к спутниковым данным характерные для различных областей их применения и приводится краткий обзор существующих систем доступа к спутниковым данным ДЗЗ. Далее на примере разработанной в ИКИ РАН архитектуры построения СПОРСД показана роль системы хранения в информационной системе доступа к спутниковым данным. На основании анализа требований, предъявляемых к функционированию системы хранения спутниковых данных, определяются основные задачи автоматизированной СХСД: аннотация и архивация спутниковых данных, организация хранения спутниковых данных, обеспечение доступа к спутниковым данным и контроль за функционированием системы хранения. В заключение главы формулируется задача создания технологии построения автоматизированных систем хранения спутниковых данных, удовлетворяющих предъявляемым требованиям.

Вторая глава посвящена описанию реализации разработанной автором технологии. Центральным элементом этой технологии является архитектура построения автоматизированных систем хранения спутниковых данных. В рамках описания архитектуры рассматривается решение основных задач системы хранения на основе использования базовых программных компонент: системы ведения архивов, системы администрирования архивов, системы доступа к архивам на базе WEB интерфейсов и системы контроля за функционированием СХСД. Далее приводятся общие сведения о реализации базовых программных компонент. В заключение главы приводится методика оценки требований к ресурсам, необходимым для функционирования СХСД. Она позволяет оценить требования к используемым компьютерам и требования к работе персонала, отвечающего за функционирование системы хранения.

В третьей главе рассматриваются системы хранения, предназначенные для работы с исходными спутниковыми данными. Такие системы, как правило, устанавливаются в специализированных центрах приема спутниковых данных. В главе рассматриваются особенности этого класса систем хранения, а затем приводятся краткие описания реализованных по представленной технологии систем хранения исходных спутниковых данных, перечисленных ниже:

1. Система хранения данных метеорологических спутников серии >ЮАА в ИКИ РАН.

2. Система хранения данных российских спутников Ресурс, Океан-О и Метеор-ЗМ в Центре Космических Наблюдений (Росавиакосмос)

3. Система хранения данных российских и зарубежных спутников в НИЦ «Планета»

Четвертая глава посвящена описанию систем хранения, предназначенных для архивации результатов тематической обработки спутниковых данных. Как правило, такие системы разрабатываются для оперативного решения различных практических задач, таких как обнаружение лесных пожаров или построение карт ледовой обстановки. В главе приводятся характерные особенности этого класса систем хранения и рассматриваются реализованные по представленной технологии следующие системы хранения спутниковых данных:

1. Оперативный архив данных российской системы спутникового мониторинга лесных пожаров.

2. Общеотраслевой архив спутникового мониторинга океанографической обстановки «Госкомрыболовства»

В главе также рассматриваются возможности по интеграции спутниковых данных в специализированные информационные системы.

В заключении приводятся основные теоретические и практические результаты представленной работы, выносимые на защиту.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Прошин, Андрей Алексеевич

Заключение

В настоящей работе создана и применена на практике технология построения автоматизированных систем хранения спутниковых данных. Технология основана на использовании разработанной автором архитектуры построения автоматизированных СХСД и базовых программных компонент. Она позволяет с минимальными трудозатратами создавать системы хранения спутниковых данных для решения конкретных прикладных задач. В рамках создания технологии были получены следующие основные результаты:

1. Разработана архитектура построения автоматизированных систем хранения спутниковых данных на основе базовых программных компонент.

2. Предложена реализация базовых программных компонент автоматизированной системы хранения спутниковых данных

• Система администрирования архивов спутниковых данных

• Система ведения архивов спутниковых данных

• Система доступа к архивам на основе WEB интерфейсов

• Система контроля за функционированием системы хранения

3. Предложена методика оценки требований к ресурсам, необходимым для построения систем хранения спутниковых данных.

На основе представленной технологии были разработаны следующие системы хранения исходных спутниковых данных:

1. Система хранения данных метеорологических спутников серии NOAA в ИКИ РАН.

2. Система хранения данных российских спутников Ресурс, Океан-О и Метеор-ЗМ в Центре Космических Наблюдений (Росавиакосмос)

3. Система хранения данных российских и зарубежных спутников в НИЦ «Планета»

135

На основе представленной технологии был также разработан ряд систем хранения результатов тематической обработки спутниковых данных

1. Оперативный архив данных российской системы спутникового мониторинга лесных пожаров.

2. Общеотраслевой архив спутникового мониторинга океанографической обстановки «Госкомрыболовства»

Автор благодарен Е. А. Лупяну за внимание и постоянный интерес к работе.

Автор глубоко признателен А. А. Мазурову, Е. В. Флитману, Ю. С. Крашенинниковой за возможность реализации настоящей работы.

Автор не может также с благодарностью не отметить большого влияния совместной работы с П. Б. Руткевичем, А. В. Андреевым, В. О. Ильиным, В. А. Егоровым, В. Ю. Ефремовым, С. А. Тащилиным, Т. Н. Бурцевой и с Т. Л. Кармашовой.

Список литературы диссертационного исследования кандидат технических наук Прошин, Андрей Алексеевич, 2003 год

1. Дистанционное зондирование в метеорологии, океанографии и гидрологии / Под ред. А.П. Креннелла, М.: Мир, 1984. 536 с.

2. Кондратьев К .Я. Мелентьев В.В. Космическая дистанционная индикация облаков и влагосодержания в атмосфере Л.: Гидрометеоиздат. 1987. 263 с.

3. Седунов Ю.С. и др. Основные направления развития и использования оперативных космических систем наблюдения для гидрометеорологического обеспечения и мониторинга окружающей среды // Метеорология и гидрология 1995. N4. С. 7-21.

4. World Climate Program, 1984: The International Satellite Cloud Climatology Project (ISCCP): Cloud analysis algorithm intercomparison. March 1984, WCP-73, pp 74

5. Rossow W.B. Measuring cloud properties from space // A review J. Clim. 1989. V. 2. P. 201-213.

6. Clouds in climate: Modeling and satellite obserbational studies / Rossow W.B., (Ed.), Workshop Rep. NASA Goddard Institute for Space Studies. 1981. 222 p.

7. Lee H.-Y. An application of NOAA AVHRR thermal data to the study of urban heat islands // Atmospheric Environ. 1993. V. 27B. P. 1-13.

8. Клепиков И.Н., Покровская И.В., Шарков E.A. Спутниковые и радиодистанционные исследования мезомасштабной атмосферной турбулентности в предтайфунных ситуациях // Исследование Земли из Космоса. 1995. N 3. С. 13-24.

9. Ferrare R., Fraser R.S., Kaufman Y.J. Satellite measurements of large-scale air pollution measurements of forest fire smoke // J. Geophys. Res. 1990. V. 95 (D7). P. 9911-9925.

10. CammonR.H. Relationship between atmospheric CO2 variations and asatellite-derived vegetation index. //Nature. 1986. V. 319. P. 195-199.

11. Ki dwell K. Global vegetation index users guide. NOAA/NESDIS. Washington, DC. 1990. 50 p.

12. Жеребцов Г.А., Кокоуров В.Д., Кошелев B.B., Минько Н.П. Использование данных AVHRR с ИСЗ NOAA для обнаружения лесных пожаров // Исследование Земли из космоса. 1995. N 5. С. 74-77.

13. Chuvieco Е., Martin P.M. Global fire mapping and fire danger estimation using AVHRR images // Photogrammetric Enginering and Remote Sensing. 1994. V. 60. P. 563-570.

14. Lopez S., Gonzalez F., Llop R., Cuevas J.M. An evaluation of the utility of NOAA AVHRR images for monitoring forest fire risk in Spain // Int. J. Remote Sensing. 1991. V. 12. P. 1941-1851.

15. Коровин Г.Н., Андреев H.А. Авиационная охрана лесов. М.: Агропромиздат. 1988. 220 с.

16. Vidal A., Pinglo F., Devaux-Ros С., Maillet A. Evaluation of Temporal Fire Risk Index in Mediterranean Forests from NOAA Thermal IR // J. Remote Sens. Environ. 1994. V. 49. P. 296-303.

17. Захаров М.Ю., Кудашев Е.Б., Лупян Е.А., Назиров P.P. Реальныевозможности спутникового экологического мониторинга // Материалы1. межд. конф. "Анализ систем на пороге XXI века: теория и практика". 1996. Т. 2. С. 349-360. Москва.

18. US Congress, Office of Technology Assesment, Remotely Sensed Data: Technology, Management and Markets. // OT-ISS-604 ( Washington, DC: US Government Printing Office, September 1994).

19. Gesell G. An algorithm of snow and ice detection using AVHRR data: an extension of the APOLLO software package // Int. J. Remote Sensing. 1989. V. 10. P. 897-905.

20. Dewey K.F., Heim R. Satellite Observations of Variations in Northern Hemisphere Seasonal Snow Cover//NOAA Technical Report, NESDIS 87.

21. Kuittinen R. The potential of satellite data in snow models // Proceedings of the iinnish-russian seminar on remote sensing in Helsinki 29 August-1 September 1994 Kirkkonummi 1997. P. 130-140.

22. Прокачев В.Г., Усачев В.Ф. Наводнения и дистанционные средства для их наблюдения / С-Петербург: ГГИ. 1996. 74 с.

23. FeaM. Remote sensing for hydrology by operational Earth Observation satellite systems Remote ensing applicatioon in hydrology and water resourses // Bratislava IHP UNESCO 1986. P. 10-23.

24. Кондратьев К.Я., Мелентьев В.В., Назаркин В.А. Космическая дистанционная индикация акваторий и водосборов. Санкт-Петербург: Гидрометеоиздат. 1992. 248 с.

25. Сидько Ф.Я., Шерстянкин П.П., Апонасенко А.Д. Исследование пространственного распределения фитопланктона озера Байкал

26. Космическая информация в геологии / Под ред. В.Г. Трифонова и др. М.: Наука, 1983. 536 с.

27. Campbell Introduction to Remote Sensing 2nd edition RICS MTF15357B 1996. 576 p.

28. Khalid Sayood Introduction to Data Compression // Morgan Kaufmann publishers ISBN 1-55860-346-8 1996 475 p.

29. Асмус В. В.Сжатие информации методомДИКМ с энтропийным квантованием. В кн. Информационный бюллетень алгоритмов и программ обработки аэрокосмической видеоинформации. Вып. 1. Интеркосмос. Москва-Варшава, 1979

30. Захаров М.Ю., Лупян Е.А. Организация формата записи данных, поступающих со спутников серии NOAA, для решения локальных задач // Исследование Земли из Космоса 1993. N3. С. 66 70.

31. Folk М. An Introduction to HDF (Hierarchical Data Format) HDF Groupe University of Illonois at Urbana Champaign 1997. 63 p.

32. TIFF Revision 6.0. Aldus Corporation. Seattle. 1992.

33. Dopplick Т. A Science User's Guide to the EOSDIS Core System (ECS) Development process // EOSDIS Science Office Technical paper 60-TP-003-01 1995.

34. A Guide to Earth Observing Satellites. National Remote Sensing Centre Limited. United Kingdom. 193 p.

35. Алексанин А. И., Алесанина М.Г., Гербек Э. Э., Горин И. И. Региональный спутниковый мониторинг Дальневосточных морей .Институт автоматики и процессов управления ДВО РАН. Сборник научных статей, 2001, с.203-224

36. Захаров М.Ю., Крашенинникова Ю.С., ЛупянЕ.А., Мазуров A.A., Назиров P.P., Флитман Е.В., Хохлова H.JI. Открытая информационная система поддержки пользователей спутниковых данных // Препринт ИКИ РАН. Москва. 1995. Р-1929. 38 с.

37. ЗахаровМ.Ю., ЛупянЕ.А., Назиров P.P., Мазуров A.A., Флитман Е.В., Хохлова Н.Л. Организация системы оперативного доступа удаленных пользователей к спутниковым данным // Исследование земли из космоса 1996. N 5. С. 67-72.

38. М.Ю. Захаров, Е.А. Лупян, А.А. Мазуров, P.P. Назиров, А.А. Прошин, Е.В. Флитман Система автоматического приема и архивирования спутниковых данных. Препринт ИКИРАН. Пр-1988. М. 1998. 19 с.

39. Букчин M.A., Захаров М.Ю., Крайнев Ан.Г., Лупян Е.А., Мазуров А.А., Нартов И.Ю., Флитман Е.В. Первичная обработка данных метеорологических спутников на локальных станциях приема // Исследование Земли из Космоса 1994. N 5.

40. Захаров М.Ю., Лупян Е.А., Мазуров А.А. Программа обработки данных прибора AVHRR спутников серии NOAA для персональных компьютеров // Исследование Земли из Космоса. 1993. N 4. С. 62-68.

41. Е.А. Лупян, A.A. Мазуров, P.P. Назиров, A.A. Прошин, E.B. Флитман Универсальная технология построения систем хранения спутниковых данных Препринт ИКИ РАН. Пр-2024. М. 2000. 22 с.

42. Е. Loupian, A. Mazurov, R. Naziroy, А. Proshin, Е. Flitman А Universal Technology for Development of Satellite Data Storage Systems 4 International Symposium on "Reducing the Cost of Spacecraft Ground Systems and Operations", 2001.

43. Искусство программирования. Том 1. Основные алгоритмы. Кнут Д.Э., Вильяме 2000, 720 стр

44. Вирт Н. Алгоритмы и структуры данных. СПб.: Невский Диалект, 2001, 352с.

45. Эви Немет, Гарт Снайдер, Скотт Сибасс, Трент Р. Хейн. UNIX: руководство системного администратора. К.: BHV, 1998,832с.

46. МакМален Дж. UNIX. М.: Компьютер, ЮНИТИ, 1996,368с

47. Робачевский А. М. Операционная система UNIX. СПб.: БХВ.2000,528с.

48. Дейт, К. Дж. Введение в системы баз данных. К.: Диалектика, 1998, 784

49. Гэри Хансен, Джеймс Хансен. Базы данных: разработка и управление. М.: ЗАО «Издательство БИНОМ», 1999, 704

50. Дюбуа, Поль. MySQL: Пер. с англ. М.: «Вильяме», 2001,816с.

51. Поль Дюбуа Применение MySQL и Perl в Web-приложениях., Издательство: Вильяме, 2000

52. Яргер Р., Риз Дж., Кинг Т. MySQL и vSQL. Базы данных для небольших предприятий и Интернета. СПб: Символ-Плюс, 2000, 560с

53. Фролов А. В., Фролов Г. В. Базы данных в интернете: практическое руководство по созданию Web-приложений с базами данных М.: Издательство «Русская Редакция», 2000, 448с

54. Джон Кауффман, Брайан Матсик, Кевин Спенсер. SQL. Программирование. Бином, 2002.

55. Бен Лори, Петер Лори. Apache: К.: BHV, 1997,288с.

56. Керниган Б., Ритчи Д. Язык программирования Си. Пер. с англ., 3-е изд.,испр. СПб.: «Невский Диалект», 2001, 352с

57. Ричард Хэзфилд, Лоуренс Кирби. Искусство программирования на С. Фундаментальные алгоритмы, структуры данных и примеры приложений, Диасофт, 2001

58. A. В. Матросов, М. П. Чаунин. Perl. Программирование на языке высокого уровня. Учебник для вузов.,2003, Издательство Питер

59. Дэвид Н. Бланк-Эдельман. Perl для системного администрирования., СПб: Символ-Плюс,2001, 496с.

60. Уолл Л., Кристиансен Т., Орвант Д. Программирование на Perl. Пер. с англ.- СПб: Символ-Плюс, 2002.- 1152с.

61. Кристиансен Т., Торкингтон Н. Perl: Библиотека программиста СПб: Издательство «Питер», 2000, 736с.

62. Нильсен Я. Веб-дизайн. СПб: Символ-Плюс, 2000,512с

63. Павлов А. CGI-программирование. СПб:. Питер, 2000,416с

64. Скотт Гулич, Шишир Гундаварам, Гюнтер Бирзнекс. CGI программирование на Perl. Символ-Плюс, 2001.

65. Келли JI. Мэрдок. JavaScript. Наглядный курс создания динамических Web-страниц, 2001.

66. Пол Мак-Федрис. Использование JavaScript. Специальное издание. Вильяме, 2002.

67. Шелли Пауэре. Динамический HTML. Издательство «ЛОРИ», г. Москва, 1999, 362с

68. Dynamic HTML: справочник. СПб: Издательство «Питер», 2000,512с.

69. Матросов А. В, Сергеев А. О., Чаунин М. П. HTML 4.0. Новый уровень создания HTML-документов. «БХВ-Санкт-Петербург», 2001,672с.

70. Захаров М.Ю., Лупян Е.А., Назиров Р.Р. Создание информационного центра для поддержки пользователей спутниковых данных. // Исследование Земли из Космоса. 1994. N 4. С. 88-91.

71. Захаров М.Ю., Лупян E.A., Мазуров A.A., Матюшкин Е.В., Назиров P.P., Флитман Е.В. Построение архивов данных метеорологических спутников на основе технологий глобальных сетей ИНТЕРНЕТ Препринт ИКИ РАН. Москва. 1998. Пр. 1978 с27

72. Асмус В.В., Милехин O.E., Копылов В.Н. Система государственных центров космического мониторинга окружающей среды. Труды международной конференции, Ханты-Мансийск, 14-16 июня 2001. с. 152-156.

73. Асмус В.В., ,Милехин O.E. Справочник потребителя спутниковой информации / Под ред. СПб.: Гидрометеоиздат, 2002. 168 с.

74. Андреев М.В., А.Ю. Дегай, Ю.С. Крашенинникова, Е.А. Лупян, A.A. Мазуров, P.P. Назиров, A.A. Прошин, Е.В. Флитман, Э.Э. Гербек, И.Г. Проценко Возможности организации отраслевого спутникового мониторинга Рыбное хозяйство. Специальный выпуск.2001. с.35

75. Захаров М.Ю., Лупян Е.А., Мазуров A.A., Назиров P.P., Флитман Е.В. Интеграция архивов спутниковых данных в специализированные информационные системы Исследование Земли из космоса. 1998. N3. С. 65-69.

76. Андреев М.В., Дегай А.Ю., Е.А. Лупян, A.A. Мазуров, A.A. Прошин, Е.В. Флитман Картографитческий web-интерфейс на основе технологий DHTML и JavaScript Препринт ИКИ РАН. Пр-2051. М. 2002. 23 с.