Создание автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Андреев, Михаил Владимирович

• Андреев, Михаил Владимирович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Андреев, Михаил Владимирович

ВВЕДЕНИЕ.

ГЛАВА 1. ЗАДАЧА ПРЕДОСТАВЛЕНИЯ ДАННЫХ ПОЛЬЗОВАТЕЛЯМ ОТРАСЛЕВОЙ СИСТЕМЫ МОНИТОРИНГА РЫБОЛОВСТВА.

4 1.1 Отраслевая система мониторинга.

1.2 Основные типы информации ОСМ и методов их сбора.

1.3 Пользователи ОСМ.

1.4 Возможные подходы к решению задач сбора, хранения и предоставления данных в ОСМ.

1.5 Обзор технологий web-программиробания.

1.6 Выводы.

ГЛАВА 2. АРХИТЕКТУРА ПОСТРОЕНИЯ СИСТЕМЫ.

2.1 Логическая схема работы системы распространения данных.

2.2 Архитектура реализации сбора и распространения данных.

2.3 Основные информационные блоки системы и требования к ним42 г 2.4 Протокол обмена данными.

2.5 Выводы.

ГЛАВА 3. БАЗОВЫЕ ПРОГРАММНЫЕ ЭЛЕМЕНТЫ СИСТЕМЫ.

3.1 Основные программные модули системы.

3.2 Требования к системе взаимодействия модулей.

3.3 Система передачи данных и контроль за работой системы.

3.4 Модуль ввода информации в базу данных. р.5 Модуль фильтрации.

3.6 Интерфейс пользователя.

3.7 Выводы. f

ГЛАВА 4. РЕАЛИЗАЦИЯ СИСТЕМЫ РАСПРОСТРАНЕНИЯ И

ПРЕДОСТАВЛЕНИЯ ДАННЫХ ОТРАСЛЕВОГО МОНИТОРИНГА * РЫБОЛОВСТВА.

4.1 Организация сбора и рассылки данных в ОСМ.

4.2 Информационные узелы.

4.3 Картографический web-интерфейс к данным мониторинга флота и окружающей среды.

4.4 Локальное рабочие место пользователя.

4.5 Выводы.

Введение диссертации (часть автореферата) на тему «Создание автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства»

Рыбный промысел традиционно имеет большое значение для стран, имеющих выход к морю. В некоторых регионах России сегодня рыболовной промысел является основной статьей дохода. Следовательно, оперативное получение информации о деятельности рыболовного флота и предоставление её заинтересованным государственным организациям является весьма актуальной задачей.

Такая информация необходима для работы различным отраслевым организациям, а так же организациям других ведомств, решающих задачи связанные с контролем экономической деятельности рыболовного флота или с мониторингом окружающей среды. С другой стороны развитее технических средств связи и спутникового позиционирования позволяют ставить качественно новые задачи по оперативности и точности получаемой информации.

Для более эффективного решения задач мониторинга рыболовного флота Российской Федерации была создана отраслевая система мониторинга (ОСМ). Основной целью ОСМ является обеспечение эффективного государственного управления водными биоресурсами в интересах экономической безопасности Российской Федерации, рационального использования, изучения и сохранения рыбных запасов. Первая очередь ОСМ была введена в эксплуатацию в 2000 году. Создание и развитие отраслевой системы мониторинга рыболовства является достаточно сложной задачей, требующей решения многих вопросов из разных областей знания. Среди этих вопросов заметное место занимаю проблемы связанные с созданием программных систем для решения задач информационного наполнения системы, распространения данных и решения прикладных задач конечных пользователей.

Данная работа посвящена созданию автоматизированной распределенной системы распространения и предоставления данных ОСМ.

Главная задача такой системы - организация оперативного обмена информацией между различными субъектами ОСМ.

В первой главе проведен анализ задачи организации автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства.

Приводится обзор основных характеристик и возможностей отраслевой системы рыболовства. Описывается основные типа её информационного наполнения и методов сбора данных. Для каждого типа информации описывается, каким образом данные попадают в системы и как часто они обновляются.

Описываются основные группы пользователей ОСМ, их потребности в различного рода данных мониторинга рыболовного флота и окружающей среды, оперативности доступа к данным, возможности каналов связи. Суммируются основные особенности, важные для проектирования системы предоставления данных.

В главе дан анализ возможных подходов к решению задач сбора, хранения и предоставления данных в ОСМ. Обсуждается возможные подходы к репликации данных, и формулируются требования к системе репликации БД ОСМ. Дан обзор некоторых технологий программирования, которые могут быть использованы для разработок. Предложено использовать для решения поставленной задачи предоставления данных пользователям ОСМ механизм асинхронной репликации данных и пользовательский интерфейс на основе web-технологий.

Сформулированы требования к созданию автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства.

Вторая глава посвящена описанию предлагаемой архитектуры построения системы.

Приводится анализ логической схемы информационных потоков отраслевой системы мониторинга. Выделены следующие уровни: уровень «Источники», уровень «Сборка», уровень «Хранения и распространения данных», уровень «Получатели данных». Представлена схема взаимодействия этих уровней. Описаны функциональные требования к этим уровням.

Выделены следующие функциональные блоки. Для каждого из них переведен анализ технических требований, которым они должны удовлетворять. Предложена технологическая схема, реализующая обмен информацией в системе, в соответствии с описанной выше логикой информационных уровней.

Описывается протокол обмена данными в системе. Предлагаемый формат представляет собой основанный на XML язык разметки текста. Формат ориентирован на построчную интерпретацию, по сути, он представляет собой специальным образом записанную последовательность SQL команд.

В третьей главе описываются базовые элементы системы.

Определяются основные программные модули системы, которые необходимы для реализации описанных выше схем обмена данными. Основные модули системы должны реализовывать следующие функции:

• Передача данных между узлами системы.

• Диспетчеризация информационных потоков.

• Ввод полученных данных в БД ОСМ в каждом из узлов системы.

• Удаленный контроль работы модулей системы в разных узлах.

• Интерфейс пользователя, обеспечивающий базовые возможности для просмотра и анализа данных в БД ОСМ.

Сформулированы требования к организации взаимодействия модулей в системе и описаны принципы, реализации такого взаимодействия в программном обеспечении, разработанным автором.

Определены выбранные для разработок операционная система и средства разработки. В главе также подробно описываются реализованные программные компоненты.

Четвертая глава посвящена описанию применений предложенной технологической схемы и разработанных программных модулей для сбора и распространения данных в отраслевой системе мониторинга.

Описана организация сбора и рассылки данных в ОСМ. Рассмотрен технологический процесс сбора данных о позиционировании и промысловой деятельности судов дальневосточного бассейна и информации о деятельности рыболовного флота в европейской части w

России. Эти данные собираются в объединенную базу данных ОСМ в

V головном узле системы в Национальном Центре Мониторинга и Связи

Госкомрыболовства (НЦМС). НЦМС так же занимается поддержкой st, справочных таблиц базы данных. Приведена Схема информационных потоков ОСМ.

Дано описание предоставления данных организациям при помощи организации информационных узлов (ИУ). ИУ ОСМ создаются в регионах на государственных предприятиях, обеспечивающих реализацию управления водными биологическими ресурсами. Цель создания ИУ ОСМ - это обеспечение государственных предприятий отрасли необходимой программно-технической средой получения и доставки данных в единый информационный ресурс ОСМ и эффективное информационное обеспечение работы органов рыбоохраны, служб наблюдения за флотом, научных подразделений, занимающихся оценкой и состоянием рыбных запасов и др.

Далее дан анализ задачи обеспечения оперативной информацией, поступающей в ОСМ, и системой ее анализа отраслевых пользователей, работающих удаленно от центральных и региональных информационных узлов ОСМ (например, инспекторов, находящиеся на судах). В рамках данной работы было разработано решение для этой задачи - локальное рабочее место пользователя (ЛРМП)

Предложенное программно-аппаратное решение работает под управлением ОС Windows. Что поваляет использовать в качестве арпаратной базы рабочую станцию, либо портативный компьютер, с сохранением всех базовых функций современного персонального компьютера (пакеты офисных программ, работа с Интернет и т.п.).

Описаны требования по системе поступления данных на ЛРМП и основные программные элементы необходимые для обеспечения работы ЛРМП. Рассказано о опыте практического использования ЛРМП при решении реальных задач отраслевой системы мониторинга.

В заключении приводятся основные результаты, выносимые на защиту.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Андреев, Михаил Владимирович

4.5 Выводы

В этой главе были описаны применения на практике результатов полученных в работе.

На основе предложенной в главе 2 архитектуры и созданных базовых программных элементов, описанных в главе 3, реализована находящаяся в настоящий момент в промышленной эксплуатации система сбора и распространения данных ОСМ. В настоящее время эта система обеспечивает получение в автоматическом режиме данных о деятельности рыболовного флота в экономической зоне Российской Федерации в более чем 20 организациях.

В соответствии с предложенной в главе 2 логикой рассылки данных, автором разработана архитектура построения базовых информационных узлов ОСМ, рассчитанных на обеспечение работы крупных отраслевых организаций.

Для предоставления базовых возможностей по работе с данными БД ОСМ автором разработан картографический web-интерфейс. Интерфейс предоставляет возможность визуального отображения географически привязанной информации из БД ОСМ и архивов спутниковых данных, а так же получения текстовых выходных форм.

Автором была так же разработана архитектура построения локального рабочего места пользователя ОСМ, рассчитанного на работу отдельных удаленных пользователей, не имеющих выделенных каналов связи.

Заключение

Научно-технические разработки выполненные в рамках настоящей работы позволили создать автоматизированную систему распространения и предоставления данных отраслевого мониторинга рыболовства. Внедрение системы проходило начиная с 2000 года в рамках работ по созданию и развитию ОСМ. В настоящее время созданная система используется для организации информационного обмена и работы с данными в более чем 20 организациях, обеспечивающих контроль промысловой деятельности в экономической зоне Российской Федерации.

В рамках настоящей работы получены следующие основные результаты, которые выносятся на защиту:

1. Разработана принципиальная логическая схема информационного обмена между субъектами отраслевой системы мониторинга, позволившая организовать обмен информации, обеспечивающий целостность и локальную полноту данных.

2. Предложена модульная схема построения системы сбора и предоставления данных ОСМ. На основе предложенной схемы были выделены базовые программные компоненты и разработаны правила их взаимодействия, которые позволили оптимизировать работы по созданию функциональных узлов системы за счет применения однотипных технологических решений.

3. Разработана архитектура построения базовых информационных узлов ОСМ, рассчитанных на обеспечение работы крупных отраслевых организаций.

4. Разработана архитектура построения локального рабочего места пользователя ОСМ, рассчитанного на работу отдельных удаленных пользователей, не имеющих выделенных каналов связи.

5. Разработаны базовые программные компоненты автоматизированной системы распространения и предоставления данных отраслевого мониторинга рыболовства:

• Блок, обеспечивающий поддержку обмена данными между узлами ОСМ;

• Универсальный модуль ввода информации в базу данных ОСМ;

• Блок формирования и фильтрации потока данных ОСМ;

• Интерфейс удаленного пользователя на основе web технологий

6. На основе предложенной архитектуры и созданных базовых элементов реализована находящаяся в настоящий момент в промышленной эксплуатации система сбора и распространения данных отраслевой системы мониторинга рыболовства.

Благодарности

Автор выражает благодарность Лупяну Е.А. за возможность работы над темой и неоценимую помощь в оформлении работы.

Автор также глубоко признателен своим коллегам, сотрудникам Института космических исследований РАН, Прошину А.А., Дегаю А.Ю, Наглину Ю.Ф., Ильину В.О., Егорову В.А.

Эта работа не могла бы быть выполнена без сотрудничества с организациями, разрабатывавшими и развивавшими систему мониторинга рыболовства. Автор особенно благодарен Нестеренко А.А., Пыркову В.Н., Ермакову В.В., Бажутину О.Е., Фомичеву М.В., Солодилову А.В., Сизовой Е.Р.

Список литературы диссертационного исследования кандидат технических наук Андреев, Михаил Владимирович, 2004 год

1.В. Деменьтев. Поручение правительства России выполнено// Рыбное хозяйство. Специальный выпуск. 2001. с.2

2. Автоматизированные системы мониторинга судоходства / А.Н.Маринич, И.Г.Проценко, В.Ю.Резников и др. Под общ. ред. докт. техн. наук, проф. Ю.М.Устинова. СПб.: Судостроение, 2003, - 230 е., ил.

3. Г.П. Ванюшин, Б.Н. Котенев, М.Ю. Кружалов, А.А. Трошков, Т.В. Булатов. Мониторинг рыболовства — составная часть программы эффективного освоения биоресурсов // Рыбное хозяйство. Специальный выпуск. 2001. С. 43-47

4. В.Н. Долженков, В.Н. Кобликов. Современное состояние запасов и перспективы промысла камчатского краба на шельфе западной камчатки // Рыбное хозяйство 2003 № 4 с. 32-35.

5. В.А. Шашуловский, С.С. Мосияш. Опыт оценки неучтенного промыслового вылова рыбы (на примере волгоградского водохранилища) // Рыбное хозяйство 2003 № 4 с. 44-46

6. Резников В.Ю. Глобальная морская система связи при бедствии (ГМССБ) // Рыбное хозяйство. Спец. вып. 2001. - С. 3-18.

7. К.С. Пустовойт. Спутниковые станции системы ИНМАРСАТ // Рыбное хозяйство. Специальный выпуск. 2001. С. 26-28.

8. К.С. Пустовойт, С.А. Тонких. Защищенность технических средств мониторинга рыбопромысловых судов // Рыбное хозяйство 2003 № 4 / С. 64-65.

9. А.Н. Семкин, В.И. Черемушкин. Возможности использования российского космического сегмента для мониторинга рыболовства // Рыбное хозяйство. Специальный выпуск. 2001. С. 29-32.

10. Основы обработки и анализа данных космического дистанционного зондирования океана. Учебное пособие. М.: МФТИ, 2003. 272с.

11. М.Ю. Захаров, Е.А. Лупян, А.А. Мазуров и др. Система автоматического приема и архивирования спутниковых данных. // Препринт ИКИ РАН. Пр.-1998. М.-.1998 19с.

12. Е.А. Лупян, А.А. Мазуров, P.P. Назиров и др. Универсальная технология построения систем хранения спутниковых данных. // Препринт ИКИ РАН. Пр.-2024. М.:2000. 22с.

13. А.А. Романов, С.В. Матвеев, Е.А. Лупян, А.А. Мазуров, А.А. Прошин, Е.В. Флитман. Перспективы создания и развития распределенного архива данных спутникового мониторинга океанографической обстановки Госкомрыболовства. Тезисы докладов

14. Конференции «Информационные ресурсы об океане актуальные проблемы формирования, распространения и использования в научных исследованиях и в морской деятельности» ОИР 2002 Обнинск, ВНИИГМИ-МЦД с.107

15. Романов А.А. Геоинформационные технологии и интерактивная компьютерная обработка изображений в задачах дистанционного зондирования океана // М.: МФТИ. 1999. 230 с.

16. Н.М. ДеМерс. Географические информационные системы. Основы // М.: Дата+. 1999. 490 с.

17. Капралов Е.Г., Кошкарев А.В., Тикунов B.C. и др. Основы геоинформатики: Учебное пособие. Под ред. В.С.Тикунова. М.: Академия, 2004, кн.1 - 352 е.; кн. 2 - 480 с.

18. George Korte. The GIS Book; 5 edition // On Word Press, 2000. 400 p.

19. Долгов A.H., Десятерик M.H. Электронно-картографическая основа для системы мониторинга «Рыболовство» // Рыбное хозяйство. Специальный выпуск. 2001. С. 33.

20. К. Дж. Дейт. Введение в системы баз данных. К.: Диалектика, 1998, 784с.

21. Гарсиа-Молина Г., Ульман Д., Уидом Д. Системы баз данных. Полный курс // М.:2003, 1088 с.

22. Т. Коннолли. Базы данных. Проектирование, реализация и сопровождение. М.: Вильяме, 2003. 1439 с.

23. Fleming С., Von Halle В. Handbook of Relational Database Design. Reading, MA: Addison-Wesley. 1989.

24. M. Грабер. SQL // M.: Лори, 2001. 353 с.

25. Database Language SQL (ISO 9075:1987(E)). International Organization for Standardization. 1987.

26. Database Language SQL (ISO 9075:1989(E)). International Organization for Standardization. 1989.

27. Database Language SQL (ISO 9075:1992(E)). International Organization for Standardization. 1992.

28. Database Language SQL Part 2: Foundation. (ISO/IEC 9075-2). International Organization for Standardization. 1999.

29. Database Language SQL Part 2: Persistent Stored Modules. (ISO/IEC 9075-4). International Organization for Standardization. 1999.

30. С. Спейнаур, P. Экштейн. Справочник вебмастера. СПб.: Символ-Плюс. 2001. 608 с.

31. А. Павлов. CGI-программирование: учебный курс — СПб: Питер, 2000.-416 с.: ил.

32. Д. Кирсанов. Веб-дизайн: книга Дмитрия Кирсанова СПб.: Символ-Плюс, 1999 - 376 е.: цв. ил.

33. Скотт Гулич, Шишир Гундаварам, Гюнтер Бирзнекс. CGI программирование на Perl. Символ-Плюс, 2001.

34. Келли J1. Мэрдок. JavaScript. Наглядный курс создания динамических Web-страниц, 2001.

35. Пол Мак-Федрис. Использование JavaScript. Специальное издание. Вильяме, 2002.

36. Шелли Пауэре. Динамический HTML. Издательство «ЛОРИ», г. Москва, 1999, 362с

37. Dynamic HTML: справочник. СПб: Издательство «Питер», 2000,512с.

38. Матросов А. В, Сергеев А. О., Чаунин М. П. HTML 4.0. Новый уровень создания HTML-документов. «БХВ-Санкт-Петербург», 2001,672с.

39. X. Вильямсон. Универсальный Dynamic HTML. Библиотека программиста. СПб.: Питер, 2001. - 304 е.: ил.

40. Ян Ф. Дарвин. Java. Сборник рецептов для профессионалов. СПб.: Питер, 2002. - 768 е.: ил.

41. М. Морган. Java 2 / Руководство разработчика. М.: Издательский дом «Вильяме». 2000. 720 с.

42. Э. Гарольд, С. Мине. XML. Справочник. Пер. с англ. - Спб.: Символ-Плюс, 2002. - 576с.

43. Робачевский А. М. Операционная система UNIX // СПб.: БХВ. 2000, 528с.

44. Кейт Хэвиленд, Дайна Грэй, Бен Салама. Системное программирование в UNIX. Руководство программиста по разработке ПО = Unix System Programming. A progremmer's guide to software development: Пер. с. англ. M., ДМК Пресс, 2000. - 368 с.

45. У. Стивене. UNIX: взаимодействие процессов СПб.: Питер, 2003 -576 с.:ил.

46. Р. Д. Метьюз и др. Web-сервер под UNIX СПб.: Символ-плюс, 2000 - 560 с.

47. FreeBSD Handbook. http://www.freebsd.org/doc/enUS.IS08859-1 /books/handbook/index.html

48. Уолл Д., Кристиансен Т., Орвант Д. Программирование на Perl. 3-е издание. // СПб: Символ-Плюс, 2002. 1152 с.

49. Кристеансен Т., Торкингтон Н. Perl: библиотека программиста // СПб.: Издательство «Питер», 2000. 736 с.

50. Дюба П. MySQL // М.: Издательский дом «Вильяме». 2000. 816 с.

51. MySQL Reference Manual, http://dev.mysql.com/doc/mysql/en/

52. Андреев М.В., Дегай А.Ю., Лупян Е.А., Мазуров А.А., Прошин А.А.,Флитман Е.В. Картографический WEB-интерфейс на основе DHTML и JavaScript // ГИС-Ассоциация. Материалы всероссийская учебно-практическая конференция "ГИС и Интернет" 2001.

53. Андреев М.В., Дегай А.Ю., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Картографический web-интерфейс на основе технологий DHTML и JavaScript // Препринт ИКИ РАН. Пр-2051. М. 2002. 23с.

54. HTTP Server Version 1.3 Documentation — http://httpd.apache.org/docs/