Разработка специального математического и программного обеспечения системы анализа и оценки химических и радиационных загрязнений мегаполиса в условиях неполноты исходных данных тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Горштейн, Алексей Олегович

• Горштейн, Алексей Олегович
• кандидат технических наук
• 2001

Оглавление диссертации кандидат технических наук Горштейн, Алексей Олегович

Введение.

1. Системный анализ проблемы оценки загрязнений в условиях неполноты исходных данных.

1.1. Анализ существующей сети радиоэкологического мониторинга.

1.2. Анализ типов хранимых в отдельных базах данных информации.

1.3. Виды статистической обработки.

1.3.1. Проверка выборки на выбросы. Винзоризованные оценки.

1.3.2. Вид распределения. Оценки параметров, критерии согласия.

1.3.3. Сравнение различных выборок.

1.3.4. Корреляция и регрессия.

1.3.5. Расчет тенденций.

1.4. Статистическая обработка данных в системе химического и радиационного мониторинга.

1.5. Возможности пополнения баз данных.

2. Особенности статистической обработки данных в системе измерений экологического мониторинга на основе цензурированных выборок.

2.1. Методы приведения всех членов выборки к значащим значениям.

2.2. Постановка задачи. Моделирование исходных данных.

2.3. Анализ модельных расчетов.

2.4. Проверка предлагаемой методики восстановления параметров распределений на экспериментальных данных радиоэкологического мониторинга.

3. Исследование искажений в воспроизведении градиентных полей, возникающих при использовании стандартных программных продуктов.

3.3. Смещение положения максимума отсутствия части данных.

3.4. Погрешности градиентного поля, возникающие из-за различий шага между исходной решеткой и задаваемой для пересчета данных на равномерный шаг.

3.5. Погрешности градиентного поля от смещения начальных координат и вырезания области из целого.

3.6. Погрешности градиентного поля для реальной сети экологического мониторинга.

4. Обработка информации о состоянии окружающей среды на примере данных радиоэкологического мониторинга.

4.1. Разработка программ для автоматизации статистических расчетов по радиоэкологическому мониторингу.

4.1.1. Отбор необходимых данных.

4.1.2. Анализ одиночных выборок.

4.1.3. Анализ групповых данных.

4.1.4. Разработка форм (отчетов) для выдачи результатов на печать.

4.2. Анализ тенденций отдельных контролируемых параметров радиационного мониторинга Москвы.

4.3. Пространственная однородность градиентного поля. Выделение территорий с данными, принадлежащими единой совокупности.

4.4. Оценка минимально необходимого количества наблюдений.

4.5. Выявление точек потенциального техногенного загрязнения.

Введение диссертации (часть автореферата) на тему «Разработка специального математического и программного обеспечения системы анализа и оценки химических и радиационных загрязнений мегаполиса в условиях неполноты исходных данных»

Достижения науки и техники современного общества неизбежно приводят к неуклонному росту антропогенного загрязнения окружающей среды, вызываемого все возрастающим объемом применения в промышленности, науке и медицине радиоактивных и химических веществ, увеличением количества аварий с выбросом в окружающую среду загрязняющих веществ, разработкой новых технологических процессов, использующих несуществующие в природе в естественном состоянии материалы. Все это привело к тому, что очень выросла актуальность и значимость экологического мониторинга.

Охрана окружающей среды (ООС) - тот вид человеческой деятельности, который особенное развитие получил с начала восьмидесятых годов, когда началась бурная компьютеризация, и на международном уровне стали широко внедрятся вычислительные и программные средства для решения задач ООС. В России, как и во многих других государствах на государственном и на региональных уровнях принимают различные законодательные акты и постановления, обеспечивающие потребности общества в оздоровлении экологической обстановки [1-3]. Поскольку важным вопросом всех экологических программ является вопрос обмена информацией, разрабатываются различные информационные и экспертные системы, предназначенные для обеспечения контроля антропогенных воздействий на различные экосистемы, на трасграничный перенос загрязняющих веществ, для планирования мер по предотвращению возможных аварийных ситуаций и пр. [4-10].

Для существенного повышения экологической безопасности, снижения риска возникновения опасного химического или радиационного загрязнения территорий большую роль играют подсистемы реагирования на предприятиях, которые на основе информации об экологической обстановке формируют управляющие воздействия и рекомендации для руководителей различного уровня [11-15]. В отраслях с высокой степенью риска используются автоматические системы раннего обнаружения и оповещения. В системах раннего оповещения существуют коммуникационные системы оповещения о возникновении чрезвычайной ситуации в результате аварии, блоки выявления опасности на основе использования базы данных для поиска информации об опасных веществах, используются вычислительные модели для быстрого составления прогноза распространения загрязняющих веществ в природных средах.

В последнее время широкое распространение получили региональные системы мониторинга, в которых акцент делается на ГИС-технологиии (ГИС - географические информационные системы) для отображения экологических параметров [16-18].

ГИС помогают ускорить и повысить эффективность процедуры принятия решений, обеспечивают ответы на запросы анализа пространственных данных, представление результатов анализа в наглядном и удобном для восприятия виде. Эта технология объединяет традиционные операции при работе с базами данных, такими, как запрос и статистический анализ, с преимуществами полноценной визуализации и географического (пространственного) анализа, которые предоставляет карта. Требуемая для принятия решений информация может быть представлена в лаконичной картографической форме с дополнительными текстовыми пояснениями, графиками и диаграммами, что позволяет лицу принимающему решения, сосредоточить свои усилия на поиске решения, не тратя значительного времени на сбор и осмысливание доступных разнородных данных. Все объекты, включенные в базу данных, выносятся на карты, масштаб которых может быть различен - от обзорного, показывающего всю Россию, до детальных крупномасштабных карт отдельных объектов.

Большое внимание исследователями уделяется разработке различных математических моделей, позволяющих прогнозировать развитие неблагоприятных ситуаций, вопросы переноса загрязняющих веществ, производить оценку риска для населения и окружающей среды и пр. [19-22]. Более того, математические модели могут оказаться определяющими в построении соответствующей программы мониторинга, когда непосредственные измерения будут играть роль процедур, обеспечивающих функционирование моделей.

Пристальное внимание привлекают проблемы оптимизации сети наблюдения [23-25], выбора пороговых и контрольных уровней [26, 27], вопросы обработки данных от пунктов и датчиков контроля [28—30]. При размещении сети наблюдения следует стремиться к тому, чтобы пробы разных типов отбирались в одном и том же месте, что должно облегчить комплексное использование количественных и качественных данных мониторинга, например, для расчета нагрузок на окружающую природную среду. Определение конфигурации сети мониторинга требует выбора оптимального количества станций, мест их размещения на территории и частоты наблюдений на постах. В настоящее время при выборе количества и местоположения автоматических станций мониторинга атмосферного воздуха (АСМА) наблюдается тенденция проектирования и создания сети мониторинга на основании эмпирических и точечных критериев. Определив критерий для размещения станций, разрабатывают расчетный алгоритм соответствующий этому критерию.

Логично требовать, чтобы аппаратура и методики, которые применяются в мониторинге, были аттестованы и стандартизованы. Необходимая чувствительность и точность аналитических методов зависит от требований, предъявляемых к информации. Разработка и использование более эффективных, например по пределам обнаружения или по точности, методов должны соотноситься с затратами, связанными с внедрением таких методов.

Согласно [31] конечной целью мониторинга является получение информации, подготовленной для принятия решения. Поэтому необходимо преобразование данных в сведения, которые удовлетворяют конкретным требованиям к информации. Поскольку для многих действующих в настоящее время функциональных систем мониторинга отдельных природных сред характерным является недостаточность информации при обилии данных, следует обратить особое внимание на конечный продукт мониторинга, т.е. на информацию. В связи с этим возникает вопрос о действиях, выполняемых для достижения этой конечной цели, а именно о процессе обработки данных.

Данные должны быть проанализированы и преобразованы в заранее определенные формы представления информации с использованием необходимых для этого методов анализа данных. Вся информация должна направляться тем, кто нуждается в ней с разграничением доступа для различных целевых групп пользователей.

В настоящее время существует большое количество специализированных пакетов для статистической обработки данных как, например, универсальные статистические пакеты SPSS, SYSTAT, MINITAB, Statgraphics, STATISTICA/W [32-36], которые импортируют или экспортируют данные формата ASCII, dBASE, Lotus 1-2-3. Кроме того, они способны компоновать данные для анализа из различных файлов, осуществлять выборку подмножеств данных, их ранжирование или сортировку по тем или ийым условиям.

Среди статистических пакетов, представляющих собой инструментарий для разработчиков прикладных программных продуктов и исследователей, можно выделить пакет IMSL компании Visual Numerics [31], по сути являющийся библиотекой процедур. Он состоит из двух больших разделов Math/Library и Stat/Library и позволяет подключать графику, представленную либо мощной библиотекой графических функций Exponent Graphics-2.1 или же графическим модулем из библиотеки Object Suite.

Однако, существующие статистические пакеты, предоставляя широкий спектр использования различных критериев и функций, зачастую приводят к дополнительным сложностям: необходимости приобретения навыков работы с выбранным пакетом, а также представления для себя четкой последовательности манипуляций данными и программами для достижения нужного результата.

На практике при экологическом мониторинге наблюдения зачастую ведутся на уровне фоновых концентраций, на пределе Чувствительности используемых приборов, когда можно только сказать, что измеренное значение меньше нижнего предела регистрации аппаратуры. Иногда наблюдаются случаи отсутствия данных по тому или иному датчику или пункту наблюдения. Все это может вносить искажения в оценку ситуации и сказаться на принятии различных управленческих решений или прогнозировании поведения того или иного параметра во времени. В связи с этим встает вопрос о получении дополнительной информации о контролируемом параметре, даже если это сопряжено с допоЛйительными экономическими затратами, или о возможности использования уже полученных исходных данных для информативной оценки состояния контролируемых экологических параметров.

Отсутствие данных по отдельным пунктам сети наблюдения должно сказываться на точности их представлении в виде областей равных уровней (изолиний) на картографической основе (в ГЙС), а большое количество данных ниже предела минимальной чувствительности регистрирующей аппаратуры, приводит к искажению таких важных параметров, как среднее и дисперсия контролируемого параметра.

Поскольку вышеперечисленные проблемы на практике встречаются довольно часто, целью диссертационной работы является разработка специального математического и программного обеспечения системы анализа и оценки химических и радиационных загрязнений мегаполиса по данным экологического мониторинга для обоснования управленческих решений по охране окружающей среды.

Для достижения указанной цели ставятся и решаются следующие задачи:

• проведение системного анализа направлений повышения эффективности оценки радиационных и химических загрязнений мегаполиса по данным экологического мониторинга;

• проведение анализа первичной информации, хранящейся в базах данных химического и радиационного мониторинга и определение информационных потоков для процесса ее обработки;

• проведение анализа погрешностей, возникающих при отображении информации на картографической основе в виде полей одинакового уровня при использовании стандартных программных продуктов в условиях отсутствия части данных;

• разработка алгоритмов восстановления параметров исходных нормальных распределений для цензурированных слева выборок;

• разработка программных средств реализации блока обработки экологических данных.

В работе получены следующйе новые результаты:

• предложен подход к решению проблемы математической обработки в условиях Неполноты данных, выявленной на основе системного анализа информационных потоков в области химического и радиационного мониторинга;

• разработан алгоритм восстановления параметров исходных нормальных распределений для цензурированных слева выборок;

• разработана информационная система для подготовки управленческих решений на основе статистической обработки информации о химической и радиационной обстановке в условиях неполноты исходных данных.

Практическая значимость диссертационной работы заключается в следующем:

• разработанное специальное математическое и программное обеспечение внедрено в состав действующей информационно-аналитической системы по химическому и радиационному мониторингу Московского региона Московского государственного предприятия - Объединенный эколого-технологический и научно-исследовательский центр по обезвреживанию радиоактивных отходов и охране окружающей среды (МосНПО "Радон");

• получены рекомендацйй, которые используются проектными подразделениями МосНПО "Радон" при создании новых методических и нормативных документов.

Основные результаты работы были представлены:

• на научно-практической выставке-семинаре "Информационные технологии в науке", ВВЦ, Москва, февраль 2000г.;

• на 12 Международной Межвузовской конференции "Математические методы в технике и технологиях - ММТТ-12", июнь 1999г., г.Великий Новгород;

• на международном семинаре в рамках CEBIT 2001 - Messeseminar - "E-Business im management", mart 2001, s. Celle, Германия;

• материалы по работе также докладывались на научно-методических семинарах МосНПО "Радон" и кафедры Информационных технологий МИТХТ им. М.В. Ломоносова.

По теме диссертации опубликовано: статей - 2, тезисов докладов - 2, отчетов о НИР, депонированных в фондах МосНПО "Радон" - 3.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Горштейн, Алексей Олегович

Заключение

В диссертационной работе получены следующие основные результаты:

• Проведен системный анализ оценок химических и радиационных параметров радиоэкологического мониторинга. Установлено существование проблемы неполноты информации, аккумулируемой в оперативных базах данных. Выявлена необходимость применения математических методов восполнения недостающих данных;

• Предложен алгоритм восстановления параметров исходных распределений для цензурированных слева выборок и алгоритм сглаживания полей распределения пространственных характеристик. Оценены погрешности, возникающие при воспроизведении градиентных полей и определен процент допустимого разрежения сетей наблюдения;

• Реализован программно-вычислительный комплекс для автоматизации статистических расчетов по химическому и радиационному мониторингу. Рекомендовано пространственно-временное перераспределение системы получения информации для принятия обоснованного управленческого решения по проблеме обнаружения техногенных радионуклидов.

Список литературы диссертационного исследования кандидат технических наук Горштейн, Алексей Олегович, 2001 год

1. Федеральный закон от 21 ноября 1995 г. № 170 - ФЗ "Об использовании атомной энергии"

2. МАГАТЭ: Улучшение окружающей среды /Вестник техническое сотрудничество. МАГАТЭ. 1996. Т.2, № 3. С 5-7.

3. Федеральный закон от 23 ноября 1995 г. № 174 ФЗ "Об экологической экспертизе"

4. Barnwell Т. О., Brown Н., Marek W. Application of expert systems technology in water quality modeling //Water Sci/ and Technol. 1989. - 21, 8-9. - pp.1045-1056.

5. Palmer R. N. Tull R. M. Expert System for drought management planning // J. Of Comput. Civil Ehg. 1987 - 1, No 4, - pp. 284-297.

6. Тихомиров. В. А. Интегральный информационно-аналитический комплекс радиоэкологического мониторинга. Кандидатская диссертация. М., МИТХТ, 1997

7. Greathouse D. G. EXPERT SYSTEMS Tools for Hazardous Waste Managers // Environtmental Software Report, 1989, v. 1, No 7, pp. 1-17.

8. F. Hayes-Roth, N. Jacobstein The State of Knowledge-Based Systems. Communications of the ACM, March, 1994, v. 37, No. 3, pp. 27-39.

9. Экизарьян В. H., Ковалева О. Н. Автоматизированная информационная система для решения геолого-экологических задач. Обзор. М.: Недра, 1988, 64 с.

10. И. Вахрушев В.И., Заболотских В.И., Хохряков А.В. Система автоматического контроля, прогноза и оповещения о газовой опасности на химически опасном объекте // Приборы и системы управления. 1999. №3.

11. Лещинский В. Б. Информационно-аналитическая система сбора и обработки данных о химических загрязнениях природной среды для управления экологической ситуацией на объектах газотранспортных систем. Кандидатская диссертация. М., МИТХТ, 1998

12. Автоматизированная система экологического мониторинга ВНИИ химической технологии Минатома России. АСЭМ ВНИИХТ. Паспорт. Инв.№ 003/96, 16 с.

13. Маханько К.П., Силантьев А.Н., Шкуратова И.Г. Контроль за радиоактивным загрязнением природной среды в окрестности АЭС. Д.: Гидрометеоиздат, 1985. - 136 с.

14. Колыбанов К. Ю. Разработка информационно-управляющей системы экологического мониторинга предприятия химического профиля (на примере ВНИИ Химической Технологии). Кандидатская диссертация. М., МИТХТ, 1997

15. Забежайло М. И. Новые информационные технологии и системы НТИ: перспективы и тенденции развития. // Информационные процессы и системы, 1990, № 5, с. 64 69.

16. Крышев И.И., Сазыкина Т.Г. Имитационные модели динамики экосистем в условиях антропогенного воздействия ТЭС и АЭС. М.: Энергоатомиздат, 1990. - 164 с.

17. Марчук Г.И. Математическое моделирование в проблеме окружающей среды / М.: Наука, 1982, 319с.

18. Никольский М.А., Беседина Н.Т. Моделирование для прогнозирования загрязнений поверхностного слоя территории в районе АЭС. Исследования по химии, технологии и применению радиоактивных веществ. JL: Изд. ЛТИ, 1985, с. 14.

19. Седов В.М., Никольский М.А. Применение математического моделирования для решения задач охраны природной среды от радиоактивных загрязнений/ Исследования по химии, технологии и применению радиоактивных веществ. Л.: Изд. ЛТИ, 1980, с.3-20.

20. Оптимизация расположения точек контроля радиационно-экологического мониторинга территории г. Москвы // Отчет о НИР, МИТХТ, 1997.

21. Математическое моделирование. Процессы в сложных экономических и экологических системах. М., Наука, 1986. 296 с.

22. Информационно-аналитическая система радиоэкологического мониторинга. Под ред. Соболева А.И. М., Прима, 1996.

23. Соболев А.И. Региональный мониторинг радионуклидов в окружающей среде. Докторская диссертация. Санкт-Петербург. Санкт-Петербургский государственный технологический институт (технический университет). 1996.

24. Ильин Л.А., Кириллов В.Ф., Коренков И.П. Радиационная безопасность и защита. М., Медицина, 1996.

25. Волков В. И., Трайнев В. А. Информационно-аналитические методы экспертных оценок в системах управления и образования. Учебное пособие. Московский Педагогический Государственный Университет им. В. И. Ленина, М., 1996

26. Векслер Л. С. Статистический анализ на персональном компьютере. // Мир ПК №2, 1992.-8с.

27. Кулаичев А. П. Средства и программы системы анализа данных. // Мир ПК № 10, 1994.-12 с.

28. Сборник научных программ на ФОРТРАНЕ. Пер с англ., вып. 1. М.: Статистика, 1974, 316 с.

29. Wilkinson L. The Truth about StatSoft and CSS-.STATISTICA: False Advertising, Plagiarism, Wrong Results. — Evanston, IL : SYSTAT, 1991, 25 p.

30. Fridlund A J. Powerful SYSTAT Limited by Outdated Interface. — InfoWorld. 21-st Oct., 1995, vol.17, №40, p.99.

31. Schervish M.J. MINITAB. — CHANCE: New Directions for Statistics and Computing. 1993, vol.6, №1, p.54-61.

32. Дюк В.А., Мирошников А.И. Эволюция STATGRAPHICS. — «Мир ПК», 1995, №12, с.32-34.

33. Шанчев P. SPSS-7.5 прокладывает курс в океане данных. — PC Week, 1997, №12 (86), с.6.

34. Akima Н.А. A new method of interpolation and smooth curve fitting based on local procedures // J. Assoc. comput. math.-1970.-Vol.17.- P. 589-602. / ESSA Research Laboratories, Institute for Telecommunication Sciences, Boulder, Colorado.

35. Постановление правительства Москвы от 22.02.2000 № 144 "Об организации единой системы экологического мониторинга города Москвы"

36. Отчет о НИР по теме 22.245.96 "Разработка основных элементов экспертной системы радиоэкологического мониторинга г. Москвы", М., МосНПО "Радон", 1996

37. Отчет о НИР по теме 10-716-01-95 "Создание информационно-аналитической системы РЭМ (радиоэкологического мониторинга) г. Москвы", М., МосНПО "Радон", 1995

38. Отчет о НИР по теме 21.244.96 "Создание информационно-аналитической системы радиоэкологического мониторинга г. Москвы", М., МосНПО "Радон", 1996

39. Отчет о НИР по теме 21.244.98 "Создание информационно-аналитической системы радиоэкологического мониторинга г. Москвы", М., МосНПО "Радон", 1998

40. Кендалл М. Дж., Стьюарт А. Статистические выводы и связи: Пер. с англ. - М.: Наука, 1973, 900 с.

41. Гаральд Крамер. Математические методы статистики: М.: Мир, 1975, 648 с.

42. Хальд А. Математическая статистика с техническими приложениями. М., Иностранная литература, 1956.

43. Афифи А., Эйзен С. Статистический анализ. Подход с использованием ЭВМ. М., Мир, 1982, 488с.

44. Дунин-Барковский И.В., Смирнов Н.В. Теория вероятностей и математической статистика в технике. М. Гостехиздат, 1955

45. Смирнов Н.В., Дунин-Барковский И.В. Курс теории вероятностей и математической статистики для технических приложений. М., Наука, 1965.

46. Степанов М.Н. Статистическая обработка результатов механических испытаний. М., Машиностроение, 1972.

47. Бронштейн И.Н., Семендяев К.А. Справочник по математике для инженеров и учащихся ВТУЗОВ. Пер. с нем. М., Наука, 1980, 976с.

48. Итоговый отчет по теме 22.245.98. М.: МосНПО "Радон", 1998

49. Кокрен Уильям. Методы выборочного исследования. Пер. с англ. М.: Статистика, 1976