Методы и модели интеллектуального анализа сигналов геофизических полей тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Тристанов, Александр Борисович

• Тристанов, Александр Борисович
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Тристанов, Александр Борисович

ВВЕДЕНИЕ.

ГЛАВА 1. ТЕХНОЛОГИЯ И СИСТЕМЫ DATA MINING В

ГЕОФИЗИКЕ.

1Л. Системы Data Mining.

1Л Л. Понятие системы Data Mining.

1Л .2. Data Mining в обработке сигнальной информации.

1Л .3. Типовая структура системы Data Mining.

1.2. Классы задач Data Mining.

1.2.1. Задачи регрессии и классификации.

1.2.2. Задача поиска ассоциативных правил.

1.2.3. Задача кластеризации.

1.3. Обзор подходов к исследованиям геофизических сигналов

1.4. Качественный анализ сигналов геофизических полей.

1.5. Требования к системе обработки сигналов в геофизике.

1.5.1. Требования к структуре.

1.5.2. Требования к математическому обеспечению.

1.5.3. Требования к информационному обеспечению.

1.5.4. Требования к эргономике и технической эстетике.

Выводы.

ГЛАВА 2. ФОРМАЛИЗАЦИЯ ЗАДАЧ ОБРАБОТКИ СИГНАЛОВ ГЕОФИЗИЧЕСКИХ ПОЛЕЙ И МЕТОДЫ ИХ РЕШЕНИЯ.

2.1. Структурная модель сигнала.

2.2. Методика обработки геофизических сигналов с использованием технологии Data Mining.

2.3. Формулировка задачи сегментации геофизических сигналов

2.4. Задача классификации.

Выводы.

ГЛАВА 3. РАЗРАБОТКА АЛГОРИТМА СЕГМЕНТАЦИИ СИГНАЛОВ НА ОСНОВЕ ВЕЙВЛЕТ-ПАКЕТОВ.

3.1. Вейвлет-пакетная модель элементарного блока.

3.2. Структура кратномасштабного анализа.

3.3. Структура вейвлет-пакетного разложения.

3.4. Алгоритм выбора наилучшего дерева разложения на основе энтропии.

3.5. Алгоритм сегментации на основе вейвлет-пакетного разложения.

3.6. Параметры алгоритма и рекомендации по их выбору.

Выводы.

ГЛАВА 4. АНАЛИЗ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЕГМЕНТОВ.

4.1. Анализ последовательностей сегментов.

4.2. Ассоциативные правила и анализ последовательностей.

4.2.1. Основные понятия.

4.2.2. Характеристики правил.

4.2.2. Понятие транзакции для последовательности сегментов.

4.3. Алгоритмы построения ассоциативных правил.

4.3.1. Алгоритм Арпоп.

4.3.2. Модифицированные алгоритмы Арпоп.

4.4. Статистический анализ.

4.5. Формы представления структурной модели.

Выводы.

ГЛАВА 5. ПРОГРАММНЫЙ КОМПЛЕКС МОДЕЛИРОВАНИЯ, ОБРАБОТКИ И АНАЛИЗА СИГНАЛОВ ГЕОФИЗИЧЕСКИХ

ПОЛЕЙ.

5.1. Структура программного комплекса.

5.1.1. Описание комплекса.

5.1.2. Структура комплекса.

5.2. Структура подсистемы моделирования.

5.2.1. Этапы генерации сигнала.

5.2.2. Генерация элементарного блока.

5.3. Структура подсистемы анализа.

Выводы.

ГЛАВА 6. ВЫЧИСЛИТЕЛЬНЫЕ ЭКСПЕРИМЕНТЫ ПО АНАЛИЗУ СИГНАЛОВ.

6.1. Анализ модельных сигналов.

6.1.1. Методика проведения эксперимента.

6.1.2. Описание экспериментальных сигналов.

6.1.3. Результаты экспериментов.

6.2. Анализ сигналов сейсмоакустической эмиссии.

6.2.1. Описание экспериментальных данных.

6.2.2. Методика эксперимента.

6.2.3. Результаты эксперимента.

6.2.3.1. Суточные вариации сигнала.

6.2.3.2. Сравнительный анализ датчиков S1 и S2.

6.3. Анализ волновых возмущений в атмосфере на основании данных катастрофического извержения вулкана Шивелуч 12 ноября 1964 г.

6.3.1. Описание экспериментальных данных.

6.3.2. Методика эксперимента.

6.3.3. Результаты эксперимента.

6.4. Анализ волновых возмущений в атмосфере, сопровождавших эксплозию вулкана Карымский

-521 августа 1997 г.

6.4.1. Описание экспериментальных данных.

6.4.2. Результаты эксперимента.

Выводы.

Введение диссертации (часть автореферата) на тему «Методы и модели интеллектуального анализа сигналов геофизических полей»

Актуальность. Большое значение в геофизических и геохимических исследованиях имеют методы и средства сбора и анализа данных наблюдений. К настоящему времени геофизика почти полностью перешла к применению современных цифровых систем сбора, передачи, хранения и обработки данных. Развитие методологической, теоретической и инструментальной базы геофизики позволяет получать принципиально новые знания о геодинамических процессах и строении Земли.

Классическим подходом к анализу сигналов в геофизике является экспертный метод, который обладает рядом недостатков, связанных с субъективностью мнения эксперта. Всевозрастающий объем данных, получаемых в настоящее время в ходе исследований геодинамических процессов, требует принципиально нового подхода к их обработке. Обнаружение и выделение в геофизических сигналах особенностей, повторяющихся процессов, скрытых аномалий и закономерностей, обусловленных процессами, происходящими в недрах Земли, требуют определенной формализации, которая возможна при использовании современных методов математического моделирования. Огромный поток данных делает необходимым разработку автоматических систем, формирующих описание исследуемых сигналов и выделение в них особенностей, связанных с изменениями в структуре геологической среды или в таких reo динамических процессах как землетрясения и извержения вулканов. Целью таких систем является повышение производительности обработки регистрируемых данных, возможность формализовать и повысить эффективность выделения различного вида особенностей сигнала, а также облегчить интерпретацию получаемых данных.

Построение модели геологической среды является сложной и, зачастую, не решаемой задачей, вследствие многофакторности объекта моделирования. Получаемые модели не могут применяться для достоверного прогноза поведения моделируемой системы. В связи с этим, в настоящее время в reoфизике делается упор на разработку методов анализа результатов наблюдения за поведением реальной среды на основании записей сигналов геофизических полей с последующим построением расчетных и эмпирических зависимостей, которые отражают состояние геологической среды. Так, известно, изменения в структуре сигналов геофизических полей являются следствием изменения напряженно-деформированного состояния среды. Последнее является основой в задачах поиска предвестниковых аномалий землетрясений и прочих природных катастроф.

Основная задача анализа сигналов заключается в представлении сигнала в такой форме, на основании которой можно получить новую информацию о процессах, протекающих в исследуемой системе. В этом плане нашли широкое применение методы параметрического моделирования, которые имеют свои достоинства и недостатки. Так, например, модель авторегрессии - проинтегрированного скользящего среднего и ее частные случаи, сложна для интерпретации, так как лишь косвенно отражает структуру сигнала. В связи с этим перспективным представляется подход структурного моделирования, когда модель сигнала формируется из компонент с заданными свойствами, которые задаются на основе представлений о физике процесса, причем формулировка данных свойств, требует применения математических методов, позволяющих описать сигнал, поведение которого меняется с течением времени (нестационарные сигналы). По мнению автора, наиболее эффективно данную задачу позволяют решать методы, основанные на теории вейвлет-преобразования, для которой в настоящее время хорошо развита математическая база, и которая нашла широкое применение в обработке сигналов различной природы. Для решения поставленной задачи предлагается применить один из видов вейвлет-преобразования, а именно обобщение конструкции кратномасштабного анализа - вейвлет-пакетное разложение. В отличие от кратномасштабного анализа, вейвлет-пакеты описывают локальное поведение сигнала во всей полосе частот и обладают рядом полезных свойств, к которым относятся:

-9- линейность вейвлет-преобразования;

- возможность к частотно-временной локализации;

- широкие возможности настройки алгоритмов, основанных на вейв-лет-пакетах, путем выбора различных базисных функций и критериев выбора лучшего базиса.

К сожалению, вейвлет-преобразование не является инвариантным к сдвигу. В связи с этим в диссертации предлагается использовать блочный алгоритм сегментации.

При решение аналогичных задач (поиска закономерностей и особенностей в данных) в экономических, медицинских и социальных исследованиях хорошо зарекомендовала себя технология Data Mining, которая аккумулирует в себе концепцию, методы и средства анализа данных.

К основным задачам технологии Data Mining относятся: классификация, кластеризация, регрессия, поиск ассоциативных правил. В работе проводится формулировка данных задач, которые в том или ином виде решаются в теории обработки сигналов.

Универсальность Data Mining позволяет ее применить к исследованию сигнальной информации во многих областях науки, но ориентированность ее методов на обнаружение знаний в специализированных базах данных (экономических и пр.) требует адаптации этой технологии к обработке сигналов геофизических и геохимических полей с целью выделения аномалий, обусловленных геодинамическими процессами.

Обобщая сказанное выше, можно сделать вывод, что актуальность предлагаемого подхода при анализе геофизических и геохимических данных определяется возможностью решения таких задач, как поиск предвестников сильных землетрясений, выделение отдельных этапов в динамике вулканических извержений, обнаружение волновых возмущений в атмосфере при вулканических взрывах и т.д.

Актуальность предлагаемой работы определяется важностью прогноза природных явлений по наблюдаемым изменениям геофизических полей в рамках программы по обеспечению безопасности населения и народно-хозяйственных объектов при возникновении природных катастроф.

Целью диссертационного исследования является разработка методики анализа сигналов геофизических полей с использованием технологии Data Mining с целью выявления их аномального поведения.

В ходе достижения цели решались следующие задачи:

1. Качественный анализ сигналов и формулировка требований к разрабатываемой системе автоматической обработки.

2. Разработка методологии анализа сигналов с использованием технологии Data Mining на основе сформулированных требований.

3. Разработка формы представления сигнала - его структурной модели.

4. Разработка алгоритмов сегментации сигналов, классификации их элементов и построения структурной модели.

5. Разработка программного обеспечения, реализующего алгоритмы.

6. Проведение экспериментов по установлению эффективности разработанной системы.

Методы исследования. В диссертационной работе использовался аппарат теории цифровой обработки сигналов, теории распознавания образов, математического моделирования, методы дискретной и вычислительной математики, основы функционального анализа.

Научную новизну работы составляют следующие положения:

1. Использование технологии Data Mining для анализа геофизической информации и построения моделей сигналов.

2. Структурная модель сигналов геофизических полей, описывающая изменение свойств сигнала как последовательности классов сегментов, позволяющая эффективно интерпретировать результаты экспериментов.

3. Алгоритм сегментации и классификации сигналов на основе вейв-лет-пакетного разложения, отличающийся адаптивностью к свойствам сигнала.

Научные положения, выносимые на защиту:

1. Методика анализа сигналов геофизических полей с использованием технологии Data Mining.

2. Способ описания структуры и классификации сигналов на основе лучшего вейвлет-пакетного разложения.

3. Структурная модель сигнала геофизических полей и методы ее исследования.

4. Алгоритм сегментации сигналов на основе вейвлет-пакетов.

Практическую значимость работы составляют:

1. Разработанные алгоритмы для сегментации сигналов геофизических полей.

2. Разработанный комплекс прикладных программ, автоматизирующий построение и исследование структурной модели сигналов геофизических полей.

3. Предложенные алгоритмы и методы могут служить основой для создания новых систем анализа нестационарных сигналов в различных прикладных областях.

Основные положения диссертационного исследования докладывались следующих научных мероприятиях:

Вторая Всероссийская научная конференция «Проектирование инженерных и научных приложений в среде MATLAB», Москва, 2004 г.

- Ежегодная конференция, посвященная Дню вулканолога, Петропавловск-Камчатский, 2004, 2005 г.г.

- Международная конференция по мягким вычислениям и измерениям SCM, Санкт-Петербург, 2004, 2006 г.г.

7-я международная конференция по распознаванию образов и анализу изображения PRIA 7, Санкт-Петербург, 2004 г. Конференция профессорско-преподавательского состава СПбГЭ-ТУ «ЛЭТИ», Санкт-Петербург, 2005, 2006 г.г.

- Четвертый всероссийский симпозиум «Сейсмоакустика переходных зон», Владивосток, 2005 г.

- Ежегодная региональная молодёжная конференция «Исследования в области наук о Земле (география, геология, геофизика, геоэкология, вулканология), Петропавловск-Камчатский, 2005 г.

- Конференция Комплексные сейсмологические и геофизические исследования Камчатки 17-18 января 2006 г., Петропавловск-Камчатский, 2006г.

По теме диссертации опубликовано 11 научных работ, из них 1 статья, 10 докладов в материалах и трудах международных и всероссийских конференций.

Результаты диссертационного исследования внедрены в лаборатории комплексных исследований предвестников землетрясений и извержений вулканов Института вулканологии и сейсмологии ДВО РАН и в учебный процесс кафедры прикладной математики Камчатского государственного университета им. В. Беринга, подтвержденные актами о внедрении.

Общее содержание диссертационной работы соответствует научному направлению "Распознавание образов и обработка изображений" Государственной научно-технической программы "Перспективные информационные технологии". Исследование выполнялось в рамках научно-исследовательской работы «Современная геодинамика и новейшая тектоника зоны сочленения Курило-Камчатской и Алеутской островных дуг», проводимой в Институте вулканологии и сейсмологии Дальневосточного отделения РАН. Исследование выполнено при финансовой поддержке гранта РФФИ 02-05-64467-а (2004 г.) и грантов Президиума Дальневосточного отделения РАН 05-Ш-Г-08-140 (2005 г.), 06-Ш-А-08-335 (2006 г.).

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Тристанов, Александр Борисович

Выводы

В главе проанализированы различные сигналы и показаны возможности предложенной методики. Одним из преимуществ примененного метода является формализация подхода к выделению участков сигнала.

Проведенное исследование алгоритма на модельных сигналах, подтвердили корректность предлагаемой методики. При построении сигналов использовалась методика предложенная в гл.5, позволяющая генерировать сигналы с разнообразной частотно-временной структурой. Оценена эффективность алгоритма при исследовании зашумленных сигналов.

Для исследования получаемых моделей применялись различные методики. Для анализа моделей сигнала сейсмической эмиссии использовался метод ассоциативных правил. Данный метод показал свою эффективность при обработки сигналов регистрируемых длительно с большой частотой дискретизации и позволил выделить фоновые процессы (частые зависимости) и артефакты.

Для анализа сигналов волновых возмущений вулканов Шивелуч и Карымский использовался частный анализ сегментов. Модели данных сигналов хорошо согласованы с физическими процессами, происходившими в период извержений. Данные модели, бесспорно, будут полезны при анализе аналогичных сигналов при других извержениях.

Результаты данной главы изложены в работах [15,17,18, 55, 56, 57].

-120-ЗАКЛЮЧЕНИЕ

В диссертационной работе предложено внедрение новой концепции -интеллектуального анализа (Data mining) в системах обработки сигнальной информации в приложении к геофизическим данным.

Итогом проведенных исследований явились следующие научные и практические результаты:

1 .Предложен новый подход к исследованию сигнальной информации в геофизике на основе решения задач интеллектуального анализа.

2. Разработан подход к описанию сигналов с использованием лучшего вейвлет-пакетного разложения.

3. Предложена структурная модель сигналов геофизических полей.

4. Разработан алгоритм сегментации сигналов геофизических полей и классификации на основе лучшего вейвлет-пакетного разложения.

5. Разработан программный комплекс, реализующий предложенные алгоритмы идентификации и исследования структурной модели.

6. Проведены экспериментальные исследования по анализу реальных сигналов геофизических полей с использованием предложенной методики, позволившие выделить ранее неизвестные особенности сигналов.

Дальнейшие исследования могут быть направлены на совершенствование алгоритма сегментации путем создания системы упорядочивания библиотеки элементарных блоков, а следовательно позволит более гибко их классифицировать. Развитие методов анализа последовательностей, предложенных в работе, позволит разработать систему достоверного прогнозирования поведения временных рядов.

- 121

Список литературы диссертационного исследования кандидат технических наук Тристанов, Александр Борисович, 2006 год

1. Абраменова, И.В. Matlab 5.3.1 с пакетами расширений Текст./ И.В. Абраменова, В.П. Дьяконов, В.В. Круглов; Под ред. проф. В.П. Дьяконова. М.: Нолидж, 2001. - 880 с.

2. Айвазян, С.А. Прикладная статистика в задачах и упражнениях: Учебник для вузовТекст./ С.А. Айвазян, B.C. Мхитарян М.:ЮНИТИ-ДАНА, 2001

3. Айфичер, Э.С. Цифровая обработка сигналов: практический подход Текст./ Э.С. Айфичер, Б.У. Джервис; 2-е издание: Пер. с англ. М.: Изд. дом «Вильяме», 2004. - 992 с.

4. Астафьева, Н. Вейвлет-анализ: основы теории и примеры применения Текст. / Н. Астафьева // Успехи физических наук. 1996.- Том 166, №11.-С. 1145-1170

5. Бокс, Дж. Анализ временных рядов прогноз и управление Текст. / Дж. Бокс, Г.Дженкинс: Пер. с англ.- М.: Мир, 1974.

6. Методы и модели анализа данных: OLAP и Data Mining Текст./ A.A. Барсегян [и др.].- СПб.: БХВ-Петербург, 2004. 336 с.

7. Бриллинджер, Д.Р. Временные ряды. Обработка данных и теория Текст. / Д.Р. Бриллинджер: Пер. с англ. М.:Мир, 1980. - 536 с.

8. Вентцель, Е.С. Теория вероятностей Текст. /Е.С.Вентцель.- М.: Изд-во Наука, 1969-576 с.

9. Хаврошкин, О. Б. Проблема предсказания землетрясений: Результаты, обсуждение, предложения Текст. / О.Б. Хаврошкин, В.В. Цыплаков, H.A. Видмонт // Вестник ОГГГГН РАН.- 2000. -Т. 1. № 2.-С.73-76

10. Видмонт, H.A. Особенности и возможности регистрации сейсмических шумов внутренних точек среды Текст. /Н.А.Видмонт, О.Б.Хаврошкин, В.В.Цыплаков // Вулканология и сейсмология. 1991. - №4. - С. 54-60

11. Геофизические методы исследований. Учебное пособие для геологических специальностей вузов Текст. / В.К. Хмелевская, [и др.].

12. A.С.Черепанцев, В.В.Сергеев // Вулканология и сейсмология. 1990.-№2.-С.88-100

13. Солонина А.И. Основы цифровой обработки сигналов: Курс лекций Текст./ А.И.Солонина [и др.].- Изд. 2-е испр. и перераб. СПб.: БХВ-Петербург, 2005. - 768 с.

14. Страхов В.Н. Проблемы математической геофизики XXI века Текст./

15. B.Н.Страхов // Геофизика на рубеже веков: изб. тр. ученых ОИФЗ РАН.-М.:ОИФЗ РАН, 1999.-С.9-59

16. Текст./ П.П.Фирстов, В.П.Рудаков// Вулканология и сейсмология.-2003.-№ 1.- С.26-41.

17. Фирстов, П.П. Система хранения и обработки записей волновых возмущений в атмосфере от вулканического изверженияТекст./ П.П.Фирстов, Ю.А.Филиппов // Вулканология и сейсмология.-1997.-№2.-С.36-49

18. Чуй, Ч. Введение в вэйвлетыТекст./ Ч.Чуи.- Пер. с англ. М.: Мир, 2001.-412 с.

19. Agrawal, R. Fast algorithms for mining association rules Текст./ R. Agrawal, R. Srikant.- Proceedings of the 20th International Conference on Very Large Databases.- San Francisco: Morgan Kaufmann.-P. 487-499

20. Bow S.-T. Parttern Recognition and Image Preprocessing TeKCT./S.T.Bow.-N.-Y. Marcel Dekker Inc, 1992.

21. Coifman R.R.,Entropy-based algorithms for best basis selection Текст./ R.R.Coifman, Wickerhauser.- IEEE Trans. Info. Theory.- 38(2).-P.713-718

22. Inmon W.H. Building the Data Warehouse TeKCT./W.H.Inmon.- Third Edition.- Jhon Wiley & Sons, Inc, 2002