Алгоритмическое и программное обеспечение формирования списка линий из молекулярных спектров атмосферных газов тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Пшеничников, Александр Михайлович

• Пшеничников, Александр Михайлович
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Пшеничников, Александр Михайлович

Введение.

Глава 1 Распознавание спектральных линий.

1.1 Метод потенциальных функций.

1.2 Поиск пиков линий в спектре.

1.3 Выделение групп линий.

1.4 Применение кластерного анализа.

1.5 Результаты.

1.6 Выводы.

Глава 2 Подгонка контуров спектральных линий.

2.1 Некорректные задачи.

2.1.1 Система линейных алгебраических уравнений.

2.1.2 Корректность по Тихонову. Множества корректности.

2.1.3 Основные способы построения регуляризирующих апгоритмов

2.2 Дерево решений.

2.3 Алгоритмы нелинейной оптимизации.

2.4 Алгоритм регуляризации с использованием информации о поведении итерационного процесса подгонки МНК (АРИПИПП)

2.5 Алгоритм регуляризации с привлечением априорной информации о матрице корреляции производных от невязки по параметрам (АРИМК).

2.6 Алгоритм локальной регуляризации (AJIP).

2.7 Результаты.

2.8 Выводы.

Глава 3 Автоматический спектроанализатор (ASA).

3.1 Основные функции.

3.2 Режимы работы программы.

3.3 Выводы.

Введение диссертации (часть автореферата) на тему «Алгоритмическое и программное обеспечение формирования списка линий из молекулярных спектров атмосферных газов»

Молекулярные спектры являются уникальным источником информации о строении окружающих нас веществ и многих процессах, происходящих в природе. Получаемая спектроскопическая информация применяется в самых разнообразных областях науки и техники. Например, спектральные свойства -водяного пара ответственны за эффект «зеленого дома». Благодаря тому, что водяной пар (а также другие парниковые газы - СО2, СН4) пропускает солнечное излучение в видимом диапазоне и поглощает большую часть энергии, переизлученной поверхностью Земли в инфракрасном (тепловом) диапазоне, на Земле сохраняется тепло и климат, пригодный для жизни. Следовательно, исследования спектров Н2О имеют важное значение для климатологии. Спектроскопическая информация об атмосферных газах используется при интерпретации результатов зондирования атмосферы Земли и результатов наблюдений в астрофизике. Из спектров молекул определяют фундаментальные характеристики молекул, их геометрию и энергетическую структуру, информацию о внутренних силах и процессах, что представляет интерес для теории строения атомов и молекул.

Последние годы характеризуются все большим возрастанием значения методов молекулярного анализа. Задачи, для решения которых необходимо применение этих методов, возникают в связи с рядом глобальных проблем. К ним относится проблема идентификации соединений, возникающих в результате химических реакции в обычных условиях и в особенности в плазме, при различных энергиях фотохимического воздействия, лазерном синтезе и т.д. Задача анализа молекул и молекулярных ассоциатов выдвигается общей проблемой контроля загрязнений внешней среды - атмосферы, биологических объектов, органических примесей в воде и т. д. В ряде промышленных производств возникает задача автоматического контроля загрязнений основного продукта разного рода побочными продуктами. Решение всех этих проблем на одном из этапов требует достаточно точных и экспрессных анализов, нацеленных на изучение как отдельных молекулярных систем, так и их ассоциатов и смесей. В свою очередь потребности массовых анализов приводят к задаче разработки автоматизированных систем для молекулярного анализа.

На сегодняшний день спектроскопия представляет собой одну из наиболее интенсивно развивающихся областей физики. Применяются все более совершенные системы и методы регистрации спектров поглощения и излучения, изобретаются новые приборы и устройства, способные с высокой точностью проводить измерения. Вводятся методы автоматического управления сбором данных.

Для оценки поглощения лазерного излучения атмосферными газами требуются прежде всего данные о коэффициентах поглощения, которые, в свою очередь, могут быть получены расчетом, если известны параметры линий поглощения. В связи с этим вопрос об определении и табулировании основных данных о параметрах линий всегда был и остается актуальным.

Актуальность работы обусловлена необходимостью получения высокоточных спектроскопических данных для решения задач самых различных областей: оптики атмосферы, физики пламен, астрофизики, климатологии, и других. В свою очередь, спектры высокого разрешения, зарегистрированные на современных спектральных приборах, являются очень точными, подробными, и содержат десятки тысяч линий. Поэтому для специалистов во всем мире стало очевидным, что анализ таких спектров, невозможен без создания специальных автоматизированных систем и инструментальных средств, которые обеспечили бы эффективную, быструю и удобную работу со спектрами.

Рассмотрим процесс образования спектров. Поглощение электромагнитного излучения молекулой газа может привести как к возбуждению (изменению энергии) электрона, так и к изменениям колебательной энергии (колебания атомов относительно каждой химической связи) и вращательной энергии (вращение всей молекулы или ее части). Все эти изменения энергии являются квантованными, т.е. возможны только определенные значения энергии орбит электронов, энергии колебания атомов и кинетического момента вращения, характеризующие соответственно электронные, колебательные и вращательные энергетические уровни [1,2].

Типичная схема спектроскопического эксперимента представлена на рисунке 1.

Рисунок 1 - Схема спектрометра: 1 - лазер; 2 - зеркала, отводящие 50% света;

3 - кювета с газом; 4 - система напуска газа; 5 - фотоприемник

Спектры молекул зависят от возможности нахождения молекул в различных состояниях, имеющих различную энергию, которая определяется наличием в молекуле различных типов движений. Каждому типу движений в молекуле (вращения молекулы или ее групп, колебания атомов и групп, движения электронов, собственные вращения электронов и ядер - спин) соответствуют свои уровни энергии и свой метод молекулярной спектроскопии, чувствительный к тем или иным особенностям строения молекулы. Ввиду единства природы электромагнитного излучения любых частот - от радио- до гамма-излучения, все методы спектроскопии принципиально похожи друг на друга [1,2,3].

Как уже отмечалось, внутренняя энергия молекулы имеет 3 составляющих - электронную энергию, колебательную и вращательную. Ниже, на рисунке 2, приближенно описаны соотношения этих энергий.

Электронные / уровни

Колебательные подуровни

Вращательные подуровни

Рисунок 2 - Уровни энергии

Электрон может переходить на орбиты с разной энергией. Если у электрона изменяется радиус орбиты, то изменяется и энергия. Собственные энергетические уровни молекулы имеют строго определенное расположение. Разница между электронными уровнями составляет сотни тысяч обратных

I 17 сантиметров (1 см* = 10" эрг). Множество уровней энергии дискретно. Самое нижнее электронное состояние называется основным.

Колебательная энергия - это энергия колебания длин связей, называемые валентными колебаниями (stretching), и углов между ними (bending), торсионные колебания (поворот одной большой части молекулы относительно другой) и т.д. Для описания движения в молекуле вводят нормальные координаты. Число нормальных колебаний в молекуле равно 3N-6, где N -число частиц. Разница между колебательными уровнями энергии составляет примерно 10+3 - 10+4 см" . Состояния нумеруются по квантовым числам нормальных колебаний. Например, у молекулы воды три типа нормальных колебаний - это валентные симметричные колебания, валентные антисимметричные колебания и изгибные колебания (изменение угла между связями). Состояние (010) означает 0 квантов возбуждения по симметричному валентному колебанию, 1 по изгибному, и 0 по валентному антисимметричному колебанию.

Вращательная энергия определяется вращательным движением молекулы. Уровни нумеруются по квантовым числам квадрата углового момента и по проекции углового момента на выделенную ось внутримолекулярной системы координат. Для каждого значения углового момента есть подуровни с различными значениями проекции вектора углового момента. Для молекул с числом атомов больше двух различают несколько типов - это сферический волчок (у которого все моменты инерции одинаковы), сплюснутый волчок (у которого 2 больших момента инерции одинаковы), вытянутый волчок (у которого 2 меньших момента инерции одинаковы) и асимметричный волчок (у которого все 3 момента инерции одинаковы).

Трем составляющим энергии соответствуют 3 типа спектров: вращательные, колебательно-вращательных и электронно-колебательно-вращательные.

Если переходы совершаются между вращательными уровнями одних и тех же электронных и колебательных состояний, то появляются так называемые чисто вращательные спектры (см. рис. 2). Электромагнитное излучение или поглощение, отвечающее этим спектрам, соответствует далекой инфракрасной или микроволновой области.

Если переходы совершаются между колебательными уровнями одного и того же электронного состояния, то возникают чисто колебательные спектры. Частоты излучения или поглощения, отвечающие этим спектрам, лежат в близкой или средней инфракрасной области (соответствующие длины волн занимают диапазон приблизительно от 2 до 100 мкм). Как правило, однако, наряду с чисто колебательными движениями возбуждаются и вращательные движения или совершаются переходы между вращательными уровнями энергии, близкими к данному колебательному уровню энергии. Поэтому появляется спектр колебательно-вращательный и в нем наблюдается так называемая вращательная структура колебательных полос поглощения или излучения.

Если переход совершается между различными электронными уровнями энергии, то, как правило, одновременно наблюдаются и переходы между различными колебательными и вращательными состояниями, соответствующими разным электронным уровням. Соответствующий этому переходу спектр называется электронно-колебательно-вращательным.

Поглощение видимого, ультрафиолетового и рентгеновского излучений вызывает изменение электронной энергии молекул. Поглощение инфракрасного излучения приводит к изменениям колебательных и вращательных состояний молекул.

Эти эффекты используются в спектроскопии. Поскольку получаемые спектры поглощения однозначно характеризуют химический состав газа, спектроскопические методы являются одними из наиболее эффективных методов определения этого состава.

Интенсивность электромагнитного излучения, поглощаемого газовой смесью, зависит от природы газа. Согласно закону Бугера-Ламберта-Бера, доля (///0) интенсивности излучения, поглощенного кюветой с газом, изменяется экспоненциально с длиной кюветы /, концентрацией с газа и коэффициентом поглощения к: 1 %(1/10) = к1с. Измерив интенсивность, прошедшую через кювету с газом, можно определить его концентрацию, если известен коэффициент поглощения к.

Наибольшее распространение для измерения спектральных коэффициентов поглощения несколько десятилетий назад имел лазерный спектрофотометрический метод, с помощью которого измерены спектры поглощения ряда атмосферных газов (Н20, СО2, СО, СН4, .) с разрешением 10°. 10"6 см' в областях излучения различных лазеров [3]. Метод основан на сравнении потоков излучения до и после его прохождения через поглощающую среду. Спектрофотометрия широко применяется для исследования достаточно сильных линий поглощения (/г(у)>1СГ6 см'1) при использовании атмосферных трасс и многоходовых кювет. Особенно эффективно использование лазеров с широкой областью перестройки частот. Недостатком этого метода является сравнительно невысокая чувствительность 10*6 см"1).

Более высокой чувствительностью (-КГ7 . 1(Г9 см") обладают другие лазерные методы - оптико-акустический и внутрирезонаторный, которые позволяют распространить спектроскопические измерения на область слабых линий поглощения. В основе первого метода лежит оптико-акустический эффект, заключающийся в генерации акустических колебаний газом, поглощающим модулированное на звуковой частоте излучение. Преимущества внутрирезонаторных методов, а именно высокое разрешение узкополосного и высокая чувствительность широкополосного, сочетаются в методе конкурирующих пучков [4]. Исследуемое вещество в этом методе размещается в дисперсионном резонаторе лазера, генерирующего узкую спектральную линию, которая может плавно перестраиваться по спектру. Оптико-акустический метод более прост в реализации, но применим только для переходов в молекулах с безызлучательной релаксацией возбуждения. Метод внутрирезонаторного поглощения позволяет за короткое время 10"3 с) регистрировать спектр поглощения в широком диапазоне 70 см'1), однако пока применим только в видимой области, где доступны лазеры с широкими линиями усиления.

Метод производной наиболее эффективен для измерения малых изменений коэффициента поглощения Ак(у) на большом фоне к(у), но не позволяет измерять континуальную составляющую коэффициента поглощения. Лазерный метод производной используется для определения концентрации загрязняющих атмосферу газов [5, 6], а также для определения положения центров линий [7].

Методы фурье-спектрометрии позволяют регистрировать спектры поглощения в более широком спектральном интервале, но обладают меньшим разрешением 10° см'1) и чувствительностью 10"5 см'1), чем лазерные методы. Уникальные спектроскопические результаты получены с помощью фурье-спектроскопии: измерены абсолютные значения положений центров линий различных газов с точностью 10*4 см"1 в широком интервале от дальней ИК до видимой области спектра [8]. Это достигнуто в первую очередь благодаря прогрессу вычислительной техники, качественному скачку в развитии алгоритмов фурье-преобразования, обеспечившим обработку в реальном масштабе времени 106 спектральных элементов в течение нескольких минут [9].

Таким образом ни один из рассмотренных методов измерения спектральных коэффициентов поглощения не является универсальным, поэтому все они скорее дополняют, чем дублируют друг друга [1,3].

Спектральная кривая (рисунок 3) описывает зависимость пропускания излучения через образец вещества. В этой кривой можно заметить провалы, по которым видно, что на этих частотах произошло поглощение энергии, излученной источником, что соответствует переходу части молекул на состояние с большей энергией. Эти провалы в спектроскопии называют «линиями» поглощения. Их форма определяется несколькими процессами, основной вклад из которых вносят столкновения между молекулами, ведущие к перераспределению энергии, и эффект Доплера (смещение частот, возникающее из-за неодинаковой скорости и направления движения молекул в газе). Переходы между различными колебательными состояниями называются «полосами» и лежат в диапазоне длин волн от инфракрасной до ближней ультрафиолетовой области. Вращательные переходы находятся в микроволновой и инфракрасной области. оо-1---1-■-1---1-.-1---1-.-1

9500 10000 10500 11000 11500 12000 12500

Частота, см1

Рисунок 3 - Спектр пропускания РГОО в области 9500 - 12500 см"1

По спектрам можно определить значения энергетических уровней, а при построении на их основе математической модели, и все фундаментальные характеристики молекул.

На рисунке 4 схематически представлен контур линии. Каждый контур обладает такими параметрами, как I - интенсивность линии, у - полуширина на полувысоте, у0 - центр линии.

Рисунок 4

Анализ спектров состоит из двух этапов. Первый из них - это математическая обработка провалов (подъемов) спектральной кривой и подгонка модельных теоретических контуров, для получения точных значений их частот и интенсивностей [10, 11]. Результатом этого этапа является список переходов (Peak list). Второй этап - квантовая идентификация переходов [12]. Оба эти этапа являются трудными и требуют, в зависимости от типа молекулы, до нескольких месяцев кропотливой работы высококвалифицированных специалистов. На рисунке 5 представлена схема обработки спектров.

Рисунок 5 - Схема процесса обработки спектров

Методы, используемые для идентификации линий в спектрах бывают самые разнообразные [12-15], и определяются, в первую очередь, сложностью спектра. Так, для простых двухатомных и гетероядерных молекул спектры можно идентифицировать по их виду. Спектры трехатомных молекул, таких как НгО, Н28, состоят из перекрывающихся колебательных полос, не имеют явно различимых закономерностей в расположении линий, выглядят запутанными. Математическая модель, как правило, предсказывает расположение линий с большой ошибкой. Для анализа таких спектров применяют известный в спектроскопии метод комбинационных разностей. Это один из методов, опирающийся на точные квантово-механические правила, независящие от модельных представлений. В соответствии с этим методом, в спектре ищутся линии перехода на одно верхнее состояние с различных нижних. Разности между частотами будут равны в точности разностям между нижними уровнями энергии (см. рис 6).

Частоты переходов

Возбужденное колебательное состояние

Вращательные подуровни

Основное колебательное состояние

Рисунок 6 - Пример выполнения комбинационного правила

В соответствии с методом комбинационных разностей, в спектре для каждого верхнего КВ-состояния ищутся совокупности линий, определенным образом отстоящих друг от друга. Как правило, в спектре отыскиваются до нескольких десятков таких групп линий. На этом этапе начинают использоваться модельные представления, дающие дополнительную информацию, достаточную для определения правильной группы линий. Выбор правильной группы линий происходит на основе точности соблюдения комбинационного правила, а также по таким признакам, как близость и пропорциональность интенсивностей найденной группы линий и интенсивностей, предсказанных при помощи модельных представлений.

Положения (частоты) линий не должны быть далеки от расчета. Для выбора правильного решения спектроскопист вынужден иногда по несколько раз просматривать таблицы чисел - расчетных и наблюдаемых частот, интенсивностей и энергий. Это занимает большую часть времени при анализе спектра.

Поскольку при разработке автоматизированных систем всегда приходится в той или иной степени решать задачу распознавания образов, то и для автоматизации этого процесса были применены хорошо разработанные, профессиональные методы - это методы теории распознавания образов [16, 17]. Благодаря этому была создана экспертная система, которая в автоматическом или в полуавтоматическом режиме позволяет проводить идентификацию линий на основе метода комбинационных разностей. Однако, описанная в [18] система работает с уже полученным списком линий. Первый же этап - это математическая обработка провалов (подъемов), с целью получения списка т.н. «линий» поглощения, по-настоящему не стал автоматическим до сих пор. В то же время этот процесс также занимает большую часть времени при анализе спектров. Спектры, зарегистрированные на современных высокоточных спектральных приборах, являются очень точными и подробными, и содержат до нескольких десятков тысяч линий. Анализ таких спектров, идентификация линий в них - трудоемкий процесс. Как заметил Р. Jensen [19]: «время, необходимое для регистрации спектра, становится пренебрежимо малым, по сравнению со временем, затрачиваемым на его теоретическую обработку». Как уже отмечалось, этот процесс требует до нескольких месяцев монотонного напряженного труда опытных спектроскопистов. В связи с этим появилась необходимость в разработке средств автоматизации, которые позволили бы быстро и эффективно работать с такими спектрами, проводить идентификацию линий, решать обратную задачу, создавать необходимые базы данных.

В теории спектров многоатомных молекул принято различать два типа задач: прямые и обратные [20, 21].

Под прямыми понимаются задачи, связанные с вычислением различных спектральных характеристик, например, положений полос поглощения или линий на шкале частот, их интегральных или относительных интенсивностей, в последнее время - полностью кривых спектрального распределения коэффициента поглощения и др. При этом подразумевается, что все необходимые величины, входящие в состав соответствующего гамильтониана, и его вид или параметры полуэмпирических теорий заданы. Такие задачи имеют единственное решение, которое целиком определяется совокупностью исходных данных.

Под обратными задачами (в последние годы они привлекают в физике все большее внимание) понимаются задачи, в которых устанавливаются те или иные характеристики молекул на основании измеренных спектров. Типичной задачей такого рода, решению которой посвящено большое число работ, является задача определения силовых постоянных по наблюдаемым колебательным спектрам. Обратные задачи, как правило, принадлежат к классу так называемых некорректно поставленных и обладают той характерной особенностью, что не имеют однозначного решения. Это приводит во многих практически важных случаях к серьезным затруднениям и заметной доле субъективизма, сказывающейся на окончательном результате.

Чтобы обратная спектральная задача стала разрешимой, необходимо накладывать дополнительные ограничения, не связанные с самими исходными условиями. Эти дополнительные ограничения определяются заданием априорных физических предположений. Их разумность и физическая обоснованность целиком определяют и качество последующего решения.

Автоматизированные системы (АС), которые выполняют обработку спектроскопической информации, можно разделить на два класса: 1) взаимодействующие с аппаратной частью; 2) независимые от приборов, выполняющие только обработку данных.

К сожалению, программное обеспечение не всегда подробно описывается в научной литературе. Обычно авторы приводят результаты обработки данных, а об используемом программном обеспечении сведения либо очень поверхностны, либо вовсе отсутствуют. Часть информации этого обзора была почерпнута из сети Интернет со страниц соответствующих научных центров, или была любезно предоставлена пользователями этого ПО в результате обсуждений.

В среде разработчиков АС, взаимодействующих с аппаратной частью, наиболее популярным инструментарием является программный пакет ЬаЬУ1Е1¥ [22, 23]. Система графического проектирования ЬаЬУ1Е>М представляет собой комплекс аппаратных и программных средств анализа, моделирования и управления. Он предназначен для разработки систем измерения, контроля, диагностики и управления, обеспечивает сбор и обработку сигналов в реальном времени. Для сопряжения аппаратуры используются приборные интерфейсы, основанные на магистрально-модульном принципе построения связей. Среди подобных приборных интерфейсов наиболее известна система САМАС. Например, на основе LabVIEW были созданы такие системы, как система диагностики неоднородной нестационарной плазмы, разработанная в Петрозаводском университете [24], мобильный комплекс «Магнитограф», предназначенный для регистрации и обработки динамических сигналов и разработанный компанией ВиТэк [25], автоматизированная система «СПЕКТР» для автоматического управления спектром частоты транспондеров спутника связи с анализатором спектра [26].

Программное обеспечение С7еМ'и производства российских фирм АО «ИСГИ» и Ь-Сагс1 поставляется в трех модификациях - от простого осциллографа до профессиональной версии. В Физико-техническом институте

УрО РАН с использованием GeMis разработан мобильный диагностический комплекс сбора и обработки информации с пьезодатчиков. Этот комплекс предназначен для сбора и обработки информации при стендовых ударных и вибрационных испытаниях, вибродиагностики. Программное обеспечение позволяет выполнять цифровую фильтрацию, спектральный анализ, корреляционный анализ, статистический анализ, мультимедийную обработку сигналов и др. [27].

Группа компаний Bruker специализируется на разработке программного и аппаратного обеспечения для медицины, оптики, пищевой промышленности, контроля качества [19].

Среди АС, которые предназначены для обработки спектроскопических данных независимо от аппаратной части регистрации спектров, можно выделить такие, как программные пакеты ПОС-КОМ, ПОСМ, WinPOS производства НПП «МЕРА» - инструментальное программное обеспечение для полного цикла работ с измерительной информацией. Эти пакеты дают возможность осуществлять статистический, корреляционный, спектральный анализ. Существует возможность использовать свои собственные процедуры и функции для реализации нестандартных алгоритмов обработки и создавать собственные Виртуальные Приборы в рамках возможностей пакета. Эти пакеты реализованы в Портативном анализаторе сигналов [28].

Программное обеспечение для оптической спектроскопии GRAMS/32 фирмы Galactic Industries может применяться в большинстве современных ИК-Фурье спектрометров, позволяет получать нужные результаты, не заставляя разбираться в тонкостях ИК спектроскопии. Данное программное обеспечение широко применяется для обработки ИК спектров нефтепродуктов. Функционируя в совокупности с системой PetroQuant, которая полностью управляет работой спектрометра и внешними устройствами, GRAMS/32 производит анализ моторного топлива и смазочных масел. Midac Corporation на основе этого программного обеспечения разработала портативный анализатор FOx FTIR Fuel and Lubricant Analyzer.

Для обработки спектров можно применять универсальные пакеты программ, такие как ORIGIN (с программой PeakFit), OPUS/LT (фирмы Bruker), GRAMS/32 (фирмы Galactic), PEAKSOLVE, FOCUS, OMNIC (фирмы NICOLET), IPLAB (фирмы Scanalytic), SCARP (фирмы PERKIN ELMER), WINFIRST (фирмы MATTSONIR) [29-32]. Существуют также специализированные пакеты программ для получения спектроскопической информации, например, INTBAT [33], OPTIMIZE [34], DECOMP [35, 36], FITMAS [37], RELIP [38]. Однако универсальные пакеты не учитывают особенностей метода измерения, а специализированные в большинстве своем созданы для конкретных узких задач.

Несмотря на большое число программных средств и то, что почти все они в определенной степени способны решать некорректные задачи, они не лишены недостатков. Например, некоторые привязаны только к определенной аппаратуре; другие используют для подгонки параметров какой-либо один контур, например, Гаусса, либо только узкий круг распределений, предназначенных для конкретной задачи и не подходящий в нашем случае; следующие требуют непосредственного участия оператора при своей работе -для разметки спектра, определения числа линий в группе; некоторые из этих программных средств для начала своей работы (до поиска спектральных линий) требуют проведения большого объема предварительных расчетов -дифференцирования, интегрирования, сглаживания, и т.д. В приведенных системах на разном уровне присутствует автоматизация, которую чаще можно назвать «механизацией». Не последнее место занимает и вопрос цены программного средства, т.к. большая часть из них - коммерческие.

Цель работы

Целью работы являлась разработка системы, позволяющей в автоматическом режиме проводить начальную обработку молекулярных колебательно-вращательных спектров поглощения и пропускания атмосферных газов. Обработка включает поиск пиков спектральных линий, подгонку модельных контуров и получение списка линий.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Исследовать особенности регистрации колебательно-вращательных спектров молекул атмосферных газов.

2. Провести исследование информативных признаков для распознавания объектов в спектральной кривой - пиков, крыльев и целых групп спектральных линий. Разработать алгоритм распознавания этих объектов.

3. Изучить методы решения обратных задач в спектроскопии. Выбрать, либо предложить метод регуляризации некорректных задач спектроскопии.

4. Разработать программное обеспечение для первичной обработки молекулярных спектров, которое позволило бы при минимальном участии оператора формировать списки спектральных линий.

При решении поставленной задачи использовались следующие методы исследований: методы теории распознавания образов, искусственного интеллекта, кластерного и корреляционного анализа, численные, оптимизационные, методы решения некорректных задач, структурного и объектно-ориентированного программирования.

Защищаемые положения

1. Метод потенциальных функций обеспечивает создание устойчивых процедур распознавания пиков нужной формы в спектральной кривой. Такие процедуры обучаемы на примерах и способны имитировать принятие решений экспертом при поиске линий переходов в спектрах.

2. Метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам позволяет задавать коэффициенты регуляризации только для тех параметров модели, которые вносят неустойчивость в общее решение.

3. Разработанное программное обеспечение ASA формирует список линий, пригодный для дальнейшей идентификации и обработки.

Научная новизна

1. Впервые на основе метода потенциальных функций, разработаны алгоритмы распознавания спектральных линий и их групп. Предложены информативные для распознавания признаки.

2. Впервые применен алгоритм локальной регуляризации для решения обратной спектроскопической задачи - подгонки модельных контуров линий.

3. Предложен оригинальный алгоритм локальной регуляризации с привлечением априорной информации о матрице корреляции производных от невязки по параметрам

4. Разработанная система ASA, в отличие от известных в литературе, использует методы распознавания образов, позволяющие наиболее полно и правильно имитировать действия эксперта при принятии решений.

Практическая значимость результатов

Автоматизированная система ASA позволяет формировать списки линий спектров высокого разрешения, содержащих десятки тысяч линий, практически без участия человека. Получаемые высокоточные спектроскопические данные могут использоваться для решения задач самых различных областей: оптики атмосферы, физики пламен, астрофизики, климатологии, и других.

Система позволяет работать в комплексе с уже созданными системами для теоретического анализа спектров. В дальнейшем планируется осуществить более тесную интеграцию с системой идентификации квантовых переходов. В результате появятся дополнительные возможности при обработке спектров.

С помощью системы ASA в автоматическом режиме были обработаны спектры таких газов, как Н20, D2O, HDO, СО, СО2. Например, обработанный спектр HDO в области 9500 см*1 - 12500 см"1 состоял из 380000 точек, в результате его обработки получен список из 8689 линий. На. проверенном визуально участке этого спектра не было пропущено ни одной линии, которые возможно определить при первичной обработке спектра, что говорит о корректной работе системы. Данный спектр обрабатывался в автоматическом режиме примерно 2 часа, включая время на подготовку системы. Системой ASA был обработан спектр водяного пара в диапазоне от 1800 см*1 до 2200 см"1, в результате чего получен список из 369 линий (см. прил. А). Было проведено сравнение полученных данных с экспериментальными расчетами.

Достоверность результатов обеспечивается строгим применением математических методов, сравнением результатов с реальными научными данными, приведенными в литературе, которые были получены экспериментальным путем. Так же достоверность результатов проверена при моделировании прямой задачи, с последующим решением обратной.

Апробация работы

Результаты работы докладывались и обсуждались на следующих конференциях: Региональная научно-техническая конференция «Радиотехнические и информационные системы и устройства» (Томск, 25 мая 1999г.), Региональная научно-техническая конференция «Радиотехнические и информационные системы и устройства» (Томск, 17 мая 2000г.), VII Международный симпозиум «Оптика атмосферы и океана» (Томск, 16-19 июля 2000г.), Региональная научно-техническая конференция студентов и молодых специалистов «Прикладной системный анализ» (Томск, 28-30 ноября 2000г.), Международная конференция «Моделирование, базы данных и информационные системы для атмосферных наук» (Иркутск, 25-29 июня 2001г.), 22 Съезд по спектроскопии (Зеленоград, 8-12 октября 2001г.), Международная конференция «Новые информационные технологии в науке, образовании, экономике» (Владикавказ, 6-10 июня 2002г.), IX Международный симпозиум «Оптика атмосферы и океана» (Томск, 2-5 июля 2002г), X Юбилейный международный симпозиум «Оптика атмосферы и океана. Физика атмосферы» (Томск, 24-28 июня 2003г), Вычислительно-информационные технологии для наук об окружающей среде CITES-2003 (Томск, 1-11 сентября 2003). Также по результатам работы было опубликовано 6 статей. Разработанная система ASA внедрена в лаборатории молекулярной спектроскопии Института оптики атмосферы СО РАН, в учебном процессе - в Томском государственном университете систем управления и радиоэлектроники.

Личный вклад

Автором разработаны алгоритмы и программное обеспечение для получения списка спектральных линий, проведено моделирование. Щербаковым А.П. было предложено использовать метод потенциальных функций для распознавания в спектре линий. Автором было проведено исследование отбора признаков для распознавания, реализован алгоритм. Мицелем A.A. было предложено использовать метод локальной регуляризации для устранения некорректности обратной задачи. Совместно с Щербаковым А.П. был разработан метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам. Автором реализованы эти алгоритмы. Щербаковым А.П. был создан интерпретатор на языке Лисп - ИПРА, с использованием которого автором была разработана автоматизированная система ASA.

Объем и структура работы

Диссертация состоит из введения, трех глав, заключения, списка литературы из 97 наименований и приложения. Общий объем диссертации -111 страниц, включая 6 таблиц и 21 рисунок.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Пшеничников, Александр Михайлович

3.3 Выводы

В последнее время разработчики компиляторов и интерпретаторов стараются встроить библиотеки функций с задатками средств искусственного интеллекта - это говорит о том, что в них подобных средств явно не хватает. Это также подтверждает правильность выбранных средств для разработки данной системы. На основе специализированного интерпретатора ИПРА нами была разработана система ASA, успешно выполняющая поставленную задачу.

Разработанной системой ASA был обработан спектр поглощения HDO в области 9500 см"1 - 12500 см*1, состоящий из 380000 точек (изображенный во введении на рисунке 3), в результате чего получен список из 8689 линий с

Ir' комбинированным уровнем шума в 0.5% и 0.7% (см. п. 1.5). Не было пропущено ни одной линии, которые возможно определить при первичной обработке спектра, что говорит о корректности системы. Данный спектр обрабатывался в автоматическом режиме примерно 2 часа, включая время на подготовку системы. Системой ASA был обработан спектр водяного пара в диапазоне от 1800 см'1 и 2800 см'1, в результате чего получен список из 1800 линий (см. прил. А). Было проведено сравнение полученных данных с ^ экспериментальными расчетами [90-92, 97].

Сравнения, проведенные в п. 2.7 позволяют говорить о достоверности полученных результатов.

Заключение

В рамках данной работы была разработана автоматизированная инструментальная система, использующая профессиональные методы кибернетики, для первичной обработки спектров. Создание универсальной системы подобного типа с использованием выше указанных методов проводилось впервые. Система позволяет выявлять линии поглощения из спектральной кривой (зависимости поглощения от частоты), проводить математическую обработку контуров линий и получать, в конечном счете, список линий для дальнейшей обработки. Созданная система не имеет аналогов.

Построенная система автоматизированного поиска и обработки спектральных линий позволяет в течении нескольких минут (или часов, в зависимости от величины спектра) подготовить спектр к дальнейшему теоретическому анализу (идентификации квантовых переходов и построения математической модели молекулы). Обработка спектров проходит сравнительно быстро, разработанной системой не накладывается ограничения на размер спектра. Система тестировалась на практических данных достаточно большого размера.

Примененная процедура распознавания, в частности, метод потенциальных функций, позволяет создавать устойчивые от помех процедуры распознавания пиков нужной формы в спектральной кривой. Такие процедуры, обучаемы на примерах и способны эмитировать принятие решений экспертом при поиске линий переходов в спектрах.

Проведенный замкнутый численный эксперимент по поиску линий в сильно зашумленном спектре показал хорошие результаты. Внесение 50%-шума (1/2 величины амплитуды самой сильной линии) не отразилось на работе процедуры. Одиночные линии, превышающие по амплитуде данный уровень шума, успешно обнаруживались. Однако, внутри групп перекрывающихся линий, в некоторых случаях было замечено «появление фиктивных линий».

В данной диссертационной работе предложены три алгоритма локальной регуляризации. Метод локальной регуляризации с применением в качестве априорной информации матрицы корреляции производных от невязки по параметрам позволяет задавать коэффициенты регуляризации только для тех параметров модели, которые вносят неустойчивость в общее решение.

Система позволяет работать в комплексе с уже созданными системами для теоретического анализа спектров. В дальнейшем планируется осуществить более тесную интеграцию с системой идентификации квантовых переходов. В результате появятся дополнительные возможности при обработке спектров.

С помощью системы ASA в автоматическом режиме были обработаны спектры таких газов, как Н20, D20, HDO, СО, С02. Например, обработанный спектр HDO в области 9500 см"1 - 12500 см'1 состоял из 380000 точек, в результате его обработки получен список из 8689 линий. На той выборке (том спектральном участке), где проводилась визуальная проверка присутствующих линий и сравнение со списком найденных системой линий, не было пропущено ни одной линии, которые возможно определить при первичной обработке спектра, что говорит о корректности системы. Системой ASA был обработан спектр водяного пара в диапазоне от 1800 см*1 и 2800 см"1, в результате чего получен список из 1800 линий. Было проведено сравнение полученных данных с экспериментальными расчетами.

Список литературы диссертационного исследования кандидат технических наук Пшеничников, Александр Михайлович, 2003 год

1. Бенуэлл К.Н. Основы молекулярной спектроскопии. -М.: Мир, 1985.

2. Ельяшевич М.А. Атомная и молекулярная спектроскопия. М.: Наука, 2001.

3. Зуев В.Е. Распространение лазерного излучения в атмосфере. М.: Радио и связь, 1981.

4. Батище С.А., Мостовников В.А., Рубинов А.Н. Спектроскопия слабопоглощяющих объектов с высоким разрешением на основе метода конкурирующих пучков // Квантовая электроника. 1976. - Т.З. №11. - С. 2516-2519.

5. Ku R.J., Hinkley E.D., Sample J.О. Long-path monitoring of atmospheric carbon monoxide with a tunable diode laser system // Appl. Opt. 1975. - V.14. N.4. P. 854-861.

6. Antcliffe G.A. Wrodel J.S. Detection of the gaseous pollutant sulfur dioxide using current tunable Pb|.,Snx Те diode lasers // Appl. Opt. 1972. - V.ll. N.7. P. 1548-1552.

7. Smith R.C. Resolution in the derivative recording of the absorption spectra // Rev. Sci. Instrum. 1963. - V. 34. N.3. P. 296-297.

8. Инфракрасная спектроскопия высокого разрешения // Под ред. Бобовича Я.С., Степанова Б.И. М.: Мир, 1972.

9. Connes P., Michel G. Astronomical Fourier spectrometer // Appl. Opt. 1975. -V.14. N.9. P. 2067-2084.

10. Ю.Пшеничников A.M. Автоматизация анализа колебательно-вращательных спектров молекул // Тез. докл. региональной науч.-техн. конф. «Радиотехнические и информационные системы и устройства», 25 мая 1999 г, Томск, 1999. Ч. 1. - С. 42-43.

11. П.Пшеничников A.M. Автоматизация обработки колебательно-вращательных спектров молекул // Тез. докл. региональной науч.-техн. конф. «Радиотехнические и информационные системы и устройства», 17 мая 2000 г, Томск, 2000. Ч. 2. - С. 39-40.

12. Bykov A. D., Naumenko О. V., Pshenichnikov А. М., Sinitsa L. N., Shcherbakov А. P. An Expert System for Identification of Lines in Vibrational-Rotational Spectra // Optics and Spectroscopy. 2003. - Vol. 94. N. 4. P. 528-538.

13. Быков А.Д., Синица Jl.H., Стариков В.И. Экспериментальные и теоретические методы в спектроскопии молекул водяного пара. -Новосибирск: Изд. СО РАН, 1999. 376 с.

14. М.Михайлов В.М., Воронина С.С., Пшеничников A.M. Вычисленный «запрещенный» вращательный спектр монодейтерометана // Материалы 22 съезда по спектроскопии, 8-12 октября 2001 г, Зеленоград, 2001.

15. Михайлов В.М., Воронина С.С., Пшеничников A.M. Вычисленный «запрещенный» вращательный спектр монодейтерометана // Оптика атмосферы и океана. 2001. Т. 14. № 9.

16. Айзерман М.А., Браверман Э.И., Розоноэр Л.И. Метод потенциальных функций в задачах обучения машин. М.: Наука, 1970.

17. Левин Л.Л. Введение в теорию распознавания образов. Томск: ТГУ, 1982.

18. Щербаков А.П. Применение методов Теории распознавания образов для идентификации линий в колебательно-вращательных спектрах // Оптика атмосферы и океана. 1997. №8.

19. Jensen P. The Giessen Program for processing spectral data from BRUKER IFS 120 HR interferometer using an IBM compatible personal computer. // Justus Leigig University Giessen. January 1990.

20. Прямые и обратные задачи математической физики: Сборник / По ред. Тихонова А. Н., Самарского А.А. М.: Изд. МГУ, 1991.

21. Обратные задачи в оптике // Под ред. Болтаса Г.П. -М.: Машиностроение, 1984.

22. National Instruments Products, http://www.ni.com

23. Система графического проектирования LabVIEW для Windows./Пер. с англ. А.В. Скворцова, В.П. Шкодырева. -СПб.: БХВ, 1995.

24. ВиТэк. http://www.vitec.ru26. «Левша», http://acs.levsha.ru/develop/develop.shtml

25. Физико-технический институт Уральского отделения РАН. http://www.uran.ru/structure/institutions/phystech/achivs/lsai.htm

26. НПП «МЕРА», http://www.nppmera.ru29. www.nicolet.com30. www.perkin-elmer.com31. www.spss.com32. www.mattsonir.com

27. Johns J.W.C. //J. MoL Spectrosc. 1987. - V. 125. - P. 442-464.

28. Heyner Y., Steier 0. et al. Evolution strategies applied to least-squares curve fitting of spectroscopic data // J. Quant. Spectrosc. Radiant. Transfer. 1996. - V. 56. N. 5. - P. 769-782.

29. Polyansky O.L., Busier JЯ. et ai The emission of hot water in the region between 370 and 930 cm"1 //J. Mol. Spectrosc. 1996. - V. 176. - P. 305-315.

30. Ram R.S. Bernath P.F. Fourier transform IR emission spectroscopy ofND and PI I // J. Mol. Spectrosc. 1996. - V. 176. - P. 329-336.

31. Schreicr F., SchimpfB., and Birk M. FITMAS least squares fitting of molecular line parameters from high resolution FTIR spectra // XIII Colloc. on High Res. Mol. Spectrosc. Riccione, 1993.

32. Катаев М.Ю., Никифорова О.Ю. Пакет программ RELIP и его применение для определения параметров спектральных линий из оптио-акустических измерений // Оптика атмосферы и океана. -2001. Т. 14. №1.

33. Методы нейроинформатики: Сб. науч. тр. КГТУ / Отв. ред. А.Н. Горбань. -Красноярск: КГТУ, 1998.-205 с.40. www.alife-soft.narod.ru

34. Щербаков А.П., Пшеничников A.M. Обработка спектров с использованием метода потенциальных функций // Доклады ТУСУРа. 1999. Т. 3. - С. 127130.

35. Pshenichnikov A.M., Shcherbakov А.P. Computer-aided system for automatic peak searching and contour fitting in molecular spectra // SPIE Proceedings. -2000. Vol. 4143, p. 59-67.

36. Пшеничников A.M. Компьютерная обработка молекулярных спектров при помощи метода потенциальных функций // Тез. докл. науч.-тех. конф. «Прикладной системный анализ», Томск: ТУСУР, 2000. - С. 5.

37. Айвазян С.А. Прикладная статистика: классификация и снижение размерности. -М.: Финансы и статистика, 1989.

38. Классификация и кластер. /Под ред. Дж. Вэн Райзина. -М.: Мир, 1980.

39. Грушецкий К.М., Брадаков В.Г., Нароленков Н.Е., Некрасова М.С. Устойчивая первичная математическая обработка спектров. // Журнал технической физики. 1985. - С. 102-105.

40. John W.C. Johns. High resolution and the accurate measurement of intensities. // Microchim. Acta (Wien). 1987. - Vol. III. - P. 181-188.

41. Brenda P. Winnewisser. Evaluation of intensity information in high-resolution gas-phase Fourier transform infrared spectra. // Analyst. 1992.

42. Luinge H.J. Automated interpretation of vibrational spectra. // Analytical Chem. Acto. 1990. - Vol. 240. - P. 3-18.

43. Urban S., Behrend J. A software package for assignment of Vibration-Rotation bands of asymmetric top molecules. // Proc. Forteen colloquium of high resolution molecule spectroscopy, 1995.

44. Крылов В.И., Бобков В.В., Монастырный П.И. Вычислительные методы высшей математики. Т.2. Минск: Вышэйшая школа, 1975.

45. Катаев М.Ю., Никифорова О.Ю. Погрешность восстановления параметров . линий из спектра поглощения. Часть 1. Влияние фона и шума измерений // Оптика атмосферы и океана. 2003, Т. 16, №10.

46. Albritton D.L., Schmeltekopf A.L., Zare R.N. Molecular spectroscopy: modern research. Academic press. New York, 1976.

47. Иванов В.К., Васин В.В., Танана В.П. Теория линейных некорректных задач и ее приложения. М.: Наука, 1978.

48. Морозов В.А. Методы регуляризации неустойчивых задач. М.: Изд. МГУ, 1987.

49. Тихонов А.Н., Арсенин В. Я. Методы решения некорректных задач. М.: Наука, 1986.

50. Urban S., Behrend J. A software package for assignment of Vibration-Rotation bands of asymmetric top molecules. // Proc. Forteen colloquium of high resolution molecule spectroscopy, 1995.

51. Hadamard J. Sur les problems aux derives partielles leur signification physique // Bull. Univ. Princeton. 1902. - V. 13. - P. 49-52.

52. Адамар Ж. Задача Коши для линейных уравнений с частными производными гиперболического типа. М.: Наука, 1978.

53. Hadamard J. Le probleme Cauchy. Paris, 1932.

54. Писаревский Б.М., Харин B.T. Беседы о математике и математиках. -М.: Изд. «Нефть и газ», 1998.

55. Тихонов А.Н. Об устойчивости обратных задач // ДАН СССР, 1943. Т.39, №5. С. 195-198.

56. Уилксон Дж.Х. Алгебраическая проблема собственных значений. -М.: Наука, 1970.

57. Лаврентьев М.М. Условно-корректные задачи для дифференциальных уравнений. Новосибирск: НГУ, 1973.

58. Phillips D.L. A technique for the numerical solution of certain integral equations of the first kind//J.Assoc. Comput. Mach. 1962. - V. 9. N.l. - P.84-97.

59. Иванов В.К. О приближенном решении операторных уравнений первого рода // Журн. вычислит, мат. и мат. физ. 1966, Т.6, №6. - С. 1089-1094.

60. Построение экспертных систем: Пер. с англ. /Под ред. Ф. Хейеса-Рота, Д. Уотермана, Д. Лената. М.: Мир, 1987.

61. Братко И. Программирование на языке Пролог для искусственного интеллекта.-М.: Мир, 1990.

62. Ж-Л. Лорьер. Системы искусственного интеллекта. М.: Мир, 1991.

63. Компьютеры в оптических исследованиях // Под ред. Б. Фридена. -М.: Мир, 1983.

64. Feder D.P. // J.Opt. Soc. Amer. -1962. V. 52. - P. 177.

65. Forsythe G.E. // Numer. Math. 1968. - V. 11. -P. 57.

66. Дэннис Дж., Шнабель P. Численные методы безусловной оптимизации и решения нелинейных уравнений.-М.: Мир, 1988.

67. Powell M.J.D. Convergence properties of a class of minimization algorithms. Nonlinear Programming // Ed. By Mangasarian O.L., Meyer R., Robinson S. Academic Press. New York, 1975. -P. 1-27.

68. Osborn M.R. Nonlinear least squares the Levenberg algorithm revisited // J. Austral. Math. Soc. - 1976. - V. 19B. - P. 343-357.

69. More J.J. The Levenberg-Marquardt algorithm: implementation and theory. Numerical Analysis // Ed. by Watson G.A., Lecture Notes in Math. 630, SpringerVerlag, Berlin, 1977. P. 105-116.

70. Shanno D.F. SI AM // J. Num. Anal. 1970. - V. 7. - P. 366.

71. Алгоритмы обработки и средства автоматизации теплофизического эксперимента // Под ред. Кутателадзе С.С. Новосибирск: ИТФ СО РАН, 1978.- 120 е.

72. Robinson A.N. JavaFit: A platform independent program for interactive nonlinear least-squares fitting using the Levenberg-Marquardt method // Comput. Phys. Commun. 1998. - V.l 12, N.2-3. - P. 183-190.

73. Воронцов В.А. Алгоритм получения обобщенных данных, основанный на подборе весовых характеристик достоверности // Приборы и системы: управление, контроль, диагностика. 2000, № 10. - С. 48-51.

74. Koshinbu Jun, Iwata Tetsuo, Minami Shigeo. Application of the modified UVE-PLS method for a mid-infrared absorption spectral data set of water-ethanol mixtures // Appl. Spectrosc. 2000. - V.54. N. 1. - P. 148-152.

75. Song S., Lim J.-S. Gauss Newton variable forgetting factor recursive least squares for time varying parameter tracking // Electron. Lett. -2000. V.36. N.l 1. - P. 988-990.

76. Bockmann Ch. Hybrid regularization method for the ill-posed inversion of multywavelength lidar data in the retrieval of aerosol size distributions // Appl. Opt. 2001. - V.40. N.9. - P. 1329-1342.

77. Воскобойников Ю.Е., Мухина И.Н. Локальный регуляризирующий алгоритм восстановления контрастных сигналов и изображений // Автометрия. 2000. №3. - С. 45-53.

78. Тихонов А.Н., Гончарский А.В., Степанов В.В., Ягола А.Г. Регуляризирующие алгоритмы и априорная информация. М.: Наука, 1983.

79. Shcherbakov A.P., Pshenichnikov A.M. Using the correlation matrix for regularization of parameter fitting by the least-squares method // SPIE Proceedings. 2002. - Vol. 5026. - P. 24-31.

80. Mikhailenko S.N., Tyuterev VI.G, Keppler K.A., Winnewisser B.P., Winnewisser M., Mellan G., Klee S., K. Narahari Rao. The 2v2 band of water: Analysis of new

81. FTS measurements and high-Ka transitions and energy levels // J. Mol. Spectrosc. 1997.-V.l84.-P. 330-349.

82. Toth R.A. Air- and N2-Droadening Parameters of Water Vapor: 600 to 2271 cm"1 // J. of Molec.Spectrosc. 2000. - Vol. 201. - P. 218-243.

83. Claveau C., Henry A., Hurtmans D., Valentin A. Narrowing and broadening parameters of H20 lines perturbed by He, Ne, Ar, Kr and nitrogen in the spectral range 1850-2140 cm*1 // J. of Quantitative Spectrosc. & Radiative Transfer. -2000.-Vol 1194.

84. Пшеничников А., Мицель А., Щербаков А. Определение параметров спектральных линий методом локальной регуляризации // Тез. докл. X Юбилейный международный симпозиум «Оптика атмосферы и океана. Физика атмосферы». -Томск: Изд. ИОА СО РАН, 2003. С. 48.

85. Пшеничников A.M. Автоматизированная система анализа молекулярных спектров // Тез. докл. междунар. конф. «Новые информационные технологии в науке, образовании, экономике». Владикавказ, СКГТУ: Изд. «Терек», 2002.-С. 103-105.