Аппаратный комплекс и алгоритмы, основанные на методах машинного обучения, для измерения характеристик облачности над океаном тема диссертации и автореферата по ВАК РФ 25.00.28, кандидат наук Криницкий, Михаил Алексеевич
Криницкий, Михаил Алексеевич
кандидат наук
2018
- Специальность ВАК РФ25.00.28
- Количество страниц 186
Оглавление диссертации кандидат наук Криницкий, Михаил Алексеевич
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ ПРОГРАММНО-АППАРАТНЫХ РЕШЕНИЙ ДЛЯ АВТОМАТИЧЕСКИХ НАБЛЮДЕНИЙ ЗА ОБЛАЧНОСТЬЮ
1.1 Существующие аппаратные решения
1.2 Существующие методы оценки балла общей облачности по широкоугольным оптическим снимкам видимой полусферы неба
1.2.1 «Cloud Index»
1.2.2 «Sky Index»
1.2.3 «Brightness Index»
1.2.4 Сравнение алгоритмов «Cloud Index» и «Sky Index»
1.2.5 Многокомпонентный анализ снимков
1.3 Особенности описанных методов оценки балла общей облачности
1.3.1 Обработка диска Солнца на снимках
1.3.2 Зависимость оценки балла общей облачности от настроечных параметров алгоритмов
1.3.3 Низкая чувствительность к оптически тонкой облачности
1.4 Выводы
ГЛАВА 2. ПРОГРАММНО-АППАРАТНОЕ РЕШЕНИЕ SAIL CLOUD V.2
2.1. Система сбора данных «SAIL cloud v.2»
2.1.1 Общее устройство
2.1.2 Камера блока регистрации
2.1.3 Устройство определения положения блока регистрации (УОП)
2.1.4 Апробация установки «SAIL cloud v.2»
2.2 Программная часть установки «SAIL cloud v.2». Режим сбора данных
2.3. Методика сбора данных с применением установки «SAIL cloud v.2»
2.3.1. Требования руководящих документов
2.3.2. Описание методики сбора данных
2.4. Морские экспедиционные наблюдения
2.4.1. Общее описание
2.4.2. Феноменологическое описание полученного массива данных
2.4. Выводы
ГЛАВА 3. АНАЛИТИЧЕСКИЙ АЛГОРИТМ ОЦЕНКИ БАЛЛА ОБЩЕЙ ОБЛАЧНОСТИ «GrIx SAIL»
3.1. Фильтрация и предобработка натурных данных
3.2. Индекс GrIx в задачах оценки пространственных характеристик облачности
3.3 Схема фильтрации фона чистого неба
3.4 Алгоритм определения положения диска Солнца на снимке
3.5 Оценка качества аналитической ветви алгоритмов «GrIx SAIL»
3.6 Выводы
ГЛАВА 4. СОВРЕМЕННЫЕ МЕТОДЫ МАШИННОГО ОБУЧЕНИЯ В ЗАДАЧАХ ОЦЕНКИ БАЛЛА ОБЩЕЙ ОБЛАЧНОСТИ И ОПРЕДЕЛЕНИЯ СОСТОЯНИЯ ДИСКА СОЛНЦА
4.1 Введение
4.1.1 Общие сведения о подходе машинного обучения
4.1.1.1 Общая постановка задачи обучения по прецедентам
4.1.1.2 Признаковое описание объектов в машинном обучении
4.1.1.3 Общая схема применения методов машинного обучения, борьба с переобучением и оптимизация гиперпараметров
4.1.2 Постановка задач оценки балла общей облачности и определения состояния диска Солнца в терминах машинного обучения
4.2 Применяемые методы машинного обучения
4.2.1 Линейный дискриминантный анализ (LDA)
4.2.2 Метод глубоких искусственных нейронных сетей (DANN)
4.2.3 Композиционные методы на решающих деревьях. Градиентный бустинг над решающими деревьями
4.2.4 Композиционные методы на решающих деревьях. Случайные леса
4.3 Применение методов машинного обучения для определения состояния диска Солнца
4.3.1 Исходные данные, фильтрация и предобработка
4.3.1.1 Исходные данные
4.3.1.2 Фильтрация данных
4.3.1.3 Предобработка данных
4.3.2 Обучение моделей машинного обучения в задаче определения состояния диска Солнца
4.3.2.1 Модели RF, GBT, LDA
4.3.2.2 Модель DANN
4.3.3 Результаты моделей машинного обучения в задаче определения состояния диска Солнца
4.3.4 Выводы к задаче определения состояния диска Солнца
4.4 Применение методов машинного обучения в задаче оценки балла общей облачности
4.4.1 Исходные данные, фильтрация и предобработка
4.4.1.1 Исходные данные
4.4.1.2 Фильтрация данных
4.4.1.3 Предобработка данных
4.4.1.4 Дополнительные вещественные признаки
4.4.2 Обучение моделей машинного обучения в задаче оценки балла общей облачности
4.4.3 Результаты модели типа DANN в задаче оценки балла общей облачности
4.4.4 Выводы к задаче оценки балла общей облачности
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЕ 1. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ УСТАНОВКИ SAIL CLOUD V.2
П1.1 Описание программного обеспечения установки
П1.1.1 Программное обеспечение устройства определения положения регистрирующих блоков установки
П1.1.2 Протокол управления УОП
П1.1.3 Программа ArduinoUDPconversation
П1.1.4 Программа IofffeVesselInfoStream
П1.1.5 Программа DataCollectorAutomator2G
П1.1.5 Программа ObservationsLoggingApp
П1.2. Подготовка к сбору данных с применением установки «SAIL cloud v.2»
ПРИЛОЖЕНИЕ 2. ИСПОЛЬЗУЕМЫЕ СОКРАЩЕНИЯ
Рекомендованный список диссертаций по специальности «Океанология», 25.00.28 шифр ВАК
Реконструкция долгопериодной изменчивости облачности и радиационных потоков над Мировым океаном2023 год, кандидат наук Александрова Марина Павловна
Разработка алгоритмов обработки данных дистанционного зондирования земли для распознавания пространственных объектов сельскохозяйственного назначения с линейной геометрической структурой2017 год, кандидат наук Мальцев, Евгений Алексеевич
Развитие методов определения параметров облачного покрова и идентификации зон осадков по данным измерений полярно-орбитального ИСЗ1999 год, кандидат географических наук Волкова, Елена Викторовна
Параметризация потоков коротковолновой солнечной радиации на поверхности океана2009 год, кандидат физико-математических наук Синицын, Алексей Владимирович
Быстрые и точные алгоритмы расчета сигналов оптико-электронной системы дистанционного зондирования из космоса2016 год, кандидат наук Шагалов Олег Владимирович
Введение диссертации (часть автореферата) на тему «Аппаратный комплекс и алгоритмы, основанные на методах машинного обучения, для измерения характеристик облачности над океаном»
ВВЕДЕНИЕ
Актуальность исследования
Облачность является ключевой метеорологической характеристикой, определяющей потоки коротковолновой и длинноволновой солнечной радиации на поверхности океана и суши. Кроме того, облачность играет важную роль в гидрологическом цикле атмосферы над океаном, определяя интенсивность осадков и атмосферных фазовых переходов влаги. Поэтому исследование характеристик облачного покрова является важнейшей задачей океанологии и метеорологии.
В современных численных моделях динамики атмосферы существуют вычислительные схемы (т.н. параметризации), позволяющие оценивать трансформацию приходящего потока излучения по вертикали в каждой ячейке вычислительной сетки с использованием моделирования послойной передачи излучения с учетом рассеяния, переизлучения и обратного рассеяния. Однако практическое применение таких алгоритмов значительно затруднено высокой вычислительной стоимостью. Существуют более простые полуэмпирические схемы [1], построение которых основано на обобщении и анализе наблюдаемых натурных данных. В частности, в случае параметризаций приходящих радиационных потоков по характеристикам облачности такими данными являются:
- наблюдаемый с поверхности океана балл общей облачности (далее БОО);
- высота Солнца, вычисляемая на основании местоположения и времени регистрации
данных;
- приходящие потоки коротковолновой и длинноволновой радиации;
- состояние диска Солнца (далее СДС);
- пространственное распределение облачности;
- наблюдаемые типы облачности.
В то время как последние три величины используются не во всякой параметризации, БОО и положение Солнца - исходные переменные любой схемы такого типа. C развитием систем спутникового геопозиционирования растет точность определения местоположения точки наблюдения, поэтому определение высоты Солнца в момент измерений не вызывает затруднений. Точность современных приборов, измеряющих общий коротковолновый и длинноволновый потоки, позволяет считать неопределенность, вносимую погрешностью этих измерений в результирующую параметризацию, несущественно малой по сравнению с ошибками, вносимыми другими оцениваемыми величинами.
Над океаном на сегодняшний день производятся систематические наблюдения БОО, балла облачности различных ярусов, а также определяются СДС и типы облачности. Характеристики
облачного покрова в массовых измерениях оцениваются визуально согласно руководящим документам [2,3,4,5], что позволяет в некоторой степени исключить влияние субъективизма наблюдателя. Однако, точность, с которой даже опытный специалист способен оценить БОО без применения специальных инструментов и приборов, в конечном итоге представляют собой основной источник неопределенности как при разработке, так и при использовании существующих схем параметризаций радиационных потоков.
Кроме этого, БОО, СДС, а также структурные и пространственные характеристики облачности являются типовыми метеопараметрами [3,4], имеющими многолетние ряды стандартизированных наблюдений на базе широкой сети гидрометеопостов на суше и на морских судах. Важнейшим условием, при котором по таким величинам и производным от них возможны валидация климатических моделей и достоверный анализ долговременных рядов, является преемственность методик наблюдений [6].
Несмотря на историческую продолжительность визуальных наблюдений за облачностью над океаном (с начала XVIII века), они характеризуются неравномерной плотностью распределения данных. Более того, количество попутных судовых наблюдений (VOS, Voluntary Observing Ship), содержащих данные о параметрах облачности, за последние 20-30 лет неуклонно снижается [7]. Это связано с уменьшением количества наблюдательных судов, а также повсеместным использованием автоматических измерительных станций, которые не оснащаются средствами наблюдений за облаками.
Таким образом, актуальность автоматизации оценки БОО и определения СДС над поверхностью океана не вызывает сомнений и представляет собой как независимую научно-техническую задачу, так и необходимую основу для последующего уточнения параметризации приходящих радиационных потоков, обеспечивая повышение плотности и увеличение точности наблюдений за облачностью.
Диссертация посвящена разработке программно-аппаратного комплекса, позволяющего проводить автономные наблюдения за облачным покрытием с поверхности Земли в условиях долговременных морских экспедиций, а также разработке алгоритмов оценки характеристик облачности по массивам получаемых данных.
Цель работы: создать и внедрить в опытную эксплуатацию судовой программно-аппаратный комплекс для проведения автоматических наблюдений за облачностью над океаном и разработать алгоритмы, обеспечивающие получение достоверных оценок пространственных характеристик облачности. В соответствии с поставленной целью в диссертационной работе решались следующие задачи:
1. Исследование существующих устройств для автоматического наблюдения за облачностью и оценка их применимости для долговременных измерений в морских условиях.
2. Разработка, проектирование, изготовление и ввод в эксплуатацию опытного образца судового программно-аппаратного комплекса для долговременной автоматической оптической съемки облачности над океаном.
3. Обоснование и разработка алгоритмов оценки пространственных характеристик облачности, превосходящих существующие аналоги по точности и универсальности.
4. Разработка программного обеспечения, реализующего разработанные алгоритмы оценки характеристик облачности.
5. Апробация созданного программно-аппаратного комплекса в условиях долговременных морских экспедиций при различных характеристиках облачности.
Научную новизну исследования составляют основные положения, выносимые на защиту:
• Проведен детальный анализ существующих устройств для автоматических наблюдений за облачностью, и обоснована необходимость создания нового программно-аппаратного комплекса для автономных наблюдений за облачностью в океане;
• Выполнен сравнительный анализ существующих алгоритмов оценки пространственных характеристик облачности над океаном и показано, что существующие методы обладают низкой точностью, не универсальны и, как правило, нуждаются в регулировке оператором;
• Разработан, изготовлен и апробирован судовой программно-аппаратный комплекс для автоматических оптических измерений облачности над океаном, значительно превосходящий существующие аналоги по точности и обеспечивающий возможность измерений в морских условиях;
• Впервые разработаны, протестированы и введены в практическую эксплуатацию алгоритмы, основанные на методах машинного обучения, для определения состояния диска Солнца и оценки балла общей облачности по цифровым широкоугольным оптическим снимкам видимой полусферы неба. Показано, что оценка пространственных характеристик облачности с применением разработанных алгоритмов в 99% случаев совпадает с визуальными наблюдениями, в то время как аналогичный показатель для существующих методик не превышает 30%.
Научная и практическая значимость работы заключается в следующем:
• Созданный программно-аппаратный комплекс в совокупности с разработанными алгоритмами, основанными на методах машинного обучения, позволяет проводить полностью
автономные измерения характеристик облачности над океаном с высоким временным разрешением;
• Разработанные алгоритмы оценки характеристик облачности превосходят по точности существующие методы, что в сочетании с автономностью разработанной установки открывает возможность проведения непрерывного мониторинга характеристик облачности над океаном;
• Подтверждена гипотеза компактности снимков в пространстве действительных признаков изображений, что позволяет проводить автоматические измерения визуально наблюдаемых характеристик облачности, таких как типы облаков, высота нижней границы облачности и пр.;
• Разработанный комплекс может быть использован для наблюдений как над морем, так и над сушей; может применяться для оценки целесообразности установки солнечных электростанций; а также использоваться как прибор для оценки высоты нижней границы облачности и других пространственных характеристик облачности.
Достоверность научных результатов обеспечивается: (1) тестированием всех разработанных алгоритмов по независимым данным; (2) множественной проверкой результатов работы алгоритмов на различных подвыборках натурных данных; (3) апробацией всех технических и алгоритмических решений на больших массивах измерений, выполненных в широком спектре режимов облачности в разных районах Мирового океана с высоким пространственным и временным разрешением.
Личный вклад автора заключается в:
• разработке, проектировании, изготовлении и испытаниях комплекса автономных измерений характеристик облачности над океаном;
• разработке методики проведения наблюдений с использованием созданной установки;
• проведении экспедиционных исследований в море и получении массива натурных данных;
• адаптации методов машинного обучения к задачам оценки характеристик облачности по данным, получаемым с помощью созданной установки и оптимизации параметров разработанных алгоритмов;
• создании пакета программного обеспечения, автоматизирующего сбор данных с учетом особенностей наблюдений в море, а также оценку характеристик облачности по полученным данным;
• подготовке полученных результатов к публикации в ведущих российских и зарубежных научных журналах, представлении на международных конференциях и симпозиумах.
Апробация диссертационной работы. Результаты настоящей работы были представлены на заседании Ученого совета Физического направления ИО РАН 1 декабря 2017 г., а также на объединенном заседании Ученых советов технического и геологического секторов ИО РАН 14 декабря 2017 г.
Основные результаты докладывались на ежегодной ассамблее Европейского союза наук о Земле (EGU, 2014, 2017 и 2018 гг.) в г. Вена, Австрия, на ежегодных собраниях Европейского метеорологического сообщества (EMS, 2014 и 2016 гг.), на 19-ой Международной школе-конференции молодых ученых «Состав атмосферы. Атмосферное электричество. Климатические процессы» (САТЭП, 2015 г., п.Шепси Краснодарского края), на Международном симпозиуме "Атмосферная радиация и динамика" (МСАРД, 2015 г., г. Санкт-Петербург), на Международном радиационном симпозиуме (1RS, 2016, г. Оклэнд, Новая Зеландия), 17-ой международной конференции по облачности и осадкам (ICCP, 2016 г., г. Манчестер, Англия).
Публикации. Материалы диссертации изложены в работах, опубликованных соискателем. По теме диссертации опубликовано 3 работы, в том числе 2 статьи в рецензируемых журналах из списка ВАК, 8 тезисов докладов на конференциях. На установку, автоматизирующую сбор данных, получен патент №2589463 от 8 июня 2016 г. Статьи, опубликованные в изданиях из перечня ВАК:
1. Криницкий М.А. Адаптивный алгоритм оценки общего балла облачности над морем по широкоугольным снимкам неба / М.А. Криницкий, А.В. Синицын // Океанология. - 2016. - Т. 56. - № 3. - C. 341-345.
2. Криницкий М.А. Методы машинного обучения в задаче определения состояния диска Солнца по широкоугольным снимкам видимой полусферы неба над океаном / М.А. Криницкий // Океанология. - 2017. - Т. 57. - № 2. - C. 297-302.
Опубликованные тезисы докладов:
3. Krinitskiy M. New optical package and algorithms for accurate estimation and interactive recording of the cloud cover information over land and sea / M. Krinitskiy, A. Sinitsyn, S. Gulev // Geophysical Research Abstracts. - 2014. - Vol. 16. - EGU2014-2566.
4. Krinitskiy M. New optical package and algorithms for the accurate cloud cover estimation for short wave parameterization / M. Krinitskiy, A. Sinitsyn, S. Gulev // EMS Annual Meeting Abstracts. - 2014. - Vol. 11. - EMS2014-259-2.
5. Криницкий М. Установка оценки полного балла облачности: новое оборудование, новые алгоритмы, новая точность и новые задачи / М.А. Криницкий, А.В. Синицын, С.К. Гулев // Мат-лы 19-ой Международной школы-конференции молодых ученых «Состав
атмосферы. Атмосферное электричество. Климатические процессы», 25-29 мая 2015г. -М.: ГЕОС. - 2015. - С. 44.
6. Криницкий М. Установка оценки полного балла облачности: новое оборудование, новые алгоритмы, новая точность и новые задачи / М.А. Криницкий, А.В. Синицын // Мат-лы международного симп. «Атмосферная радиация и динамика», 23-26 июня 2015г. - СПб. -2015. - С. 243-244.
7. Krinitskiy M. Cloud cover estimation optical package: New facility, algorithms and techniques / M. Krinitskiy // AIP Conference Proceedings. - 2017. - Vol. 1810. - 080009.
8. Krinitskiy M. Advanced optical package for estimating of cloud cover and structure / M. Krinitskiy // Мат-лы междунар. конф. «XVII International conference on clouds & precipitation», 25-29 июля 2016 г. - 2016. - P16.24.
9. Krinitskiy M. Cloud cover estimation using all-sky images: state of the art algorithms, its results and applicability / M. Krinitskiy // EMS Annual Meeting Abstracts. - 2016. - Vol. 13. -EMS2016-350.
10. Krinitskiy M. Cloud cover and solar disk state estimation using all-sky images: deep neural networks approach compared to routine methods / M. Krinitskiy // Geophysical Research Abstracts. - 2017. - Vol. 19. - EGU2017-17286.
11. Krinitskiy M. Artificial neural networks for total cloud cover estimation and solar disk state detection using all sky images / M. Krinitskiy // Geophysical Research Abstracts. - 2018. - Vol. 20. - EGU2018-18036.
Патенты:
12. Криницкий М.А. Устройство для определения общего балла облачности на основе прямых цифровых широкоугольных снимков видимой полусферы неба : пат. 2589463 Рос. Федерация : МПК G 01 W 1/00 (2006.01) / авторы Криницкий М.А., Гулев С.К., Синицын А.В. ; патентообладатель Федеральное государственное бюджетное учреждение науки Институт океанологии им. П.П. Ширшова Российской академии наук (RU).
Благодарности. Автор выражает глубокую признательность своему научному руководителю, члену-корреспонденту РАН, д.ф.-м.н., проф. С.К. Гулеву. Автор благодарит сотрудника Лаборатории взаимодействия океана и атмосферы и мониторинга климатических изменений (ЛВОАМКИ) ИО РАН к.ф.-м.н. А.В. Синицына за наставления и рекомендации при проведении исследований, а также за содействие при разработке описываемой в диссертации установки. Автор благодарит коллектив ЛВОАМКИ ИО РАН, в особенности к.ф.-м.н. А.В. Гаврикова, к.ф.-м.н. В.Г. Григорьеву, П.С. Вереземскую и Ю.А. Зюляеву, за ценные научные консультации, плодотворное сотрудничество и неоценимую поддержку. Автор
выражает признательность к.ф.-м.н. А.И. Гинзбург и к.г.-м.н. Н.В. Политовой за помощь и рекомендации при подготовке диссертации.
Структура и объем диссертации. Работа состоит из введения, четырех глав, заключения, списка использованных источников и двух приложений. Полный объем диссертации - 186 страниц, включая 70 рисунков и 18 таблиц. Библиографический список включает в себя 79 наименований, в том числе 47 на иностранных языках.
Во Введении представлена общая характеристика работы, краткий обзор состояния проблемы; обоснована актуальность темы диссертации; сформулирована основная цель исследования, изложены поставленные задачи. Представлены основные положения, выносимые на защиту, научная и практическая значимость работы, обозначен личный вклад автора.
В Главе 1 подробно исследованы наиболее известные программно-аппаратные комплексы для автоматизации наблюдений за облачностью и детально проанализированы современные алгоритмы оценки балла общей облачности по данным, получаемым с таких установок. Обоснована необходимость создания новых устройств, позволяющих проводить долговременные автоматические наблюдения за облачностью в морских условиях, а также необходимость разработки новых алгоритмов оценки характеристик облачности по данным с этих устройств.
Глава 2 посвящена описанию разработанной автором установки для автономных наблюдений за облачностью над океаном, подробному изложению методики проведения полевых исследований, а также описанию массива натурных данных, полученных в пяти экспедициях ИОРАН.
Глава 3 посвящена описанию аналитического варианта алгоритма оценки БОО (рабочее название «GrIx SAIL ML»). Алгоритм был разработан на основе подхода семантической сегментации с использованием преобразования изображения в поле значений контрольного индекса с последующей классификацией пикселей по значению этого поля. Эффективность описанного метода определения БОО подтверждается оценкой доли верно определенных значений БОО: Асс = 38%, что существенно превышает показатели наиболее широко используемых алгоритмов. Однако с точки зрения других статистических показателей очевидного превосходства не выявлено. Для достижения большей точности были применены принципиально новые подходы.
Глава 4 посвящена описанию алгоритмов оценки БОО и определения СДС, разработанных автором с использованием методов машинного обучения, в частности, так называемых методов обучения по прецедентам. Сформулирован подход формирования признакового описания объектов (широкоугольных оптических снимков видимой полусферы
неба). Показаны неоспоримые преимущества разработанных алгоритмов оценки пространственных характеристик облачности перед всеми известными схемами.
В Заключении сформулированы основные выводы диссертационной работы.
В Приложении 1 приведено описание разработанного автором при подготовке диссертации программного обеспечения комплекса «SAIL cloud v.2», обеспечивающего автономность наблюдений. Описаны особенности передачи информации между блоками установки, варианты настройки режимов съемки, а также возможности программного взаимодействия с информационными системами научных судов ИОРАН. Данный раздел может быть использован как справочное руководство по программной части комплекса.
В Приложении 2 перечислены аббревиатуры и сокращения, используемые в тексте диссертации.
ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ ПРОГРАММНО-АППАРАТНЫХ РЕШЕНИЙ ДЛЯ АВТОМАТИЧЕСКИХ НАБЛЮДЕНИЙ ЗА
ОБЛАЧНОСТЬЮ
1.1 Существующие аппаратные решения
Оценка пространственных характеристик облачности с поверхности океана представляет собой комплексную задачу, в состав которой входит как регистрация исходных данных, пригодных для обработки, так и их анализ.
В практике наземных наблюдений сложилась традиция оценки наблюдаемых параметров облачности по цифровым оптическим снимкам видимой области небосвода [8,9,10,11,12,14]. Существуют и иные способы регистрации наблюдаемой облачности. Например, с использованием съемки в инфракрасном диапазоне. Однако в практике морских наблюдений этот способ неприменим из-за большой выдержки, которая сравнима с периодом качки судна. В такой ситуации возникает необходимость точного позиционирования регистрирующего прибора, что значительно усложняет конструкцию и увеличивает ее стоимость.
Таким образом, в задаче наблюдений с поверхности океана на морских судах оптимальным представляется использование цифровых оптических систем регистрации. Такие устройства, т.н. клауд-камеры или скай-камеры (от англ. cloud-camera, sky-camera), предназначены для оценки БОО, пространственной структуры облачности и других визуально определяемых параметров.
Известны несколько разновидностей клауд-камер. С точки зрения регистрирующего устройства такие системы принципиально делятся на установки, производящие съемку оптической камерой стандартного угла обзора через полусферическое зеркало, и установки с системой линз типа «рыбий глаз». В числе наиболее часто упоминаемых клауд-камер можно перечислить следующие:
- YES TSI-880 (Yankee Environmental Systems - Total Sky Imager) [8]
- WSC (Whole Sky Camera) [8]
- клауд-камера Центра океанологических исследований GEOMAR им.Гельмгольца [10,13]
- клауд-камера ИМКЭС СО РАН [9]
Прототип системы регистрации Total Sky Imager, изготавливаемой Yankee Environmental Systems Inc. (далее YES TSI), названный Hemispheric Sky Imager (далее HSI), впервые описан в [14] (рис. 1.1(а)). Это устройство было разработано в Национальном Подразделении Радиационных Исследований в Океанологических и Атмосферных науках (США, шт. Колорадо, г. Болдер) (National Oceanic and Atmospheric Administration Surface Radiation Research Branch,
Boulder, Colorado). В дальнейшем эта установка получила развитие в виде коммерческого серийного прибора YES TSI (рис. 1.1(б)) при поддержке министерства сельского хозяйства США. Результаты, полученные с использованием YES TSI, упоминаются, например, в [8,14,78]. Как HSI, так и YES TSI принципиально представляет собой оптическую камеру стандартного угла обзора, направленную на полусферическое зеркало (рис. 1.1), чтобы иметь возможность получать изображение, захватывающее горизонт во всех направлениях.
(а) (б)
Рис. 1.1. (а) Внешний вид регистрирующей части установки HSI, расположенной на тестовой площадке «Столовая гора» в США, шт.Колорадо (из статьи [14]); (б) Внешний вид регистрирующей части установки YES TSI-880, расположенной на исследовательской площадке проекта «ARM» в США, шт. Оклахома (из статьи [8])
В обеих моделях используется цифровая камера с матрицей типа CCD, особенности реализации которой приводят к необходимости использовать приспособления, исключающие попадание в объектив прямого солнечного света. Таким приспособлением в HSI и YES TSI является черная светопоглощающая полоса на зеркале. Миникомпьютер, встроенный в установку, управляет поворотом зеркала вокруг вертикальной оси, что позволяет позиционировать неотражающую полосу таким образом, чтобы прямое отражение солнечного света не попадало в объектив камеры. Основные технические характеристики YES TSI приведены в таблице 1.1.
Таблица 1.1. Основные технические характеристики регистрирующей части установки
YES TSI-880
Характеристика Значение, диапазон значений.
Разрешение оптического снимка 352 x 288 px.
Цветовое разрешение 24bit RGB
Период съемки Может варьироваться. Минимальный период - 10с.
Эксплуатационная температура от -30°C до +34°C
Масса 23 кг
Стандарт питания 110/220 В.
Хранилище данных Жесткий диск на локальном компьютере или на удаленном компьютере, имеющем доступ посредством круглосуточного подключения TCP/IP
На момент создания прототипа и действующих серийных моделей указанное разрешение оптического сенсора считалось достаточным для получения оптических снимков среднего по индустрии цифровой фотографии качества. В настоящий момент камеры такого низкого разрешения используются редко и являются скорее исключением. Пример оптического снимка видимой полусферы неба, зарегистрированного YES TSI, приведен на рис. 1.2.
Несмотря на неоспоримые достоинства конструкции HSI и YES TSI, таких как простота реализации и общедоступность цифровых камер стандартного угла обзора, следует отметить их принципиальные недостатки. Наиболее значимым из них является необходимость использования устройства, отслеживающего или рассчитывающего положение солнечного диска на небосводе (т.н. трекер Солнца), и различными способами затеняющего его. Но при эксплуатации в морских условиях непрерывная вибрация корпуса установки, жестко закрепленного на корпусе корабля, и качка судна приводят к необходимости избегать использования выступающих и движущихся частей в конструкции блока регистрации.
Кроме этого, обслуживание установок со сферическими зеркалами сопряжено со значительными организационными, временными и финансовыми затратами по сравнению с обслуживанием камер с объективами типа «рыбий глаз». Именно поэтому, а также в связи с развитием электронной компонентной базы и уменьшением характерных размеров регистрирующих элементов, наиболее часто используемыми на настоящий момент являются регистрирующие оптические системы типа «fish eye».
Рис. 1.2. Пример оптического снимка видимой полусферы неба, полученный установкой YES TSI-880 (из статьи [8])
Рис. 1.3. Клауд-камера Whole Sky Camera, внешний вид (из статьи [8])
Принципиально всякая система фиксации визуальной сцены с целью оценки БОО предназначена для регистрации видимой части неба. Для таких целей подходят оптические установки с углом обзора 180° во всех плоскостях, проходящих через главную оптическую ось. Развитие таких комплексов исторически началось с использования устройств записи
видеосигнала, как, например, в случае Whole Sky Camera, разработанной в Университете Жироны (Испания) [8] (рис. 1.3). В России подобные системы разрабатывались в ИМКЭС СО РАН [9].
С дальнейшим развитием коммерческих фотокамер на рынке потребительской техники стали появляться различные устройства, которые можно использовать для оптической съемки видимой полусферы неба. В качестве базового регистрирующего элемента в описанных [9,10] клауд-камерах в настоящий момент встречаются как встраиваемые оптические модули, так и полноценные коммерческие фотокамеры, первоначально предназначенные для пользовательской съемки. В последнем случае обычно используется сменный объектив типа «рыбий глаз». Например, по такому принципу сконструирована клауд-камера, разработанная в Центре океанологических исследований им.Гельмгольца GEOMAR в г. Киль (Германия) (IFM-GEOMAR) [10] (рис. 1.4). В качестве основного оптического регистрирующего элемента в ней используется серийная зеркальная фотокамера высокого разрешения Canon Powershot A640 [15].
Рис. 1.4. Клауд-камера в морском исполнении, сконструированная Центром океанологических исследований ШМ^ЕОМАЯ (г.Киль, Германия) (из статьи [10])
Такие устройства, как правило, рассчитаны на применение на неподвижной поверхности. Однако, существует отдельный класс клауд-камер, предназначенных для эксплуатации в морских условиях. В большинстве случаев это единичные экземпляры, сконструированные различными лабораториями для собственных исследовательских нужд. Например, для морского использования была сконструирована клауд-камера, описанная в [10] (рис. 1.4) (далее ШМ-БГ).
Это устройство обладает рядом неоспоримых достоинств по сравнению с вышеописанными установками: для него характерно высокое разрешение снимков 3648x2736px. и глубина цвета 30bit (рис. 1.5). Однако эта клауд-камера обладает принципиальным недостатком, не позволяющим использовать ее при долговременных наблюдениях. Коммерческие пользовательские фотокамеры, особенно камеры с подвижными деталями, такие как Canon Powershot A640, - не предназначены для длительной съемки с периодом 15-30c, описываемым в [10]. Движущиеся механизмы таких камер имеют свой предел наработки на отказ по количеству снимков. Кроме того, такие камеры, как правило, имеют узкий температурный диапазон безотказного функционирования, тогда как в практике морских наблюдений следует рассчитывать на экстремальные значения климатических показателей внутри корпуса, обеспечивающего герметичную защиту фотокамеры.
Похожие диссертационные работы по специальности «Океанология», 25.00.28 шифр ВАК
Специальное программное обеспечение распределенной адаптивной обработки временных серий данных дистанционного зондирования2012 год, кандидат технических наук Селиванов, Павел Юрьевич
Методика калибровки наведения и средства автоматизации измерений для атмосферных черенковских телескопов TAIGA-IACT2024 год, кандидат наук Журов Дмитрий Павлович
Методы цифровой обработки многозональных спутниковых снимков в задачах анализа мезомасштабных конвективных атмосферных движений2013 год, кандидат наук Войнов, Никита Евгеньевич
Методы стабилизации видеопоследовательностей сложных статических и динамических сцен в системах видеонаблюдения2014 год, кандидат наук Буряченко, Владимир Викторович
Оперативное картографирование нарушений лесного покрова на основе спутниковых данных с высоким пространственно-временным разрешением2021 год, кандидат наук Тарасов Андрей Владимирович
Список литературы диссертационного исследования кандидат наук Криницкий, Михаил Алексеевич, 2018 год
СПИСОК ЛИТЕРАТУРЫ
1. Синицын А.В. Параметризация потоков коротковолновой солнечной радиации на поверхности океана: диссертация на соискание ученой степени к. ф.-м. н., на правах рукописи / А.В. Синицын - Москва, 2009 - 172 с.
2. Наставления гидрометеорологическим станциям и постам. Выпуск 3. Часть 1 / -Ленинград: Гидрометеоиздат, 1985. - 299c.
3. РД 52.04.316-92. Наставление гидрометеорологическим станциям и постам. Выпуск 9 «Гидрометеорологические наблюдения на морских станциях», часть II «Гидрометеорологические наблюдения на судовых станциях, проводимые штатными наблюдателями», Гл. 8.8 «Облачность» // Москва: Росгидромет, 1992. С. 71-79.
4. РД 52.04.585-97. Наставление гидрометеорологическим станциям и постам. Выпуск 9 «Гидрометеорологические наблюдения на морских станциях», часть III «Гидрометеорологические наблюдения, производимые штурманским составом на морских судах», Гл. 6.7 «Облака» // Москва: Росгидромет, 1997. С. 71-79.
5. РД 52.04.562-96. Наставление гидрометеорологическим станциям и постам. Выпуск 5 «Актинометрические наблюдения на станциях», , часть I «Метеорологические параметры и оптические характеристики атмосферы, определяемые при выполнении актинометрических наблюдений» // Москва: Росгидромет, 1996. С. 15-17.
6. Bedacht E. Intercomparison of global cloud cover fields over oceans from the VOS observations and NCEP/NCAR reanalysis / Bedacht E., Gulev S., Macke A. // International Journal of Climatology - 2007. - Т. 27 - № 13 - С. 1707-1719.
7. Aleksandrova M. Probability distribution for the visually observed fractional cloud cover over the ocean / Aleksandrova M., Gulev S.K., Belyaev K. // Journal of Climate - 2018. - Т. 31 - № 8 - С. 3207-3232.
8. Long C.N. Retrieving Cloud Characteristics from Ground-Based Daytime Color All-Sky Images / Long C.N., Sabburg J.M., Calbo J., Pages D. // Journal of Atmospheric and Oceanic Technology - 2006. - Т. 23 - № 5 - С. 633-652.
9. 1. Zuev S. V Cloudiness monitoring for database of local weather / Zuev S. V, Tikhomirov A.A. // Proceedings of the Twelfth Joint International Symposium on Atmospheric and Ocean Optics/Atmospheric Physics - 2006. - С. 61600U.
10. Kalisch J. Estimation of the total cloud cover with high temporal resolution and parametrization of short-term fluctuations of sea surface insolation / Kalisch J., Macke A. // Meteorologische Zeitschrift - 2008. - Т. 17 - № 5 - С. 603-611.
11. Yamashita M. Cloud cover estimation using multitemporal hemisphere imageries / Yamashita M., Yoshimura M., Nakashizuka T. // International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences - 2004. - Т. 35 - № 7 - С. 826-829.
12. Yamashita M. Ground-based cloud observation for satellite-based cloud discrimination and its validation / Yamashita M., Yoshimura M. // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences - 2012. - Т. 39 - № 8 - С. 137-140.
13. Heinle A. Automatic cloud classification of whole sky images / Heinle A., Macke A., Srivastav A. // Atmospheric Measurement Techniques - 2010. - Т. 3 - № 3 - С. 557-567.
14. Long C.N. Development of an automated hemispheric sky imager for cloud fraction retrievals / Long C.N., DeLuisi J.J. // 10th Symp. on meteorological observations and instrumentation -1998. - С. 171-174.
15. Support. PowerShot A series. PowerShot A640. Canon USA [Электронный ресурс] // URL : https://www.usa.canon.com/intemet/portal/us/home/support/details/cameras/support-point-and-shoot/powershot-a-series/powershot-a640/powershot-a640 (дата обращения: 31.12.2017).
16. Joblove G.H. Color spaces for computer graphics / Joblove G.H., Greenberg D. // ACM siggraph computer graphics - 1978. - Т. 12 - № 3 - С. 20-25.
17. Гонсалес Р.Цифровая обработка изображений / Р. Гонсалес, Р. Вудс - Москва: Техносфера, 2012. - 1105c.
18. Криницкий М.А. Адаптивный алгоритм оценки общего балла облачности над морем по широкоугольным снимкам неба / Криницкий М.А., Синицын А.В. // Океанология - 2016. - Т. 56 - № 3 - С. 341-345.
19. Наставления гидрометеорологическим станциям и постам. Выпуск 3. Часть 2 / -Ленинград: Гидрометеоиздат, 1985. - 299c.
20. Guide to meteorological instruments and methods of observation, Chapter 15 "Observations on clouds", 15.2 "Estimation and observation of cloud amount, height and type" / Chairperson -Geneva: Publications Board, 2008. - 716c.
21. Kazantzidis A. Cloud detection and classification with the use of whole-sky ground-based images / Kazantzidis A., Tzoumanikas P., Bais A.F., Fotopoulos S., Economou G. // Atmospheric Research - 2012. - Т. 113 - С. 80-88.
22. Синицын А.В. Уточнение параметризации коротковолновой радиации на поверхности океана на основе прямых измерений в Атлантическом океане / Синицын А.В., Александрова М.П., Гулев С.К. // Метеорология и гидрология - 2007. - № 4 - С. 45-54.
23. Патент РФ № 2015118024/28, 14.05.2015. Криницкий М.А., Синицын А.В., Гулёв С.К. Устройство для определения общего балла облачности на основе прямых цифровых
широкоугольных снимков видимой полусферы неба // Патент России № 2589463. 2016. Бюл. № 19.
24. ГОСТ 14254-2015 (IEC 60529:2013). Степени защиты, обеспечиваемые оболочками (Код IP). М.: Стандартинформ, 2016. 40 с.
25. Norris M.Gigabit Ethernet Technology and Applications / M. Norris - London: Artech House, 2002. - 284c.
26. Олифер В.Г.Компьютерные сети. Принципы, технологии, протоколы: Учебник для вузов. 3-е изд / В. Г. Олифер, Н. А. Олифер - Санкт-Петербург: Питер, 2006. - 958c.
27. User's Manual. Fusheye Network Camera FE8171V [Электронный ресурс] // URL : http://download.vivotek.com/downloadfile/downloads/usersmanuals/fe8171vmanual_en.pdf (дата обращения: 31.12.2017).
28. Fusheye Network Camera FE8171V [Электронный ресурс] // URL : http://download.vivotek.com/downloadfile/downloads/datasheets/fe8171vdatasheet_en.pdf (дата обращения: 31.12.2017).
29. Ильин А.А. Принцип работы и устройство активно-пиксельных датчиков / Ильин А.А., Овчинников А.М., Овчинников М.Ю. // Препринты Института прикладной математики им. МВ Келдыша РАН - 2003. - № 85 - С. 25.
30. 802.3bw-2015 - IEEE Standard for Ethernet Amendment 1: Physical Layer Specifications and Management Parameters for 100 Mb/s Operation over a Single Balanced Twisted Pair Cable (100BASE-T1) [Электронный ресурс] // URL : http://ieeexplore.ieee.org/document/7433918/ (дата обращения: 31.12.2017).
31. Semenov A.B. Structured Cable Systems / A. B. Semenov, S. K. Strizhakov, I. R. Suncheley -Berlin: Springer Science & Business Media, 2002. - 129c.
32. Power over Ethernet technology for industrial Ethernet networks [Электронный ресурс] // URL : http://www.saelig.com/supplier/amplicon/PoE-white-paper.pdf (дата обращения: 31.12.2017).
33. IEEE802.3af Power Interface Switch For Power-Over-Ethernet (PoE) Powered Devices (PD's) [Электронный ресурс] // URL : http://www.ti.com/lit/ds/symlink/tps2370.pdf (дата обращения: 31.12.2017).
34. Электрооборудование. Степени защиты, обеспечиваемой оболочками от наружного механического удара: ГОСТ IEC 62262-2015. - Введ. 01.10.2016. - Москва : Межгос. совет по стандартизации, метрологии и сертификации : Стандартинформ, 2016. - 7 с.
35. Степени защиты, обеспечиваемые оболочками (Код IP): ГОСТ 14254-2015 (IEC 60529:2013). - Введ. 01.03.2017. - Москва : Межгос. совет по стандартизации, метрологии и сертификации : М.: Стандартинформ, 2016. - 34 c.
36. Arduino Ethernet [Электронный ресурс] // URL : https://www.arduino.cc/en/pmwiki.php?n=Main/ArduinoBoardEthernet (дата обращения: 31.12.2017).
37. 10 DOF Mems IMU Sensor V2.0 SKU: SEN0140 [Электронный ресурс] // URL : https://www.dfrobot.com/wiki/index.php/10_DOF_Mems_IMU_Sensor_V2.0_SKU:_SEN014 0#More_Documents (дата обращения: 31.12.2017).
38. LEA-5H, LEA-5S, LEA-5A u-blox5 GPS and GALILEO Modules [Электронный ресурс] // URL : http://www.mipsasoft.com/MS7/Hardware/Expansiones/Int8/GPS/GPS%20UBLOX%20LEA-5A.pdf (дата обращения: 31.12.2017).
39. Kassianov E. Cloud Sky Cover versus Cloud Fraction: Whole-Sky Simulations and Observations / Kassianov E., Long C.N., Ovtchinnikov M. // Journal of Applied Meteorology - 2005. - Т. 44
- № 1 - С. 86-98.
40. Urquhart B. Development of a sky imaging system for short-term solar power forecasting / Urquhart B., Kurtz B., Dahlin E., Ghonima M., Shields J.E., Kleissl J. // Atmospheric Measurement Techniques - 2015. - Т. 8 - № 2 - С. 875-890.
41. Yang J. A total sky cloud detection method using real clear sky background / Yang J., Min Q., Lu W., Ma Y., Yao W., Lu T., Du J., Liu G. // Atmospheric Measurement Techniques - 2016. -Т. 9 - № 2 - С. 587-597.
42. Аверкин А.Н.Толковый словарь по искусственному интеллекту / А. Н. Аверкин, М. Г. Гаазе-Рапопорт, Д. А. Поспелов - Москва: Радио и связь, 1992. - 254c.
43. J. McCarthy. An approach to artificial intelligence problem Электронный ресурс] // URL : http://raysolomonoff.com/dartmouth/boxa/mccaraiapproach.pdf (дата обращения: 31.12.2017).
44. Breiman L. Bagging predictors / Breiman L. // Machine learning - 1996. - Т. 24 - № 2 - С. 123140.
45. Минский М. Персептроны, Глава 13 / Минский М., Пейперт - Москва: Мир, 1971. - С. 226-231.
46. Николенко С.И.Глубокое обучение / С. И. Николенко, А. А. Кадурин, Е. О. Архангельская
- Санкт-Петербург: Питер, 2018. - 480c.
47. Samuel A.L. Some studies in machine learning using the game of checkers / Samuel A.L. // IBM Journal of research and development - 1959. - Т. 3 - № 3 - С. 210-229.
48. Copeland M. What's the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning? [Электронный ресурс] // URL: https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/ (дата обращения: 31.12.2017).
49. Донской В.И. Алгоритмические модели обучения классификации: обоснование, сравнение, выбор / В. И. Донской - Симферополь: ДИАЙПИ, 2014. - 228c.
50. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения / Колмогоров А.Н. // Доклады Академии наук - 1957. - Т. 114 - № 5 - С. 953-956.
51. Fisher R.A. The use of multiple measurements in taxonomic problems / Fisher R.A. // Annals of human genetics - 1936. - Т. 7 - № 2 - С. 179-188.
52. Чистяков С.П. Случайные леса: обзор / Чистяков С.П. // Труды Карельского научного центра Российской академии наук - 2013. - № 1 - С. 117-136.
53. Breiman L. Random forests / Breiman L. // Machine learning - 2001. - Т. 45 - № 1 - С. 5-32.
54. Friedman J.H. Greedy function approximation: a gradient boosting machine / Friedman J.H. // Annals of statistics - 2001. - Т. 29 - № 5 - С. 1189-1232.
55. Hastie T.The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Second Edition / T. Hastie, R. Tibshirani, J. Friedman - New York, NY, USA: Springer, 2008. - 764c.
56. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей / Горбань А.Н. // Сибирский журнал вычислительной математики - 1998. - Т. 1 - № 1 - С. 11-24.
57. McCulloch W.S. A logical calculus of the ideas immanent in nervous activity / McCulloch W.S., Pitts W. // The bulletin of mathematical biophysics - 1943. - Т. 5 - № 4 - С. 115-133.
58. Мак-Каллок У.С. Логическое исчисление идей, относящихся к нервной активности / Мак-Каллок У.С., Питтс В. // В сб.:«Автоматы» под ред. КЭ Шеннона и Дж. Маккарти.-М.: Изд-во иностр. лит - 1956. - С. 363-384.
59. Rumelhart D.E. Learning representations by back-propagating errors / Rumelhart D.E., Hinton G.E., Williams R.J. // Nature - 1986. - Т. 323 - С.533.
60. Werbos P.J. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences / Werbos P.J. - Washington, 1975 - 906 с.
61. Галушкин А.И.Синтез многослойных систем распознавания образов / А. И. Галушкин -Москва: Энергия, 1974. - 368c.
62. Горбань А.Н.Обучение нейронных сетей / А. Н. Горбань - Москва: ПараГраф, 1990. -160c.
63. LeCun Y. Optimal brain damage / LeCun Y., Denker J.S., Solla S.A. // Advances in neural information processing systems - 1990. - С. 598-605.
64. Srivastava N. Dropout: A simple way to prevent neural networks from overfitting / Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. // The Journal of Machine Learning Research - 2014. - Т. 15 - № 1 - С. 1929-1958.
65. Szegedy C. Going deeper with convolutions / Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition - 2015. - С. 1-9.
66. Ke G. LightGBM: A highly efficient gradient boosting decision tree / Ke G., Meng Q., Finley T., Wang T., Chen W., Ma W., Ye Q., Liu T.-Y. // Advances in Neural Information Processing Systems - 2017. - С. 3149-3157.
67. Meng Q. A communication-efficient parallel algorithm for decision tree / Meng Q., Ke G., Wang T., Chen W., Ye Q., Ma Z.-M., Liu T. // Advances in Neural Information Processing Systems -2016. - С. 1279-1287.
68. Catboost [Электронный ресурс] // URL : https://catboost.yandex/ (дата обращения: 31.12.2017).
69. Chen T. Xgboost: A scalable tree boosting system / Chen T., Guestrin C. // Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining - 2016. - С. 785-794.
70. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации / Журавлев Ю.И. // Проблемы кибернетики - 1978. - Т. 33 - С. 5-68.
71.Журавлев Ю.И. Об алгебраической коррекции процедур обработки (преобразования) информации / Журавлев Ю.И., Рудаков К.В. // Проблемы прикладной математики и информатики - 1987. - С. 187-198.
72. Журавлев Ю.И. Непараметрические задачи распознавания образов / Журавлев Ю.И. // Кибернетика - 1976. - № 6.
73. Schapire R.E. The boosting approach to machine learning: An overview / Schapire R.E. // Nonlinear estimation and classification - 2003. - С. 149-171.
74. Норушис А. Построение логических (древообразных) классификаторов методами нисходящего поиска (обзор) / Норушис А. // Статистические проблемы управления - 1990. - Т. 93 - С. 131-158.
75. Breiman L. Classification and regression trees / L. Breiman, J. Friedman, C. Stone, R. Olshen -Oxford: Taylor & Francis, 1984. - 368c.
76. Salzberg S.L. C4.5: Programs for Machine Learning by J. Ross Quinlan. Morgan Kaufmann Publishers, Inc., 1993 / Salzberg S.L. // Machine Learning - 1994. - Т. 16 - № 3 - С. 235-240.
77. Skurichina M. Bagging, boosting and the random subspace method for linear classifiers / Skurichina M., Duin R.P.W. // Pattern Analysis & Applications - 2002. - Т. 5 - № 2 - С. 121135.
78. Long C.N. Correcting for circumsolar and near-horizon errors in sky cover retrievals from sky images / Long C.N. // Open Atmos. Sci. J - 2010. - Т. 4 - С. 45-52.
79. Центр коллективного пользования "Центр данных ДВО РАН" [Электронный ресурс]: сайт. - Хабаровск: ВЦ ДВО РАН. - URL: http://lits.ccfebras.ru (дата обращения: 01.03.2018 г.).
ПРИЛОЖЕНИЕ 1. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ УСТАНОВКИ SAIL
CLOUD V.2
П1.1 Описание программного обеспечения установки
В рамках подготовки программной части комплекса было спроектировано и реализовано 37 программ, вспомогательных компонентов и библиотек функций. Разработка производилась с использованием языков программирования C# и C++. Общий объем исходного кода программной части составляет 168268 строк. Ниже описаны основные программы, предназначенные для непосредственного функционирования установки «SAIL cloud v.2» в режимах сбора данных, настройки и обслуживания.
Сокращения, используемые в настоящем приложении, аналогичны введенным в Главе 2.
П1.1.1 Программное обеспечение устройства определения положения регистрирующих
блоков установки
При подготовке оборудования к эксплуатации автором были спроектирован и реализован алгоритм приема, обработки и ответа на команды, передаваемые с ПКУ на УОП, а также снятия показаний датчиков УОП и передачи эти данных на ПКУ.
С целью уменьшения связности и зависимости программных компонентов всей установки, а также с целью универсализации процесса съема данных и управления режимами работы, программа УОП реализована в виде серверного приложения. Команды и значения настроечных параметров принимаются от всех программ-клиентов; данные датчиков, ответы на команды и иные сообщения от УОП рассылаются в групповом режиме посредством UDP-сообщений программам-клиентам. Количество таких клиентов регулируется настраиваемым режимом обмена пакетами. В программе УОП предусмотрено два таких режима: групповой (в терминах протокола UDP - т.н. broadcast) и эксклюзивный. В групповом режиме все сообщения от УОП рассылаются методом broadcast - то есть, всем получателям, находящимся в настоящий момент в доступе в сети; при этом команды и настроечные параметры принимаются также со всех программ-клиентов. В эксклюзивном режиме обмен сообщениями идет только с конкретным клиентом, идентифицируемым по адресу в сети (т.н. IP-адрес). Доставка пакетов от УОП, следуя стандарту UDP, не проверяется.
При подаче питания на УОП, его программное обеспечение запускается автоматически с применением настроек по умолчанию (см. табл. П1.1). При этом УОП находится в т.н. пассивном режиме: датчики, подключенные к нему, не опрашиваются, их показания не рассылаются по сети
получателям. В этом режиме всем подключенным клиентам раз в секунду рассылается статусное сообщение, содержащее время от включения УОП в миллисекундах. Кроме того, раз в 20 секунд получателям отсылается статусное сообщение, содержащее строку «I am available!». Данное сообщение предназначено для обнаружения УОП в сети и определения его IP-адреса. Этот IP-адрес извлекается из информационного сопровождения UDP-пакета. Такое решение позволяет использовать оборудование в нетривиально настроенных сетях и уменьшить время, затрачиваемое на первоначальную настройку после монтажа и подключения оборудования.
При включении опроса датчиков и рассылки их показаний по сети УОП переходит в т.н. активный режим. Статусные сообщения продолжают отсылаться.
Таблица П1.1. Значения по умолчанию настроек программы УОП
Режим опроса датчиков и отправки их показаний получателям пассивный
Режим эксклюзивного обмена пакетами с получателями групповой
Ш-адрес клиента для эксклюзивного обмена пакетами не установлен
Период опроса датчиков положения (акселерометр, гироскоп, магнетометр) и отправки их показаний получателям 500мс.
Период опроса GPS-датчика 60с.
Программой УОП также предусмотрена возможность хранения небольших объемов данных во встроенной энергонезависимой памяти. В частности, в этой памяти сохраняется его Ш-адрес. При старте программы этот адрес устанавливается в качестве определенного по умолчанию, что позволяет уменьшить количество настроечных команд, необходимых для начала проведения измерений.
П1.1.2 Протокол управления УОП
Ниже приведены команды, заложенные в протокол обмена между ПКУ и УОП, с описанием ответов УОП и возможных действий оператора. Команды делятся на статусные, настроечные и управляющие. Статусные команды в данной реализации программного обеспечения УОП - такие, ответом на которые является статусная информация о состоянии различных функциональных систем программы. Настроечные команды - такие, которые являются запросом на изменение параметров функционирования программы УОП. Управляющие команды - такие, которые являются запросом на переключение состояния различных функциональных систем программы.
Упоминаемый в описании код команды - значение (число), которое следует послать на УОП посредством протокола обмена сообщениями, для исполнения команды. 1. ПЕРЕЗАГРУЗКА. Код - «0». Управляющая команда. Является запросом оператора на перезагрузку УОП и сброс всех настроек в значения по умолчанию. Аналогична физическому выключения и включению питания. В ответ на эту команду выдается запрос подтверждения «REALLY RESET?»
Дальнейшее поведение УОП зависит от действий оператора:
a. Подтверждающая команда. Код - «6». Подтверждает запрос на перезагрузку УОП и сброс всех настроек до значений по умолчанию.
b. Любой другой код. Отменяет запрос на перезагрузку УОП. Функционирование продолжается без изменений.
2. РЕЖИМ_ОТПРАВКИ_СТАТУС. Код - «1». Статусная команда. Запрашивает состояние по сбору данных с датчиков и их отправке получателям. Возможные ответы программы УОП:
a. «data broadcasting is OFF». Данный ответ означает, что в настоящий момент УОП находится в пассивном режиме. Датчики не опрашиваются, их показания не рассылаются по сети получателям;
b. «data broadcasting is ON». Данный ответ означает, что в настоящий момент УОП находится активном режиме. Датчики, подключенные к УОП, опрашиваются с заданной частотой; полученные показания рассылаются по сети получателям (например, ПКУ).
3. РЕЖИМ_ОТПРАВКИ_ВКЛ_ВЫКЛ. Код - «2». Управляющая команда. Запрашивает переключение режима опроса датчиков и рассылки полученных показаний по сети получателям.
4. ПЕРИОД_ИЗМЕНИТЬ. Код - «3». Настроечная команда. Является запросом от оператора на изменение периода опроса датчиков положения и отправки их показаний получателям. Ответом УОП является строка следующего вида:
accel period: 500
где число отражает текущее значение периода в миллисекундах. После этого сообщения от оператора требуется ввести новое значение периода в миллисекундах. Подтверждением изменения является аналогичное сообщение УОП, содержащее новое значение периода.
5. ЭКСКЛЮЗИВНЫЙ_ПОЛУЧАТЕЛЬ_ИЗМЕНИТЬ. Код - «4». Настроечная команда. Является запросом от оператора на изменение IP-адреса клиента, с которым может вестись обмен сообщениями в эксклюзивном режиме. Ответом УОП является текст следующего вида:
sending to this IP is OFF curr comp IP: 0.0.0.0
где первая строка означает статус режима эксклюзивного обмена сообщениями с выделенным клиентом. В приведенном примере знак «OFF» означает, что этот режим выключен. Знак «ON» в этой строке будет означать, что данный режим включен. Вторая строка отображает IP-адрес текущего клиента эксклюзивного обмена сообщениями. В приведенном примере этот адрес не установлен.
После этого сообщения от оператора требуется ввести новое значение IP-адреса клиента эксклюзивного обмена сообщениями с УОП. Адрес вводится в представлении IPv4 в виде «xxx.xxx.xxx.xxx», где xxx - числа от 1 до 255. Например, он может быть следующим: «192.168.7.200».
6. ЭКСКЛЮЗИВНАЯ_ОТПРАВКА_ВКЛ_ВЫКЛ. Код - «5». Управляющая команда. Запрашивает переключение режима эксклюзивной отправки сообщений клиенту с установленным IP-адресом (см. п.5). Ответом УОП является текст следующего вида:
sending to this IP is ON curr comp IP: 192.168.192.152
где первая строка сигнализирует вступившем в действие режиме эксклюзивной отправки сообщений с УОП выделенному клиенту. В приведенном примере знак «ON» означает, что этот режим включен. Вторая строка отображает информацию об установленном IP-адресе текущего клиента эксклюзивного обмена сообщениями.
7. СТАТУС. Код - «6». Статусная команда. Запрашивает полную информацию о текущем состоянии УОП. Ответом УОП является текст следующего вида:
sending to this IP is ON curr comp IP: 192.168.192.152 accel period: 500 data broadcasting is OFF
где первые две строки аналогичны информации, выводимой в п.6, следующие две строки -аналогичны информации, выводимой в п.п.2,4.
8. GPS_ОБНОВИТЬ_ПРИНУДИТЕЛЬНО. Коды - «7» и «8». Управляющая команда. Посылает запрос УОП на принудительное обновление внутренних данных, получаемых с датчика GPS. Обновленные данные GPS сразу же выдаются в поток сообщений с данными.
9. IP_АДРЕС_УОП_ИЗМЕНИТЬ. Код - «9». Настроечная команда. Является запросом оператора на смену IP-адреса УОП. Ответом УОП является текст следующего вида:
self IP: 192.168.7.102
описывающая текущее значение IP-адреса сетевой карты УОП. Следующая команда от оператора должна содержать новый IP-адрес УОП и только его. Например, она может выглядеть так: 192.168.7.120
Результатом будет смена IP-адреса сетевой карты УОП и перезапуск его системы приема и передачи сообщений. Корректным ответом УОП на описанные действия оператора является текст, описывающий новое значение IP-адреса: self IP: 192.168.7.120
Каждый раз, когда для УОП устанавливается новый IP-адрес, он записывается в энергонезависимую часть памяти (EEPROM) платы, где сохраняется при отключении питания. При последующей загрузке или перезагрузке платы (напр., по команде с кодом «0») локальный адрес считывается из EEPROM. При этом не проверяется конфликт адресов в сети, подсеть и другие параметры сетевой инфраструктуры, в которой УОП предстоит работать. Ответственность за отсутствие таких конфликтов лежит на операторе. Отправка данных (в том числе и маркера-идентификатора для обнаружения) по умолчанию ведется в режиме широкого вещания, что облегчает обнаружение и определение текущего IP-адреса платы. Очевидно, что после смены локального IP-адреса УОП команды, отправляемые по старому IP не принимаются. Эти команды принимаются УОП уже по новому IP-адресу.
П1.1.3 Программа ArduinoUDPconversation
Для организации низкоуровневого взаимодействия оператора с УОП обоих БР автором настоящей работы реализовано программное обеспечение с рабочим наименованием «ArduinoUDPconversation». Внешний вид этой программы приведен на рис. П1.1.
»- ArduinD conversation — п ^^Н
Conversation response Broadcast log 1 О
14 Clear 1 5 Swap response 4 Swap log 3 Clear
11 13
10
192.168.7.101 7 5 search for board (ID=1)
16 Clear 1 7 Swap response
12
9
192.168.7.102 8 6 search for board {ID=2) 2 Start listening
Рис. П1.1. Интерфейс программы ArduinoUDPconversation
Программа «ArduinoUDPconversation» предназначена для обнаружения УОП в сети, отсылки в адрес УОП управляющих команд, а также приема данных и ответов от него. Ниже приводится описание и назначение элементов интерфейса этой программы согласно номерным меткам на рис. П1.1:
1. Кнопка настройки программы. По этой кнопке открывается окно настроек, используемых по умолчанию. Среди таких настроек задаются IP-адреса обеих плат УОП, UDP-порт на адресах УОП, на который следует отправлять управляющие команды, а также UDP-порт сетевой платы ПКУ, на котором следует принимать данные и ответы от УОП.
2. Кнопка, запускающая/останавливающая прием данных с УОП. При нажатии на эту кнопку поток данных о положении УОП отображается в текстовом поле 13.
3. Кнопка очистки текстового поля 13.
4. Кнопка записи содержимого текстового поля 13 в файл на диске. Файл имеет имя вида BcstLog-2017-10-13T09-41-28.7968972Z.log и располагается в поддиректории «log».
5. Кнопка, инициирующая процедуру обнаружения УОП регистрирующего блока №1. При успешном обнаружении IP-адрес УОП №1 записывается в поле 7.
6. Аналогично элементу 5 - для УОП №2. При успешном обнаружении IP-адрес УОП №2 записывается в поле 8.
7. Поле IP-адреса УОП №1
8. Поле IP-адреса УОП №2
9. Текстовое поле ввода команды для отправки на УОП №2. Команда отправляется на УОП нажатием клавиши "Enter" на клавиатуре.
10. Текстовое поле ввода команды для отправки на УОП №1. Команда отправляется на УОП нажатием клавиши "Enter" на клавиатуре.
11. Текстовое поле отображения команд и ответов УОП №1.
12. Текстовое поле отображения команд и ответов УОП №2.
13. Текстовое поле вывода потока предметных данных (внутреннего таймера, показаний акселерометра, гироскопа, датчика GPS) обоих УОП.
14. Кнопка очистки поля 11.
15. Кнопка очистки поля 11 и записи его содержимого в файл на диске КПУ.
16. Кнопка очистки поля 12.
17. Кнопка очистки поля 12 и записи его содержимого в файл на диске КПУ.
П1.1.4 Программа IofffeVesselInfoStream
Сбор данных на судах науки сопряжен с привязкой регистрируемых снимков к географическим координатам и универсальному времени. Для получения данных GPS, содержащих и то, и другое, - может использоваться GPS-датчик, встроенный в УОП или поток GPS- и метеоданных, предоставляемый информционной системой судна. Для снижения связности компонент программного комплекса сбора и обработки данных клауд-камеры «SAIL cloud v.2» было принято решение о выносе функционала приема данных от информационной системы судна в отдельную программу. Программа получила название «IofffeVesselInfoStream». В программе реализован функционал сбора и обработки показаний GPS и метеоданных, предоставляемых корабельными информационными системами на судах «Академик Иоффе», «Академик Сергей Вавилов», «Академик Николай Страхов». Обмен производится по локальной сети судна по протоколу TCP/IP.
i loffe nav&meteo stream — п
Nav&Meteoj Overview nav & meteo data
1 CONNECT ТО DATA SERVER PO
3 Sun positioning info 0 log data to *.nc and ".log files 0 Write mesurements entry text file
6 7
GPS date L4 I Pressure, hPa
GPS lat r* =I Air temp. j-S- -1
GPS Ion P Wind speed ¡
Head.(true) P Wind direction Í
Head, (gyro) P Rel. humidity J
Speed (kn) ! Water temp. !
Depth r Water sal. I
8 show geotrack Q show meteo data graphs
Inter-process communications server status: ^ ON
Рис. П1.2. Интерфейс программы IofffeVesselInfoStream
Описанные данные далее предоставляются программам-клиентам в пределах ПКУ. Обмен информацией ведется посредством именованных каналов (named pipes) с применением клиент-серверной технологии межпроцессного взаимодействия (inter-process communications, IPC). В данном случае программа «IofffeVesselInfoStream» выступает в роли сервера, предоставляющего данные GPS и метеостанции, полученные из информационной системы судна.
Интерфейс этой программы представлен на рис. П1.2. Ниже приводится описание и назначение элементов интерфейса этой программы согласно номерным меткам на рис. П1.2.
1. Кнопка запуска/останова полного функционала, заложенного в программу. По нажатию этой кнопки программа:
a. подключается в качестве клиента к информационной системе судна и начинает получение транслируемых GPS- и метеоданных;
b. запускает IPC-сервер для предоставления этих данных внутренним для ПКУ программам;
c. ведет журнал получаемых GPS- и метеоданных.
При повторном нажатии этой кнопки весь упомянутый функционал останавливается.
2. Кнопка настройки программы. По этой кнопке открывается окно настроек программы «IofffeVesselInfoStream». Интерфейс и функционал этого окна аналогичен приведенному ниже интерфейсу окна настройки программы «DataCollectorAutomator2G». Ниже в настоящем разделе описываются доступные настройки программы «IofffeVesselInfoStream», их назначение и значения по умолчанию.
3. Кнопка вызова основных данных, рассчитываемых на основании GPS. При нажатии мышью на этот элемент выдается информационное окно, в котором отображаются: текущие географические координаты, дата и время (UTC), высота Солнца, время (UTC) восхода и заката в точке, определяемой текущими координатами.
4. Информационные поля, отображающие навигационные данные, получаемые от информационной системы судна.
5. Информационные поля, отображающие данные судовой метеостанции, получаемые от информационной системы судна.
6. Информационное табло скорости получаемых пакетов навигационных данных от информационной системы судна. Отображает количество пакетов в секунду, усредняемое с экспоненциальным затуханием. В случае, если пакеты данных не поступают более 2 минут, в этом табло отображается надпись «NO STREAM».
7. Информационное табло скорости получаемых пакетов метеоданных от информационной системы судна. Отображает количество пакетов в секунду, усредняемое с экспоненциальным затуханием. В случае, если пакеты данных не поступают более 2 минут, в этом табло отображается надпись «NO STREAM».
8. Кнопка, по которой открывается окно с изображением маршрута экспедиции по полученным на ее протяжении показаниям навигационного оборудования судна.
9. Кнопка, по которой отображаются графики метеопараметров.
10. Информационное табло состояния IPC-сервера GPS-данных. Имеет два состояния: «ON» (включено) и «OFF» (выключено). IPC-сервер GPS-данных включается и выключается кнопкой 1, как это описано выше.
Таблица П1.2. Настройки программы «IofffeVesselInfoStream»: их назначение и значения по умолчанию
DefaultDataBroadcastingServerIP
значение по умолчанию: 169.254.249.87
назначение: IP-адрес сервера информационной системы судна, предоставляющего GPS- и метеоданные
DefaultDataBroadcastingServerPort
значение по умолчанию: 1977
назначение: TCP-порт сервера информационной системы судна, предоставляющего GPS- и метеоданные
IoffeNavMeteoDataFilesDirectory
значение по умолчанию: D:\_gulevlab\nv2-met\
назначение: Директория, в которой сохраняются журналы показаний GPS и метеостанции, принятые программой IofffeVesselInfoStream от информационной системы судна.
П1.1.5 Программа DataCollectorAutomator2G
Сбор данных установкой «SAIL cloud v.2» в полевых условиях производится с помощью специальной программы с условным наименованием «DataCollectorAutomator2G».
Помимо сбора данных в этой программе реализован следующий функционал:
1. Получение показаний GPS и судовой метестанции посредством сетевого взаимодействия с программами сбора и передачи таких данных. В современной реализации программного комплекса сбора и обработки данных установки «SAIL cloud v.2» функционал получения GPS- и метеоданных от информационных систем судна реализован в виде отдельной программы «IofffeVesselInfoStream».
2. Предоставление данных GPS другим программам в рамках клиент-серверной архитектуры взаимодействия. В этой архитектуре программа DataCollectorAutomator2G выступает в роли сервера, предоставляющего данные. В это же время другие программы могут быть подключены в роли клиентов, получающих показания GPS. Обмен данными производится в пределах КПУ по протоколу межпроцессного взаимодействия (inter-
process communications, IPC). В случае, если задействован механизм получения показаний GPS от информационной системы судна, эти показания являются источником данных для IPC-сервера GPS. В любом другом случае источником данных являются показания, принимаемые с УОП.
Интерфейс этой программы представлен на рис. П1.4. Данная программа используется только для сбора первичных данных с блоков регистрации в следующем составе:
- широкоугольные оптические снимки видимой полусферы неба
- показания трехосевого акселерометра
- показания трехосевого гироскопа
- показания трехосевого магнетометра (не используются в условиях сбора данных на морских судах)
- показания датчика атмосферного давления (не используются)
- показания датчика GPS - дата и время (UTC), географические координаты текущего местоположения УОП
Основное назначение программы «DataCollectorAutomator2G» - сбор данных с БР в экспедиции. Ниже приводится описание и назначение элементов интерфейса этой программы согласно номерным меткам на рис. П1.4. Внешний вид программы «DataCollectorAutomator2G» в режиме проведения наблюдений в экспедиции приведен на рис. П1.3.
Рис. П1.3. Интерфейс программы DataCollectorAutomator2G в режиме проведения наблюдений в экспедиции
(а)
(б)
(в)
Рис. П1.4. Интерфейс программы DataCollectorAutomator2G. (а) Основной вид; (б) закладка информации о полученных снимках с камер БР; (в) закладка отображения детального журнала поступающих данных УОП
Основной вид программы «DataCollectorAutomator2G»
1. Кнопка настройки программы. По этой кнопке открывается окно настроек программы «DataCollectorAutomator2G». Интерфейс этого окна представлен на рис. П1.5 и описан ниже.
2. Кнопка запуска процесса сбора данных с блоков регистрации.
3. Кнопка запроса на синхронный захват снимков с камер обоих БР в ближайший момент прохождения установкой горизонтального положения. Захват снимков производится без ожидания окончания периода захвата снимков, но в ближайший момент прохождения установкой горизонтального положения.
4. Кнопка запроса на принудительный немедленный синхронный захват снимков с камер обоих БР. Захват обоих снимков производится в тот же момент.
5. Информационное табло состояния сервера GPS-данных. При включении сбора данных с УОП по кнопке 2 - запускается программный IPC-сервер, транслирующий показания GPS с того источника, который выбран согласно описанию, приведенному выше. При выключении сбора данных с УОП указанный программный IPC-сервер выключается и перестает транслировать показания GPS программам- клиентам.
6. Информационное табло состояния GPS-клиента, принимающего показания GPS от программы «IofffeVesselInfoStream». Возможные состояния:
a. ON. Отображается, когда получение данных производится в штатном режиме;
b. can't connect. Отображается в случае, если нет возможности подключения к именованному каналу IPC-сервера программы «IofffeVesselInfoStream». Это возможно, когда программа «DataCollectorAutomator2G» настроена на подключение и прием таких данных, однако программа «IofffeVesselInfoStream» не включена или испытала сбой.
c. OFF. Отображается, когда выключена клиентская часть получения данных GPS от информационной системы судна. Например, когда выключен сбор данных или программа «DataCollectorAutomator2G» не настроена на подключение к «IofffeVesselInfoStream» и прием от нее данных GPS.
7. Табло таймера обратного отсчета до следующего захвата снимков видимой полусферы неба с камер БР.
8. Табло таймера, показывающего время, прошедшее с предыдущего захвата снимков с камер БР. Сумма времени обратного отсчета (на табло 7) и времени на данном табло не обязательно составляет период съемки, поскольку после истечения этого периода программа ожидает момента прохождения горизонтального положения.
9. Контрольное табло показаний акселерометра УОП №1. Отображается абсолютное значение ускорения свободного падения в долях от нормального. В статичном состоянии УОП это значение равно 1.0
10. Контрольное табло показаний акселерометра УОП №1. Отображается отклонение вектора ускорения свободного падения от нормали к плоскости УОП. В статичном состоянии УОП это значение равно нулю.
11. Контрольное табло показаний акселерометра УОП №2. Аналогично показаниям в табло 9.
12. Контрольное табло показаний акселерометра УОП №2. Аналогично показаниями в табло 10.
13. Табло состояния сбора данных. Возможные состояния:
a. Functioning normally. Отображается, когда сбор данных производится без перерывов, в штатном режиме.
b. PAUSED. Отображается, когда сбор данных приостановлен. Такой режим включается автоматически при расчетной высоте Солнца над горизонтом меньше нуля. Высота Солнца рассчитывается исходя из данных GPS.
c. not restricted by sun elevation. Отображается в том случае, если расчетная высота Солнца над горизонтом меньше нуля, но в настройках программы не установлено ограничение на съемку в ночное время.
Кроме текстовых данных это табло может быть подсвечено цветом. В случае разрыва линий связи или других неполадок в передаче данных от УОП к ПКУ фон табло подсвечивается розовым цветом.
14. Информационное табло данных GPS. Отбражается географическая широта текущего местоположения УОП, если данные GPS принимаются с УОП, или географическая широта по данным GPS от информационной системы судна.
15. Информационное табло данных GPS. Отбражается географическая долгота текущего местоположения УОП, если данные GPS принимаются с УОП, или географическая долгота по данным GPS от информационной системы судна.
16. Информационное табло данных GPS. Отбражаются дата и время UTC по данным GPS. Аналогично координатам используются показания от УОП или информационной системы судна.
17. Информационное табло расчетной высоты Солнца. Отображается высота Солнца, рассчитанная по данным GPS, в градусах. При нажатии мышью на этот элемент выдается информационное окно, в котором отображаются основные данные, рассчитываемые по показаниям GPS: географические координаты, дата и время UTC, высота Солнца, время восхода и заката в точке, определяемой текущими координатами.
18. Информационное табло расчетного азимута Солнца. Отображается азимут Солнца, рассчитанный по данным GPS, в градусах. При нажатии мышью на этот элемент выдается информационное окно, аналогичное описанному в п.17.
19. Графическое поле, в котором отображаются захваченные с камер БР снимки видимой полусферы неба.
Закладка информации о полученных снимках с камер БР.
1. Информационное табло с именем файла последнего из захваченных снимков камеры БР №1.
2. Информационное табло с именем файла последнего из захваченных снимков камеры БР №2.
3. Список информационных сообщений по каждому факту захвата снимков с камеры БР №1. Информационные сообщения содержат полное имя файла сохраненного на диск КПУ изображения, а также время захвата снимка.
4. Список информационных сообщений по каждому факту захвата снимков с камеры БР №2. Информационные сообщения содержат полное имя файла сохраненного на диск КПУ изображения, а также время захвата снимка.
Закладка отображения детального журнала поступающих данных УОП
1. Поле IP-адреса УОП №1
2. Поле IP-адреса УОП №2
3. Кнопка, инициирующая процедуру обнаружения УОП регистрирующего блока №1. При успешном обнаружении IP-адрес УОП № 1 записывается в поле 1.
4. Кнопка, инициирующая процедуру обнаружения УОП регистрирующего блока №2. При успешном обнаружении IP-адрес УОП №1 записывается в поле 2.
5. Кнопка, инициирующая/останавливающая прием данных с обоих УОП. Используется в случаях, когда нет необходимости запускать полный цикл сбора данных, но нужно проанализировать данные, поступающие с УОП.
6. Кнопка, регулирующая вывод информации, поступающей от УОП, в поле 8. В штатном режиме эта информация не выводится с целью экономии используемой программой оперативной памяти.
7. Кнопка очистки текстового поля 8 и записи очищаемого содержимого в файл на диске КПУ. Файл имеет имя вида:
BcstLog-2017-10-13T09-41-28.7968972Z.log и располагается в поддиректории «log».
8. Текстовое поле вывода потока предметных данных (внутреннего таймера, показаний акселерометра, гироскопа, датчика GPS) обоих УОП.
9. Информационное табло скорости получаемых UDP-пакетов от УОП №1. Отображает количество пакетов в секунду, усредняемое с экспоненциальным затуханием. Позволяет судить оператору о качестве связи УОП №1 с КПУ.
10. Информационное табло скорости обработки UDP-пакетов, поступивших от УОП №1. Отображает количество обработанных пакетов в секунду, усредняемое с экспоненциальным затуханием. Позволяет судить оператору о производительности программы. При штатной работе программы скорость обработки UDP-пакетов не сильно отличается от скорости поступающих пакетов.
11. Информационное табло скорости получаемых UDP-пакетов от УОП №2. Назнчение аналогично элементу 9.
12. Информационное табло скорости обработки UDP-пакетов, поступивших от УОП №2. Назначение аналогично элементу 10.
Окно настройки программы «Ра1аСо11ее1:огАи1:ота1:ог20»
Окно настройки программы «DataCoПectorAutomator2G» предназначено для задания значений, регулирующих режим сбора данных установки. В таблице П1.3 приведено описание настроек программы «DataCollectorAutomator2G» и их назначение.
i PropeniesEditor - б
I К* Value -Л1
ArduiroBoardlDI DefauWP 192.168.7.101
ArduinoBoardlD2DefauttlP 192.168.7 102
ArduinoBoardDefauHUDPport 5555
UDPBroadcastDefaultListeningPort
Vi vote kCa m e ra S h ooli ng Period Sec 20
VivotekCameralDI IPaddr 192.1687.211
VivotekCameralD2IPaddr 192.168,7,212
VivotekCameralDI UserName
Vi vote kCa m eral D2U se r N a m e root
VivotekCameralDI Password vivotek
VivotekCameralD2Password vivotek
BroadcastLogHistorySizeLines 4096
CamDeolinationThresholdDegToShoot 3
¡pcPipeServerNarneGPSandMeteoData loffeVessellnfoStreamListenerJPCpipeserver
bTryToGetGPSdataFromlOFFEstrearri Listener False
RestrictDataRegistrationWhenSunElevationLowerThanZero True
MakeBeepsSilentWhenSunElevationLowerThanZero True
ForceBeepsSilent True
AllowSnapshotslrdependentiyOflnclinationArgle False
AllowOperationWhileArduinolsOffline False
bOrganizeAndArchiveCollectedDataAtLocalMidriight False
bTempDisablelPWorks False
ImagesRoundMasksXMLfilesMappingList D:\_gulevlab\SkylmagesAnalysis\_DBGbin\settings\lmagesRoundMasksXMLfilesMappingLisLcsv
strPe ifo rm a n ceC ou ntersStats Fi le D:\_gulevlab\SkylmagesAnalysis\_DBGbinVlogs\DataCollectorAutomator2G-perf-datacsv
imageYRGBstatsXMLdataFilesDirectory D:\_gulevlab\SkylmagesAnalysis\_DBGbin\stais\
<;pn^r>r«:n3taP№<;pnt3tinnl InrlstpPprinH m^ 5ПП
1 ок
Рис. П1.5. Интерфейс окна настройки программы «DataCollectorAutomator2G»
Таблица П1.3. Настройки программы «DataCollectorAutomator2G»: назначение и значения по умолчанию
ArduinoBoardID1DefaultIP
значение по умолчанию: 192.168.7.101
назначение: IP-адрес сетевой карты УОП блока регистрации №1
ArduinoBoardID2DefaultIP
значение по умолчанию: 192.168.7.102
назначение: IP-адрес сетевой карты УОП блока регистрации №2
ArduinoBoardDefaultUDPport
значение по умолчанию: 5555
назначение: Номер UDP-порта сетевых карт УОП, на котором программы УОП ожидают команды от управляющего компьютера
UDPBroadcastDefaultListeningPort
значение по умолчанию: 4444
назначение: Номер UDP-порта, на котором программы управляющего компьютера ожидают ответных UDP-пакетов от УОП
VivotekCameraShootingPeriodSec
значение по умолчанию: 20
назначение: Интервал запроса снимков с БР, в секундах
VivotekCameraID 1 IPaddr
значение по умолчанию: 192.168.7.211
назначение: IP-адрес сетевой карты оптической широкоугольной камеры №1
VivotekCameraID2IPaddr
значение по умолчанию: 192.168.7.212
назначение: IP-адрес сетевой карты оптической широкоугольной камеры №2
VivotekCameraID1UserName
значение по умолчанию: root
назначение: Имя пользователя для программной авторизации при подключении к камере №1
VivotekCameraID2UserName
значение по умолчанию: root
назначение: Имя пользователя для программной авторизации при подключении к камере №2
VivotekCameraID1Password
значение по умолчанию : vivotek
назначение: Пароль для программной авторизации при подключении к камере №1
VivotekCameraID2Password
значение по умолчанию : cam02passwd
назначение: Пароль для программной авторизации при подключении к камере №2
BroadcastLogHistorySizeLines
значение по умолчанию : 4096
назначение: Максимальное количество строк журнала сообщений от УОП, после которых содержимое журнала сохраняется на диск и очищается.
CamDeclinationThresholdDegToShoot
значение по умолчанию : 3
назначение: Верхняя граница значения отклонения УОП от горизонтального положения, при котором разрешено производить съемку. Измеряется в градусах.
ipcPipeServerNameGPSandMeteoData
значение по умолчанию : IoffeVesselInfoStreamListener_IPCpipeserver
назначение: Имя именованного канала (named pipe) IPC-сервера вспомогательной программы «IofffeVesselInfoStream», принимающей GPS- и метеоданные от информационной системы судна и предоставляющей их внутренним для ПКУ программам-клиентам.
bTryToGetGPSdataFromIOFFEstreamListener
значение по умолчанию : True
назначение: Допустимые значения: «True», «False», регистр символов значения не имеет. Параметр, регулирующий попытки подключения к именованному каналу IPC-сервера программы «IofffeVesselInfoStream» и получения GPS- и метеоданных.
RestrictDataRegistrationWhenSunElevationLowerThanZero
значение по умолчанию : True (запрет включен)
назначение: Допустимые значения: «True», «False» , регистр символов значения не имеет. Регулирует запрет на захват снимков с камер БР в то время, когда рассчетная высота Солнца над горизонтом меньше нуля (ночью). Запрет имеет смысл отменять, если нужно проводить съемку ночью (см. Методику сбора данных, в частности, методику корректировки положения камер). Кроме этого, запрет имеет смысл отменять, если системе по каким-то причинам становятся недоступны показания GPS как от информационной системы судна, так и от УОП.
Make] BeepsSilentWhenSunElevati onLowerThanZero
значение по умолчанию: True
назначение: Допустимые значения: «True», «False» , регистр символов значения не имеет. Параметр регулирует запрет на воспроизведение звуковых сигналов ночью (когда рассчетная высота Солнца над горизонтом меньше нуля). Звуковые сигналы используются в программе для привлечения внимания оператора, когда наблюдаются неполадки в приеме данных от программы «IofffeVessellnfoStream» или от одного из УОП.
ForceBeepsSilent
значение по умолчанию: True
назначение: Допустимые значения: «True», «False» , регистр символов значения не имеет. Параметр регулирует запрет на воспроизведение звуковых сигналов вне зависимости от времени суток.
AllowSnapshotsIndependentlyOfIndinationAngle
значение по умолчанию: False
назначение: Допустимые значения: «True», «False» , регистр символов значения не имеет. Параметр используется для отключения контроля за положением БР. При отключенном контроле захват снимков с камер БР производится вне зависимости от текущего положения УОП.
Использовать данную настройку имеет смысл, например, при проведении калибровочной съемки - см. Методику сбора данных, в частности, методику корректировки положения камер.
AllowOperationWhileArduinoIsOffline
значение по умолчанию: False
назначение: Допустимые значения: «True», «False» , регистр символов значения не имеет. Параметр используется для отключения контроля за положением БР. При отключенном контроле захват снимков с камер БР производится вне зависимости от факта поступления предметных данных от УОП. Использовать данную настройку имеет смысл при выходе УОП из строя. Качество получаемых данных при этом ухудшается.
bTempDisableIPWorks
значение по умолчанию: False
назначение: Допустимые значения: «True», «False» , регистр символов значения не имеет. Параметр регулирует временное отключение функциональности сетевых библиотек, используемых в программе. Используется для тестирования на ошибки и на отказ при неполадках в передаче данных.
sensorsDataPresentationUpdatePeriod_ms
значение по умолчанию: 500
назначение: Время отображения данных акселерометров УОП, в миллисекундах. Используется для снижения потребления вычислительных ресурсов и оперативной памяти программой.
П1.1.5 Программа ObservationsLoggingApp
Процедура наблюдений, описанная в Главе 2, включает в себя регистрацию большого количества сведений, не нуждающихся в оценке наблюдателя. Среди них - данные геолокации, дата и время (ОТС). В случае, если наблюдения проводятся на соответствующих судах, программа «IofffeVesselInfoStream» настроена также на регистрацию навигационных показаний (скорость и направление движения судна), а также метеоданных с судовой метеостанции. В случае, если наблюдения проводятся автономно, без подключения к информационной системе
судна, некоторые данные, не нуждающиеся в оценке наблюдателем, извлекаются из показаний GPS-датчика УОП установки «SAIL cloud v.2». Для этого автором настоящей работы разработана программа «ObservationsLoggingApp». На рис. П1.6 приведен интерфейс этой программы.
Observations loggings арр
GPS connection status: ON 2
3
next log record: 4 00:01:42
lat: 5 - 8
Ion: 6 - 9
Sun alt. 7 Ю Write down right now
Рис. П1.6. Интерфейс программы «ObservationsLoggingApp»
Программа «ObservationsLoggingApp» предназначена для получения показаний GPS посредством клиент-серверного взаимодействия по именованному каналу поверх технологии IPC. Источником данных могут выступать:
1. Программа «DataCollectorAutomator2G». Для этого в качестве имени именованного канала в настройках следует записывать «DataCollectorAutomator2G_IPCpipeserver». В этом случае транслируются показания того источника GPS-данных, которые используются в настоящий момент программой «DataCollectorAutomator2G». Такими источниками могут быть:
a. УОП установки «SAIL cloud v.2». В этом случае данные УОП принимаются программой «DataCollectorAutomator2G», и далее передаются программе «ObservationsLoggingApp».
b. Информационная система судня. В этом случае данные принимаются на ПКУ с использованием программы «IofffeVessellnfoStream», передаются по межпроцессному взаимодействию программе «DataCollectorAutomator2G», и далее - программе «ObservationsLoggingApp».
2. Напрямую программа «IofffeVessellnfoStream». Источником GPS-данных является информационная система судна. Этот вариант не используется в практике, поскольку в программе «IofffeVessellnfoStream» продублирован функционал ведения журнала
показаний, не нуждающихся в оценке наблюдателя. Поэтому если программа «IofffeVessellnfoStream» функционирует и принимает данные от информационной системы судна в штатном режиме, - использовать программу «ObservationsLoggingApp» не представляется осмысленным.
Ниже приводится описание и назначение элементов интерфейса программы «ObservationsLoggingApp» согласно номерным меткам на рис. П1.6:
20. Кнопка настройки программы. По этой кнопке открывается окно настроек программы «ObservationsLoggingApp». Интерфейс этого окна аналогичен интерфейсу окна настроек программы «DataCollectorAutomator2G», изображенного на рис. П1.5. Настройки программы «ObservationsLoggingApp», доступные для редактирования, описаны ниже.
21. Информационное табло состояния GPS-клиента, принимающего показания GPS от программы-сервера. Возможные состояния:
a. ON. Отображается, когда получение данных производится в штатном режиме;
b. can't connect. Отображается в случае, если нет возможности подключения к описанному в настрйоках именованному каналу IPC-сервера.
22. Информация о текущих данных GPS: координаты в десятичной записи, дата и время (UTC).
23. Информационное табло с указанием времени до следующей записи в журнал.
24. Дублирующая показания табло 3 информация о географической широте в десятичной записи.
25. Дублирующая показания табло 3 информация о географической долготе в десятичной записи.
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.